![]()
欢迎大家踏入本期的《AI艺术周刊》。在这里，我们一起探索人工智能的最新进展和它如何重新定义艺术创作的边界。无论你是 AI 艺术的狂热爱好者，还是对这一领域充满好奇的新手，我们都将为你带来灵感的火花和实践中的深刻见解。让我们共同揭开 AI 艺术的神秘面纱，探索它的无限可能。* 每周我需要花费大约 8-12 小时来整理这些周刊内容。如果你喜欢我的工作，不妨在下方赠我一杯咖啡，可以令我保持思绪清晰与热情不减 🙏🌟 本期要闻：
SV3D：Stability AI 发布了一款新型模型，用于高分辨率的图像到 3D 重构
| https://sv3d.github.io/?ref=aiartweekly |
LATTE3D：NVIDIA 的新型文本到 3D 技术，能够仅在 400 毫秒内从文本稳健生成高质量的纹理网格模型
| https://research.nvidia.com/labs/toronto-ai/LATTE3D/?ref=aiartweekly |
Isotropic3D：基于单个 CLIP 嵌入的图像到 3D 生成方法
| https://isotropic3d.github.io/?ref=aiartweekly |
MVControl：带有类似 ControlNet 条件控制（如边缘检测、深度、涂鸦等）的文本到 3D 技术
https://lizhiqi49.github.io/MVControl/?ref=aiartweekly
|
Make-Your-3D：图像到 3D 技术，能够通过文本提示控制生成过程
https://liuff19.github.io/Make-Your-3D/?ref=aiartweekly
|
MVEdit：支持文本到 3D、图像到 3D 以及带纹理生成的 3D 到 3D 转换
https://lakonik.github.io/mvedit/?ref=aiartweekly
|
VFusion3D：利用视频扩散模型进行图像到 3D 生成
https://junlinhan.github.io/projects/vfusion3d.html?ref=aiartweekly
|
GVGEN：采用体积表达的文本到 3D 生成技术
https://gvgen.github.io/?ref=aiartweekly
|
GRM：在 100 毫秒内实现高质量、高效的文本到 3D 和图像到 3D 生成
https://justimyhxu.github.io/projects/grm/?ref=aiartweekly
|
FDGaussian：采用高斯喷涂技术实现图像到 3D 生成
https://qjfeng.net/FDGaussian/?ref=aiartweekly
|
Ultraman：专注于人类化身的图像到 3D 生成技术
https://air-discover.github.io/Ultraman/?ref=aiartweekly
|
Sculpt3D：更进一步的文本到 3D 生成技术
| https://stellarcheng.github.io/Sculpt3D/?ref=aiartweekly |
ComboVerse：更多的图像到 3D 转换技术
| https://cyw-3d.github.io/ComboVerse/?ref=aiartweekly |
正如我在上周的周刊中所说，3D 内容正处于爆炸性增长的边缘。就在这周，我们就收集到了 13 篇关于从文本和图像到 3D 对象重构的研究论文。考虑到这些论文在某种程度上都较为相似，我就不会一一详细剖析了。相反，我将在此一并列出这些论文。注: Stability AI 的 SV3D 示例
InTeX：通过统一的深度感知修复技术实现交互式文本到纹理合成| https://me.kiui.moe/intex/?ref=aiartweekly |
现在我们有了无数生成 3D 对象的选项，我们可能希望对纹理有更多的控制权。InTeX 通过从文本生成并修补纹理来帮助实现这一目标。
![]()
注: InTeX 示例TexDreamer：迈向零样本高保真 3D 人类纹理生成
| https://ggxxii.github.io/texdreamer/?ref=aiartweekly |
TexDreamer 是一个高保真的3D人类纹理生成模型，支持文本和图像输入。![]()
注: TexDreamer 示例GaussianFlow：用于 4D 内容创作的高斯动态喷涂https://zerg-overmind.github.io/GaussianFlow.github.io/?ref=aiartweekly |
图像转换为 3D 固然酷炫，那视频转换为 4D 又如何呢？GaussianFlow 能够从单镜头视频（例如Sora）中生成4D高斯喷涂场![]()
注: GaussianFlow 示例https://peter-kocsis.github.io/LightIt/?ref=aiartweekly |
LightIt 是一种用于图像生成的显式照明控制方法。这是首个能够生成具有可控、一致照明效果的图像，并且在性能上与专业的最先进照明调整方法相媲美的方法。![]()
注: LightIt 示例https://kongzhecn.github.io/omg-project/?ref=aiartweekly |
OMG 是一个多概念图像生成框架，支持角色和风格的 LoRAs。除了 LoRAs，它还支持 InstantID 以实现多 ID 支持。![]()
注: OMG 示例YOSO：只需采样一次图像模型将变得更快、更大、更好https://github.com/Luo-Yihong/YOSO?ref=aiartweekly |
YOSO是一种新方法，能够微调预训练的扩散模型，以一步生成高保真图像。注: YOSO 示例
https://github.com/LeonHLJ/FouriScale?ref=aiartweekly |
FouriScale 能够从预训练的扩散模型生成具有各种宽高比的高分辨率图像，并实现任意大小、高分辨率和高质量生成的惊人能力。![]()
注: FouriScale 示例
https://whaohan.github.io/desigen/?ref=aiartweekly |
Desigen 是一个自动模板创建的流程，它可以生成背景图像以及与背景协调的布局元素。这可以用于生成网站、演示文稿、社交媒体帖子等的设计模板。![]()
注: Desigen 示例
https://kwanyun.github.io/stylesketch_project/?ref=aiartweekly |
StyleSketch 是一种从人脸图像中提取高分辨率风格化草图的方法。相当酷！![]()
注: StyleSketch 示例
Wear-Any-Way：通过稀疏对应对齐实现可操控的虚拟试穿https://mengtingchen.github.io/wear-any-way-page/?ref=aiartweekly |
Wear-Any-Way 是一个新的虚拟试穿框架，支持用户精确操控服装的穿着风格。该方法允许用户拖动袖子以卷起，打开大衣，以及控制塞入样式等操作。![]()
注: Wear-Any-Way 示例
DiffCriticEdit：借助预训练的扩散模型进行单张图像的 3D 视角编辑https://wangrc.site/DiffCriticEdit/?ref=aiartweekly |
DiffCriticEdit 允许在图像上进行 3D 操作，如物体的旋转和平移。![]()
注: DiffCriticEdit 示例
Magic Fixup：通过观看动态视频简化照片编辑https://magic-fixup.github.io/?ref=aiartweekly |
Adobe 的 Magic Fixup 采用剪切和粘贴的方法进行图像编辑，并能自动修正编辑内容。可以预见这对于为诸如 AnimateDiff 之类的工具生成动画帧非常有用。但目前还不清楚这项技术是否会或何时会集成到 Photoshop 中。![]()
注: Magic Fixup 示例
DesignEdit：用于统一和精确图像编辑的多层次潜在分解与融合https://design-edit.github.io/?ref=aiartweekly |
DesignEdit 是另一种图像编辑方法，但出自微软之手。它可以移除对象、编辑文字、交换、重新定位、调整大小、添加和翻转多个对象、平移和缩放图像、从图像中移除装饰以及编辑海报。![]()
注: DesignEdit 示例
https://garibida.github.io/ReNoise-Inversion/?ref=aiartweekly |
ReNoise 可用于重构输入图像，该图像可以使用文本提示进行编辑![]()
注: ReNoise 示例
AnimateDiff-Lightning：用于统一和精确图像编辑的多层次潜在分解与融合https://huggingface.co/ByteDance/AnimateDiff-Lightning?ref=aiartweekly |
继 SDXL Lightning 之后，字节跳动现已发布 AnimateDiff-Lightning。这是一个文本到视频的模型，能够比原始的 AnimateDiff 生成视频的速度快十倍以上。![]()
注: AnimateDiff-Lightning 示例
StyleCineGAN：使用预训练的 StyleGAN 生成风景电影图的方法https://jeolpyeoni.github.io/stylecinegan_project/?ref=aiartweekly |
StyleCineGAN 是一种能够从静态风景图像自动生成高分辨率循环电影图的方法，它使用了预训练的 StyleGAN。![]()
注: StyleCineGAN 示例
Time Reversal：探索时间和空间之间的插帧https://time-reversal.github.io/?ref=aiartweekly |
Time Reversal 使得生成两个输入图像之间的中间帧成为可能。特别是，这使得生成循环电影图以及摄像头和主体运动视频成为现实。![]()
注: Time Reversal 示例
https://github.com/lichao-sun/Mora?tab=readme-ov-file&ref=aiartweekly |
Mora 是一次开源尝试，旨在复制 OpenAI 的 Sora 视频模型在多种任务上的能力，如文本到视频生成、图像到视频生成、扩展生成视频、视频到视频编辑、连接视频以及模拟数字世界。结果虽远不及 Sora，但这是一个开始！![]()
注: Mora 示例
VSTAR：助力生成更长动态视频的时间序列生成技术https://github.com/lichao-sun/Mora?tab=readme-ov-file&ref=aiartweekly |
VSTAR 是一种方法，使文本到视频模型能够在单次通过中生成具有动态视觉演化的更长视频，无需进行微调。![]()
注: VSTAR 示例
https://www.mmlab-ntu.com/project/fresco/?ref=aiartweekly |
RESCO 结合了 ControlNet 和 Ebsynth 技术，实现了零样本视频翻译，专注于保持输入帧的空间和时间连贯性。![]()
注: FRESCO 示例
AnyV2V：适用于任何视频到视频编辑任务的即插即用框架https://tiger-ai-lab.github.io/AnyV2V/?ref=aiartweekly |
AnyV2V 能够编辑源视频，并加入额外的控制条件（如文本提示、主题或风格）。看起来是迄今为止最优秀的第一代替代品之一![]()
注: AnyV2V 示例
Be-Your-Outpainter：通过输入特定的适应性掌握视频外延绘制https://be-your-outpainter.github.io/?ref=aiartweekly |
MOTIA 代表了一种高品质且灵活的视频外延绘制技术。可惜的是，目前尚未提供相关代码![]()
注: Be-Your-Outpainter 示例
⚒️ 工具与教程:
| https://github.com/banodoco/Dough?ref=aiartweekly |
![]()
基于 SD-turbo 的一步图像到图像方法，支持素描转图片、日转夜等功能。拥有 Hugging Face 演示。| https://huggingface.co/spaces/gparmar/img2img-turbo-sketch?ref=aiartweekly |
| https://github.com/GaParmar/img2img-turbo?ref=aiartweekly |
![]()
是一个实时交互式的多文本到图像生成工具，可以根据用户指定的区域性文本提示生成图像。| https://github.com/ironjr/StreamMultiDiffusion?ref=aiartweekly |
![]()
一个免费的工具，通过 Automatic1111 StableDiffusion 生成纹理。支持保留 UV 映射、通过画笔混合图层、3D 修复等功能。| https://stableprojectorz.com/?ref=aiartweekly |
![]()
DynamiCrafter 的代码和模型权重已发布，用于在两幅图像之间进行插值。| https://huggingface.co/spaces/Doubiiu/DynamiCrafter_interp_loop?ref=aiartweekly |
![]()
| https://github.com/Kiteretsu77/APISR?ref=aiartweekly |
![]()
如果你也对 Midjourney 或艺术设计感兴趣，那么欢迎加入我们的社群！在这里，我们可以一起探讨有趣的设计话题，共同探索 Midjourney 所带来的无限可能性！![]()
![]()
注：如果你与我一样热衷于紧跟人工智能与设计的最新趋势，那么我强烈推荐你试用下我们精心打造的这款应用 — 设计原力。这款应用能够让你随时了解到最前沿的信息，让你的信息库始终保持最新状态▲ 好了，以上这些就是本节的全部内容了 ～ 如果，你也对 AI 绘画感兴趣，不妨记得关注我！我们下期见！！
![]()
