AI Art Weekly | AI 艺术周刊 #10
文摘
科技
2024-01-08 06:30
北京
![]()
欢迎大家踏入本期的《AI艺术周刊》。在这里，我们一起探索人工智能的最新进展和它如何重新定义艺术创作的边界。无论你是 AI 艺术的狂热爱好者，还是对这一领域充满好奇的新手，我们都将为你带来灵感的火花和实践中的深刻见解。让我们共同揭开 AI 艺术的神秘面纱，探索它的无限可能。* 每周我需要花费大约 8-12 小时来整理这些周刊内容。如果你喜欢我的工作，不妨在下方赠我一杯咖啡，可以令我保持思绪清晰与热情不减 🙏🌟 本期要闻：
MoonShot：多模态条件下的可控视频生成与编辑https://showlab.github.io/Moonshot/?ref=aiartweekly |
MoonShot 是一个新型的视频生成模型，能够同时依据图像和文本输入进行调整。该模型还能整合预先训练好的图像 ControlNet 模块，用于几何视觉条件，使其能够生成具有特定视觉外观和结构的视频。通过这种方式，MoonShot 不仅提升了视频生成的多样性和精确性，也为创造具有特定视觉效果的视频开辟了新的可能性。![]()
注: MoonShot 示例
VideoDrafter：基于 LLM 的内容一致性多场景视频生成框架| https://videodrafter.github.io/?ref=aiartweekly |
一个全新的多场景视频生成框架，旨在创造内容一致的视频体验。它巧妙地将文本提示转化为详尽的多场景脚本，为每个场景精心制作参考图像，并逐一输出精致的视频剪辑。VideoDrafter 的独特之处在于其强调内容的连贯性与整体性，同时极大地丰富了视频创作的灵活性和创意潜力。它为编织复杂而多样的视频故事提供了一个简易而有效的途径，让创意和效率并行不悖。
![]()
注: VideoDrafter 示例SINGeRF: 神经辐射场的场景集成生成技术
| https://signerf.jdihlmann.com/?ref=aiartweekly |
该技术能够将新对象生成到现有的 NeRF 场景中，或通过代理对象放置或形状选择等方式，以可控的方法编辑场景内的现有对象。这种方式为三维场景构建和编辑提供了一种灵活而高效的解决方案，极大地增强了场景设计的动态性和可定制性。![]()
注: SINGeRF 示例Spacetime Gaussian Feature Splatting：实时动态视图合成技术| https://oppo-us-research.github.io/SpacetimeGaussians-website/?ref=aiartweekly |
一种新颖的动态场景表征技术，能够捕捉场景中的静态、动态以及瞬态内容，并能在 RTX 4090 上以 8K 分辨率和 60 FPS 的性能渲染它们。这种方法不仅提高了场景表现的丰富性和细腻度，还实现了高质量的实时渲染能力，为动态场景的可视化和分析提供了一个强大而高效的工具。![]()
注: Spacetime Gaussian Feature Splatting 示例DreamGaussian4D：生成式 4D 高斯分布| https://jiawei-ren.github.io/projects/dreamgaussian4d/?ref=aiartweekly |
该方法能够从单一图像生成动态的 3D 网格模型。这种方法能为同一静态模型生成多样的动作，并且相比其他几小时的方法，它只需 4.5 分钟即可完成。这不仅大大加快了动态 3D 模型的生成速度，还提供了更丰富多变的动作表现，为 3D 动画和模型生成领域带来了突破性的进步。![]()
注: DreamGaussian4D 示例Make-A-Character: 短时间内实现的高质量文本到 3D 角色生成| https://human3daigc.github.io/MACH/?ref=aiartweekly |
能够根据文本描述创建栩栩如生的 3D 头像。该系统能在 2 分钟内生成具有详细面部特征、头发和服装的完整 3D 角色。这些角色高度逼真且可动画化，使它们可立即应用于各种场景中。这一技术不仅显著提高了 3D 角色创造的速度和质量，还为虚拟现实、游戏开发和数字娱乐等领域提供了即插即用的高度逼真角色。![]()
注: Make-A-Character 示例En3D: 从文本或 2D 图像生成 3D 人类的增强生成模型| https://menyifang.github.io/projects/En3D/index.html?ref=aiartweekly |
En3D 是另一种从文本或 2D 图像生成 3D 人类的方法。这种方法经过数百万合成 2D 图像的训练，能够生成视觉上逼真的 3D 人形，这些人形可以无缝地进行骨骼绑定和动画制作。En3D不仅提升了生成 3D 人类的真实感和细节质量，还为其在动画制作和虚拟现实等领域的应用打开了新的可能性。![]()
注: En3D 示例| https://kyleleey.github.io/3DFauna/?ref=aiartweekly |
将单张四足动物图像前馈转化为可动画、带纹理的 3D 模型，为动画制作和渲染做好即时准备。这一技术显著简化 3D 模型的制作流程，并确保了所生成模型的逼真度和动态性，为动画创作和数字内容开发提供了一个既迅速又高效的新途径。![]()
注: 3D-Fauna 示例Personalized Restoration：通过双轴调整实现个性化修复技术| https://personalized-restoration.github.io/?ref=aiartweekly |
个性化修复技术代表了图像恢复领域的一大进步，它不仅能精准修复面部退化图像，同时精心保留了个人的独特身份特征。这项技术巧妙结合参考图像，确保人物面貌的真实呈现，并利用文本提示对修复后的图像进行细致编辑，无缝实现眼睛颜色变更、面部表情调整等个性化美化。其出色的图像修复质量与广泛的自定义能力，使个性化调整变得既直观又便捷，大幅提升了用户体验。![]()
注: Personalized Restoration 示例Auffusion：利用扩散大语言模型进行文本到音频生成| https://auffusion.github.io/?ref=aiartweekly |
该方案能够从自然语言提示中生成音频。该模型能够控制音频的各种方面，如声学环境、材质、音调和时间顺序。它还可以基于标签生成音频，或与大型语言模型（LLM）结合，生成描述性的音频提示。这种技术不仅提升了音频生成的多样性和灵活性，也为创造具有丰富层次和定制特征的音频内容打开了新的可能性。![]()
注: Auffusion 示例📰 其它动态：
TF-T2V：
无文本视频生成方法
| https://tf-t2v.github.io/?ref=aiartweekly |
Image Sculpting:
使用三维方式进行精确对象编辑
| https://image-sculpting.github.io/?ref=aiartweekly |
ZeroShape：
基于回归的零样本重建方案
| https://zixuanh.com/projects/zeroshape.html?ref=aiartweekly |
如果你也对 Midjourney 或艺术设计感兴趣，那么欢迎加入我们的社群！在这里，我们可以一起探讨有趣的设计话题，共同探索 Midjourney 所带来的无限可能性！![]()
![]()
注：如果你与我一样热衷于紧跟人工智能与设计的最新趋势，那么我强烈推荐你试用下我们精心打造的这款应用 — 设计原力。这款应用能够让你随时了解到最前沿的信息，让你的信息库始终保持最新状态▲ 好了，以上这些就是本节的全部内容了 ～ 如果，你也对 AI 绘画感兴趣，不妨记得关注我！我们下期见！！
![]()
