![]()
欢迎大家踏入本期的《AI艺术周刊》。在这里，我们一起探索人工智能的最新进展和它如何重新定义艺术创作的边界。无论你是 AI 艺术的狂热爱好者，还是对这一领域充满好奇的新手，我们都将为你带来灵感的火花和实践中的深刻见解。让我们共同揭开 AI 艺术的神秘面纱，探索它的无限可能。* 每周我需要花费大约 8-12 小时来整理这些周刊内容。如果你喜欢我的工作，不妨在下方赠我一杯咖啡，可以令我保持思绪清晰与热情不减 🙏🌟 本期要闻：
| https://sarahweiii.github.io/meshlrm/?ref=aiartweekly |
Adobe 升级了他们的 LRM 模型，现在支持高质量的网格重建。这个新模型被称为 MeshLRM，需要四张输入图片，能够在不到一秒的时间内生成网格。它还支持文本到 3D 和单图像到 3D 的生成
![]()
注: MeshLRM 示例Video2Game：从单个视频创建实时、交互式、真实感强且兼容浏览器的游戏环境
| https://video2game.github.io/?ref=aiartweekly |
Video2Game 能够自动将现实世界场景的视频转换成逼真且互动的游戏环境。并且你可以在这里进行试玩演示该游戏（https://video2game.github.io/src/garden/index.html?ref=aiartweekly）![]()
注: Video2Game 示例LoopGaussian：通过 Eulerian Motion Field 利用多视图图像创建 3D 动态图https://pokerlishao.github.io/LoopGaussian/?ref=aiartweekly |
LoopGaussian 可以将静止场景的多视图图像转换成真实的 3D 动态图。这些 3D 动态图可以从新的视角进行渲染，生成自然流畅、可无缝循环的视频![]()
注: LoopGaussian 示例StyleCity：通过渐进优化用视觉和文本参考对大规模 3D 城市场景进行风格化https://www.chenyingshu.com/stylecity3d/?ref=aiartweekly |
StyleCity 能够在语义感知的方式下对大规模城市场景的 3D 纹理网格进行风格化，并生成和谐的全方位天空背景![]()
注: StyleCity 示例RefFusion：用于 3D 场景修复的参考适应扩散模型https://reffusion.github.io/?ref=aiartweekly |
RefFusion 是一种 3D 场景修复方法，能够将物体插入到场景中，并进行外绘以完成场景的完整性![]()
注: RefFusion 示例InFusion：通过从扩散学习完成对 3D 高斯点云进行修复https://johanan528.github.io/Infusion/?ref=aiartweekly |
InFusion 可以将 3D 高斯点云和网格修复到场景中。这可以用于纹理编辑、物体插入和通过编辑单一图像来完成物体注: InFusion 示例
https://chaoyuesong.github.io/REACTO/?ref=aiartweekly |
REACTO 能够通过捕捉单个视频中物体的运动和形状（包括灵活的形变），重建出可动关节的 3D 物体![]()
注: REACTO 示例
https://www.liuisabella.com/DG-Mesh/?ref=aiartweekly |
DG-Mesh 能够从单个视频重建高质量且时间上一致的 3D 网格。该方法还能够随时间跟踪网格顶点，这使得用户可以在动态物体上进行纹理编辑![]()
注: DG-Mesh 示例
https://pabloruizponce.github.io/in2IN/?ref=aiartweekly |
in2IN 是一个动作生成模型，它综合考虑了整体互动的文本描述和每个参与者的个别行为描述。这增强了动作的多样性，并使得对每个人的行为有更好的控制，同时保持了互动的连贯性![]()
注: in2IN 示例
https://research.nvidia.com/labs/toronto-ai/tesmo/?ref=aiartweekly |
TeSMo 是一种文本控制的场景感知动作生成方法，能够在不同场景中生成真实多样的人与物体互动，如导航和坐姿，这些场景包括不同的物体形状、方向、初始身体位置和姿势![]()
注: TeSMo 示例
Adobe Premiere Pro 中的生成式人工智能https://blog.adobe.com/en/publish/2024/04/15/bringing-gen-ai-to-video-editing-workflows-adobe-premiere-pro?ref=aiartweekly |
Adobe 将生成式 AI 技术引 入 Adobe Premiere Pro，将为视频编辑套件带来画面扩展、视频修复和生成式 B 卷轴功能。此外，还有消息称，像 OpenAI 的 Sora 和 Pika 这样的视频模型也将可在 Premiere Pro 中使用![]()
注: Adobe Premiere Pro 示例
https://videogigagan.github.io/?ref=aiartweekly |
这条新闻依旧来自于 Adobe，他们最新推出的 VideoGigaGAN 视频放大模型，能将视频最高放大 8 倍，同时显著增强视频细节。其效果令人赞叹！![]()
注: VideoGigaGAN 示例
https://www.microsoft.com/en-us/research/project/vasa-1/?ref=aiartweekly |
本周，Microsoft 发布的 VASA-1 让整个互联网为之一振。这是一个仿真头像模型，能够根据音频输入实时生成逼真的说话面部。迄今为止，我们见过的最佳表现！![]()
注: VASA-1 示例
Ctrl-Adapter：一种高效多功能的框架，用于将多样化控制适配到任何扩散模型https://ctrl-adapter.github.io/?ref=aiartweekly |
Ctrl-Adapter 是一个新框架，可以用于为任何图像或视频扩散模型添加多样化的控制功能，支持诸如使用稀疏帧进行视频控制、多条件控制和视频编辑等功能![]()
注: Ctrl-Adapter 示例
https://www.robots.ox.ac.uk/~vgg/research/flowsam/?ref=aiartweekly |
FlowSAM 是一种新的视频物体分割方法，它结合了SAM（空间注意力模型）的功能和光流技术。这个模型能够在视频中发现并分割运动物体，并在单物体和多物体的基准测试中大幅超越以往所有方法![]()
注: FlowSAM 示例
Stable Diffusion 3： API 已上线https://platform.stability.ai/docs/api-reference?ref=aiartweekly#tag/Generate/paths/~1v2beta~1stable-image~1generate~1sd3/post |
Stable Diffusion 3 及其 Turbo 版本的 API 目前已在 Stability AI 开发者平台上正式发布。但遗憾的是，可能之后将不再开源～![]()
注: Stable Diffusion 3 API 海报
Magic Clothing：可控制的服装图像合成技术https://github.com/ShineChen1024/MagicClothing?tab=readme-ov-file&ref=aiartweekly |
Magic Clothing 能够根据多样的文本提示，生成穿着特定服装的定制角色图像。该技术在生成过程中不仅精确保留了服装的细节，还确保了与文本提示的高度匹配![]()
注: Magic Clothing 示例
Mixture-of-Attention：用于个性化图像生成中的主题与环境分离https://snap-research.github.io/mixture-of-attention/?ref=aiartweekly |
MoA 是一个全新的文本到图像个性化转换架构。它支持在图像中更换主题、在不同主题间进行形态变换，以及实现具有姿势控制的个性化图像生成![]()
注: MoA 示例
https://ali-vilab.github.io/stylebooth-page/?ref=aiartweekly |
StyleBooth 是一种统一的风格编辑方法，支持基于文本、示例和组合的风格编辑。基本上，你可以拿一张图片，通过提供一个文本提示或一个示例图片来改变它的风格![]()
注: StyleBooth 示例
https://kangliao929.github.io/projects/mowa/?ref=aiartweekly |
MOWA 是一个多功能一体化的图像扭曲模型，可用于多种任务，如矫正全景图像、展开卷帘快门图像、旋转图像、鱼眼图像处理和图像重定向等![]()
注: MOWA 示例
IntrinsicAnything：在未知光照条件下学习扩散先验以进行逆向渲染https://zju3dv.github.io/IntrinsicAnything/?ref=aiartweekly |
IntrinsicAnything 能够从任何图像中恢复物体材质，并实现单视角图像的重新照明![]()
注: IntrinsicAnything 示例
CustomDiffusion360：提供摄像机视点控制的文本到图像扩散模型https://customdiffusion360.github.io/?ref=aiartweekly |
CustomDiffusion360 为文本到图像的转换模型添加了摄像机视点控制功能。需要注意的是，此功能需要依赖一个包含每个物体约50张图片的360度多视角数据集才能有效运行![]()
注: CustomDiffusion360 示例
AniClipart：利用文本到视频的先验知识进行剪贴画动画制作https://aniclipart.github.io/?ref=aiartweekly |
AniClipart 能够将静态剪贴画图片转换为高质量的动画。该方法通过在剪贴画图像的关键点上定义贝塞尔曲线作为运动规范化的形式，能够生成标志性且流畅的动作![]()
注: AniClipart 示例
PhyScene：
AI 物理相互作用的 3D 场景合成
https://physcene.github.io/?ref=aiartweekly |
⚒️ 工具与教程:
@diveshnaidoo 分享了他正在开发的视觉特效应用程序中的一段精彩片段。你能分辨出视频中桌子上的哪些物体是真实的，哪些是用 Simulon 添加的吗？| https://twitter.com/diveshnaidoo/status/1780643955463331969?ref=aiartweekly |
![]()
@deforum_art 正在开发一个音频同步模块。看起来它来得很顺利！| https://twitter.com/deforum_art/status/1779923897674297520?ref=aiartweekly |
![]()
| https://huggingface.co/spaces/fffiloni/magic-card-generator?ref=aiartweekly |
![]()
允许用户将任何头像按照 LoRA 的风格进行风格化处理| https://huggingface.co/spaces/multimodalart/face-to-all?ref=aiartweekly |
![]()
InstantStyle + SDXL Lightning| https://huggingface.co/spaces/radames/InstantStyle-SDXL-Lightning?ref=aiartweekly |
![]()
如果你也对 Midjourney 或艺术设计感兴趣，那么欢迎加入我们的社群！在这里，我们可以一起探讨有趣的设计话题，共同探索 Midjourney 所带来的无限可能性！![]()
![]()
注：如果你与我一样热衷于紧跟人工智能与设计的最新趋势，那么我强烈推荐你试用下我们精心打造的这款应用 — 设计原力。这款应用能够让你随时了解到最前沿的信息，让你的信息库始终保持最新状态▲ 好了，以上这些就是本节的全部内容了 ～ 如果，你也对 AI 绘画感兴趣，不妨记得关注我！我们下期见！！
![]()
