欢迎大家踏入本期的《AI艺术周刊》。在这里,我们一起探索人工智能的最新进展和它如何重新定义艺术创作的边界。无论你是 AI 艺术的狂热爱好者,还是对这一领域充满好奇的新手,我们都将为你带来灵感的火花和实践中的深刻见解。让我们共同揭开 AI 艺术的神秘面纱,探索它的无限可能。* 每周我需要花费大约 8-12 小时来整理这些周刊内容。如果你喜欢我的工作,不妨在下方赠我一杯咖啡,可以令我保持思绪清晰与热情不减 🙏🌟 本期要闻:
MeshAnything V2: 艺术家创作的网格生成与相邻网格标记https://buaacyw.github.io/meshanything-v2/?ref=aiartweekly |
MeshAnything V2 几乎可以从任何事物模型转成三角面网格模型!无论是文本、图像、点云、NeRFs、还是高斯斑点,MeshAnything V2 都能处理。它通过将相邻的网格进行标记和优化,极大地提升了 3D 网格生成的效率和精度,使得复杂的创意设计变得更加简单和直观。无论你是艺术家还是设计师,这款工具都能帮助你轻松将创意变为现实
注: MeshAnything V2 示例AvatarPose:基于虚拟角色引导的紧密人群 3D 姿态预估
https://feichilu.github.io/AvatarPose/?ref=aiartweekly |
AvatarPose 可以通过视频估算人物的 3D 位置。它在多人紧密互动的场景中表现出色,采用了专门的方法来提高结果的准确性和真实感。该技术能够准确捕捉多人互动中的细微姿态,使得虚拟场景更加生动逼真注: AvatarPose 示例UniTalker:通过统一模型扩展音频驱动的 3D 面部动画https://x-niper.github.io/projects/UniTalker/?ref=aiartweekly |
UniTalker 能够从语音输入生成 3D 面部动画!与其他工具相比,它在嘴唇动作上更准确,错误更少,即使面对未见过的新数据也能表现出色。这项技术提升了面部动画的逼真度和一致性,为用户提供了更为流畅的视觉体验
注: UniTalker 示例An Object is Worth 64x64 Pixels:通过图像扩散生成 3D 对象https://omages.github.io/?ref=aiartweekly |
An Object is Worth 64x64 Pixels 能够从 64x64 像素的图像生成 3D 模型!它能够创造出形状和颜色都很真实的对象,其效果与更复杂的方法相媲美。这项技术在保持简洁的同时,提供了高质量的 3D 物体生成,适合用于各种创意和设计场景
注: An Object is Worth 64x64 Pixels 示例Head360:学习参数化 3D 全头模型用于 360° 自由视角合成https://nju-3dv.github.io/projects/Head360/?ref=aiartweekly |
Head360 能够生成一个可以从任意角度查看的参数化 3D 全头模型!它只需一张图片,就能实现快速改变面部表情和发型。这项技术为用户提供了灵活的 3D 头像展示和编辑功能,使得虚拟形象的创作和修改更加便捷注: Head360 示例RayGauss:基于体积高斯的光线投射技术,用于逼真新视角合成https://raygauss.github.io/?ref=aiartweekly |
RayGauss 利用基于高斯的光线投射技术,可以生成逼真的 3D 场景新视角!它能够快速生成高质量图像,以每秒 25 帧的速度运行,并避免了旧方法常见的图像问题。这项技术显著提升了画面的逼真度和流畅性,为 3D 场景的展示和动画提供了更优质的解决方案注: RayGauss 示例
TexGen:基于文本引导的 3D 纹理生成,采用多视角采样与重采样技术https://dong-huo.github.io/TexGen/?ref=aiartweekly |
TexGen 能够通过文本描述为对象生成高质量的 3D 纹理!它采用一种特殊的多视角技术,并结合预训练的文本到图像扩散模型,生成的纹理比其他方法更加细致和一致。这项技术提升了纹理生成的精度,为 3D 建模和设计提供了更为丰富的创作可能性注: TexGen 示例
Lumina-mGPT:利用多模态生成预训练实现灵活逼真的文本到图像生成https://github.com/Alpha-VLLM/Lumina-mGPT?ref=aiartweekly |
Lumina-mGPT 能够从文本生成逼真的图像,并处理不同的视觉和语言任务!它使用了一种特殊的 Transformer 模型,使得图像生成、分割、深度估计以及视觉问答等任务可以在多个步骤中实现。这项技术为用户提供了强大的图像生成与处理能力,使得跨模态的创作和分析更加灵活和高效注: ObjectCarver 示例
Sprite-Decompose:快速分解动画图形中的元素https://cyberagentailab.github.io/sprite-decompose/?ref=aiartweekly |
Sprite-Decompose 能够利用视频和框线轮廓,将动画图形分解为动画元素。这项技术可以有效提取动画中的独立元素,为动画制作和图形设计提供便利注: Sprite-Decompose 示例
IPAdapter-Instruct:通过指令提示解决基于图像的条件歧义https://unity-research.github.io/IP-Adapter-Instruct.github.io/?ref=aiartweekly |
IPAdapter-Instruct 能够高效结合自然图像条件与“指令”提示!它允许用户在同一图像的不同解读之间切换,例如风格转换和对象提取。这项技术为用户提供了灵活的图像操作能力,使图像处理更加多样化和精确注: IPAdapter-Instruct 示例
VAR-CLIP:基于视觉自回归建模的文本到图像生成器https://github.com/daixiangzi/VAR-CLIP?ref=aiartweekly |
VAR-CLIP 通过结合视觉自回归技术和 CLIP,生成与文本描述高度匹配的精细幻想图像!它利用文本嵌入来指导图像生成,通过在大规模图文数据集上的训练,确保生成结果的高质量。这项技术在生成符合描述的图像方面表现出色,为创意艺术和设计提供了强有力的工具注 : VAR-CLIP 示例
Smoothed Energy Guidance:通过降低注意力的能量曲率引导扩散模型https://github.com/SusungHong/SEG-SDXL?ref=aiartweekly |
Smoothed Energy Guidance(SEG)通过平滑自注意力的能量曲线,提升了 SDXL 的图像生成效果!它无需引导比例,通过调整注意力权重的查询模糊方法,提高图像质量,减少缺陷。这种技术为图像生成提供了更优质的结果,使得生成过程更加高效稳定注: SEG 示例
ProCreate:有效提升基于扩散的图像生成的多样性和创造力https://procreate-diffusion.github.io/?ref=aiartweekly |
ProCreate 在避免复制训练数据的同时,提升了基于扩散的图像生成的多样性和创造力。通过将生成的图像嵌入与参考图像区分开来,它不仅提高了样本质量,还降低了复制受版权保护内容的风险注: ProCreate 示例
TurboEdit:使用少步扩散模型的文本图像编辑https://turboedit-paper.github.io/?ref=aiartweekly |
TurboEdit 能够在仅需 3 到 4 个扩散步骤内实现快速的文本图像编辑!它通过使用偏移噪声调度和伪引导方法,提升编辑质量并保留原始图像,解决了视觉伪影和编辑效果不佳等问题。这项技术使得图像编辑更为高效和精确注: TurboEdit 示例
ReSyncer:重构样式生成器以实现统一的音视同步面部表演https://guanjz20.github.io/projects/ReSyncer/?ref=aiartweekly |
ReSyncer 能够从音频中生成高质量的对口型视频,并支持快速的个性化调整和基于视频的对口型同步。它可以传递说话风格并更换面孔,非常适合用于虚拟主持人和表演者。这项技术为虚拟角色的展示提供了灵活多样的解决方案,提升了表演的真实感和互动性注: ReSyncer 示例
⚒️ 工具与教程:
生成可供 Midjourney 使用的调色板网格,作为风格参考图像https://claude.site/artifacts/0cabdb21-0787-46cd-ab4b-aed538a91000 |
@NathanBoey 向AI询问了在办公室工作的感受,于是便有了这个短片https://x.com/NathanBoey/status/1820295313116283310?ref=aiartweekly |
在 AI 电影方面,我一向很难被打动,但 @iaveras 用他最新的AI短片《Footsie Lad》做到了。这部影片由 FLUX 和 Gen-3 图像到视频技术制作而成https://x.com/iaveras/status/1821627715365310664?ref=aiartweekly |
@carlosbannon 分享了一个例子,展示了将程序化设计的控制力和灵活性与生成式AI结合的神奇效果。这种结合为我们打开了新的创意可能性,使我们能够在复杂几何解决方案中获得即时反馈https://x.com/carlosbannon/status/1821410942187647036?ref=aiartweekly |
@graycrawford 分享了一个非常酷的概念,即探索图像变体的替代用户界面https://x.com/graycrawford/status/1820827755598184729?ref=aiartweekly |
如果你也对 Midjourney 或艺术设计感兴趣,那么欢迎加入我们的社群!在这里,我们可以一起探讨有趣的设计话题,共同探索 Midjourney 所带来的无限可能性!
注:如果你与我一样热衷于紧跟人工智能与设计的最新趋势,那么我强烈推荐你试用下我们精心打造的这款应用 — 设计原力。这款应用能够让你随时了解到最前沿的信息,让你的信息库始终保持最新状态▲ 好了,以上这些就是本节的全部内容了 ~ 如果,你也对 AI 绘画感兴趣,不妨记得关注我!我们下期见!!