AI Art Weekly | AI 艺术周刊 #26

文摘   科技   2024-05-13 05:28   北京  

欢迎大家踏入本期的《AI艺术周刊》。在这里,我们一起探索人工智能的最新进展和它如何重新定义艺术创作的边界。无论你是 AI 艺术的狂热爱好者,还是对这一领域充满好奇的新手,我们都将为你带来灵感的火花和实践中的深刻见解。让我们共同揭开 AI 艺术的神秘面纱,探索它的无限可能。
* 每周我需要花费大约 8-12 小时来整理这些周刊内容。如果你喜欢我的工作,不妨在下方赠我一杯咖啡,可以令我保持思绪清晰与热情不减 🙏

🌟 本期要闻

X-Oscar: 用于生成高质量可动画化 3D 形像框架
https://xmu-xiaoma666.github.io/Projects/X-Oscar/?ref=aiartweekly

X-Oscar 能够根据文本提示生成高质量的 3D 形象,这些形象可以在 Blender 中进行动画制作和编辑

注: X-Oscar 示例

GS-LRM: 3D 高斯喷涂大型重建模型

https://sai-bi.github.io/project/gs-lrm/?ref=aiartweekly
GS-LRM 能够在单个 GPU 上仅用 0.23 秒,从 2 到 4 张姿态稀疏图像中生成高质量的 3D 高斯模型
注: GS-LRM 示例
MaPa:基于文本的 3D 真实材质绘制技术

https://zhanghe3z.github.io/MaPa/?ref=aiartweekly

MaPa 技术能够为 3D 网格模型生成高品质的材料效果!它利用程序化方法分段创建材料图,不仅确保了渲染的高品质,还极大增强了材料编辑的灵活性
注: MaPa 示例
Invisible Stitch:通过深度补画生成平滑的 3D 场景

https://research.paulengstler.com/invisible-stitch?ref=aiartweekly

Invisible Stitch 能够在 3D 场景中补全缺失的深度信息,从而改善几何一致性并在帧与帧之间实现更平滑的过渡
注: Invisible Stitch 示例
DGE:通过文本提示进行 3D 对象和场景的直接高斯编辑方法

https://silent-chen.github.io/DGE/?ref=aiartweekly

DGE 利用高斯散射技术,允许用户通过简单的文本指令直接编辑 3D 对象和场景,提高了视图间的编辑一致性
注: DGE 示例
DreamScene4D:从单目视频生成动态多对象场景

https://dreamscene4d.github.io/?ref=aiartweekly

DreamScene4D 能够利用动态高斯喷涂技术,将多对象单目视频转化为4D场景,同时支持遮挡处理和高斯运动轨迹,虽说现在效果还比较初级不过这应该是一个好的开始

注: DreamScene4D 示例

StableMoFusion:稳定高效的运动生成框架

https://h-y1heng.github.io/StableMoFusion-page/?ref=aiartweekly

StableMoFusion 是一种新的人体运动生成方法,能够消除脚部滑动现象,并创造出稳定而高效的动画。该方法基于扩散模型,适用于实时场景,比如虚拟角色和仿人机器人

注: StableMoFusion 示例

StoryDiffusion:用于长范围图像和视频生成的一致性技术解决方案

https://storydiffusion.github.io/?ref=aiartweekly

StoryDiffusion 可以生成连续一致的长时间序列图像和视频。它可以将文本故事转化成视频,确保在一系列生成的画面中内容保持连贯,并实现平滑的场景过渡

注: StoryDiffusion 示例

FlexiFilm:具有灵活条件的长视频生成方案

https://ssugarwh.github.io/consistentid.github.io/?ref=aiartweekly

FlexiFilm 是另一种新型的文本转视频模型,旨在生成时长超过 30 秒的长视频。到目前为止,只发布了一个示例,但一旦应用了 ZeroScope XL 技术,这种模型的潜力将会大大增强

注: FlexiFilm 示例

Tunnel Try-on:用于视频虚拟试穿的解决方案

https://mengtingchen.github.io/tunnel-try-on-page/?ref=aiartweekly

视频虚拟试穿技术正逐渐成为现实!Tunnel Try-on 技术可以在视频中精确保留服装的细节和模特的动作,同时兼容多种背景和动作类型

注:Tunnel Try-on 示例

VimTS:用于增强跨领域泛化的统一视频和图像文本识别工具

https://vimtextspotter.github.io/?ref=aiartweekly

VimTS 能够从图像或视频序列中提取文本信息

注: VimTS 示例

AniTalker:通过身份解耦的面部动作编码,制作生动多样的说话面孔动画

https://x-lance.github.io/AniTalker/?ref=aiartweekly

AniTalker 是另一种头部生成器,能够从单一肖像和输入音频中生成说话面孔动画,其动作自然流畅,结果多样化

注: AniTalker 示例

SwapTalk:利用音频驱动进行一次性定制的面孔生成技术

https://swaptalk.cc/?ref=aiartweekly

SwapTalk 是一款新型的音频驱动说话面孔生成器。它能够将输入头像的面部特征转移到另一个视频上,同时确保面部动作与指定音频剪辑的唇形同步

注: SwapTalk 示例

Parts2Whole:从多张参考图片中生成定制的人像

https://huanngzh.github.io/Parts2Whole/?ref=aiartweekly

Parts2Whole 能够从多张参考图片中生成定制的人像,包括姿势图片和各种人体外观特征。该方法可以根据从不同人物中选定的部分作为控制条件来生成人物图像,允许您创建具有特定组合的面部特征、发型、服装等的图像

注: Parts2Whole 示例

Anywhere:一个用于可靠和多样化前景条件图像修复的多代理框架

https://anywheremultiagent.github.io/?ref=aiartweekly

Anywhere 能够将输入图像中的任何对象放置到输出图像中的任何合适且多样化的位置。非常适合产品植入

注: Anywhere 示例

Pair Customization:单对图像自定义文本到图像模型

https://paircustomization.github.io/?ref=aiartweekly

Pair Customization 能够使用单一图像来定制文本到图像的模型。这样,你可以对图像应用风格变化,而不会因数据集中导致内容过度拟合

注: Pair Customization 示例

MasterWeaver:可编辑和身份识别以实现个性化文本到图像生成

https://masterweaver.github.io/?ref=aiartweekly

MasterWeaver 是另一种个性化方法。它能够从单一参考图像和文本提示中,在不同的情境下生成和编辑具有多样化服装、配饰、面部特征和动作的逼真图片

注: MasterWeaver 示例

An Empty Room is All We Want:室内全景自动去家具化工具

https://matterport.github.io/automatic-defurnishing-of-indoor-panoramas/?ref=aiartweekly

能够从室内全景图像中移除家具。这非常适合那些想要预览自己的住所或者正在看的公寓在去除所有杂物后的样子

注: An Empty Room is All We Want 示例

AT-EDM:无需训练的扩散模型效率增强方案

https://atedm.github.io/?ref=aiartweekly

Adobe 已经找到了一种方法,在不重新训练的情况下减少扩散模型在推理过程中的计算成本。AT-EDM 能够在保持与完整模型几乎相同的图像质量的同时,实现高达 40% 的浮点运算次数(FLOPs)减少

注: AT-EDM 示例

Diffusion2GAN:将扩散模型蒸馏成条件 GAN

https://mingukkang.github.io/Diffusion2GAN/?ref=aiartweekly

Diffusion2GAN 是一种将复杂的多步扩散模型蒸馏成单步条件 GAN 模型的方法,这大大加速了推理过程,同时保持了图像质量。这使得单步生成 512px/1024px 图像的交互速度能达到 0.09/0.16 秒,并且还能进行 4k 图像的放大

注: Diffusion2GAN 示例

📰 其它动态
  • Motion Patches:

    在 3D 人体运动与语言模型中的应用,特别是如何利用运动补丁来增强模型的性能和理解能力


    https://yu1ut.com/MotionPatches-HP/?ref=aiartweekly

  • SwapTalk:

    一种利用音频信号来生成说话面孔的技术,它可以通过一次性定制在潜在空间中调整和生成个性化的说话面孔动画


    https://swaptalk.cc/?ref=aiartweekly

    ⚒️ 工具与教程:

    《The Hardest Part》
    @paultrillo 带来了一部令人着迷的新Sora音乐视频
    https://www.youtube.com/watch?v=-Nb-M1GAOX8
    PromptZone
    @ScottieFoxTTV 为他的孩子们设计了一个名叫 “PromptZone” 的有趣玩具
    https://twitter.com/ScottieFoxTTV/status/1784732243593679192?ref=aiartweekly

    如果你也对 Midjourney 或艺术设计感兴趣,那么欢迎加入我们的社群!在这里,我们可以一起探讨有趣的设计话题,共同探索 Midjourney 所带来的无限可能性!

    注:如果你与我一样热衷于紧跟人工智能与设计的最新趋势,那么我强烈推荐你试用下我们精心打造的这款应用 — 设计原力。这款应用能够让你随时了解到最前沿的信息,让你的信息库始终保持最新状态
    ▲ 好了,以上这些就是本节的全部内容了 ~ 如果,你也对 AI 绘画感兴趣,不妨记得关注我!我们下期见!!

    设计师的自我修行
    创意— 并非要让人惊奇它崭新的形式和素材, 而是应让人惊异它源自最平凡的生活。
     最新文章