欢迎大家踏入本期的《AI艺术周刊》。在这里,我们一起探索人工智能的最新进展和它如何重新定义艺术创作的边界。无论你是 AI 艺术的狂热爱好者,还是对这一领域充满好奇的新手,我们都将为你带来灵感的火花和实践中的深刻见解。让我们共同揭开 AI 艺术的神秘面纱,探索它的无限可能。* 每周我需要花费大约 8-12 小时来整理这些周刊内容。如果你喜欢我的工作,不妨在下方赠我一杯咖啡,可以令我保持思绪清晰与热情不减 🙏🌟 本期要闻:
X-Oscar: 用于生成高质量可动画化 3D 形像框架https://xmu-xiaoma666.github.io/Projects/X-Oscar/?ref=aiartweekly |
X-Oscar 能够根据文本提示生成高质量的 3D 形象,这些形象可以在 Blender 中进行动画制作和编辑
注: X-Oscar 示例GS-LRM: 3D 高斯喷涂大型重建模型
https://sai-bi.github.io/project/gs-lrm/?ref=aiartweekly |
GS-LRM 能够在单个 GPU 上仅用 0.23 秒,从 2 到 4 张姿态稀疏图像中生成高质量的 3D 高斯模型注: GS-LRM 示例https://zhanghe3z.github.io/MaPa/?ref=aiartweekly |
MaPa 技术能够为 3D 网格模型生成高品质的材料效果!它利用程序化方法分段创建材料图,不仅确保了渲染的高品质,还极大增强了材料编辑的灵活性注: MaPa 示例Invisible Stitch:通过深度补画生成平滑的 3D 场景https://research.paulengstler.com/invisible-stitch?ref=aiartweekly |
Invisible Stitch 能够在 3D 场景中补全缺失的深度信息,从而改善几何一致性并在帧与帧之间实现更平滑的过渡注: Invisible Stitch 示例DGE:通过文本提示进行 3D 对象和场景的直接高斯编辑方法https://silent-chen.github.io/DGE/?ref=aiartweekly |
DGE 利用高斯散射技术,允许用户通过简单的文本指令直接编辑 3D 对象和场景,提高了视图间的编辑一致性注: DGE 示例DreamScene4D:从单目视频生成动态多对象场景https://dreamscene4d.github.io/?ref=aiartweekly |
DreamScene4D 能够利用动态高斯喷涂技术,将多对象单目视频转化为4D场景,同时支持遮挡处理和高斯运动轨迹,虽说现在效果还比较初级不过这应该是一个好的开始注: DreamScene4D 示例
StableMoFusion:稳定高效的运动生成框架https://h-y1heng.github.io/StableMoFusion-page/?ref=aiartweekly |
StableMoFusion 是一种新的人体运动生成方法,能够消除脚部滑动现象,并创造出稳定而高效的动画。该方法基于扩散模型,适用于实时场景,比如虚拟角色和仿人机器人注: StableMoFusion 示例
StoryDiffusion:用于长范围图像和视频生成的一致性技术解决方案https://storydiffusion.github.io/?ref=aiartweekly |
StoryDiffusion 可以生成连续一致的长时间序列图像和视频。它可以将文本故事转化成视频,确保在一系列生成的画面中内容保持连贯,并实现平滑的场景过渡注: StoryDiffusion 示例
https://ssugarwh.github.io/consistentid.github.io/?ref=aiartweekly |
FlexiFilm 是另一种新型的文本转视频模型,旨在生成时长超过 30 秒的长视频。到目前为止,只发布了一个示例,但一旦应用了 ZeroScope XL 技术,这种模型的潜力将会大大增强注: FlexiFilm 示例
Tunnel Try-on:用于视频虚拟试穿的解决方案https://mengtingchen.github.io/tunnel-try-on-page/?ref=aiartweekly |
视频虚拟试穿技术正逐渐成为现实!Tunnel Try-on 技术可以在视频中精确保留服装的细节和模特的动作,同时兼容多种背景和动作类型注:Tunnel Try-on 示例
VimTS:用于增强跨领域泛化的统一视频和图像文本识别工具https://vimtextspotter.github.io/?ref=aiartweekly |
注: VimTS 示例
AniTalker:通过身份解耦的面部动作编码,制作生动多样的说话面孔动画https://x-lance.github.io/AniTalker/?ref=aiartweekly |
AniTalker 是另一种头部生成器,能够从单一肖像和输入音频中生成说话面孔动画,其动作自然流畅,结果多样化注: AniTalker 示例
SwapTalk:利用音频驱动进行一次性定制的面孔生成技术https://swaptalk.cc/?ref=aiartweekly |
SwapTalk 是一款新型的音频驱动说话面孔生成器。它能够将输入头像的面部特征转移到另一个视频上,同时确保面部动作与指定音频剪辑的唇形同步注: SwapTalk 示例
Parts2Whole:从多张参考图片中生成定制的人像https://huanngzh.github.io/Parts2Whole/?ref=aiartweekly |
Parts2Whole 能够从多张参考图片中生成定制的人像,包括姿势图片和各种人体外观特征。该方法可以根据从不同人物中选定的部分作为控制条件来生成人物图像,允许您创建具有特定组合的面部特征、发型、服装等的图像注: Parts2Whole 示例
Anywhere:一个用于可靠和多样化前景条件图像修复的多代理框架https://anywheremultiagent.github.io/?ref=aiartweekly |
Anywhere 能够将输入图像中的任何对象放置到输出图像中的任何合适且多样化的位置。非常适合产品植入注: Anywhere 示例
Pair Customization:单对图像自定义文本到图像模型https://paircustomization.github.io/?ref=aiartweekly |
Pair Customization 能够使用单一图像来定制文本到图像的模型。这样,你可以对图像应用风格变化,而不会因数据集中导致内容过度拟合注: Pair Customization 示例
MasterWeaver:可编辑和身份识别以实现个性化文本到图像生成https://masterweaver.github.io/?ref=aiartweekly |
MasterWeaver 是另一种个性化方法。它能够从单一参考图像和文本提示中,在不同的情境下生成和编辑具有多样化服装、配饰、面部特征和动作的逼真图片注: MasterWeaver 示例
An Empty Room is All We Want:室内全景自动去家具化工具https://matterport.github.io/automatic-defurnishing-of-indoor-panoramas/?ref=aiartweekly |
能够从室内全景图像中移除家具。这非常适合那些想要预览自己的住所或者正在看的公寓在去除所有杂物后的样子注: An Empty Room is All We Want 示例
https://atedm.github.io/?ref=aiartweekly |
Adobe 已经找到了一种方法,在不重新训练的情况下减少扩散模型在推理过程中的计算成本。AT-EDM 能够在保持与完整模型几乎相同的图像质量的同时,实现高达 40% 的浮点运算次数(FLOPs)减少注: AT-EDM 示例
Diffusion2GAN:将扩散模型蒸馏成条件 GANhttps://mingukkang.github.io/Diffusion2GAN/?ref=aiartweekly |
Diffusion2GAN 是一种将复杂的多步扩散模型蒸馏成单步条件 GAN 模型的方法,这大大加速了推理过程,同时保持了图像质量。这使得单步生成 512px/1024px 图像的交互速度能达到 0.09/0.16 秒,并且还能进行 4k 图像的放大注: Diffusion2GAN 示例
⚒️ 工具与教程:
@paultrillo 带来了一部令人着迷的新Sora音乐视频https://www.youtube.com/watch?v=-Nb-M1GAOX8 |
@ScottieFoxTTV 为他的孩子们设计了一个名叫 “PromptZone” 的有趣玩具https://twitter.com/ScottieFoxTTV/status/1784732243593679192?ref=aiartweekly |
如果你也对 Midjourney 或艺术设计感兴趣,那么欢迎加入我们的社群!在这里,我们可以一起探讨有趣的设计话题,共同探索 Midjourney 所带来的无限可能性!注:如果你与我一样热衷于紧跟人工智能与设计的最新趋势,那么我强烈推荐你试用下我们精心打造的这款应用 — 设计原力。这款应用能够让你随时了解到最前沿的信息,让你的信息库始终保持最新状态▲ 好了,以上这些就是本节的全部内容了 ~ 如果,你也对 AI 绘画感兴趣,不妨记得关注我!我们下期见!!