AI Art Weekly | AI 艺术周刊 #29

文摘   科技   2024-05-26 16:28   北京  

欢迎大家踏入本期的《AI艺术周刊》。在这里,我们一起探索人工智能的最新进展和它如何重新定义艺术创作的边界。无论你是 AI 艺术的狂热爱好者,还是对这一领域充满好奇的新手,我们都将为你带来灵感的火花和实践中的深刻见解。让我们共同揭开 AI 艺术的神秘面纱,探索它的无限可能。
* 每周我需要花费大约 8-12 小时来整理这些周刊内容。如果你喜欢我的工作,不妨在下方赠我一杯咖啡,可以令我保持思绪清晰与热情不减 🙏

🌟 本期要闻

MirrorGaussian:3D 高斯重建镜像反射
https://mirror-gaussian.github.io/?ref=aiartweekly

MirrorGaussian 是首个能够实时重建镜像反射的 3D 高斯点阵方法。它不仅能够在现有场景中重建镜子,还可以添加新的镜子和物体到现有场景中

注: MirrorGaussian 示例

GarmentDreamer:3D 引导的多样化几何与纹理细节服装合成

https://xuan-li.github.io/GarmentDreamerDemo/?ref=aiartweekly
GarmentDreamer 能够根据文本提示生成可穿戴的、可用于模拟的 3D 服装网格。这种方法能够生成具有多样几何和纹理细节的服装,使得创造各种不同类型的服装成为可能
注: GarmentDreamer 示例
NOVA-3D:非重叠视角的3D动漫角色重建

https://wanghongsheng01.github.io/NOVA-3D/?ref=aiartweekly

NOVA-3D 可以根据前后视角的非重叠图像生成3D动漫角色
注: NOVA-3D 示例
RemoCap:用于动作捕捉的解耦示学习

https://wanghongsheng01.github.io/RemoCap/?ref=aiartweekly

RemoCap 可以从动作序列中重建 3D 模型。它能够更准确地捕捉被遮挡的身体部位,从而减少模型的穿透和动作的变形
注: RemoCap 示例
MagicPose4D:带外观和动作控制的可动模型制作

https://boese0601.github.io/magicpose4d/?ref=aiartweekly

MagicPose4D 能够根据文本或图像生成 3D 对象,并将视频或网格序列中的物体和角色的精准动作和轨迹转移到生成的 3D 模型上
注: MagicPose4D 示例
Semantic Gesticulator:语义感知的同步手势生成

https://pku-mocca.github.io/Semantic-Gesticulator-Page/?ref=aiartweekly

Semantic Gesticulator 可以生成与讲话同步的真实手势,这些手势在语义上高度对应,有助于更有效的沟通

注: Semantic Gesticulator 示例

CondMDI:灵活的扩散模型运动插值方案

https://setarehc.github.io/CondMDI/?ref=aiartweekly

CondMDI 可以生成符合用户指定空间约束和文本描述的精确且多样的运动。这使得仅通过文本提示和关键帧插补就能创建高质量的动画

注: CondMDI 示例

SignLLM:手语生成大语言模型

https://signllm.github.io/?ref=aiartweekly

SignLLM 是首个多语言手语生成(SLP)模型。它可以根据输入的文本或提示生成手语手势,并在八种手语生成任务中达到最先进的性能

注: SignLLM 示例

SynCHMR:视频中的全局空间相机和人体重建

https://paulchhuang.github.io/synchmr/?ref=aiartweekly

SynCHMR 能够从视频中重建相机轨迹、人体动作和场景,并统一到一个全局坐标系中

注: SynCHMR 示例

Face Adapter:用于预训练扩散模型的精细化身份和属性控制

https://faceadapter.github.io/face-adapter.github.io/?ref=aiartweekly

Face Adapter 是一种新的换脸方法,可以生成面部细节,并在身份、姿势和表情等属性上进行精细化控制,处理面部形状的变化

注:Face Adapter 示例

Images that Sound:在单一画布上创作图像和声音

https://ificl.github.io/images-that-sound/?ref=aiartweekly

Images that Sound 可以生成既像图像又能作为声音播放的频谱图

注: Images that Sound 示例

DMD2:改进的分布匹配蒸馏用于快速图像生成

https://tianweiy.github.io/dmd2/?ref=aiartweekly

DMD2 是一种新的改进蒸馏方法,能够将扩散模型转化为高效的一步图像生成器

注: DMD2 示例

InstaDrag:快速精准的拖拽图像进行编辑

https://instadrag.github.io/?ref=aiartweekly

InstaDrag 可以在一秒钟内完成拖拽式图像编辑。该方法通过视频训练,能够进行训练数据中未呈现的局部形状变形,如拉长头发或扭曲彩虹

注: InstaDrag 示例

EditWorld:基于指令模拟世界动态进行图像编辑

https://github.com/YangLing0818/EditWorld?ref=aiartweekly

EditWorld 可以模拟世界动态,并根据各种场景中的指令进行图像编辑。该方法能够在图像中添加、替换、删除和移动对象,以及更改对象属性和执行其他操作

注: EditWorld 示例

RectifID:通过锚定分类器引导的个性化矫正

https://github.com/feifeiobama/RectifID?ref=aiartweekly

RectifID 是一种个性化方法,利用用户提供的参考图像(包括人脸、现场人物和特定物体)为扩散模型进行个性化处理

注: RectifID 示例

FIFO-Diffusion:无需训练生成无限视频

https://jjihwan.github.io/projects/FIFO-Diffusion?ref=aiartweekly

无限长的 AI 视频即将到来!FIFO-Diffusion 是一种新的推理方法,适用于现有的文本生成视频模型,如 VideoCrafter2、Open-Sora-Plan 和 ZeroScope,使得无需额外训练即可生成无限长的视频成为可能

注: FIFO-Diffusion 示例

ReVideo:具备运动和内容控制的视频重制技术

https://mc-e.github.io/project/ReVideo/?ref=aiartweekly

ReVideo 可以在保持运动不变的情况下更改特定区域的内容,自定义新的运动轨迹,或同时修改内容和运动轨迹

注: ReVideo 示例

Slicedit:使用时空切片进行零样本视频编辑

https://matankleiner.github.io/slicedit/?ref=aiartweekly

Slicedit 可以通过简单的文本提示编辑视频,在遵循目标文本的同时保留原视频的结构和运动

注: Slicedit 示例

ViViD:使用扩散模型进行视频虚拟试衣

https://becauseimbatman0.github.io/ViViD?ref=aiartweekly

ViViD 可以将衣物转移到目标人物的视频上。该方法能够捕捉服装细节和人体姿势,生成更连贯且逼真的视频效果

注: ViViD 示例

MotionCraft:零样本视频生成

https://mezzelfo.github.io/MotionCraft/?ref=aiartweekly

MotionCraft 可以基于物理原理为单张图像制作动画,生成从首帧起更连贯的视频。该方法能够模拟不同的物理现象,如流体动力学、刚体运动和多主体系统,并且可以与动画软件结合生成所需的光流

注: MotionCraft 示例

Generative Camera Dolly:生成式摄像机技术

https://gcd.cs.columbia.edu/?ref=aiartweekly

Generative Camera Dolly 可以从任意选择的视角重新生成视频。虽然目前还处于早期阶段,但可以想象,录制完成后能够更改视频中的任何镜头或角度是件多么酷的事情

注: Generative Camera Dolly 示例

MOFT:运动特征解释器

https://xizaoqu.github.io/moft/?ref=aiartweekly

MOFT 是一种无需训练的视频运动解释器和控制器。它可以从视频扩散模型中提取运动信息,并指导生成视频的运动,而无需重新训练

注: MOFT 示例

📰 其它动态
  • MetaEarth:

    一种用于生成全球范围遥感图像的生成式基础模型


    https://jiupinjia.github.io/metaearth/?ref=aiartweekly

  • DoGaussian:

    一种面向分布的高斯点阵方法


    https://aibluefisher.github.io/DoGaussian/?ref=aiartweekly

  • MOSS:

    基于运动的单目视频 3D 穿衣合成技术


    https://wanghongsheng01.github.io/MOSS/?ref=aiartweekly


⚒️ 工具与教程:

AI 游戏指南
@skirano 使用 Gemini 1.5 Flash 构建了自己的全能助手,帮助他通关《超级马里奥》
https://x.com/skirano/status/1792948429754151293?ref=aiartweekly

As an AI Language Model (I Can't Do That)
这可能是我听过的最酷的 AI 歌曲之一
https://www.udio.com/songs/iu1381RxvjfzWznGHeVecV?ref=aiartweekly

如何将自己放进 AI 生成的图片中
@0xFramer 通过拍摄自己合适角度的照片,去除背景,再用MJ生成画面,最后使用 DomoAI 进行风格迁移
https://x.com/0xFramer/status/1792204452793139552?ref=aiartweekly

海洋数字艺术作品
@ErwannMillon 使用 IP Adapter、ControlNet 和 AnimateDiff 将 Hans Haacke 的《Blue Sail》变成了海洋
https://x.com/ErwannMillon/status/1793901147994132635?ref=aiartweekly

利用 AnimateDiff 和 Inpainting 进行艺术创作
@ALotkov86199 使用 AnimateDiff 和一些 Stable Diffusion 的补图技术制作了这个很酷的 AI 视频
https://x.com/ALotkov86199/status/1793027366807015513?ref=aiartweekly

如果你也对 Midjourney 或艺术设计感兴趣,那么欢迎加入我们的社群!在这里,我们可以一起探讨有趣的设计话题,共同探索 Midjourney 所带来的无限可能性!

注:如果你与我一样热衷于紧跟人工智能与设计的最新趋势,那么我强烈推荐你试用下我们精心打造的这款应用 — 设计原力。这款应用能够让你随时了解到最前沿的信息,让你的信息库始终保持最新状态
▲ 好了,以上这些就是本节的全部内容了 ~ 如果,你也对 AI 绘画感兴趣,不妨记得关注我!我们下期见!!

设计师的自我修行
创意— 并非要让人惊奇它崭新的形式和素材, 而是应让人惊异它源自最平凡的生活。
 最新文章