欢迎大家踏入本期的《AI艺术周刊》。在这里,我们一起探索人工智能的最新进展和它如何重新定义艺术创作的边界。无论你是 AI 艺术的狂热爱好者,还是对这一领域充满好奇的新手,我们都将为你带来灵感的火花和实践中的深刻见解。让我们共同揭开 AI 艺术的神秘面纱,探索它的无限可能。* 每周我需要花费大约 8-12 小时来整理这些周刊内容。如果你喜欢我的工作,不妨在下方赠我一杯咖啡,可以令我保持思绪清晰与热情不减 🙏🌟 本期要闻:
https://evahuman.github.io/?ref=aiartweekly |
EVA 能够从单一 RGB 视频中生成具有丰富手部和面部表情动画的精细人类头像
注: EVA 示例
Meta 3D AssetGen:高质量几何、纹理和 PBR 材料的文本到网格生成
https://assetgen.github.io/?ref=aiartweekly |
Meta 3D AssetGen 能够根据文本或图像生成高质量的网格,并支持纹理和材料的控制注: Meta 3D AssetGen 示例HouseCrafter:使用 2D 扩散模型将平面图转化为 3D 场景https://neu-vi.github.io/houseCrafter/?ref=aiartweekly |
HouseCrafter 能够快速将平面图转换成完整的 3D 室内场景注: HouseCrafter 示例https://migcproject.github.io/?ref=aiartweekly |
MIGC++ 是一款即插即用的控制器,它能够实现稳定扩散,并精确控制图像中各元素的位置,同时确保颜色、形状、材料、纹理和风格等属性的正确性。它还可以控制实例的数量,并改善实例之间的交互注: MIGC++ 示例https://styleshot.github.io/?ref=aiartweekly |
StyleShot 可以从图像中模仿并转移各种风格,例如3D、平面、抽象甚至是细致入微的风格,而无需进行任何调整注: StyleShot 示例https://magicinsert.github.io/?ref=aiartweekly |
Magic Insert 能够将一个图像中的对象拖放到另一个图像中,并匹配目标图像的风格注: Magic Insert 示例
LLM4GEN:利用LLM的语义表示进行文本到图像生成https://xiaobul.github.io/LLM4GEN/?ref=aiartweekly |
LLM4GEN 通过利用大语言模型(LLM)的语义表示,增强了文本到图像扩散模型的语义理解能力。这意味着它可以处理更复杂和密集的提示,包括多对象、属性绑定和长描述注: LLM4GEN 示例
LivePortrait:高效肖像动画生成与定向控制https://liveportrait.github.io/?ref=aiartweekly |
LivePortrait 能够将驱动视频中的动作应用于单一源图像,生成动画。这一方法可以以 60 帧每秒的速度生成高质量视频,并能够将动作重定向到其他角色注: LivePortrait 示例
DiffIR2VR-Zero:基于扩散模型的零样本视频修复技术https://jimmycv07.github.io/DiffIR2VR_web/?ref=aiartweekly |
DiffIR2VR-Zero 是一种零样本视频修复方法,可以与任何 2D 图像修复扩散模型一起使用。该方法能够实现 8 倍超分辨率和高标准差视频去噪注: DiffIR2VR-Zero 示例
DIRECTOR:具有人物感知的文本到摄像机轨迹生成技术https://www.lix.polytechnique.fr/vista/projects/2024_et_courant/?ref=aiartweekly |
DIRECTOR 能够根据文本生成复杂的摄像机轨迹,描述摄像机与人物之间的关系和同步性注:DIRECTOR 示例
MimicMotion:基于置信度姿态指导的高质量人类动作视频生成https://tencent.github.io/MimicMotion/?ref=aiartweekly |
MimicMotion可以根据特定的动作指导生成任意长度的高质量视频。该方法能够在资源消耗可接受的情况下生成多达 10,000 帧的视频注 :MimicMotion 示例
https://seung-hun-lee.github.io/projects/CAVIS/?ref=aiartweekly |
CAVIS 能够对视频进行实例分割。它可以更好地跟踪物体并提高实例匹配的准确性,从而实现更精确和稳定的实例分割注: CAVIS 示例
FoleyCrafter:为无声视频带来逼真且同步的声音https://foleycrafter.github.io/?ref=aiartweekly |
FoleyCrafter 能够为视频生成高质量的音效!生成的声音效果在语义上相关,并与视频时间同步。它还支持文本提示,以更好地控制视频到音频的生成注: FoleyCrafter 示例
PicoAudio:实现音频事件时间戳和频率的精确控制https://picoaudio.github.io/?ref=aiartweekly |
PicoAudio 是一个时间控制音频生成框架。该模型能够生成具有精确时间戳和发生频率控制的音频注: PicoAudio 示例
⚒️ 工具与教程:
@nptacek 正在使用 Claude Sonnet 3.5 生成的代码创建一个从 2D 到 3D 的关卡https://twitter.com/nptacek/status/1807483977034604694?ref=aiartweekly |
Runway Gen 3 最令人印象深刻的特点之一是其对提示的理解和解释能力。这是一只由@jonaspeterson 制作的在指尖上行走的小斑马https://twitter.com/jonaspeterson/status/1808132202363826461?ref=aiartweekly |
@dlostastronaut 向我们展示了如何使用 Gen-3 生成无限的绿幕素材,如火焰、雨滴等,以供后期制作使用https://twitter.com/dlostastronaut/status/1808175976016404837?ref=aiartweekly |
@0xFramer 使用 Viggle 和 Domo AI 创作了这部美丽的黏土动画。他还分享了相关的教程https://twitter.com/0xFramer/status/1807838937718665275?ref=aiartweekly |
如果你也对 Midjourney 或艺术设计感兴趣,那么欢迎加入我们的社群!在这里,我们可以一起探讨有趣的设计话题,共同探索 Midjourney 所带来的无限可能性!
注:如果你与我一样热衷于紧跟人工智能与设计的最新趋势,那么我强烈推荐你试用下我们精心打造的这款应用 — 设计原力。这款应用能够让你随时了解到最前沿的信息,让你的信息库始终保持最新状态▲ 好了,以上这些就是本节的全部内容了 ~ 如果,你也对 AI 绘画感兴趣,不妨记得关注我!我们下期见!!