欢迎大家踏入本期的《AI艺术周刊》。在这里,我们一起探索人工智能的最新进展和它如何重新定义艺术创作的边界。无论你是 AI 艺术的狂热爱好者,还是对这一领域充满好奇的新手,我们都将为你带来灵感的火花和实践中的深刻见解。让我们共同揭开 AI 艺术的神秘面纱,探索它的无限可能。* 每周我需要花费大约 8-12 小时来整理这些周刊内容。如果你喜欢我的工作,不妨在下方赠我一杯咖啡,可以令我保持思绪清晰与热情不减 🙏🌟 本期要闻:
Midjourney 本周发布了新的 Niji 6 模型和 --sref 指令https://www.midjourney.com/ |
上周,在 AIGC 界引起广泛关注的焦点事件莫过于 Midjourney 推出了全新的 Niji 6 模型。该模型专为东方及动漫美学量身打造,引领了一个新的创作时代。更加激动人心的是,引入了创新的风格参考功能。借助全新的 --sref <URL> 选项,通过参考图像指导模型,达成了更高一致性的风格输出。面对这样的技术进步,我不禁再一次深陷其中,难以自拔。注: Midjourney 官方公告
AnimateLCM:采用解耦一致性学习技术,加快个性化扩散模型及适配器的动画生成速度https://animatelcm.github.io/?ref=aiartweekly |
AnimateLCM 能够以最少的步骤生成高保真度视频。该模型还支持图像到视频的转换,以及支持像 ControlNet 这样的适配器。虽然目前尚未推出,但一旦发布,预计会有更多的人工智能生成的视频内容
注: AnimateLCM 示例Motion-I2V:通过显式运动建模实现一致且可控的图像到视频生成
https://xiaoyushi97.github.io/Motion-I2V/?ref=aiartweekly |
在生成式人工智能领域,快速迭代是关键一步,另一个重要方面则是可控性。Motion-I2V 的框架不仅在图像到视频的任务上似乎超越了像 Pika 和 Runway 这样的商业解决方案,而且还提供了如动作笔刷(Motion Brush)、动作拖拽(Motion Drag)以及带来令人难以置信结果的视频到视频转换等功能。唯一的缺点~暂时不提供可用的代码😭。注: Motion-I2V 示例VR-GS:虚拟现实中的物理动态感知交互式高斯溅射系统https://yingjiang96.github.io/VR-GS/?ref=aiartweekly |
随着苹果公司的 Vision Pro 的发布,如果这款设备能够得到市场的认可,为 3D 内容创作的重要性将与日俱增。VR-GS 允许用户在虚拟现实中与 3D 高斯核进行交互,并能够实时生成逼真的动态响应和光照效果,使得以物理上可信的结果操纵对象和场景成为可能。注: VR-GS 示例Gaussian Splashing:通过高斯溅射实现动态流体合成https://amysteriouscat.github.io/GaussianSplashing/?ref=aiartweekly |
Gaussian Splashing 结合了基于位置的动力学和 3DGS 技术,允许模拟动态流体与固体之间的物理交互,通过高斯溅点来实现。注: Gaussian Splashing 示例AToM:利用 2D 扩散实现的文本到网格摊销技术https://snap-research.github.io/AToM/?ref=aiartweekly |
AToM 是一个全新的文本到网格框架,能够在不到一秒的时间内从文本提示生成高质量纹理的 3D 网格。该方法在多个提示下进行了优化,并能够创造出它未经训练的多样化对象。注: AToM 示例Media2Face:多模态引导下的语言面部动画生成https://sites.google.com/view/media2face?ref=aiartweekly |
Media2Face 能够从语音、音频、文本和图像提示生成 3D 面部动画。该模型还可以通过参考图像或文本提示为每一帧控制表情~真是令人惊叹。注: Media2Face示例https://anythinginanyscene.github.io/?ref=aiartweekly |
“Anything in Any Scene” 是一种能够在视频中插入对象的方法,同时保持与原始视频相同水平的逼真度。该模型能够处理遮挡和光照条件,并且甚至能为插入的对象生成阴影。注: AIAS 示例StableIdentity:轻松将任何人嵌入任何场景https://qinghew.github.io/StableIdentity/?ref=aiartweekly |
StableIdentity 能够从单一输入图像生成各种多样化定制图像的方法。这种方法的酷炫之处在于,它能够将学习到的身份与 ControlNet 结合,并且甚至能够将其注入到视频(ModelScope)和 3D(LucidDreamer)生成中。注: StableIdentity 示例
https://yikai-wang.github.io/seele/?ref=aiartweekly |
SEELE 能够在图像内移动对象。它通过移除对象、修复被遮挡的部分以及使重新定位的对象与周围区域的外观协调一致。注: SEELE 示例
⚒️ 工具与教程:
3DTopia — 5 分钟内的文本到 3D 生成技术3DTopia 是一个两阶段的文本到 3D 生成模型技术。第一阶段使用扩散模型快速生成候选对象,第二阶段对从第一阶段中选出的素材进行精细化处理。并且对于中文的支持也还不错~https://github.com/3DTopia/3DTopia?ref=aiartweekly |
FreeStyle 是一个稳定扩散XL插件,能够根据文本提示对现有图像进行风格转换。https://github.com/FreeStyleFreeLunch/Free-Lunch-for-Text-guided-Style-Transfer-using-Diffusion-Models?ref=aiartweekly |
JoyTag 是一个先进的人工智能视觉模型,用于图像标注,该模型采用 Danbooru 标签方案,适用于从手绘到摄影的广泛图像类型。https://github.com/fpgaminer/joytag?ref=aiartweekly |
由 @fffiloni 创建了一个 HuggingFace 空间,可以根据参考面孔和姿势生成相关视频。https://huggingface.co/spaces/fffiloni/InstantID-2V?ref=aiartweekly |
如果你也对 Midjourney 或艺术设计感兴趣,那么欢迎加入我们的社群!在这里,我们可以一起探讨有趣的设计话题,共同探索 Midjourney 所带来的无限可能性!注:如果你与我一样热衷于紧跟人工智能与设计的最新趋势,那么我强烈推荐你试用下我们精心打造的这款应用 — 设计原力。这款应用能够让你随时了解到最前沿的信息,让你的信息库始终保持最新状态▲ 好了,以上这些就是本节的全部内容了 ~ 如果,你也对 AI 绘画感兴趣,不妨记得关注我!我们下期见!!