AI Art Weekly | AI 艺术周刊 #23

文摘   科技   2024-04-07 05:56   北京  

欢迎大家踏入本期的《AI艺术周刊》。在这里,我们一起探索人工智能的最新进展和它如何重新定义艺术创作的边界。无论你是 AI 艺术的狂热爱好者,还是对这一领域充满好奇的新手,我们都将为你带来灵感的火花和实践中的深刻见解。让我们共同揭开 AI 艺术的神秘面纱,探索它的无限可能。
* 每周我需要花费大约 8-12 小时来整理这些周刊内容。如果你喜欢我的工作,不妨在下方赠我一杯咖啡,可以令我保持思绪清晰与热情不减 🙏

🌟 本期要闻

Stable Audio 2.0:
https://stableaudio.com/?ref=aiartweekly

Stability AI 本周发布了 Stable Audio 2.0。它能够仅凭一个自然语言提示,生成高质量、具有连贯音乐结构的完整音轨,长度可达三分钟,音质为 44.1kHz 立体声。新模型还引入了音频到音频的生成功能,允许使用文本提示来转换音频样本。确实是非常酷的技术

注: Stable Audio 2.0 示例


SunoAI V3:

https://www.suno.ai/blog/v3?ref=aiartweekly
与 Stable Audio 类似,Sunov3 允许您从单个文本提示创建两分钟的音轨,但它也支持人声。这周我试了一下,被震撼了。现在每个人都可以创作自己的主题曲

注: Sunov3 示例


 FlexiDreamer:使用 FlexiCube 生成单个图像到 3D

https://flexidreamer.github.io/?ref=aiartweekly

FlexiDreamer 是一个单一的图像到 3D 生成框架。在单个 NVIDIA A100 GPU 上大约需要 1 分钟

注: FlexiDreamer 示例


StructLDM:用于 3D 人体生成的结构化潜在扩散模型

https://taohuumd.github.io/projects/StructLDM/?ref=aiartweekly

StructLDM 能够通过混合不同的身体部位、身份交换、局部服装编辑、3D 虚拟试穿等方式,生成可动画化的组合式人物。人工智能女友/男友绝对会成为一种潮流

注: StructLDM 示例


Design2Cloth:从 2D 掩模生成 3D 布料

https://jiali-zheng.github.io/Design2Cloth/?ref=aiartweekly

Design2Cloth 是一种高保真 3D 生成模型,只需绘制 2D 布掩模即可生成多样化且高度详细的衣服。甚至支持插值

注: Design2Cloth 示例


MaGRITTe:从图像、俯视图和文本中进行操纵和生成的 3D 场景实现

https://hara012.github.io/MaGRITTe-project/?ref=aiartweekly

MaGRITTe 能够从图像、俯视图(平面图或地形图)和文本提示的组合中生成 3D 场景。用这种方式创建低多边形游戏关卡会非常酷

注: MaGRITTe 示例


CityGaussian:使用高斯进行实时高质量大规模场景渲染

https://dekuliutesla.github.io/citygs/?ref=aiartweekly

CityGaussian 可以使用高斯泼溅来高质量、实时地重建和渲染大型 3D 场景

注: CityGaussian 示例

Feature Splatting:语言驱动的基于物理场景合成和编辑

https://feature-splatting.github.io/?ref=aiartweekly

Feature Splatting 可以使用文本提示来操纵 3D 场景中对象的外观和物理属性
注: Feature Splatting 示例
Freditor:通过频率分解进行高保真且可转移的 NeRF 编辑

https://aigc3d.github.io/freditor/?ref=aiartweekly

NeRF 还没有消亡。Freditor 是一种能够对 NeRF 场景进行高保真和可转移编辑的方法

注: Freditor 示例


GeneAvatar:从单张图片出发的通用表情感知体积头像编辑技术

https://zju3dv.github.io/geneavatar/?ref=aiartweekly

GeneAvatar 是一种语义驱动的 NeRF 编辑方法,可以使用拖拽式、文本提示和图案绘制方法来编辑 3D 头像的几何形状和纹理

注: GeneAvatar 示例

GenN2N:生成式 NeRF 到 NeRF 转换

https://xiangyueliu.github.io/GenN2N/?ref=aiartweekly

方法总是成对出现,GenN2N 是另一种 NeRF 编辑方法。这个方法可以使用文本提示进行场景编辑、上色、提升分辨率以及补漆
注: GenN2N 示例


ProbTalk:可变且协调的整体语动作生成技术

https://feifeifeiliu.github.io/probtalk/?ref=aiartweekly

ProbTalk 是一种为 3D 头像生成逼真的整体语动动作的方法。该方法能够生成多种动作,并确保面部表情、手势和身体姿态之间的和谐一致
注: ProbTalk 示例

CosmicMan:一个面向人类的文本到图像基础模型

https://cosmicman-cvpr2024.github.io/?ref=aiartweekly

CosmicMan 是一个新的文本到图像基础模型,专门用于生成高保真度的人类图像

: CosmicMan 示例


ID2Reflectance:单目身份条件面部反射率重建

https://xingyuren.github.io/id2reflectance/?ref=aiartweekly

ID2Reflectance 可以从单个图像生成高质量的面部反射图
注: ID2Reflectance 示例

EdgeDepth:具有边缘感知一致性融合的单目深度估计方法

https://zrealli.github.io/edgedepth/?ref=aiartweekly

EdgeDepth 是一种单目深度估计的新方法,仅依赖边缘图作为输入,从而产生更清晰、细节丰富的深度图

注: EdgeDepth 示例


HairFastGAN:采用基于快速编码器的方法实现真实且稳健的毛发传输

https://github.com/AIRI-Institute/HairFastGAN?tab=readme-ov-file&ref=aiartweekly

HairFastGAN 可以将发型从参考图像传输到输入照片以进行虚拟试发
: HairFastGAN 示例

SPRIGHT-T2I:

https://spright-t2i.github.io/?ref=aiartweekly

遵循文本到图像提示中的空间指令非常困难!SPRIGHT-T2I 最终可以做到这一点,从而产生更加连贯和准确的构图
注: SPRIGHT-T2I 示例

LCM-Lookahead:基于编码器的文本到图像个性化的解决方案

https://lcm-lookahead.github.io/?ref=aiartweekly

LCM-Lookahead 是另一种尝试用于取代 LoRA 的方法,采用基于 LCM 的方法进行文本到图像生成中的身份转移

注: LCM-Lookahead 示例


InstantStyle:

https://streamingt2v.github.io/?ref=aiartweekly

InstantStyle 是另一种文本到图像的方法,它能够保留参考图像的风格,而无需任何额外的微调

注: InstantStyle 示例


DreamWalk:使用扩散引导风格空间探索

https://mshu1.github.io/dreamwalk.github.io/?ref=aiartweekly

DreamWalk 是一种新方法,可以将不同的样式应用于图像生成并在它们之间进行插值。很酷~

: DreamWalk 示例


CameraCtrl:启用相机控制生成文本到视频

https://hehao13.github.io/projects-CameraCtrl/?ref=aiartweekly

此处用于文本转视频的相机控制!CameraCtrl 可实现精确的相机姿势控制,从而可以在生成视频时精确控制相机角度和运动
注: CameraCtrl 示例

VIDIM:使用扩散模型进行视频插值

https://vidim-interpolation.github.io/?ref=aiartweekly

好消息:VIDIM 是一种视频插值生成模型,它可以根据给定的开始帧和结束帧创建短视频。坏消息:它来自 google ~
注: VIDIM 示例

Motion Inversion:一种全新的视频素材运动替换技术

https://wileewang.github.io/MotionInversion/?ref=aiartweekly

Motion Inversion 可用于通过匹配不同视频的运动来自定义视频的运动
注: Motion Inversion 示例

DSTA:通过解耦时空聚合进行基于视频的人体姿势回归

https://github.com/zgspose/DSTA?ref=aiartweekly

DSTA 是一种基于视频的人体姿态估计的新方法,能够直接将输入映射到输出关节坐标
注: DSTA 示例

EDTalk:用于情感说话头部合成的高效解耦技术

https://tanshuai0219.github.io/EDTalk/?ref=aiartweekly

EDTalk 可以从单个图像生成具有不同嘴形、头部姿势和表情的说话人脸视频,还可以直接从音频制作人脸动画
注: EDTalk 示例

📰 其它动态
  • Sketch-to-Architecture:

    生成式人工智能辅助建筑设计


    https://zrealli.github.io/sketch2arc/?ref=aiartweekly

  • SOLE:

    用语言分割任何 3D 对象


    https://cvrp-sole.github.io/?ref=aiartweekly


⚒️ 工具与教程:

Worldweight
Sora 创作的首个音乐视频已发布。由 @guskamp 制作
https://www.youtube.com/watch?v=f75eoFyo9ns&ref=aiartweekly
ViggleAI 
@Martin_Haerlin 本周展示了 ViggleAI 的真正潜力
https://twitter.com/Martin_Haerlin?ref=aiartweekly

如果你也对 Midjourney 或艺术设计感兴趣,那么欢迎加入我们的社群!在这里,我们可以一起探讨有趣的设计话题,共同探索 Midjourney 所带来的无限可能性!

注:如果你与我一样热衷于紧跟人工智能与设计的最新趋势,那么我强烈推荐你试用下我们精心打造的这款应用 — 设计原力。这款应用能够让你随时了解到最前沿的信息,让你的信息库始终保持最新状态
▲ 好了,以上这些就是本节的全部内容了 ~ 如果,你也对 AI 绘画感兴趣,不妨记得关注我!我们下期见!!

设计师的自我修行
创意— 并非要让人惊奇它崭新的形式和素材, 而是应让人惊异它源自最平凡的生活。
 最新文章