欢迎大家踏入本期的《AI艺术周刊》。在这里,我们一起探索人工智能的最新进展和它如何重新定义艺术创作的边界。无论你是 AI 艺术的狂热爱好者,还是对这一领域充满好奇的新手,我们都将为你带来灵感的火花和实践中的深刻见解。让我们共同揭开 AI 艺术的神秘面纱,探索它的无限可能。* 每周我需要花费大约 8-12 小时来整理这些周刊内容。如果你喜欢我的工作,不妨在下方赠我一杯咖啡,可以令我保持思绪清晰与热情不减 🙏🌟 本期要闻:
https://stableaudio.com/?ref=aiartweekly |
Stability AI 本周发布了 Stable Audio 2.0。它能够仅凭一个自然语言提示,生成高质量、具有连贯音乐结构的完整音轨,长度可达三分钟,音质为 44.1kHz 立体声。新模型还引入了音频到音频的生成功能,允许使用文本提示来转换音频样本。确实是非常酷的技术
注: Stable Audio 2.0 示例
SunoAI V3:
https://www.suno.ai/blog/v3?ref=aiartweekly |
与 Stable Audio 类似,Sunov3 允许您从单个文本提示创建两分钟的音轨,但它也支持人声。这周我试了一下,被震撼了。现在每个人都可以创作自己的主题曲注: Sunov3 示例
FlexiDreamer:使用 FlexiCube 生成单个图像到 3Dhttps://flexidreamer.github.io/?ref=aiartweekly |
FlexiDreamer 是一个单一的图像到 3D 生成框架。在单个 NVIDIA A100 GPU 上大约需要 1 分钟注: FlexiDreamer 示例
StructLDM:用于 3D 人体生成的结构化潜在扩散模型https://taohuumd.github.io/projects/StructLDM/?ref=aiartweekly |
StructLDM 能够通过混合不同的身体部位、身份交换、局部服装编辑、3D 虚拟试穿等方式,生成可动画化的组合式人物。人工智能女友/男友绝对会成为一种潮流注: StructLDM 示例
Design2Cloth:从 2D 掩模生成 3D 布料https://jiali-zheng.github.io/Design2Cloth/?ref=aiartweekly |
Design2Cloth 是一种高保真 3D 生成模型,只需绘制 2D 布掩模即可生成多样化且高度详细的衣服。甚至支持插值注: Design2Cloth 示例
MaGRITTe:从图像、俯视图和文本中进行操纵和生成的 3D 场景实现https://hara012.github.io/MaGRITTe-project/?ref=aiartweekly |
MaGRITTe 能够从图像、俯视图(平面图或地形图)和文本提示的组合中生成 3D 场景。用这种方式创建低多边形游戏关卡会非常酷注: MaGRITTe 示例
CityGaussian:使用高斯进行实时高质量大规模场景渲染
https://dekuliutesla.github.io/citygs/?ref=aiartweekly |
CityGaussian 可以使用高斯泼溅来高质量、实时地重建和渲染大型 3D 场景注: CityGaussian 示例
Feature Splatting:语言驱动的基于物理场景合成和编辑https://feature-splatting.github.io/?ref=aiartweekly |
Feature Splatting 可以使用文本提示来操纵 3D 场景中对象的外观和物理属性注: Feature Splatting 示例Freditor:通过频率分解进行高保真且可转移的 NeRF 编辑https://aigc3d.github.io/freditor/?ref=aiartweekly |
NeRF 还没有消亡。Freditor 是一种能够对 NeRF 场景进行高保真和可转移编辑的方法注: Freditor 示例
GeneAvatar:从单张图片出发的通用表情感知体积头像编辑技术https://zju3dv.github.io/geneavatar/?ref=aiartweekly |
GeneAvatar 是一种语义驱动的 NeRF 编辑方法,可以使用拖拽式、文本提示和图案绘制方法来编辑 3D 头像的几何形状和纹理GenN2N:生成式 NeRF 到 NeRF 转换https://xiangyueliu.github.io/GenN2N/?ref=aiartweekly |
方法总是成对出现,GenN2N 是另一种 NeRF 编辑方法。这个方法可以使用文本提示进行场景编辑、上色、提升分辨率以及补漆注: GenN2N 示例
ProbTalk:可变且协调的整体语动动作生成技术https://feifeifeiliu.github.io/probtalk/?ref=aiartweekly |
ProbTalk 是一种为 3D 头像生成逼真的整体语动动作的方法。该方法能够生成多种动作,并确保面部表情、手势和身体姿态之间的和谐一致注: ProbTalk 示例CosmicMan:一个面向人类的文本到图像基础模型https://cosmicman-cvpr2024.github.io/?ref=aiartweekly |
CosmicMan 是一个新的文本到图像基础模型,专门用于生成高保真度的人类图像注: CosmicMan 示例
ID2Reflectance:单目身份条件面部反射率重建https://xingyuren.github.io/id2reflectance/?ref=aiartweekly |
ID2Reflectance 可以从单个图像生成高质量的面部反射图注: ID2Reflectance 示例EdgeDepth:具有边缘感知一致性融合的单目深度估计方法https://zrealli.github.io/edgedepth/?ref=aiartweekly |
EdgeDepth 是一种单目深度估计的新方法,仅依赖边缘图作为输入,从而产生更清晰、细节丰富的深度图注: EdgeDepth 示例
HairFastGAN:采用基于快速编码器的方法实现真实且稳健的毛发传输https://github.com/AIRI-Institute/HairFastGAN?tab=readme-ov-file&ref=aiartweekly |
HairFastGAN 可以将发型从参考图像传输到输入照片以进行虚拟试发注: HairFastGAN 示例https://spright-t2i.github.io/?ref=aiartweekly |
遵循文本到图像提示中的空间指令非常困难!SPRIGHT-T2I 最终可以做到这一点,从而产生更加连贯和准确的构图注: SPRIGHT-T2I 示例LCM-Lookahead:基于编码器的文本到图像个性化的解决方案
https://lcm-lookahead.github.io/?ref=aiartweekly |
LCM-Lookahead 是另一种尝试用于取代 LoRA 的方法,采用基于 LCM 的方法进行文本到图像生成中的身份转移注: LCM-Lookahead 示例
https://streamingt2v.github.io/?ref=aiartweekly |
InstantStyle 是另一种文本到图像的方法,它能够保留参考图像的风格,而无需任何额外的微调注: InstantStyle 示例
https://mshu1.github.io/dreamwalk.github.io/?ref=aiartweekly |
DreamWalk 是一种新方法,可以将不同的样式应用于图像生成并在它们之间进行插值。很酷~注: DreamWalk 示例
https://hehao13.github.io/projects-CameraCtrl/?ref=aiartweekly |
此处用于文本转视频的相机控制!CameraCtrl 可实现精确的相机姿势控制,从而可以在生成视频时精确控制相机角度和运动注: CameraCtrl 示例https://vidim-interpolation.github.io/?ref=aiartweekly |
好消息:VIDIM 是一种视频插值生成模型,它可以根据给定的开始帧和结束帧创建短视频。坏消息:它来自 google ~注: VIDIM 示例Motion Inversion:一种全新的视频素材运动替换技术https://wileewang.github.io/MotionInversion/?ref=aiartweekly |
Motion Inversion 可用于通过匹配不同视频的运动来自定义视频的运动注: Motion Inversion 示例DSTA:通过解耦时空聚合进行基于视频的人体姿势回归https://github.com/zgspose/DSTA?ref=aiartweekly |
DSTA 是一种基于视频的人体姿态估计的新方法,能够直接将输入映射到输出关节坐标注: DSTA 示例https://tanshuai0219.github.io/EDTalk/?ref=aiartweekly |
EDTalk 可以从单个图像生成具有不同嘴形、头部姿势和表情的说话人脸视频,还可以直接从音频制作人脸动画注: EDTalk 示例Sketch-to-Architecture:
生成式人工智能辅助建筑设计
https://zrealli.github.io/sketch2arc/?ref=aiartweekly |
SOLE:
用语言分割任何 3D 对象
https://cvrp-sole.github.io/?ref=aiartweekly |
⚒️ 工具与教程:
Sora 创作的首个音乐视频已发布。由 @guskamp 制作https://www.youtube.com/watch?v=f75eoFyo9ns&ref=aiartweekly |
@Martin_Haerlin 本周展示了 ViggleAI 的真正潜力https://twitter.com/Martin_Haerlin?ref=aiartweekly |
如果你也对 Midjourney 或艺术设计感兴趣,那么欢迎加入我们的社群!在这里,我们可以一起探讨有趣的设计话题,共同探索 Midjourney 所带来的无限可能性!注:如果你与我一样热衷于紧跟人工智能与设计的最新趋势,那么我强烈推荐你试用下我们精心打造的这款应用 — 设计原力。这款应用能够让你随时了解到最前沿的信息,让你的信息库始终保持最新状态▲ 好了,以上这些就是本节的全部内容了 ~ 如果,你也对 AI 绘画感兴趣,不妨记得关注我!我们下期见!!