AI Art Weekly | AI 艺术周刊 #9

文摘   科技   2024-01-13 07:35   北京  

欢迎大家踏入本期的《AI艺术周刊》。在这里,我们一起探索人工智能的最新进展和它如何重新定义艺术创作的边界。无论你是 AI 艺术的狂热爱好者,还是对这一领域充满好奇的新手,我们都将为你带来灵感的火花和实践中的深刻见解。让我们共同揭开 AI 艺术的神秘面纱,探索它的无限可能。
* 每周我需要花费大约 8-12 小时来整理这些周刊内容。如果你喜欢我的工作,不妨在下方赠我一杯咖啡,可以令我保持思绪清晰与热情不减 🙏

🌟 本期要闻

Midjourney v6 alpha 发布:
上周最受瞩目的新闻莫过于 Midjourney 推出了备受期待的 V6 alpha 模型。根据目前的初步体验,尤其是在高质量照片实现方面,它展现了极为逼真的效果。尽管其提示理解能力尚未达到 Dalle 3 的标准,但毫无疑问,这是朝向正确方向迈出的坚实一步。

https://alpha.midjourney.com

  • 新模型具有更好的提示理解能力

  • 提示词连贯性及知识层面上实现了显著提升

  • 支持文本绘制功能,值得注意的是,英文文本的绘制准确度和效果优于中文

  • 两种新的放大器(subtle 和 creative 模式)


注: Midjourney v6 alpha 示例

VideoPoet:一种用于零样本视频生成的大型语言模型
https://sites.research.google/videopoet/?ref=aiartweekly

谷歌最近揭示了该大语言模型生成视频的潜能。他们开发的简洁且有效的建模方法,名为 VideoPoet,能将任意自回归语言模型或 LLM 转变为一个高效的视频生成器,有能力创造出含音频的高质量视频。

注: VideoPoet 示例

GAvatar:带有隐式网格学习的动态3D高斯化身

https://nvlabs.github.io/GAvatar/?ref=aiartweekly
NVIDIA 最近推出了 GAvatar,这是一种革新的技术,它可以根据文本生成栩栩如生的 3D 高斯飞溅化身,并赋予它们动画效果。这项技术不仅能够创造出极其细致的纹理网格,还能以 1K 的高分辨率以每秒 100 帧的速度进行渲染,展现了令人印象深刻的性能和细节。
注: GAvatar 示例
Align Your Gaussians:
https://research.nvidia.com/labs/toronto-ai/AlignYourGaussians/?ref=aiartweekly
如果提到 NVIDIA 他们同时还推出了 “Align Your Gaussians”,一种创新技术,能够从文本提示中生成动态的四维资产。此方法不仅能创建连续循环的动画,还能通过串联多个文本提示来生成变换动画,增加了创作的灵活性和动态性。
注: Align Your Gaussians 示例
VidToMe:一种用于零样本视频风格转换模型
https://vidtome-diffusion.github.io/?ref=aiartweekly
VidToMe 通过文本提示、定制化模型和 ControlNet 指导来精准编辑视频,同时确保了视频的高度时间连贯性。其核心创新在于在自我注意力模块中融合跨多帧的相似令牌,巧妙地实现了视频生成过程中的时间一致性。
注: VidToMe 示例
PIA:在视频扩散模型中实现更流畅的初始化
https://pi-animator.github.io/?ref=aiartweekly
PIA 是另一种能够根据文本提示,使用自定义的稳定扩散检查点生成的图像,并为其添加基于文本的真实动作,从而实现动画效果。
注: PIA 示例
MoSAR:单目半监督模型,通过可微分着色实现头像重建
https://ubisoft-laforge.github.io/character/mosar/?ref=aiartweekly
MoSAR 能够将单张肖像图片转化为可重新照明的 3D 头像,配备了精细的几何细节和丰富的反射图,支持高达 4K 的分辨率。
注: MoSAR 示例
HAAR:基于文本条件的3D丝状人类发型生成模型
https://haar.is.tue.mpg.de/?ref=aiartweekly
HAAR 能够根据文本提示生成 3D 丝状人类发型。这个模型能够在不同发型之间进行插值,编辑甚至为他们做成动画。这非常酷,我迫不及待想看到像这样的技术被应用到下一个 FromSoftware 角色创建器中。
注: HAAR 示例
Paint-it:通过深度卷积纹理映射优化和基于物理渲染实现文本到纹理合成
https://kim-youwang.github.io/paint-it?ref=aiartweekly
Paint-it 能够根据文本描述为 3D 网格生成高保真的基于物理的渲染(PBR)纹理映射。该方法能够通过改变高动态范围(HDR)环境照明来重新照亮网格,并在测试时控制材质属性。
注: Paint-it 示例
通过单视图图像扩散技术预测材质属性
https://peter-kocsis.github.io/IntrinsicImageDiffusion/?ref=aiartweekly
在生成 3D 对象的过程中,迄今所面临的一个挑战是处理“烘焙”纹理,这类纹理往往包含了过多的固定阴影效果,这在动态光照环境下会导致准确性问题。该图像扩散技术通过预测材质属性,并从单一图像中生成反射率、粗糙度和金属感图谱。
注: Intrinsic Image Diffusion pipeline 示例
Splatter Image:超快速单视图 3D 重建技术
https://szymanowiczs.github.io/splatter-image.html?ref=aiartweekly
Splatter Image 是一种超高速的方法,能从单眼视频或单帧图像中实时 3D 重建,处理速度可达每秒 38 帧,并能以每秒 588 帧的速度渲染。虽然其质量不及多视角方法,但其能够即刻将视频转换成 4D 场景的能力令人叹为观止。
注: Splatter Image 示例
RelightableAvatar:动态照明与动画视频神经化身
https://wenbin-lin.github.io/RelightableAvatar-page/?ref=aiartweekly
RelightableAvatar 是一种能够从单视频创建可重新照明和动画化的神经化身技术。
注: RelightableAvatar 示例
DreamTalk:生动的头像生成模型
https://dreamtalk-project.github.io/?ref=aiartweekly
DreamTalk 能基于特定文本提示创造出生动的说话头像。该模型不仅支持多语言头像生成,还能巧妙调整生成视频中的讲话风格。
注: DreamTalk 示例

📰 其它动态

  • pixelSplat:

    实现可扩展的通用 3D 重建技术


    https://pixelsplat.github.io/?ref=aiartweekly
  • MAG-Edit:

    在复杂场景中进行局部图像编辑技术


    https://mag-edit.github.io/?ref=aiartweekly
  • SCEdit:

    跳过连接编辑高效且可控的图像扩散生成模型


    https://scedit.github.io/?ref=aiartweekly
  • TRepaint123:

    通过渐进式可控 2D 重绘技术,实现单图快速转化为高质 3D 生成


    https://junwuzhang19.github.io/repaint123/?ref=aiartweekly
  • CrossDiff:

    文本指导下的自我评估 3D 头部生成技术


    https://wonderno.github.io/CrossDiff-webpage/?ref=aiartweekly
  • HCBlur:

    深度混合相机去模糊技术


    http://cg.postech.ac.kr/research/HCBlur/?ref=aiartweekly


⚒️ 工具与教程:

StreamDiffusion
利用 SD-Turbo 在 RTX 4090 显卡上可以生成高达每秒106帧的图像。
https://github.com/cumulo-autumn/StreamDiffusion?ref=aiartweekly
VolumeDiffusion
VolumeDiffusion 是一种快速且可扩展的文本到 3D 生成方法,能在几秒至几分钟内为您提供一个3D对象。
https://github.com/tzco/VolumeDiffusion?ref=aiartweekly
CLIP-DINOiser
提升 MaskCLIP 特征图并产生更平滑输出
https://github.com/wysoczanska/clip_dinoiser?ref=aiartweekly
SegRefiner
尽管 CLIP-DINOiser 的遮罩已有所改进,但仍不尽完美。这就是 SegRefiner 的用武之地,它用来进一步精细化分割遮罩。
https://github.com/MengyuWang826/SegRefiner?ref=aiartweekly
如果你也对 Midjourney 或艺术设计感兴趣,那么欢迎加入我们的社群!在这里,我们可以一起探讨有趣的设计话题,共同探索 Midjourney 所带来的无限可能性!

注:如果你与我一样热衷于紧跟人工智能与设计的最新趋势,那么我强烈推荐你试用下我们精心打造的这款应用 — 设计原力。这款应用能够让你随时了解到最前沿的信息,让你的信息库始终保持最新状态
▲ 好了,以上这些就是本节的全部内容了 ~ 如果,你也对 AI 绘画感兴趣,不妨记得关注我!我们下期见!!

设计师的自我修行
创意— 并非要让人惊奇它崭新的形式和素材, 而是应让人惊异它源自最平凡的生活。
 最新文章