北航提出了第一个多功能的即插即用适配器MV-Adapter。可以在不改变原有网络结构或特征空间的情况下增强T2I模型及其衍生模型。MV-Adapter 在 SDXL 上实现了高达768分辨率的多视图图像生成，并展示了出色的适应性和多功能性。它还能扩展到任意视角生成，为更广泛的应用打开了新大门
下图展示的第1行显示了将 MV-Adapter 与个性化T2I、精炼的少步T2I 和 ControlNet 集成的结果，展示了其适应性。第 2 行显示了各种控制信号下的结果，包括使用文本或图像输入的视图引导或几何引导生成，展示了其多功能性。
相关链接
代码：https://github.com/huanngzh/MV-Adapter 论文：https://arxiv.org/abs/2412.03632 主页：https://huanngzh.github.io/MV-Adapter-Page/ 试用：https://huggingface.co/spaces/VAST-AI/MV-Adapter-I2MV-SDXL ComfyUI：https://github.com/huanngzh/ComfyUI-MVAdapter
论文介绍
MV-Adapter：轻松实现多视图一致图像生成
摘要
现有的多视图图像生成方法通常会对预训练的文本转图像 (T2I) 模型进行侵入性修改并需要完全微调，会导致以下问题：
计算成本高，尤其是对于大型基础模型和高分辨率图像 由于优化困难和高质量 3D 数据稀缺而导致图像质量下降。
论文提出了第一个基于适配器的多视图图像生成解决方案，并介绍了 MV-Adapter，这是一种多功能的即插即用适配器，可在不改变原始网络结构或特征空间的情况下增强 T2I 模型及其衍生产品。通过更新更少的参数，MV-Adapter 可以实现高效训练并保留预训练模型中嵌入的先验知识，从而降低过度拟合风险。
为了在适配器中有效地对 3D 几何知识进行建模，论文引入了创新设计，包括重复的自注意力层和并行注意力架构，使适配器能够继承预训练模型的强大先验来对新颖的 3D 知识进行建模。此外还提出了一个统一的条件编码器，无缝集成了相机参数和几何信息，促进了基于文本和图像的 3D 生成和纹理化等应用。
MV-Adapter 在稳定扩散 XL (SDXL) 上实现了 768 分辨率的多视图生成，并展示了适应性和多功能性。它还可以扩展到任意视图生成，从而实现更广泛的应用。MV-Adapter 为多视图图像生成设定了新的质量标准，并因其效率、适应性和多功能性开辟了新的可能性。
方法介绍
MV-Adapter 是一个即插即用的适配器，它学习多视图先验，无需特殊调整即可转移到 T2I 模型的衍生物，并使 T2I 能够 在各种条件下生成多视图一致的图像。在推理时，MV-Adapter 包含条件引导器（黄色）和解耦的注意层（蓝色），可以直接插入个性化或蒸馏的 T2I 中以构成多视图生成器。
MV-Adapter 由两部分组成：
对相机条件或几何条件进行编码的条件引导器； 包含多视图注意层的解耦注意层，用于学习多视图一致性，以及可选的图像交叉注意层以支持图像条件生成
其中使用预先训练的 U-Net 对参考图像进行编码以提取细粒度信息。
结果展示
文本到多视图
图像到多视图
草图到多视图 (使用 ControlNet)
文本条件3D生成
图像条件3D生成
文本条件纹理生成
图像条件纹理生成
ComfyUI试用
将MV-Adapter集成到 ComfyUI 中，允许用户直接在 ComfyUI 界面内从文本提示或单个图像生成多视图一致的图像。 具体可以参考上面的链接。
支持与 SDXL LoRA 集成 根据文本提示或单幅图像生成多视角一致图像
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
