Unique3D是一种新颖的图像到3D框架，可以从单视图图像高效生成高质量的3D网格，其特点是生成保真度高且具有很强的通用性。Unique3D 可以在 30 秒内从任何对象的单个正交 RGB 图像 生成高保真纹理网格。生成的网格与原始输入图像非常相似，具有高质量的纹理和几何细节。Unique3D仅需 8 块 RTX4090 GPU即可在 5 天内完成训练。
相关链接
论文地址：https://arxiv.org/abs/2405.20343
代码地址：https://github.com/AiuniAI/Unique3D
试用地址：https://huggingface.co/spaces/Wuvin/Unique3D
模型权重：https://huggingface.co/spaces/Wuvin/Unique3D/tree/main/ckpt
论文阅读
摘要
在本文中，我们介绍了Unique3D，这是一种新颖的图像到 3D 框架，可从单视图图像高效生成高质量 3D 网格，具有最先进的生成保真度和强大的泛化能力。以前基于分数蒸馏采样 (SDS) 的方法可以通过从大型 2D 扩散模型中提取 3D 知识来产生多样化的 3D 结果，但它们通常存在每个案例优化时间长且不一致的问题。最近的研究解决了这个问题，并通过微调多视图扩散模型或训练快速前馈模型来生成更好的 3D 结果。然而，由于不一致性和有限的生成分辨率，它们仍然缺乏复杂的纹理和复杂的几何形状。
为了在单幅图像到 3D 中同时实现高保真度、一致性和效率，我们提出了一个新颖的框架 Unique3D，其中包括一个多视图扩散模型和相应的法线扩散模型，用于生成带有法线图的多视图图像，一个多级升级过程，用于逐步提高生成的正交多视图的分辨率，以及一种称为ISOMER的即时一致的网格重建算法，该算法 将颜色和几何先验完全集成到网格结果中。大量实验表明，我们的 Unique3D 在几何和纹理细节方面明显优于其他图像到 3D 基线 。
方法
Unique3D的pipeline。给定单个野生图像作为输入，我们首先从多视图扩散模型生成四个正交多视图图像。然后，我们通过多级升级过程逐步提高生成的多视图的分辨率。给定生成的彩色图像，我们训练法线扩散模型以生成对应于多视图图像的法线图，并利用类似策略将其提升到高分辨率空间。最后，我们使用即时一致的网格重建算法 ISOMER 从高分辨率彩色图像和法线图中重建高质量的 3D 网格，这是一种直接变形网格的强大多视图重建方法，可以有效地重建具有数百万个面的网格模型。
效果
我们将我们的模型与 InstantMesh、CRM 和 OpenLRM 进行比较。我们的模型生成精确的几何图形和详细的纹理。
定性比较。我们的方法提供了优越的几何和纹理。
异构体的消融研究。(a)没有ExplicitTarget，输出的网格结果有明显的缺陷。(b)如果没有展开正则化，输出结果在某些情况下会崩溃。
我们的方法从单个图像生成的更多结果。
网格初始化的消融。我们比较使用快速初始化的结果方法，而不是使用球体作为初始化。
结论
在本文中，我们介绍了 Unique3D，这是一种开创性的图像到 3D 框架，可以高效地从单视图图像生成高质量的 3D 网格，并且保真度和一致性达到前所未有的水平。通过集成先进的扩散模型和强大的重建方法 ISOMER，Unique3D 可以在 30 秒内生成细节丰富且纹理丰富的网格，大大提升了从单幅图像创建 3D 内容的先进水平。
局限性和未来工作。我们的方法虽然能够快速生成高保真纹理网格，但也面临挑战。多视图预测模型对于倾斜或非透视输入可能会产生不太令人满意的预测。此外，几何着色算法目前不支持纹理图。未来，我们的目标是通过在更广泛和多样化的数据集上进行训练来增强多视图预测模型的稳健性。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
