3D服装生成新工作！谷歌和CMU提出FabricDiffusion：一种将织物纹理从单个服装图像迁移到任意形状的 3D 服装的方法。FabricDiffusion性能表现SOTA！同时可以泛化到unseen的纹理和服装形状！收录顶会SIGGRAPH Asia 2024！
给定一个现实世界的 2D 服装图像和一个原始的 3D 服装网格，我们提出使用 FabricDiffusion 自动从参考图像中提取高质量的纹理贴图和打印件，并将其转移到目标 3D 服装表面。我们的方法可以处理不同类型的纹理、图案和材料。此外，FabricDiffusion 不仅能够生成漫反射反照率，还能生成粗糙度、法线和金属纹理贴图，从而能够在各种照明条件下对制作的 3D 服装进行精确的重新照明和渲染。
论文阅读
摘要
我们引入了 FabricDiffusion，这是一种将织物纹理从单个服装图像转移到任意形状的 3D 服装的方法。现有方法通常通过 2D 到 3D 纹理映射或通过生成模型进行深度感知修复来合成服装表面的纹理。不幸的是，这些方法通常难以捕捉和保留纹理，这表明我们的模型在合成数据和现实世界中的服装图像上的表现明显优于最先进的方法，同时可以推广到看不见的纹理和服装形状。
本文介绍了FabricDiffusion，这是一种将织物纹理和印花从单个现实世界服装图像转移到具有任意形状的 3D 服装上的新方法。该方法完全使用合成渲染图像进行训练，能够从野外服装图像中生成未失真的纹理和印花。虽然该方法在真实照片和多样化纹理图案方面表现出强大的泛化能力，但它在某些输入方面面临挑战。
