三维图形与生成模型：UV空间的3D纹理生成；自监督点云表示学习；3D对象生成与理解
TEXGen: a Generative Diffusion Model for Mesh Textures
2024-11-22｜HKU, BUAA, VAST, THU|🔺12
http://arxiv.org/abs/2411.14740v1
https://huggingface.co/papers/2411.14740
https://cvmi-lab.github.io/TEXGen/
研究背景与意义
在计算机图形学和视觉领域，3D模型的纹理合成一直是一个关键问题，广泛应用于虚拟现实、游戏设计和动画制作。尽管现有的学习方法在特定类别的纹理生成方面取得了一定进展，但由于数据限制和可扩展性问题，仍然面临诸多挑战。尤其是，现有方法往往依赖于预训练的2D扩散模型进行测试时优化，导致生成的纹理在3D一致性和细节表现上存在不足。本文提出的TEXGen模型，首次直接在UV纹理空间中进行高分辨率纹理的生成，旨在克服这些传统方法的局限性。
研究方法与创新
TEXGen模型的创新之处在于其独特的网络架构，结合了2D和3D特征学习。具体而言，模型采用了一种混合的2D-3D网络结构，通过在UV空间中进行卷积操作来学习局部细节，同时在3D空间中保持全局一致性。该模型通过以下几个步骤实现高效的纹理合成：
数据表示：使用UV纹理图作为3D模型的纹理表示，便于扩展和细节保留。 模型构建：设计了一种新的混合网络结构，有效处理纹理图的独特特性。 学习过程：通过扩散模型进行迭代去噪，生成高质量的纹理图，能够根据用户输入的文本提示和单视图图像进行条件生成。
这种创新的方法不仅提升了纹理生成的质量，还显著加快了推理速度，使得模型能够在不需要额外优化的情况下直接生成纹理。
实验设计与结果分析
在实验中，TEXGen模型使用了超过80万的3D网格作为训练数据，确保了模型的泛化能力。通过与现有方法（如TEXTure、Text2Tex和Paint3D）进行定量和定性的对比，TEXGen在生成的纹理质量和细节表现上均表现出色。具体结果显示：
定量分析：在FID和KID指标上，TEXGen模型均优于其他方法，表明其生成的纹理在多视图渲染中具有更好的质量。 定性分析：生成的纹理在细节上更为丰富，能够保持全局一致性，有效避免了传统方法常见的“贾努斯问题”。
结论与展望
TEXGen作为一种先进的生成扩散模型，成功地实现了高分辨率纹理的快速合成，展示了其在3D对象纹理生成领域的广泛应用潜力。未来的研究可以进一步探索模型在不同领域的应用，例如纹理修复、稀疏视图纹理补全等。此外，模型的高效性和灵活性也为无监督学习和自适应生成提供了新的思路，期待在纹理生成和更广泛的计算机视觉任务中引领新的研究方向。
Learning 3D Representations from Procedural 3D Programs
2024-11-25｜U Virginia|🔺7
http://arxiv.org/abs/2411.17467v1
https://huggingface.co/papers/2411.17467
https://point-mae-zero.cs.virginia.edu/
研究背景与意义
在3D点云理解领域，自监督学习（SSL）逐渐成为获取可转移3D表示的有效方法。与2D图像不同，3D资产的获取需要专业知识和设备，限制了现有方法的可扩展性。尽管近期努力扩展3D对象数据集，但由于版权问题和格式多样性等挑战，3D数据收集仍面临困难。因此，本文提出了一种新的方法，通过程序生成的3D形状学习3D表示，旨在解决现有方法的局限性。
研究方法与创新
本研究提出的Point-MAE-Zero框架，利用程序生成的3D形状进行自监督学习，强调“Zero”意味着完全不使用人造3D形状。该方法采用了Masked Autoencoder（MAE）策略，通过对输入点云进行随机遮罩，学习3D表示。通过对比Point-MAE-SN（使用ShapeNet训练的模型），研究表明Point-MAE-Zero在多个下游任务中表现相当，甚至在某些情况下优于Point-MAE-SN。
方法创新详解
程序生成3D形状：使用简单的几何原语（如立方体、圆柱体）和仿射变换，生成150K个合成3D点云，避免版权问题。 Masked Autoencoding：输入点云被分割成不规则的点块，随机遮罩60%的点块，通过重建这些被遮罩的点块来学习其表示。 性能评估：在多个下游任务（如形状分类、部分分割和遮罩点云重建）中，Point-MAE-Zero与Point-MAE-SN进行了广泛的比较，结果显示两者在性能上相近。
实验设计与结果分析
在实验中，Point-MAE-Zero在ModelNet40和ScanObjectNN数据集上的表现与Point-MAE-SN相当，甚至在某些情况下超越了后者。通过对比基准，研究表明：
形状分类：Point-MAE-Zero在ModelNet40和ScanObjectNN上表现良好，尤其在ScanObjectNN的变体中表现突出。 部分分割：尽管训练数据缺乏语义信息，Point-MAE-Zero在ShapeNetPart数据集上的表现接近Point-MAE-SN，表明几何结构的学习效果良好。 遮罩点云重建：实验结果显示，Point-MAE-Zero能够有效重建被遮罩的点云，展示了其在自监督学习中的有效性。
结论与展望
本文提出的Point-MAE-Zero方法通过程序生成的3D形状实现了有效的自监督学习，表明即使在缺乏语义内容的情况下，依然可以学习到有用的3D表示。未来的研究可以进一步探讨如何在更复杂的3D形状生成和更大规模的数据集上进行实验，以提升模型的表现和泛化能力。此外，研究还可以关注如何将几何结构与高层语义特征结合，以更全面地理解3D数据。
SAR3D: Autoregressive 3D Object Generation and Understanding via Multi-scale 3D VQVAE
2024-11-25｜NTU, Shanghai AI Lab|🔺5
http://arxiv.org/abs/2411.16856v1
https://huggingface.co/papers/2411.16856
https://cyw-3d.github.io/projects/SAR3D/
研究背景与意义
在当今的人工智能领域，3D对象生成与理解的研究逐渐成为热点。近年来，随着大型语言模型（LLMs）和多模态模型（LMMs）的发展，许多研究者开始探索如何将这些技术应用于3D生成。然而，尽管已有不少进展，利用自回归模型进行3D对象生成和理解的研究仍显不足。当前的挑战主要在于如何高效地处理3D数据，尤其是在数据稀缺的情况下。因此，提出一种新的框架以提升3D生成和理解的速度和质量，显得尤为重要。
研究方法与创新
本文提出的SAR3D框架，结合了自回归模型与多尺度3D向量量化变分自编码器（VQVAE），实现了对3D对象的快速生成与详细理解。与传统的单一标记预测方法不同，SAR3D通过预测多尺度潜在表示中的下一个尺度，显著减少了生成时间。具体而言，该框架的创新点包括：
多尺度VQVAE：通过将3D对象编码为多尺度的离散标记，增强了对3D结构的表达能力。 快速生成：采用下一个尺度预测的方法，SAR3D在A6000 GPU上实现了仅需0.82秒的3D对象生成速度。 多模态理解：通过将3D标记与预训练的大型语言模型（LLM）结合，SAR3D能够处理文本与3D对象的联合输入，从而实现更为精准的3D理解与描述。
这些创新使得SAR3D在速度与质量上均优于现有的3D生成方法，展现了其在多模态AI应用中的潜力。
实验设计与结果分析
在实验中，SAR3D使用了来自Objaverse的海量3D对象数据集进行训练。通过对比不同方法在3D生成速度、质量以及理解精度上的表现，SAR3D在所有指标上均表现出色。具体实验结果如下：
生成速度：SAR3D在3D生成任务中实现了0.82秒的生成时间，远超传统基于扩散的方法。 生成质量：在多个评测指标（如FID、MUSIQ等）上，SAR3D的性能明显优于其他对比方法，尤其是在3D形状质量上表现突出。 3D理解能力：通过与LLM的结合，SAR3D能够生成详细的3D对象描述，展示了其在理解任务中的有效性。
结论与展望
SAR3D作为一种新颖的3D对象生成与理解框架，不仅提升了生成速度和质量，同时也增强了对多模态输入的处理能力。尽管目前的实现仍依赖于两个独立的自回归模型，未来的研究可以着重于开发更为集成的多模态模型，以进一步提升3D生成与理解的效率和效果。此外，随着技术的进步，SAR3D有潜力扩展到更广泛的3D内容生成与理解挑战中，为多模态AI应用提供更为强大的支持。
