ECAI 2024 | 可适应点云模型：通过适应二维视觉模型进行三维点云分析

该工作提出了一种微调2D预训练模型策略，旨在优化2D预训练模型以适应3D点云分析任务。该方法通过少量参数微调，可大幅度提升模型在处理3D点云数据时的性能，所提出的微调方法能够有效地从点云数据中提取高质量的表征，这些表征随后可被用于执行多种下游点云处理任务。应用范围包括但不限于3D物体分类、部件分割、室内场景的语义分割以及室内实例分割等。该方法的设计有效利用了2D模型的预训练优势，克服了传统方法在3D点云分析中所需的大量参数调整，为3D点云处理领域提供了效率与性能的双重提升。

论文链接：

Adapt PointFormer: 3D Point Cloud Analysis via Adapting 2D Visual Transformers 

论文链接：

https://arxiv.org/abs/2407.13200

项目主页：

https://vcc.tech/research/2024/PointFormer

一、引言

本文提出了一种新的方法——Adapt PointFormer (APF)，旨在通过适应二维视觉模型以实现高效的三维点云分析。近年来，自注意力模型，例如BERT [1]和ViT [2]，在自然语言处理和图像识别等领域取得了突破性的进展。Transformer [3]架构也被成功引入到点云分析的多个研究中，并取展现出显著的性能提升。尽管如此，针对三维下游任务的大规模预训练模型仍然相对稀缺，这一现象的部分原因在于三维数据的标注难度远高于二维数据。APF方法的提出，旨在缓解这一瓶颈问题，通过利用二维模型的预训练成果，为三维点云分析提供一种新视角。

在二维图像领域，众多预训练模型，如ViT和CLIP [4]已经通过使用1400万张图像和4亿组图像-文本对进行训练，从而积累了丰富的先验知识。由此引发出一个问题：是否可以直接借鉴这些二维先验知识来提升三维点云的分析性能？如果可行，我们便能够直接利用易于获取的二维数据和预训练模型，来增强三维点云分析方法的能力。我们首先开展了一项实验，以探究将图像先验知识直接应用于点云数据分析的可行性。

图1 从头训练模型与微调方法性能比较 (PointNet和Transformer为从头训练的模型，APF w. RPN为本文提出我们提出的采用随机轻量PointNet的APF架构)

二、技术贡献

• 本文研究了预训练图像模型在三维点云分析中的潜力，并揭示了通过最小化微调参数可直接利用二维先验知识，并且可以超越直接在三维数据上训练的模型；
• 本文提出了一种新颖的框架--APF，该框架通过微调二维预训练模型,使其直接应用于三维点云分析，为三维点云处理领域提供了新的研究视角和技术途径。

三、方法介绍

Adapt PointFormer方法主要由对齐图像和点云特征和微调图像模型两部分组成，第一部分先将点云嵌入成token块再利用Z-order曲线来对齐点云token块和二维图像先验知识，第二部分提出PointFromer的微调方法，利用小部分参数即可获得大幅的性能提升。

对于第一部分，首先利用Point Embedding将点云编码为无序的token块，再利用Z-order曲线对这些token块进行排序，从而将其转换成有序的序列。这一过程确保了点云数据在输入到预训练模型之前具有良好的结构性和顺序性。对于第二部分，我们将排序后的有序token块输入至二维预训练模型中，并通过提出的Point Former模块微调该二维模型。Point Former使得二维图像的先验知识能够有效地集成到以编码的三维token块中，从而提升了模型在处理三维数据时编码特征的能力。这些经过处理的token块被输送到下游任务的处理器中，可以完成各类三维点云分析任务，如分类、分割、提取等。

图2 Point Former结构图

图3 模型总体结构图

四、部分结果展示

图4 一维点云块在实际在三维物体中的位置

我们利用t-SNE对模型提取的三维点云特征进行了可视化，结果如图5所示，为我们提供了对特征分布和模型性能的直观理解。可以观察到，即使在未经训练的RPN中，相同类别的点云特征能够较为紧密地聚集在一起，而不同类别的特征则能够清晰地分开。这一现象表明，仅根据二维先验，APF也能够有效地提取句具有区分度的特征。

图5 T-SNE可视化特征的分布

表1 ModelNet40上的测试结果

表2 ScanobjectNN的测试结果

表3 ShapeNetPart部件分割的结果

为了深入分析APF方法中各个模块的贡献和有效性，我们进行了消融实验，其结果如表4所示：

表4 Adapt PointFormer各模块的作用

五、总结与展望

本文通过使用随机初始化的网络进行维度对齐，验证了二维图像先验知识在三维数据上的应用潜力。这一发现表明，预训练的二维模型有助于点云分析。基于这一发现，本文进一步提出了Adapt PointFormer (APF)框架，该框架通过微调预训练的二维视觉模型，使其能够适应并应用于下游的三维点云分析任务。APF框架主要由以下两部分构成：点云嵌入网络、点云块排序器。通过这种设计，APF能够在不将点云直接映射成图像的情况下，更有效地利用二维图像模型的先验知识。

尽管APF在多种三维点云分析任务中展现了其有效性，但相较于通过将三维模型映射为二维图像来利用二维预训练模型先验知识的方法，APF的性能的提升伴随着训练参数数量的增加。因此，未来的研究将聚焦于如何以更少的参数和更低的计算复杂度来校准二维预训练模型，以实现更加高效的三维点云分析。

六、思考与讨论

Q: 点云自身存在的位置信息是否会影响预训练ViT固有的位置信息？

A: 考虑到点云自身的位置信息和预训练ViT位置信息不对齐的情况下，本文应用了莫顿排序，将无序的点云块变成有序的点云块，以此对齐位置信息。

Q: 该方法和将点云映射成图片在利用2D模型的方法相比，即P2P，有什么不同？

A: 该方法直接的利用了2D的模型，我们的前序步骤是点云提取成token块，在提取成token块的过程中，我们利用了轻量的pointnet网络，该网络有可学习的参数，可学习到P2P丢失的三维几何信息，并且通过排序操作可充分利用2维预训练模型的先验语义信息，紧接着通过微调二维预训练模型来提高性能。

以下是开放性问题，欢迎读者朋友留言讨论：  

Q: APF已经验证了在2D图像模型的有效性，该方法是否在处理自然语言的大模型上有同样的效果？

参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. Conference of the North American Chapter of the Association for Computational Linguistics (NAACL). 4171-4186, 2019.

[2] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly. An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations (ICLR). 2021.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin. Attention is all you need. Advances in Neural Information Processing Systems (NeurIPS). 5998-6008, 2017.

[4] Alec Radford, Jong Wook Kim, Christine Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark. Learning transferable visual models from natural language supervision. International Conference on Learning Representations (ICLR). 2021.

[5] Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Sijia Wang, Lu Wang, Weizhu Chen. Lora: Low-rank adaptation of large language models. International Conference on Learning Representations (ICLR). 2022.

[6] Shoufa Chen, Chongjian Ge, Zhan Tong, Jianmin Wang, Yibing Song, Jian Yang Wang, Ping Luo. Adaptformer: Adapting vision transformers for scalable visual recognition. Advances in Neural Information Processing Systems (NeurIPS). 16664-16678, 2022.