科研动态 | 光明实验室城市三维创新团队研究工作——可适应点云模型:通过校准二维视觉模型进行三维点云分析

文摘   2024-07-29 10:30   广东  

光明实验室城市三维创新团队最新研究工作Adapt PointFormer: 3D Point Cloud Analysis via Adapting 2D Visual Transformers (可适应点云模型: 通过校准二维视觉模型进行三维点云分析) 被ECAI 2024录用 ,相关成果已获中国发明专利授权和软件著作权登记。论文第一作者为光明实验室特聘副研究员李梦柯,第二作者为光明实验室一年级硕士研究生黎达,通讯作者为团队带头人黄惠教授。


ECAI(European Conference on Artificial Intelligence)欧洲人工智能会议,通常与 IJCAI 和 AAAI 一起被列为全球三大人工智能会议之一,每年在世界范围内召开一次。本届会议由欧洲人工智能协会(EurAI)和西班牙人工智能协会(AEPIA)共同主办,于10月19-24日在西班牙加利西亚自治区的首府圣地亚哥-德孔波斯特拉(西班牙语:Santiago de Compostela意为“繁星原野的圣地亚哥”)盛大召开。


主要内容

在二维图像领域有许多预训练模型,如ViT和CLIP,分别使用1400万张图像和4亿组图像文本对进行训练,可提供丰富的先验知识。由此引发出一个问题:我们能否直接利用二维先验知识来分析三维点云?如果可行,便可以直接利用易于获取的二维数据与预训练模型,来增强三维点云分析方法的能力。


据此,本研究推出了一种微调二维预训练模型的方法——可适应点云模型(Adapt PointFormer , APF),只利用较少的参数进行训练,就可大幅提高模型在三维点云分析的上的性能。APF可提取较好的点云特征,从而促进下游的点云分析任务,例如3D分类,部件分割,样例分割等。方法框架入图1所示。

图1 模型结构图


主要贡献

本工作主要贡献如下:


❤本文研究了预训练图像模型在三维点云分析中的潜力,并揭示了通过最小化微调参数可直接利用二维先验知识,并且可以超越直接在三维数据上训练的模型。

❤本文提出了一种新颖的框架--APF,该框架微调二维预训练模型,使其直接应用于三维点云分析。


 项目主页    


https://vcc.tech/research/2024/PointFormer


代码开源    


https://github.com/944104439/APF


END


素材来源 丨光明实验室城市三维创新团队

编 辑 丨 李沛昱


 Guangming Laboratory

 实验室简介 

人工智能与数字经济广东省实验室(深圳)(以下简称光明实验室)为省政府批准筹建的第三批广东省实验室之一,经市政府批准已设立为事业单位。实验室面向人工智能与数字经济的重大战略需求,由广东省政府统筹规划及顶层设计,深圳市政府主导建设、运营与管理,深圳大学作为牵头建设单位。实验室致力于打造人工智能与数字经济全链条创新平台、数字经济区域开放产学研合作平台、创新人才聚集和培养的基地以及核心技术成果转化和孵化平台。在此建设目标下,实验室遵循“创新、责任、进取、合作”的核心价值观,主要围绕区块链与金融科技、智能传感与精准医疗、机器学习与智能系统、泛在感知与智慧城市四个方向展开研究。


人工智能与数字经济广东省实验室(深圳)

官方网站|http://www.gml.ac.cn

招聘联系|hr_office@gml.ac.cn


光明实验室
光明实验室官方公众号。光明实验室全称为人工智能与数字经济广东省实验室(深圳),依托深圳大学运行。定位于粤港澳大湾区国际科技创新中心核心平台、人工智能与数字经济开放合作先行地、人工智能与数字经济创新研究基地和产业集聚高地。
 最新文章