作者 | ADFeed 编辑 | ADFeed
点击下方卡片，关注“3D视觉之心”公众号
>>点击进入→3D视觉之心技术交流群
LidaRefer: Outdoor 3D Visual Grounding for Autonomous Driving with Transformers
论文：
https://arxiv.org/abs/2411.04351
LidaRefer 是一种专为大规模户外场景设计的3D视觉定位框架，旨在通过自然语言描述来定位3D场景中的相关对象或区域。该框架特别针对自动驾驶领域，能够有效处理由激光雷达（LiDAR）传感器捕获的广泛且稀疏的点云数据。
LidaRefer 的核心特点在于其能够捕捉全局上下文信息，并实现细粒度的跨模态融合，这使得它在处理户外环境中的复杂场景时表现出色。此外，LidaRefer在训练过程中引入了一种新颖的定位方法，能够同时定位目标对象和可能引起混淆的模糊对象，从而提高模型区分目标和非目标对象的能力。
LidaRefer 通过利用深度特征提取、前景特征选择、跨模态编码和目标识别网络，实现了对目标对象的精确定位。其独特的模糊对象定位方法，通过学习目标与模糊对象在空间关系和属性上的差异，增强了模型对目标的识别能力。这一方法不仅提高了目标识别的准确性，还显著提升了在复杂户外环境中的鲁棒性。
技术解读
LidaRefer 技术的思路是利用基于Transformer的架构来处理大规模户外场景中的3D视觉定位问题，通过自然语言描述精确定位3D场景中的目标对象。这项技术特别针对自动驾驶领域中由于点云数据的高维特征和稀疏性所带来的挑战，提出了一种新的定位方法，能够在保持计算效率的同时，提高对目标对象的识别和定位精度。
具体来说，LidaRefer的处理过程包括以下关键步骤：
首先，通过视觉和文本编码器将输入的3D点云和RGB图像以及自然语言描述转换成深度特征；
接着，采用前景特征选择策略从高维视觉特征中筛选出与目标对象相关的有用特征，以减少计算和内存开销；
然后，通过Transformer-based跨模态编码器捕获上下文信息并执行细粒度的跨模态对齐；
之后，利用目标识别网络基于目标置信度分数确定目标查询；
最后，通过解码器与跨模态特征的交互来预测目标对象的3D边界框。
LidaRefer的技术特点在于其能够同时定位目标对象和可能引起混淆的模糊对象，通过学习它们在空间关系和属性上的差异来增强模型的区分能力。此外，LidaRefer在训练时采用了一种简单而有效的监督方法，即模糊对象定位，这使得模型能够更好地理解和区分目标与非目标对象。
LidaRefer 技术为自动驾驶领域提供了一种高效且准确的3D视觉定位解决方案，特别是在处理户外环境中复杂的3D场景时。随着自动驾驶技术的发展，对精确视觉定位的需求日益增长，LidaRefer能够提供强大的技术支持，帮助车辆更好地理解和响应自然语言指令，从而提高自动驾驶的安全性和效率。
论文解读
摘要
3D视觉定位（VG）旨在根据自然语言描述在3D场景中定位对象或区域，对自动驾驶等应用至关重要。
本文提出了LidaRefer框架，专门针对大规模户外场景，通过引入一种新的定位方法来区分目标对象和可能混淆的模糊对象。
LidaRefer在Talk2Car-3D数据集上取得了最先进的性能。
引言
3D VG在室内场景已经取得了进展，但在户外环境更具挑战性。
LidaRefer利用3D点云和RGB图像作为视觉输入，语言描述作为文本输入，提出了一种新的户外3D VG框架。
相关工作
3D视觉定位
目前的研究主要集中在室内场景，而户外3D VG研究较少。
介绍了几个相关的户外3D VG数据集和方法。
上下文感知建模
识别上下文信息对于准确定位目标对象至关重要。
介绍了几种利用变换器的注意力机制来捕获对象间空间关系的上下文感知建模方法。
方法
框架概述
LidaRefer框架处理包括点云和RGB图像的视觉输入以及语言描述的文本输入。
介绍了LidaRefer的五个主要模块：特征提取、前景特征选择、跨模态融合、目标识别和定位。
特征提取
描述了视觉编码器和文本编码器的工作原理，以及如何将视觉数据和文本数据编码成深度特征。
前景特征选择
为了减少计算和内存开销，从BEV特征中选择有用的前景特征作为视觉标记。
跨模态融合
描述了基于变换器的跨模态编码器如何通过自注意力和交叉注意力捕获上下文信息并执行细粒度的跨模态对齐。
目标识别和定位
介绍了如何通过解码器更新查询来预测目标对象的3D边界框。
模糊对象定位
提出了一种同时定位目标和模糊对象的方法，通过识别它们在空间关系和属性上的差异来区分目标和模糊对象。
实验
在Talk2Car-3D数据集上评估LidaRefer，并使用Acc@IoUthr作为评估指标。
提供了实现细节，包括训练设置和比较模型。
展示了主要结果和分析，证明了LidaRefer在不同配置下的性能优势。
提供了定性结果，展示了LidaRefer在各种场景下的有效性。
结论
LidaRefer通过有效的全局上下文理解和跨模态对齐，提高了自动驾驶在大规模户外场景中的3D视觉定位能力。
论文还介绍了一种新的定位方法来区分目标和模糊对象，并通过实验验证了LidaRefer的优越性。
扫码添加小助理进群
3D视觉之心知识星球主打3D感知全技术栈学习，星球内部形成了视觉/激光/多传感器融合SLAM、传感器标定、点云处理与重建、视觉三维重建、NeRF与Gaussian Splatting、结构光、工业视觉、高精地图等近15个全栈学习路线，每天分享干货、代码与论文，星球内嘉宾日常答疑解惑，交流工作与职场问题。
