欢迎关注微信公众号“机器人具身智能”
论文题目：Bootstrapping Autonomous Driving Radars with Self-Supervised Learning
论文链接：https://arxiv.org/pdf/2312.04519
代码链接：https://github.com/yiduohao/Radical
一、方法
自动驾驶车辆利用雷达进行感知的能力引起了增加的研究兴趣，因为雷达能够在雾和恶劣天气中运行。然而，训练雷达模型受制于大规模雷达数据标注的成本和难度。为了克服这一瓶颈，我们提出了一种自监督学习框架，利用大量未标记的雷达数据预训练雷达嵌入，用于自动驾驶感知任务。所提出的方法结合雷达对雷达和雷达对视觉的对比损失，从未标记的雷达热图及其对应的摄像头图像中学习通用表示。在用于下游目标检测时，我们展示了所提出的自监督框架可以将最先进的监督基线的平均精度提高了5.8%。
本文的主要贡献：
首先，我们提出了一个新的对比学习框架，利用雷达热图和视觉数据。该框架结合了跨模态（雷达到视觉）和内模态（雷达到雷达）对比损失项。跨模态损失项允许我们从视觉中提取先验信息，例如自动驾驶环境中的物体语义，而内模态损失项允许我们提取雷达结构的先验信息，如稀疏性和镜面反射特性。
其次，我们引入了一种新的增强技术，称为RMM（Radar MIMO Mask），专为最先进的汽车雷达而设计。RMM利用这些雷达采用MIMO技术，结合多个发射器和接收器的特性。我们调整如何组合来自不同发射器/接收器对的原始信号，生成新的增强雷达热图。这种增强技术保留了场景的基础几何结构，同时模拟了由多普勒相位失真引起的雷达噪声。
第三，我们进行了广泛的评估，并展示了在仅使用雷达数据进行二维边界框检测时的显著改进。具体来说，我们的结果显示，相比监督学习，我们的框架能够将车辆检测的平均精度（mAP）指标提高了5.8%。
这些创新的工作使得我们能够更有效地利用雷达数据进行自动驾驶感知任务，从而提升了目标检测的性能。
二、实验
这里展示部分结果，更多结果请参考论文。
三、总结
在这篇论文中，我们提出了一种自监督方法，用于自动驾驶汽车中的雷达目标检测，利用大量未标记的雷达数据的潜力。我们的广泛评估表明，Radical通过有效结合内模态和跨模态的自监督学习，以及在对比学习框架下使用雷达特定和受视觉启发的增强技术，实现了比监督基线更优越的性能。我们希望这些贡献能够促进未来在汽车雷达领域的进一步发展。
欢迎关注微信公众号“机器人具身智能”
