欢迎关注微信公众号“机器人EmbodiedAI”
论文题目：AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving
论文链接：https://openaccess.thecvf.com/content/CVPR2024/papers/Liang_AIDE_An_Automatic_Data_Engine_for_Object_Detection_in_Autonomous_CVPR_2024_paper.pdf
一、方法
自动驾驶车辆（AV）系统依赖于强大的感知模型作为安全保障的基石。然而，在道路上遇到的物体通常呈现长尾分布，罕见或未见类别对部署的感知模型构成挑战。这需要通过昂贵的过程持续筛选和注释数据，需要大量人力。我们建议利用最近在视觉语言和大语言模型方面的进展，设计一个自动数据引擎（AIDE），能够自动识别问题、高效筛选数据、通过自动标记改进模型，并通过生成多样化场景验证模型。这一过程迭代运行，允许模型持续自我改进。此外，我们建立了一个用于AV数据集的开放世界检测基准，全面评估各种学习范式，展示我们方法在降低成本的同时实现了卓越性能。
论文的贡献：
我们提出了一种新颖的设计范式，用于自动驾驶的自动数据引擎，包括利用VLM进行自动数据查询和标注，以及使用伪标签进行持续学习。在扩展到新类别时，这种方法在检测性能和数据成本之间达到了良好的平衡。
我们引入了一个新的基准来评估AV感知中这种自动化数据引擎，允许跨多种范式（开放词汇检测、半监督学习和持续学习）的结合洞察。
二、实验结果
三、总结
我们提出了一种自动数据引擎（AIDE），可以自动识别问题、高效筛选数据、通过自动标注改进模型，并通过生成多样化场景验证模型。通过利用视觉语言模型（VLM）和大语言模型（LLM），我们的流程降低了标注和训练成本，同时在新物体检测上取得更高的准确性。这一过程迭代运行，允许模型持续改进，这对于自动驾驶系统处理预期事件至关重要。此外，我们还在AV数据集上建立了一个开放世界检测的基准，展示了我们方法在降低成本的同时表现出更好的性能。然而，AIDE的一个局限性在于，视觉语言模型和大语言模型在问题识别和验证过程中可能会产生虚构。尽管AIDE效果显著，对于安全关键系统，始终建议进行一定程度的人工监督。
