北京航空航天大学&新加坡国立大学|LanEvil: 基于环境幻觉的车道检测模型鲁棒性研究(ACM MM 2024)

文摘   2024-10-23 08:20   广东  


车道线检测是自动驾驶系统的重要组成部分,是自适应巡航和车道保持辅助等功能的基石,直接关联到行车安全。现有的车道线检测基准主要侧重于常规情况评估,却往往忽略了在道路阴影(Shadow)和轮胎痕迹(Tire Marks)等环境幻觉带来的复杂挑战。由于这些环境幻觉在现实中频繁出现却常被忽视,为自动驾驶系统带来了巨大的安全挑战,因此,本文首次研究了这些环境幻觉对车道线检测造成的潜在威胁,并建立了第一个全面的评测基准LanEvil来评估车道线检测模型在环境幻觉影响下的鲁棒性。

如图1所示,本文系统地设计了14种环境幻觉类型(例如Shadow、Reflection),涵盖了车道线检测任务中广泛存在的现实世界影响因素。为了确保场景的真实性与灵活性,我们基于CARLA模拟器构建了94个高保真度且可灵活编辑的3D测试案例,还原了真实世界的多样环境,产生了一个包含90,292个样本的数据集。   

图1 本文提出的LanEvil评测基准


基于LanEvil基准,本文对常用的几种车道线检测模型的鲁棒性进行了测试,实验结果表明,所有被测模型都出现了显著的性能下降(Accuracy平均降低5.37%,F1-Score平均降低10.70%),其中Shadow这一环境幻觉的影响最为显著(Accuracy降低7.39%)。

表1 在LanEvil评测基准下的鲁棒性测试结果


此外,我们通过联合仿真评估了OpenPilot等商用自动驾驶系统的性能,如图2所示,实验结果证明环境幻觉会导致自动驾驶系统错误的决策,从而引发潜在的交通事故。为了抵御环境幻觉,我们还提出了基于困难样本的注意力区域混合方法,有效提高了面对环境幻觉的鲁棒性。  
 

图2 在LanEvil场景下使用openPilot进行测试


论文信息


本论文已被ACM MM 2024接收。作者为北京航空航天大学张天缘,王璐,合肥数据空间研究院李海南,肖宜松,新加坡国立大学梁思源,刘艾杉(通讯作者),刘祥龙,新加坡南洋理工大学陶大程。

Tianyuan Zhang, Lu Wang, Hainan Li, Yisong Xiao, Siyuan Liang, Aishan Liu*, Xianglong Liu and Dacheng Tao. LanEvil: Benchmarking the Robustness of Lane Detection to Environmental Illusions. ACM MM 2024.




供稿:张天缘、刘艾杉


隐者联盟
本公众号主要推介多媒体、人工智能、信息安全等方面的最新研究进展,愿与同行携手,共同推动科学研究向前发展。
 最新文章