车道线检测是自动驾驶系统的重要组成部分,是自适应巡航和车道保持辅助等功能的基石,直接关联到行车安全。现有的车道线检测基准主要侧重于常规情况评估,却往往忽略了在道路阴影(Shadow)和轮胎痕迹(Tire Marks)等环境幻觉带来的复杂挑战。由于这些环境幻觉在现实中频繁出现却常被忽视,为自动驾驶系统带来了巨大的安全挑战,因此,本文首次研究了这些环境幻觉对车道线检测造成的潜在威胁,并建立了第一个全面的评测基准LanEvil来评估车道线检测模型在环境幻觉影响下的鲁棒性。如图1所示,本文系统地设计了14种环境幻觉类型(例如Shadow、Reflection),涵盖了车道线检测任务中广泛存在的现实世界影响因素。为了确保场景的真实性与灵活性,我们基于CARLA模拟器构建了94个高保真度且可灵活编辑的3D测试案例,还原了真实世界的多样环境,产生了一个包含90,292个样本的数据集。 图1 本文提出的LanEvil评测基准
基于LanEvil基准,本文对常用的几种车道线检测模型的鲁棒性进行了测试,实验结果表明,所有被测模型都出现了显著的性能下降(Accuracy平均降低5.37%,F1-Score平均降低10.70%),其中Shadow这一环境幻觉的影响最为显著(Accuracy降低7.39%)。表1 在LanEvil评测基准下的鲁棒性测试结果
此外,我们通过联合仿真评估了OpenPilot等商用自动驾驶系统的性能,如图2所示,实验结果证明环境幻觉会导致自动驾驶系统错误的决策,从而引发潜在的交通事故。为了抵御环境幻觉,我们还提出了基于困难样本的注意力区域混合方法,有效提高了面对环境幻觉的鲁棒性。 图2 在LanEvil场景下使用openPilot进行测试
论文信息
本论文已被ACM MM 2024接收。作者为北京航空航天大学张天缘,王璐,合肥数据空间研究院李海南,肖宜松,新加坡国立大学梁思源,刘艾杉(通讯作者),刘祥龙,新加坡南洋理工大学陶大程。Tianyuan Zhang, Lu Wang, Hainan Li, Yisong Xiao, Siyuan Liang, Aishan Liu*, Xianglong Liu and Dacheng Tao. LanEvil: Benchmarking the Robustness of Lane Detection to Environmental Illusions. ACM MM 2024.
供稿:张天缘、刘艾杉