汽车自动驾驶系统或存在重大漏洞-数字癫痫:应急车辆灯可致附近碰撞事故风险增加

文摘 2024-11-27 06:57 北京

内盖夫本·古里安大学和日本科技公司富士通有限公司的研究人员在一篇新论文中探讨了高级驾驶辅助系统（ADAS）在应急车辆照明影响下的感知能力问题，即EpileptiCar现象。研究发现，应急车辆的闪光灯会导致物体检测器置信度得分波动，增加自动驾驶汽车在应急车辆附近发生碰撞的风险。通过对五种商用ADAS、四种物体检测器和14种应急灯模式的评估，揭示了应急车辆照明对物体检测器性能的影响。研究还发现，不同ADAS和物体检测器对EpileptiCar现象的敏感性不同，且不同闪光模式对物体检测性能的影响也有所差异。主要洞察归纳为五个方面：一是应急车辆照明启动导致EpileptiCar现象，使物体检测器置信度得分大幅波动，影响检测阈值。二是应急车辆照明改变捕获帧中汽车颜色分布，影响物体检测器对汽车的识别信心。三是EpileptiCar现象在不同ADAS中普遍存在，但分数波动范围和稳定性因ADAS而异。四是现象在不同物体检测器中一致，但分数波动范围因检测器而异。五是不同闪光模式对物体检测算法的影响不同，部分模式严重影响检测性能。为了应对这一挑战，研究提出了Caracetamol框架，有效增强了物体检测器对应急车辆闪光灯影响的抵御能力，显著提高了检测能力和置信度稳定性，从而增强了ADAS在应急灯条件下的安全性。《连线》11月26日对此进行了报道。

新发表的研究发现，警车和救护车上的闪光灯可能会导致基于图像的自动驾驶系统出现“数字癫痫发作”，从而可能导致事故发生。

内盖夫本·古里安大学和富士通有限公司的Elad Feldman、Jacob Shams、Satoru Koda、Yisroel Mirsky、Assaf Shabtai、Yuval Elovici和Ben Nassi撰写的一篇新论文对特斯拉自动驾驶仪等系统提出了质疑。

汽车制造商表示，他们日益复杂的自动驾驶系统将一些预测何时会发生碰撞并避免碰撞的繁重工作交给了机器，从而使驾驶更安全、压力更小。但新的研究表明，其中一些系统可能会在最糟糕的时刻做出相反的事情。

论文指出，当一些基于摄像头的自动驾驶系统暴露在紧急车辆的闪光灯下时，它们就无法再自信地识别道路上的物体。研究人员将这种现象称为“数字癫痫发作”——简称为epilepticar——即经过人工智能训练以区分不同道路物体图像的系统，其有效性会随着紧急灯的闪烁而波动。研究人员表示，这种影响在黑暗中尤其明显。

换句话说，应急灯可能会让自动驾驶系统无法确定前方的汽车形状物体是否真的是汽车。研究人员写道，该漏洞“构成重大风险”，因为它可能会导致启用自动驾驶系统的车辆“在应急车辆附近发生碰撞”，并“被对手利用造成此类事故”。

虽然研究结果令人震惊，但这项新研究也有几个注意事项。首先，研究人员无法在任何特定的驾驶系统上测试他们的理论，例如特斯拉著名的Autopilot。相反，他们使用从亚马逊购买的行车记录仪中嵌入的五种现成的自动驾驶系统进行测试。（这些产品在市场上宣传包含一些碰撞检测功能，但在本研究中，它们充当了摄像头。）然后，他们将这些系统捕获的图像通过四个开源物体检测器运行，这些检测器使用图像进行训练以区分不同的物体。研究人员不确定是否有汽车制造商使用他们论文中测试的物体检测器。可能大多数系统已经针对闪光灯漏洞进行了强化。

本·古里安大学网络安全和机器学习研究员、论文作者本·纳西表示，这项研究的灵感来自一份报告，报告称，2018年至2021年间，特斯拉使用该电动汽车制造商的高级驾驶辅助功能Autopilot与大约16辆静止的应急车辆相撞。纳西说：“我们从一开始就很清楚，这些碰撞可能与应急闪光灯的亮起有关。救护车、警车和消防车的形状和大小各不相同，所以不是车辆的类型导致了这种行为。”

美国国家公路交通安全管理局对特斯拉紧急车辆碰撞事件进行了为期三年的调查，最终导致特斯拉Autopilot软件被全面召回，该软件旨在执行一些驾驶任务，例如转向、加速、制动和在某些类型的道路上变道，而无需驾驶员帮助。该机构得出结论，该系统在系统启动时不足以确保驾驶员集中注意力并控制车辆。（其他汽车制造商的高级驾驶辅助套件，包括通用汽车的Super Cruise和福特的BlueCruise，也会执行一些驾驶任务，但要求驾驶员在驾驶时集中注意力。与Autopilot不同，这些系统仅在已绘制地图的区域起作用。）

在回复《连线》杂志的书面声明中，NHTSA发言人Lucia Sanchez承认紧急闪光灯可能起到了一定作用。“我们知道，在某些情况下，当紧急闪光灯出现在行车路线上时，一些高级驾驶辅助系统没有做出适当的反应，”Sanchez写道。

特斯拉于2021年解散了公关团队，该公司没有回应《连线》的置评请求。研究人员在测试中使用的摄像系统由HP、Pelsee、Azdome、Imagebon和Rexing制造；这些公司均未回应《连线》的置评请求。

尽管NHTSA承认“一些高级驾驶辅助系统”存在问题，但研究人员明确表示：他们不确定观察到的这种应急灯效应与特斯拉的自动驾驶仪故障有何关系。“我并不是说我知道特斯拉为什么会撞上应急车辆，”纳西说。“即使这仍然是一个漏洞，我也不知道。”

研究人员的实验也仅关注基于图像的物体检测。许多汽车制造商使用其他传感器（包括雷达和激光雷达）来帮助检测道路上的障碍物。一小部分技术开发商（其中包括特斯拉）认为，基于图像的系统加上复杂的人工智能训练不仅可以实现驾驶辅助系统，还可以实现完全自动驾驶汽车。上个月，特斯拉首席执行官埃隆·马斯克表示，该汽车制造商基于视觉的系统将在明年实现自动驾驶汽车。

事实上，系统对闪光灯的反应取决于各个汽车制造商如何设计自动驾驶系统。有些汽车制造商可能会选择“调整”其技术，以对不能完全确定是否是障碍物的东西做出反应。在极端情况下，这种选择可能会导致“误报”，例如，汽车可能会紧急刹车，以应对幼儿形状的纸板箱。其他汽车制造商可能会调整其技术，仅在非常确信所见是障碍物时才做出反应。在另一个极端情况下，这种选择可能会导致汽车无法刹车以避免与另一辆车相撞，因为它完全没有意识到那是另一辆车。

BGU和富士通的研究人员确实开发出一种软件来修复紧急闪光灯问题。该软件名为“Caracetamol”（由“car”和止痛药“Paracetamol”组合而成），旨在通过专门训练来识别带有紧急闪光灯的车辆，从而避免“癫痫发作”问题。研究人员表示，该软件可以提高物体探测器的准确性。

加州大学圣地亚哥分校计算机科学与工程系助理教授EarlenceFernandes并未参与这项研究，但他表示这项研究似乎“合理”。“就像人类可能会因紧急闪光灯而暂时失明一样，高级驾驶辅助系统内的摄像头也可能会暂时失明，”他说。

对于麻省理工学院AgeLab研究汽车自动化和安全的研究员Bryan Reimer来说，这篇论文指出了有关人工智能驾驶系统局限性的更大问题。他说，汽车制造商需要“可重复、可靠的验证”来发现盲点，比如对应急灯的敏感性。他担心一些汽车制造商“技术进步的速度超过了测试速度”。

参考资源

1、https://www.wired.com/story/emergency-vehicle-lights-can-screw-up-a-cars-automated-driving-system/

2、https://sites.google.com/view/epilepticar

3、https://www.wired.com/story/feds-investigating-tesla-over-autopilot-crashes/?ref=techliv.dk

http://mp.weixin.qq.com/s?__biz=MzkyMjQ5ODk5OA==&mid=2247505546&idx=1&sn=c5f46a96a7e7a95e6b1cd4d31c2a571c

网空闲话plus

原《网空闲话》。主推网络空间安全情报分享，安全意识教育普及，安全文化建设培育。将陆续推出网安快讯、网安锐评、网安政策、谍影扫描、APT掠影、密码技术、OT安全等专集。

最新文章

汽车自动驾驶系统或存在重大漏洞-数字癫痫:应急车辆灯可致附近碰撞事故风险增加

5th域安全微讯早报【20241127】285期

暗网情报：国内某能源公司RDP权限-国内某金融机构6.37亿条数据泄露-0day漏洞出手

5th域安全微讯早报【20241126】284期

抵近攻击？俄罗斯APT28再造神话：开创“近邻攻击”先河

黑客10万美元独家出售Oracle云API访问权限-已有两家企业敏感数据被在线叫卖

全球谍影扫描【20241125】048期

5th域安全微讯早报【20241125】283期

暗网情报：黑客10万美元独家出售Oracle云API访问权限

美国网络司令部称国家任务部队在2024年已执行前出狩猎任务超85次

每周网安态势概览【20241124】047期

高薪引诱：研究者声称中国数据黑市经营者公开招募政府机构内部人员获取公民和监管数据

月球窥视行动：超过2,000个Palo Alto网络防火墙已失陷

5th域安全微讯早报【20241123】282期

长城上的苍蝇：黑市经营者公开招募政府机构内部人员获取公民和监管数据

暗网情报-黑客疯狂售卖大批防火墙权限-涉美军、美网安公司、印度电信、韩国半导体等

特朗普任内人工智能政策将发生颠覆性变化

澳大利亚的网络威胁：2023-2024年度网络威胁报告

5th域安全微讯早报【20241122】281期

日本向五眼联盟敞开大门：这对亚洲安全意味着什么？

美英军人信息泄露！武装部队约会和社交网络服务在线泄露了超过100万条记录

5th域安全微讯早报【20241121】280期

疑Palo Alto防火墙漏洞遭利用！暗网惊现泰国某国有银行VPN接入权限售卖

俄罗斯勒索软件组织正在招聘渗透测试人员以加强攻击能力

5th域安全微讯早报【20241120】279期

大情报之争：人力情报 (HUMINT) +信号情报 (SIGINT)=成功

马斯克会当官吗？预期的政府效率变革可能会掀起网络安全监管风暴！

5th域安全微讯早报【20241119】278期

"庙小鬼大"：这家情报机构可不一般！

积极防御、强调弹性：德国联邦信息安全局《2024年网络安全态势》报告要点！

全球谍影扫描【20241118】047期

5th域安全微讯早报【20241118】277期

英国佬其心可诛！军方和情报机构“炼金术”秘密计划曝光

每周网安态势概览【20241117】046期

香港首届网络安全攻防演练--“以攻筑防2024”启动

5th域安全微讯早报【20241116】276期

5th域安全微讯早报【20241115】275期

中情局内鬼被抓:以色列袭击伊朗的绝密计划泄密案揭秘

哈马斯黑客组织WIRTE使用SameCoin擦除器对以色列发动破坏性攻击

俄罗斯拟对CloudFlare、Akamai等外国托管提供商实施禁令

5th域安全微讯早报【20241114】274期

意大利缘何成为全球间谍软件中心？

5th域安全微讯早报【20241113】273期

黑客泄露亚马逊、麦当劳、汇丰银行、惠普、联想等大型企业，可能还有超过1000家其他公司的员工数据

5th域安全微讯早报【20241112】272期

以色列加油站和连锁超市意外停服一小时：疑似伊朗黑客DDoS

艺高胆大!木马竟敢伪装成Avast杀毒软件！

全球谍影扫描【20241111】046期

5th域安全微讯早报【20241111】271期

每周网安态势概览【20241110】045期

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉