论文题目：Exploring the Causality of End-to-End Autonomous Driving
论文链接：https://arxiv.org/pdf/2407.06546
一、方法
基于深度学习的模型广泛应用于自动驾驶领域，尤其是越来越受关注的端到端解决方案。然而，这些模型的黑箱特性引发了对其可信性和安全性的担忧，如何调试其因果关系已成为一个紧迫的问题。尽管已有一些关于自动驾驶可解释性的研究，但目前尚无系统的解决方案帮助研究人员调试和识别导致端到端自动驾驶最终预测动作的关键因素。在这项工作中，我们提出了一种综合方法来探索和分析端到端自动驾驶的因果关系。首先，我们通过使用控制变量和反事实干预进行定性分析，验证最终规划所依赖的关键信息。然后，我们通过可视化和统计分析关键模型输入的响应，对影响模型决策的因素进行定量评估。最后，基于对多因素端到端自动驾驶系统的综合研究，我们开发了一个强大的基线模型和工具，用于在闭环模拟器CARLA中探索因果关系。它利用基本的输入源来获得一个精心设计的模型，从而具备高度竞争力。据我们所知，我们的工作是第一个揭示端到端自动驾驶奥秘并将黑箱变成白箱的方法。彻底的闭环实验表明，我们的方法可以应用于端到端自动驾驶解决方案的因果调试。代码将在https://github.com/bdvisl/DriveInsight上提供。
论文的贡献：
我们提出了首个调试和分析解决方案及基线模型，通过明确解释多因素决策的因果关系，揭示了黑箱端到端自动驾驶的奥秘。 我们进行了详细的定量消融和反事实干预实验，并提出了两种响应可视化方法：组件级可视化，从响应的时间一致性和场景相关性角度进行全面分析；激活图可视化，展示语义特征影响的空间分布。 首先采用反事实推理定性地找出导致最终预测动作的最具影响力特征，然后应用基于注意力的策略定量分析各因素的贡献，以调整端到端模型，从而全面理解决策过程。
二、实验结果
三、总结
在本文中，我们介绍了一种开创性的调试和分析解决方案，旨在通过明确阐明多因素决策的因果关系，揭示黑箱端到端自动驾驶的奥秘。我们的分析系统分为三个步骤：模块丢弃的定量分析、模块编辑的案例分析以及梯度响应值的可视化。我们使用流行的CARLA模拟器进行了大量实验，以验证我们分析系统的可靠性。我们相信该系统可以作为端到端自动驾驶的基准，从而提高未来设计的可解释性和可靠性。
