欢迎关注微信公众号“机器人EmbodiedAI”
论文题目：Adversarial Backdoor Attack by Naturalistic Data Poisoning on Trajectory Prediction in Autonomous Driving
论文链接：https://openaccess.thecvf.com/content/CVPR2024/papers/Guo_Vanishing-Point-Guided_Video_Semantic_Segmentation_of_Driving_Scenes_CVPR_2024_paper.pdf
一、方法
在自动驾驶中，行为预测是安全运动规划的基础，因此预测模型对抗对抗性攻击的安全性和鲁棒性至关重要。我们提出了一种新颖的针对轨迹预测模型的对抗性后门攻击，以研究其潜在的漏洞。我们的攻击通过自然且隐蔽的投毒样本在训练时影响受害者，这些样本是使用一种新颖的两步方法制作的。首先，通过扰动攻击车辆的轨迹来制作触发器，然后使用双层优化技术伪装场景。所提出的攻击不依赖于特定的模型架构，并且以黑盒方式操作，因此即使在不了解受害模型的情况下也能有效。我们使用定制的轨迹预测指标在两个基准数据集上对最先进的预测模型进行了广泛的实证研究。结果表明，所提出的攻击非常有效，因为它可以在不被受害者察觉的情况下显著削弱预测模型的性能，并且在受限条件下强迫受害者生成恶意行为。通过消融研究，我们分析了不同攻击设计选择的影响，并评估了现有防御机制对所提出攻击的防御效果。
我们的贡献如下：
据我们所知，这是首次从数据安全和安全性以及对潜在虚假数据关联的鲁棒性角度研究轨迹预测模型的漏洞。为此，我们提出了一种新颖的通过在训练阶段进行数据投毒的对抗性后门攻击。我们的模型受益于一种新颖的双层优化技术，将触发器伪装成自然且隐蔽的，从而对受害者来说是不可见的；
为了确定攻击的有效性和可察觉性，我们对现有指标进行了修改，并使用两个自动驾驶基准数据集上的最先进轨迹预测模型进行了广泛的实证研究，突出显示了我们提出的攻击在各种条件下的影响；
通过进行消融研究，我们分析了在不同约束下攻击的有效性，最后4) 我们检验了现有防御机制对所提出的后门攻击的防御能力。
二、实验
这里展示部分结果，更多结果请参考论文。
三、总结
我们提出了一种新颖的对抗性后门攻击方法，用于研究在安全关键系统（如自动驾驶）中轨迹预测模型的脆弱性。我们的方法基于一种新的双目标优化过程，该过程生成攻击触发器并通过现实的变换有效地伪装它们。我们在常用基准数据集上对最先进的轨迹预测模型进行了广泛的实证评估，结果表明我们的攻击不易察觉且能够显著地迫使受害模型生成恶意预测。此外，我们进行了消融研究，突出了在受限条件下提出的攻击的有效性，并且还表明现有的防御机制在减轻我们攻击的影响方面效果不佳。我们的工作强调了后门攻击在自动驾驶中的潜在危险性，以及设计更稳健的算法和防御机制以检测和减轻此类攻击效果的必要性。
