研究背景与目的
AI 在交通领域的应用
应用场景：涵盖车辆（如自动驾驶汽车、无人机等）和基础设施（如智能交通管理系统、无人交通管理等）。车辆由私人企业制造，公私运营商负责运营，需遵循法规保障安全；基础设施由公共或私人机构分布式设计、运营和维护，政策制定者需平衡安全与效率等因素。 用例：包括预测性维护、自动驾驶、车辆跟踪、驾驶员行为分析和交通管理等。在这些系统中，AI 组件执行分类、检测、预测等关键任务，如识别道路物体、检测系统故障、预测交通模式等，对自动化系统运行至关重要。 运营概念：AI 可提高交通系统自动化程度，按自动化程度分为人工操作、混合自动化和完全自动化系统。不同类型系统面临不同风险，人工操作受人为因素影响；完全自动化系统在复杂环境适应性和故障应对方面存在不足；混合自动化系统兼具两者风险且有人机交互新风险，理解人机交互对评估其风险至关重要。
AI 风险管理基本概念
风险视角：包括安全（关注人员和财产损害最小化）、安全（防止外部非法访问或控制）、可靠性（降低组件或系统故障率）和弹性（确保系统应对危险并恢复功能）等视角，各视角对风险处理均重要，且人因在风险管理中是关键挑战与统一线索，AI 交通系统全生命周期都涉及人，人既是风险源也是缓解因素。 风险管理步骤：包括风险识别、评估和缓解（RIAM）。风险识别要考虑 AI 应用背景、用例和自动化概念等，确定潜在危险；风险评估需分析危险属性如原因、影响、概率和严重程度，按行业标准量化风险；风险缓解通过消除、预防等措施降低风险，在设计和运行阶段都可进行，且常与识别、评估协同以确保措施有效性。
AI 风险识别
准备工作：需了解 AI 系统的应用背景、用例和自动化概念，明确系统功能与环境交互及 AI 组件在系统中的安全角色（分为支持、功能和安全关键角色），这有助于确定风险贡献和评估需求。 危险识别：在确定 AI 功能角色和背景后，可使用 FHA、HARA、STAMP/STPA 等方法识别危险，输出包括危险原因、危险本身、潜在危害及其他特定字段的表格，完成后可能需进一步分析确保识别全面。
AI 风险评估
AI 风险缓解
系统级缓解：在组件外但与其交互的系统和功能中降低风险，可通过降低操作复杂性减少故障概率（如限制自动驾驶车辆运行环境），或降低 AI 责任减少故障严重程度（如分配低关键任务或缩小 AI 功能范围并依靠外部功能保障安全）。 组件级缓解：降低组件内风险，通过提升 AI 性能使其在多场景下满足任务要求减少故障概率，在安全关键决策点引入检查、冗余或故障安全机制降低故障严重程度，同时避免共模错误。 风险管理策略：采用纵深防御、安全架构和瑞士奶酪模型等，结合多种危险缓解方法，如实施实践（模型验证和可解释性）、监测功能（运行时保证等）、架构特征（多模型冗余等）和危险 / 安全方法（安全评估），确保系统安全。
AI 风险中的人为因素
人员角色：包括开发者、运营商、维护者、支持者、消费者和旁观者等，同一人员可能承担多种角色，各角色在 AI 系统生命周期中作用不同。 人机交互范围：自动化程度提高使交互模式从人控转向人机协作，不同角色与 AI 交互范围随自动化水平变化，如低自动化系统维护者依赖既定计划，高自动化系统则人机智能协作。 风险考量：包括设计（易引入人为错误）、态势感知（人机需相互了解状态等）、工作量（需保持适当）、信任水平（过高或过低都有问题）、可理解性（系统行为需对人可解释）、安全（系统可能被滥用）和伦理（不道德系统有风险）等方面，不同角色相关性不同，且风险在系统生命周期和不同个体间会变化。
研究展望
相关研究机构
本公号新创智能交通技术AI服务，可扫码进入体验（或在后台私信公号）。
