军事决策中的人工智能：支持人类而非取而代之

制定技术解决方案以协助进行军事决策，这一想法并非新鲜事物。但在近期，我们看到军方将日益复杂的人工智能决策支持系统（AI DSS）纳入了决策过程，包括使用武力的决策。这一发展趋势与以往的不同之处在于，这些系统运行的方式危及军事决策过程中人类进行判断的能力。而这种对人类判断的潜在侵蚀引发了若干法律、人道和道德层面的挑战及风险，尤其是涉及到对民众生命、尊严和所在社区产生重大影响的军事决策之时。正是有鉴于此，我们亟须认真讨论这些系统的使用方式，及其对受武装冲突影响民众所造成的后果。

通过红十字国际委员会法律顾问周雯和日内瓦国际人道法与人权学院研究员安娜·罗莎莉·格赖普共同撰写的这篇文章，我们开启了有关军事决策中人工智能应用的新系列博文。首先，她们概述了当应用人工智能决策支持系统时，如何在有关武力使用的法律决策过程中保留人类判断所面临的一些挑战、风险，以及这方面的潜力。其次，就此类决策过程中人工智能决策支持系统的设计和使用，她们提出了一些措施和限制，为当前和今后军事领域人工智能治理的相关讨论提供参考，从而确保遵守国际人道法，并有助于减轻受相关决策影响人员遭到伤害的风险。

长期以来，人类一直迫切希望制定技术解决方案以辅助决策。然而，随着决策支持系统不断发展，尤其是引入了机器学习等强大的人工智能技术时，我们看到诸多技术先进的军事强国开始寻求在各类任务和各指挥层级中利用这种军事能力，无论是针对军事战略的建议，还是涉及人员部署或武器运输的后勤决策。

近期以来，将基于机器学习的决策支持系统用于支持武力使用的决策，正成为人工智能在军事领域中一项日益突出的应用。这些计算机工具能够进行复杂的评估，提供细致的输出内容（即分析、建议和预测），以帮助人类作出复杂决策，例如确定攻击对象、攻击地点、时间和方式。借助预设特征和自学习模式，此类人工智能决策支持系统能够在没有人为干预的情况下突显特定数据点，并对特征进行优先级排序和选择，因而可能会对武力使用的决策产生重大影响，包括做出此类决策的流程以及决策可能造成的后果。

人工智能决策支持系统常被军方称为能够加快并巩固决策周期的关键支持技术。军方号称该技术能够带来重大军事利益，提高人类决策者遵守国际人道法的能力，并尽可能减少平民风险。

但是，我们必须谨慎考虑这些系统的运行方式、人类与系统输出内容的互动方式，及其所适用的任务类型，因为这些因素会显著影响使用此类技术所造成的人道代价。必须要指出的是，人工智能决策支持系统无法改进不符合国际人道法的目标选择方法和政策。在这种框架下使用此类系统，只会加剧非法或有害影响，使其以更快的速度在更广范围内复制和传播。

根据国际人道法，有责任遵守国际人道法且必须因违反国际人道法的行为而被追责的，是冲突各方——归根结底是人类。因此，必须由人类对法律决策进行判断，例如判断攻击是否合法。当然，这并不意味着负责计划、决定或执行攻击的人不能借助技术支持或计算机分析手段（如人工智能决策支持系统）来为武力使用的决策提供参考。例如，如今很普遍的做法是，军方可能将人工智能决策支持系统的输出内容纳入考量，以帮助识别人员和物体、选择武器或评估附带损害。结论是：在法律授权人类做出的决定中，如判断某一物体或人员是否为合法攻击目标，可以参考这些系统的输出内容，但不能以之取代人类判断。

将人工智能纳入决策支持系统，用于武装冲突中关于使用武力的军事决策，在非人工智能决策支持系统当前所面临的挑战之外，还要面临新的问题。

事实上，出于多种原因，使用人工智能决策支持系统（尤其是基于机器学习的决策支持系统）会对人类决策造成负面影响。证据表明，使用这些系统会增加出现不可预见错误的概率，并延续和传播有问题的偏差，尤其是针对特定年龄、性别、族裔的个人或群体，或残障人士的偏差。当多个人工智能决策支持系统在单一进程中共同助力支持军事决策时，如果出现了一项误差，就有可能会在整个规划和决策进程中不断叠加或产生级联效应。

使用基于机器学习的决策支持系统，还增加了人类用户发现错误输出内容的难度，因为人类越来越难以理解系统生成特定分析、建议和预测的方式和原因。人类对人工智能决策支持系统输出的过度依赖倾向（即所谓的自动化偏差）加剧了这一趋势，尤其是在高压情况下——如需要就武力使用做出军事决策时——决策者往往没有足够的时间去评估、交叉核对或质疑人工智能决策支持系统输出的内容。同时，军事行动节奏加快以及使用此类系统以加快决策速度的初衷，也都是造成这一问题的原因。这就可能导致在现实世界中，有人会基于此类系统的输出内容来计划、决定或发动攻击，而不对攻击的合法性作出实际评估，实质上扮演了“人类橡皮图章”的角色。

此外，考虑到人工智能决策支持系统的技术特征，此类系统难以适用于所有任务和情形。在给定能够转换为数学问题的明确目标时，例如决定部署武器的类型或部署部队和武器的位置，人工智能表现良好；但是，要进行国际人道法所要求的情境评估和定性评估，则不大可能为人工智能决策支持系统设置明确目标，因为这些评估极为复杂，并且无法转化为数学公式或数值。要确保对此类系统的使用实现充分性和实用性，另一个不可或缺的因素是能够获得高质量且有代表性的训练数据。然而，武装冲突往往是不确定、不稳定的，再加上敌对方试图互相欺骗，因此获取具有代表性且可移用的数据非常困难。

出于上述原因，使用人工智能决策支持系统可能会阻碍人类对武装冲突中使用武力的军事决策进行判断，从而带来人道、法律和道德方面的新问题。因此，为了确保此类系统能够支持而非阻碍军事决策，并协助确保遵守国际人道法，冲突各方必须就其是否适合特定任务和情形做出谨慎评估。

一大关键措施是在对融入了人工智能决策支持系统的武器系统，或在设计过程或预期使用方式中部分涉及此类工具的武器系统进行法律审查时，将人工智能决策支持系统包含在审查范围内。更广泛来说，各国应考虑对所有用于武装冲突中使用武力的军事决策的此类系统进行法律审查，至少可将此作为一项政策或良好实践。军方在进行审查时，必须考虑此类系统的技术特征、人类用户与其进行互动的趋势，以及军事决策者在加快决策进程方面所承受的巨大压力。

与此同时，负责而谨慎地使用人工智能决策支持系统，有助于提升信息分析的速度和全面性，从而在支持决策的同时加强对国际人道法的遵守，并尽可能减轻平民风险。例如，使用人工智能决策支持系统，能够协助收集在线开源信息库中有关平民和民用物体分布情况的信息并进行整合，或在武器选定方面提供支持，提出最能避免或至少尽量减少附带平民伤害的攻击手段和方法。任何此类工具的效率均取决于能否获得高质量数据。然而，目前尚不明确军方是否在建设并维护所需数据集方面进行了充分投入，特别是在涉及基于机器学习的决策支持系统时。

如上所述，人工智能决策支持系统可在目标选定的决策周期中为减轻平民伤害提供支持。不过，除了这一用途外，军方还应优先考虑开发和使用此类系统专门用于加强平民保护——该领域目前基本处于空白状态。具体而言，可使用此类系统支持专业工程师为军事小组提供建议，不仅明确基础设施的位置，而且还要标明其相互之间的关联情况，并识别标明保护地位的特殊标志和信号，从而降低攻击可能对平民及其生计所造成的衍生影响。最终，这些措施对于加强遵守国际人道法义务极为重要，即经常注意不损害平民居民，并在攻击中采取一切可能的预防措施。

鉴于以上风险和挑战，可能有必要对人工智能决策支持系统在军事决策中的应用进一步采取措施并施加限制，在可能造成人员伤亡或物体损毁的情况下尤为如此，以及更宽泛而言，在决策受国际人道法规制之时。

我们近期发布的报告（一份专家咨询报告和一份红十字国际委员会委托撰写的咨询报告）提出了一些相关措施和限制。值得注意的是，在关于武装冲突情况下使用武力的军事决策中保留人类判断，可能需要采用新方法，以应对当前由人类与人工智能决策支持系统互动及使用此类系统的相关技术要求所带来的挑战。一些方法可能有助于应对现有技术挑战（例如，可预测性、可理解性和偏差），而其他方法则有助于提高人类决策者的能力以审慎地处理并使用此类系统的输出内容（例如，减少自动化偏差）。

举例而言，人工智能决策支持系统在设计和使用时，需要让人类用户能够理解并质疑系统输出内容。要实现这一点，可以通过以下方式：让人类用户能够将此类系统的输出内容与其他来源的数据进行交叉核对，并确保用户有充足的时间和空间对系统的输出内容进行审慎处理，从而在涉及敌对行动的决策中维持人类判断和思考。另外，还可能需要施加一些特定限制，如将此类系统的使用仅限于特定的明确界定的任务和/或特定环境/情形。

此外，鉴于军方将机器学习融入决策支持系统的兴趣日益增长，在将这些系统用于规定性任务（例如建议行动方针）或做出预测（例如预测特定个人或团体所带来的风险）时需要格外谨慎。取决于人工智能决策支持系统进行输出所用的训练数据，在关于使用武力的军事决策中使用其输出的建议或预测的合法性可能会遭到质疑。

还有一些领域应完全禁止使用人工智能决策支持系统。例如，显而易见的是，绝不能在核武器的指挥控制系统中使用此类工具。另外，考虑到具有持续学习功能的人工智能决策支持系统尤为不可预测，可能也有必要对其使用加以限制。

我们希望各国在就规制武装冲突中人工智能军事应用的相关国际法与政策的适用及未来发展问题开展国际和国内层面的讨论时，能够参考上述建议和考量。

近年来，关于人工智能军事应用的国际治理这一主题，多利益相关方的讨论进展显著，尤其是在“军事领域负责任人工智能”（REAIM）峰会上（首届会议于2023年2月在海牙举行，第二届会议于2024年9月在首尔举行）。不过，早在十年前，《某些常规武器公约》框架下的致命性自主武器系统政府专家组就已开始探讨在武器系统中使用人工智能与机器学习这一议题，近期还在联合国大会（第78/241号决议）上进行了讨论。一些国家和军队近期制定了人工智能原则和政策以规制其军事应用，包括美国《关于负责任地军事使用人工智能和自主技术的政治宣言》、中国《全球人工智能治理倡议》、法国国防部《支持国防的人工智能》报告、英国《国防人工智能战略》、日本防卫省《AI活用推进基本方针》，以及北约《人工智能战略》。

我们认为，当前和未来的所有相关努力都应致力于确保人工智能决策支持系统（包括基于机器学习的决策支持系统）始终是辅助和支持人类进行军事决策的手段，而非阻碍或取代人类的手段。在可能危及受武装冲突影响民众的生命和尊严的决策中保留人类判断，对于坚守道德价值观、确保尊重国际人道法和其他适用法律而言至关重要。

在此背景下，我们很高兴地推出了关于“军事决策中的人工智能”的新系列博文。在军事决策中使用人工智能这一问题倍受关注，我们希望能够借此推动相关讨论，特别是帮助人们更好地理解人工智能/基于机器学习的决策支持系统在目标选定进程和使用武力的决策中的军事应用，以及由此产生的人道和法律影响。

考虑到这些系统的军事应用所带来的多种挑战、风险，以及这方面的潜力，了解法律、道德、政策和技术等各领域专家的看法极为重要。因此，本专栏汇聚了不同学科背景的专家，就军事决策中使用人工智能带来的机遇、挑战和风险进行探讨，发表观点和洞见。

当然，就军事决策中使用人工智能所引发的重重危险和挑战的讨论和思考并不会止步于此，而是将不断继续。我们希望读者能够喜欢本系列博文，并从中受到启发，一同进行这一及时而重要的思考。

本文作者：