兰德公司发布:《人工智能军事应用的新风险和机遇》

（一）目前对军事人工智能影响的认识存在的问题

1.人工智能技术和应用的多样性使有关其影响的讨论复杂化。

越来越多的人认为人工智能是一组生成式预训练转换器（GPTs），在某些方面类似于内燃机、电力或互联网。GPTs是有可能对包括国防在内的许多部门的生产力产生巨大影响，并显著改变社会结构和个人生活方式的技术。因此，人工智能不是任何单一的技术（例如ChatGPT等大型语言模型）。相反，人工智能是一个由不同系统、方法和应用组成的异质群体，每个系统、方法和应用都有自己的发展轨迹和影响。

人工智能可以进一步细分为狭义人工智能、广义人工智能以及强人工智能。然而，令人担忧的是，关于人工智能影响的讨论往往因这些不同类型系统间的界定不清和混淆，或是技术与政策层面的误解而受到阻碍。这种阻碍源于各方从不同视角出发来看待这一问题。

2.人工智能是复杂的社会技术系统的一部分，其发展轨迹和速度以及在现实世界中的应用都存在很大的不确定性。

不应孤立地看待人工智能，而应将其视为一个复杂的社会技术系统，从最初的科学研究与试验发展（R&D）到商业化和实际部署，整个生命周期中都有大量的人为因素。人类直接或间接地影响着人工智能系统的优缺点和偏差，例如通过最初的工程设计、算法的训练数据或给大模型分配任务时使用的提示质量。反过来，人工智能的影响不仅取决于技术本身，还取决于它如何与其他系统集成，人类如何使用它，以及机构、监管者和社会如何看待和管理它。人工智能与其他技术——无论是传统系统还是生物技术、量子技术或机器人技术等其他新型技术的结合可能会产生最重大的影响。然而，要理解技术融合的细微差别，需要系统思维和跨学科知识的多样化组合，这可能很难实现。

3.在军事背景下讨论人工智能问题时，往往狭隘地关注致命性自主武器系统或生存威胁的伦理和战术影响。

由于上述等原因，人工智能技术的未来发展方向和变化速度尚不确定。同样不确定的是，除了更明显的直接影响外，人工智能可能会产生哪些连带的二阶或三阶影响。大部分国防辩论集中在两个极端：

一方面，人工智能与自主武器、机器人相结合会带来战术军事影响以及相关的伦理、法律和政策困境，最明显的是致命性自主武器系统（LAWS）或所谓的“杀手机器人”。另一方面，人工智能会带来潜在生存威胁，无论是从通用人工智能（可能不直接具有军事性质，但如果其目标和价值观与我们自身的生存不一致，仍可能对人类构成威胁）还是从人工智能与大规模毁灭性武器的相互作用来看。以上两个方面的问题都很重要，但如果只关注这些问题而忽视其他风险和机遇，可能会阻碍和分散对军事人工智能战略影响的更全面、更细致的理解。

(二）军事人工智能战略影响的初步概念框架

1.本报告提出的初步框架参考了一系列设计标准、假设和注意事项。

初步框架旨在为进一步的研究、分析和政策提供指导讨论。鉴于实质性问题（即前面提到的人工智能的复杂性、不确定性和快速变化）和实际考虑（即本研究是在很短的时间内进行的），本框架旨在作为进一步讨论、迭代和改进的基础。

2.该框架的最高层次涉及与人工智能有关的不同类型的风险和机遇，军事人工智能的影响是其中的一个子集。

图1描述了不同类别的战略影响，人工智能的双重用途性质和特点，以及未来技术发展变化的速度和方向的不确定性。在最高层次上，风险/机遇可以是：

（1）一般（如人工智能安全）；

（2）军事专用；

（3）针对特定领域或问题（如核威慑）。

图1 从开发、采用到影响的人工智能生命周期概念化

至关重要的是，如上所述，最好将人工智能理解为一个复杂的适应性社会技术系统，其中有一个重要的人类组成部分。因此，该框架还强调需要思考各种障碍/促进因素会如何影响国防部和军事组织吸收人工智能技术的速度和方式。

3.该框架的后续层次涉及全球和行为者层面的影响，以及竞争和冲突的整个连续体的相互影响。

图2更详细地介绍了与军事人工智能相关的战略风险和机遇，并从几个方面对其进行了进一步细分。该框架旨在捕捉人工智能的军事用途如何产生影响：

（1）国际体系；

（2）该系统内战略竞争或合作的强度和动态；

（3）个体行动者在持续的全球竞争中取得战略优势的潜力和倾向。

图2框架：人工智能军事应用的战略风险与机遇

该框架进一步区分了人工智能相关影响的不同表现形式：行为体类型之间：超级大国之间的差异，中等大国和小国；民主政体和专制政权；或国家和非国家行为者。在合作、竞争和冲突的整个过程中：从建立联盟到威慑、危机管理、常规作战甚至核交流。最重要的是，战略竞争的非线性和关联性意味着上述因素不断相互作用和相互影响，在不同层面的影响之间形成一系列反馈回路。

鉴于本研究的重点是人工智能的军事应用而非民用应用，因此讨论将从行为体之间为争夺战略优势而不断竞争的角度展开。

（一）了解战略优势

人工智能相关风险和机遇的分类是围绕战略优势这一概念展开的，战略优势是英国2021年《综合评估》及其《综合评估更新2023》的核心概念之一。基于兰德公司之前为英国国防部和美国国防部所做的研究，战略优势可以从行为者的潜在优势和优势倾向两方面来理解。从定义来讲，所谓战略优势地位，是指在特定的竞争、危机或冲突中，一个行为体比其他行为体更有可能实现其目标，因为它影响了对其有利的竞争态势，并在所有权力杠杆中最大限度地发挥了自身不对称优势领域的作用。

（二）人工智能的影响：潜在优势

概念框架的这一子类别从以下方面论述与人工智能有关的影响：对社会的影响；对经济（包括技术基础）的影响；对国防企业（包括国防部、武装部队和国防工业）的影响；对现有军事能力的影响。总体而言，这些不同的主题旨在从提升或削弱行为体（如国家）的硬实力（即军事、强制力）和软实力（如外交、说服力）的基本能力，以及其国内社会、政治和经济地位的有利或动荡程度等方面，捕捉人工智能的战略影响。这就形成了一种原始潜力，这种潜力可以转化为有用的产出，并对特定竞争或冲突的结果产生影响，这取决于行为体的优势倾向（即其治理体系以及战略制定和实施的有效性）。

（三）人工智能的影响：优势倾向

概念框架的这一子类别涉及与人工智能有关的影响：从战略制定到协调和实施的整个战略周期；所有权力杠杆：外交、信息、军事和经济（DIME）；向其他行为体发出信号；以及其他行为体之间的看法。总之，这些重点是人工智能如何帮助行为体（即政府）更高效、更有效地调动国家资源（即潜在优势），在竞争环境中实现安全目标。

（一）人工智能的影响：军事人工智能的竞争将改变力量平衡

人工智能预计将深刻影响战略行为体的能力和偏好。换句话说，军事人工智能的出现不仅会影响特定行为体可用的方式和手段，还会影响其追求的目标。本文区分了两种形式的战略竞争：一种是在人工智能方面取得优势，另一种是通过人工智能（包括其在军事方面的应用）取得优势。如表1所示，在发展军事人工智能（或更广泛的人工智能）过程中，优势竞争的加剧使得计算、数据和人才等资源成为决定一个国家或公司能力的关键因素，进而影响其在国际层面的影响力。

反过来，部署军事人工智能可能会重塑不同国家之间以及国家与各类非国家行为体之间的力量平衡。负责开发人工智能系统的科技公司不仅能从其利润丰厚的产品中获得经济利益，还能对人工智能的治理、监管和使用方式施加影响。暴力极端组织、犯罪团伙、黑客特攻队等也将寻求利用人工智能挑战国家军队的能力。同时，非政府组织（NGOs）和民间社会可能会推动采用更具参与性的方法来治理人工智能，从而挑战当前国际体系中以国家为中心的做法。

表1 系统变化：人工智能的影响、风险和机遇

（二）人工智能的影响：加剧了基于规则的国际体系在适应当前机构、法律和规范以跟上新技术方面的压力

本文强调了军事人工智能对国际体系治理的几个特征的影响：权力过渡、制度化、规范如何在全球传播以及如何更明确地编入国际法、法规或标准等机制。在这方面，军事人工智能的出现所带来的长期战略结果并不确定，因为目前仍不清楚哪些国家最能适应和利用人工智能的可能性，也不清楚联合国等机构的稳健性和适应性如何。人工智能的全球治理架构目前还不是十分成熟，这反映了所面临问题的新颖性。

（三）人工智能的影响：战略竞争动态

1.军事人工智能作为一种威慑或战争工具，影响着合作、竞争和冲突的态势。

2.专家们担心，人工智能的出现可能会加剧战略竞争，同时也为各国合作共赢提供了新的必要条件。

3.军事人工智能还可能影响战略竞争的态势，包括国家如何争取和保持优势。

在时间、资源和可能的影响力有限的情况下，各国最应该担心其中的哪些风险和机遇，并采取哪些优先事项？

（一）确定战略风险和机遇的优先次序

1.本文最重要的发现之一是人工智能影响的深度不确定性。如果要从本文及其概述的概念框架所确定的众多人工智能相关问题中确定一个子集的优先次序，就需要有明确的理由。从广义上讲，有两类方法可用于确定旨在降低风险或最大化机遇的措施的优先次序：

（1）基于风险的方法适用于对某些人工智能相关趋势的概率和影响的预测有较高置信度的情况（风险的计算是概率乘以影响的函数），从而制定出针对少数几种情况进行优化的战略。

（2）基于不确定性的方法适用于对概率或影响的预测置信度较低的情况，从而侧重于在尽可能广泛的可信情景中最大限度地减少无效的战略（例如，采用稳健决策或基于假设的规划等方法）。

后一类方法可能最有前景，随着人们对人工智能在技术层面上的功能及其在现实世界中的应用方式的了解不断加深，其目标是深入研究更详细的风险建模。

2.确定需要采取紧急行动的优先问题。

考虑到前面提到的人工智能影响的不确定性，本文试图捕捉那些人工智能和国防专家认为最令人担忧的风险和机遇，因为这些风险和机遇有可能：a)在中短期内对国家利益产生重大或严重影响；b)可能在长期内才会产生灾难性影响，但鉴于其利害关系重大，且制定有效的全球应对措施需要较长的准备时间，因此现在就需要采取紧急行动。

在此基础上，表2列出了本文详述的框架的十个优先问题。虽然并不完全与军事人工智能相关，但本文也将一个在当代人工智能相关风险与机遇的辩论中非常突出的问题，即人类实现通用人工智能的可能性的问题纳入其中。

表2 确定采取行动的风险和机遇的优先次序

3.这些问题是风险还是机遇将取决于各国如何快速有效地适应日益激烈的人工智能竞争。

在上述问题中，本文研究表明，最具潜在影响的是与以下方面有关的问题：

（1）信息操纵，如人工智能深度伪造，不仅会引发政治、经济和社会问题，还会在危机时刻歪曲军事决策。

（2）赋予非国家行为者挑战国家军队主导地位的不对称能力，或者在最坏的情况下，赋予他们新的大规模毁灭性工具（如生物武器）。

（3）人工智能与对手之间攻防平衡、战争升级动态以及核威慑稳定性的相互影响。这些问题尤其令人担忧。

本文扩展了一套切实可行的措施，这些措施可分为三类：

（一）促进人工智能相关利益的机制：

加快国防（以及更广泛的政府和社会）对人工智能的投资和采用，同时提高国家对恶意使用或意外滥用人工智能的应变能力和准备。

（二）限制对手采用人工智能并从中获益的机制：

减缓或增加非国家行为者、恐怖主义行为者和敌对国家部署军事人工智能的成本。

（三）形成全球人工智能军事治理的机制：

1. 在提高对人工智能军事风险的认识、发现问题和分享经验方面发挥主导作用。

2. 与国际伙伴以及竞争对手共同开发透明和建立信任措施。

3. 促进包容性、参与性方法，就人工智能军事领域负责任的行为规范达成新的全球共识，为未来达成更强有力的协议铺平道路。

4. 在规模较小但可能更灵活的论坛上，促进同时发展减少核与生物相关人工智能风险的小型多边机制。

5. 研究如何将人工智能纳入核查和履约机制。

6. 随着时间的推移，通过现有机构或新机构将当前零散的人工智能治理倡议整合成一个更具体的架构。