几十年来，军方一直在使用自主武器，如地雷、鱼雷和热制导导弹，这些武器基于简单的反应反馈运行，无需人工控制。然而，人工智能 （AI） 现在已经进入了武器设计领域。

哈佛医学院布拉瓦尼克研究所神经生物学副教授 Kanaka Rajan 和她的团队表示，人工智能驱动的自主武器代表了战争的新时代，对科学进步和基础研究构成了具体威胁。

Rajan 说，人工智能驱动的武器通常涉及无人机或机器人，正在积极开发和部署。她预计，随着时间的推移，它们只会变得更强大、更复杂、更广泛使用，因为这种技术很容易扩散。

在这种情况下，她担心人工智能驱动的武器如何导致地缘政治不稳定，以及它们的发展如何影响学术界和工业界的非军事人工智能研究。

Rajan 与 HMS 神经生物学研究员 Riley Simmons-Edler 和 Ryan Badman 以及麻省理工学院博士生 Shayne Longpre 一起，在 2024 年机器学习国际会议上发表和提交的立场文件中概述了他们的核心关注点和前进道路。

在与哈佛医学新闻的对话中，Rajan 也是哈佛大学肯普纳自然与人工智能研究所的创始教员，她解释了为什么她和她的团队决定深入研究人工智能驱动的军事技术这个话题，他们认为最大的风险是什么，以及他们认为下一步应该做什么。

哈佛医学新闻： 您是一名计算神经科学家，在人类和动物大脑的背景下研究 AI。您最终是如何想到 AI 驱动的自主武器的？

Kanaka Rajan：我们开始考虑这个话题是为了回应 2023 年春季流传的关于通用人工智能的许多世界末日预测。我们问自己，如果这些预测真的被夸大了，那么人类社会的真正风险是什么？我们研究了军队如何使用 AI，发现军事研发正在大力推动构建具有全球影响的 AI 驱动的自主武器系统。

我们意识到，学术 AI 研究界无法免受这些武器广泛开发的后果的影响。在没有外部建议的情况下，军队通常缺乏足够的专业知识来开发和部署 AI 技术，因此他们必须利用学术和行业 AI 专家的知识。这给学术机构的研究人员和管理人员提出了重要的道德和实际问题，类似于任何资助学术研究的大公司所面临的问题。

HM News：您认为人工智能和机器学习被整合到武器中的最大风险是什么？

拉詹： 开发人工智能武器涉及许多风险，但我们看到的三个最大的风险是：第一，这些武器如何使国家更容易卷入冲突;第二，非军事科学人工智能研究如何被审查或收编以支持这些武器的开发;第三，军队如何利用人工智能驱动的自主技术来减少或转移人类在决策中的责任。

第一点，阻止国家发动战争的一大威慑力是士兵的死亡——这是公民付出的人力成本，可能会给领导人带来国内后果。目前许多人工智能武器的开发旨在使人类士兵远离伤害，这本身就是一种人道的事情。然而，如果很少有士兵在进攻性战争中死亡，就会削弱战争行为与人员伤亡之间的联系，并且在政治上更容易发动战争，这反过来又可能导致更多的死亡和破坏。因此，随着人工智能军备竞赛的加剧和此类技术的进一步扩散，重大的地缘政治问题可能会很快出现。

关于第二点，我们可以看看核物理学和火箭学等学术领域的历史。随着这些领域在冷战期间变得至关重要的国防重要性，研究人员经历了旅行限制、出版物审查以及需要安全许可才能完成基本工作。随着人工智能驱动的自动驾驶技术成为全球国防规划的核心，我们可能会看到对非军事人工智能研究的类似限制，这将极大地阻碍基础人工智能研究、医疗保健和科学研究中有价值的民用应用以及国际合作。鉴于 AI 研究的发展速度以及 AI 武器的研发越来越受到关注，我们认为这是一个紧迫的问题。

最后，如果人工智能驱动的武器成为国防的核心，我们可能会看到学术界和工业界的人工智能研究人员努力研究这些武器或开发更多“军民两用”项目的重大尝试。如果越来越多的 AI 知识开始被锁定在安全许可后面，它将在智力上阻碍我们的领域。一些计算机科学家已经在呼吁进行如此严厉的限制，但他们的论点否定了这样一个事实，即新的武器技术一旦开创，总是倾向于激增。

HM News：您认为为什么那些思考 AI 构成的威胁的人相对忽视了武器设计？

拉詹： 原因之一是这是一个快速变化的新格局：自 2023 年以来，一些大国开始迅速公开接受人工智能武器。此外，与被视为更广泛的系统和能力集合时相比，单个 AI 驱动的武器系统孤立地看起来威胁较小，因此很容易忽视问题。

另一个挑战是，科技公司对其武器系统的自主程度和人类监督程度不透明。对于一些人来说，人类的监督可能意味着在 AI 武器单位做出一长串的黑盒决定后按下“去杀戮”按钮，而人类无法理解或发现系统逻辑中的错误。对于其他人来说，这可能意味着人类有更多的手动控制，并且正在检查机器的决策过程。

不幸的是，随着这些系统变得越来越复杂和强大，战争中的反应时间必须更快，黑匣子结果更有可能成为常态。此外，在人工智能驱动的自主武器上看到“人在回路”可能会让研究人员认为该系统按照军事标准是合乎道德的，而实际上它并没有有意义地让人类参与决策。

HM News：最迫切需要回答的研究问题是什么？

拉詹：虽然制造人工智能驱动的武器仍需要做大量工作，但大多数核心算法已经提出，或者是非军事应用（例如自动驾驶汽车）推动的主要学术和行业研究的重点。考虑到这一点，我们必须考虑我们作为科学家和研究人员的责任，以合乎道德的方式指导这些技术的应用，以及如何驾驭军事利益对我们研究的影响。

如果世界各地的军队打算用人工智能驱动的部队取代很大一部分战场和支持角色，他们将需要学术和行业专家的支持。这就提出了一些问题，即大学应该在军事人工智能革命中扮演什么角色，不应该跨越哪些界限，以及应该设立哪些集中监督和监督机构来监控人工智能在武器中的使用。

在保护非军事研究方面，我们可能需要考虑哪些人工智能发展可以分为闭源和开源，如何制定使用协议，以及计算机科学日益军事化将如何影响国际合作。

HM News：我们如何才能在实现创造性 AI 研究的同时防止其用于武器的方式向前发展？

拉詹： 学术界已经并将继续与政府和涉及技术、医学和信息的主要公司以及军队进行重要而富有成效的合作。然而，从历史上看，学术界也与糖业、化石燃料和烟草业有过令人尴尬、有害的合作。现代大学有机构培训、监督和透明度要求，以帮助研究人员了解行业资助的道德风险和偏见，并避免产生道德上可疑的科学。

据我们所知，目前不存在针对军事资金的此类培训和监督。我们提出的问题很复杂，无法通过单一政策来解决，但我们认为一个好的第一步是让大学为军事、国防和国家安全局资助的项目创建讨论研讨会、内部法规和监督流程，这些项目类似于行业资助项目的现有流程。

HM News：您认为什么是现实的结果？

Rajan：社区中的一些人呼吁全面禁止军事 AI。虽然我们同意这在道德上是理想的，但我们认识到这是不现实的——人工智能对于军事目的来说太有用了，无法获得建立或执行此类禁令所需的国际共识。

涉及的技术文件如下，已上传知识星球：

近期上传资料如下：

【智慧兵棋推演专题】美国在人工智能兵棋推演的使用介绍--21份技术资料，超50万字的干货

提高空中和导弹防御（AMD）系统在人类与人工智能之间的信任-182页论文+145页技术论文

工智能用于防空和导弹防御安全风险评估的技术报告-162页

基于代理的模型对马赛克战争的建模技术介绍-涉及180页资料共计13万字的干货

【人工智能与杀伤链专题】以机器速度做出决策：将 AI 引入命令链-含30份技术资料-共406页-超100万字干货

【反无人机蜂群专题】关于在战斗中对小型无人机蜂群防御和手段-涉及28份资料-超100万字

海军兵棋推演战斗管理辅助工具中的博弈论和规范分析-2022最新84页论文

多域作战中的风险感知-美国陆军55页报告

游荡弹药和不可预测性：武器系统的自主性和对人类控制的挑战-72页

技术报告基于人工智能（AI）的空中和导弹防御（AMD）：以结果为导向的辅助决策-145页

近日推出反无人机专题-含关于在战斗中对小型无人机蜂群防御和手段-涉及28份资料-超100万字

本文节选自原文的一部分内容，原文进入知识星球下载：