2024年9月,在威尼斯举办的第三届人工智能安全国际对话(IDAIS)中,约书亚·本吉奥(Yoshua Bengio)、姚期智、斯图尔特·罗素Stuart Russell、张亚勤等全球领先的人工智能科学家联署发表了“AI安全国际对话威尼斯共识”,呼吁“由于人工智能带来的风险具有全球性,我们必须将人工智能安全视为全球公共产品”。
该共识的前提是,随着人工智能系统能力的迅猛发展,人类可能会很快创造出强大的通用人工智能甚至超越人类智能的超级智能,这些可能出现的先进的人工智能系统的全面瘫痪或失控无疑会给人类带来灾难性后果,但我们尚未开发出必要的科学手段来管控和应对高级智能的使用。因此,共识主张,由于人工智能带来的风险具有全球性,我们必须将人工智能安全视为全球公共产品,并为实现这些风险的全球治理而努力。
尽管共识发出“齐心防范任何随时可能出现的灾难性风险”的呼吁恰逢其实,这些领先科学家提出的将人工智能安全视为全球公共产品的理念却不得不正视来自人工智能产业界的AGI现实主义(AGI realism)的严峻挑战。
共识发表不久后的2024年10月初,Anthropic公司的CEO Dario Amodei发表长篇博文“Machines of Loving Grace:How AI Could Transform the World for the Better”,该文大胆预言强大的人工智能最快可在2026年实现,并从生物学和身体健康、神经科学和心理健康、经济发展与贫困、和平与治理、工作与意义等五个方面探讨了此后5-10年可能的愿景。
值得关注的是,该文的和平与治理部分从地缘政治对抗的角度提出了完全不同于将人工智能安全视为全球公共产品的论点。Dario Amodei指出,为了使所谓的民主国家在强大的人工智能诞生时处于上风,应实施一种协约战略(entente strategy),而且他在注释中还强调兰德公司在即将发布的一个报告的标题中也采纳了他的这个说法。其基本设想是,所谓的民主国家联盟应寻求通过确保其供应链、迅速扩大规模以及阻止或延迟对手获取芯片和半导体设备等关键资源,在强大的人工智能方面获得明显优势(即便是暂时的优势)。
他甚至指出:如果我们能做到这一切,我们将拥有一个民主国家在世界舞台上占据主导地位的世界,拥有足够的经济和军事实力避免被独裁国家削弱、征服或破坏,并可能能够将其人工智能优势转化为持久的优势。乐观地说,这可能会带来一个“永恒的 1991 年”——一个民主国家占上风、福山梦想得以实现的世界。
对此,物理学家出身的人工智能思想家泰格马克(Max Tegmark)在2024年10月14日发表了博文“幻念战争:AGI协约的妄想(The Hopium Wars: the AGI Entente Delusion)”。文章开门见山就对Dario Amodei的协约战略提出了质疑:“随着人类越来越接近通用人工智能 (AGI),一种新的地缘政治战略正在美国及其盟国圈子、国家安全委员会、人工智能安全和科技界获得关注。Anthropic 首席执行官 Dario Amodei 和兰德公司称之为“协约”...我认为,无论一个人的道德或地缘政治偏好如何,它都从根本上存在缺陷,并且违背了美国的国家安全利益。”
尽管像泰格马克这样的有识之士一针见血地指出这种协约战略无异于掀起一场自杀式的竞赛,但我们应该清醒地认识到类似的战略设想在美国科技界的战略界并不鲜见。不久前的2024年6月,曾担任OpenAI 超级对齐(Superalignment) 团队成员的AGI投资人利奥波德·阿申布伦纳(Leopold Aschenbrenne)在展望通用人工智能未来的长篇博文“态势感知:未来十年(SITUATIONAL AWARENESS: The Decade Ahead)”中明确提出了具有明显的新科技霸权主义色彩的AGI现实主义(AGI realism)。
在该文即将结束的最后的想法中,他对AGI的两个常见观点提出了批评。他认为,AGI的末世论观点虽有先见之明却已陷入僵化,而所谓有效加速主义(e/accs)也不过是具有欺骗性的商业包装,而他所主张的是确保美国占先的AGI现实主义(AGI realism),并对此提出了三项核心原则:
原则1:超级智能事关国家安全。我们正在快速制造比最聪明的人类还要聪明的机器。超级智能将会疯狂;它将成为人类有史以来最强大的武器。对于我们任何参与其中的人来说,这都将是我们做过的最重要的事情。
原则2: 美国必须发挥领导作用。这意味着我们需要迅速扩大美国电力生产,以在美国建立 AGI 集群。这意味着核心 AGI 基础设施必须由美国控制,美国人工智能实验室必须把国家利益放在首位。
原则3:我们不能把事情搞砸。认识到超级智能的力量也意味着认识到它的危险。安全风险是实实在在的;一切都出错的风险是实实在在的——无论是因为人类利用超级智能带来的破坏力自取灭亡,还是因为我们召唤的外星物种是我们目前还无法完全控制的。这些都是可以控制的——但临时凑合是行不通的。要应对这些危险,需要好人拿出前所未有的严肃态度。
该文的最后自相矛盾地将所谓“自由世界将会获胜吗?”之类的新地缘政治对抗话语、“我们会驯服超级智能吗?还是超级智能会驯服我们?人类是否会再一次逃避自我毁灭?”等超级智能风险话语以及“很快,人工智能将统治世界,但我们即将迎来最后一次竞技。愿他们的最终统治为人类带来荣耀。”之类的末世论话语纠结在一起,其炒作话题的意图显露无疑。
与协约战略一样,AGI现实主义也是不值一驳的谬论,但我们又必须正视它可能对人工智能安全国际共识和全球人工智能治理可能带来的负面影响。