在追逐人工智能的狂奔中，我们是否曾停下脚步思考：当我们创造出比自己更强大的存在，凭什么认为能永远控制它？
欢迎回到 AI 科技大本营 2025 AI 前瞻周。今天的内容选自伯克利大学教授 Stuart Russell 的一场演讲。他以出人意料的角度切入 AI 伦理问题，将现代 AI 比作“一只会吃人的巨型飞鸟”，警示我们正在打造一个既不了解其运作机制，也无法预测其行为的黑箱系统。
整理丨王启隆
出品丨AI 科技大本营（ID：rgznai100）
《新程序员》曾和斯图尔特·罗素（Stuart Russell）教授当面聊过一次。这位加州伯克利大学的教授最广为人知的成就是编写了人工智能领域的经典教科书《人工智能：现代方法》，对于 AI 专业的大学生（尤其是美国大学生），这本比砖头还厚的书会一直陪伴他们直至毕业。
采访时，罗素教授有个观点令人印象很深：“每个人都可以设计出反乌托邦的世界，但我尝试过让不同领域的专家来详细描绘一个乌托邦的世界，没人能给出成功的答案。”
这句话初听可能比较晦涩难懂（我也是后来整理文章时才知道他真正的意思）。
为了理解这句话，我们得先了解罗素的立场。以 2024 年的诺贝尔物理学奖得主，“AI 教父”杰弗里·辛顿（Geoffery Hinton）为代表人物，罗素正是典型的“危机派”。他和辛顿一样常年奔赴各种讲座，宣传 AI 可能潜在的风险。斯图尔特·罗素，是人工智能对齐（AI alignment）领域的一位大师，他的工作就是让人工智能“不走歪路”，使其朝着预期方向发展。
AI 三教父和罗素
去年世界知识论坛上的一场演讲中，罗素教授以“AI 伦理学”为题详细讲述了我们当前面临的问题，并且在演讲结尾再次抛出了这句话：“我曾多次组织研讨会，邀请哲学家、AI 研究人员、经济学家、科幻作家和未来学家们来描绘一种理想的共存方式。但每次都以失败告终。这可能意味着根本就不存在完美的解决方案。”
现在这句话就好理解了。人类对于未来的想象往往倾向于极端——要么是世界末日，要么是完美乌托邦。但在罗素看来，现实里真正困难的是找到一个平衡点，一个人类与 AI 和谐共存的未来。
当然，罗素教授也做出了一些积极的预测，他认为有了 AGI 的帮助，我们可以以更大的规模、更低的成本，让每一个人都能享受到这种优质生活。具体来说，就是让地球上所有人都达到当前西方中产阶级的平均生活水平，并使全球 GDP 增长约 10 倍。
比较戏剧性的是，去年这场演讲的时间（9 月 9-11 日）恰逢 OpenAI o1 模型发布的前夕（9 月 13 日）。正如辛顿与罗素这两位“先知”所预见的那样，人工智能正以惊人的速度向着不可知的深渊狂奔。
今天虽然我们要探讨的是 AI 伦理学（The Ethics of AI），但我想更多地从常识的角度来切入这个话题。因为在我看来，我们当前面临的诸多重大问题，本质上并非伦理问题。让我来解释一下这句话的含义。
尽管正式确立是在 1956 年，但如果回溯人工智能的发展历程，其实它早在 20 世纪 40 年代就已经开始萌芽。纵观 AI 发展史，其终极目标始终如一：打造一种在所有关键维度上都能超越人类智能的机器，也就是我们现在所说的 AGI（通用人工智能）。
在这个领域发展的大部分时间里，我们一直忽视了一个至关重要的问题：如果真的实现了这个目标，会发生什么？如果我们在这个追求中取得了成功，这无疑将成为人类历史上最具影响力的里程碑事件。稍后我会详细阐述为什么这会是如此重大的转折点。但其实道理很简单：人类之所以能够主导这个星球，正是因为我们拥有智能。我们的文明，正是智能的产物。那么，如果我们创造出一个新的物种，一个在智能上远超我们的存在，会发生什么？这势必会成为人类文明的转折点。
正如谷歌 DeepMind 首席执行官 Demis Hassabis（2024 年诺贝尔化学奖得主）所说：“我们要先攻克 AI，然后用 AI 来解决所有其他问题。”
然而直到最近，我们都没有认真思考过一个问题：“我们是否已经成功了？”
没有人问这个问题。
但就在一年前，我的教科书（《人工智能：现代方法》）合著者 Peter Norvig 发表文章称，我们实际上已经创造出了 AGI。他用了一个很形象的比喻，就像 1903 年莱特兄弟的飞机，虽然它们不像现在的客机那样舒适，没有配备完整的酒吧，无法享用香槟和餐后饮品，但它们确确实实就是飞机。从 1903 年至今，飞机的变化不过是变得更大、更舒适、更快速，但起飞的基本原理早已在那时确立。
那么，我们现在是否真的已经实现了 AGI 呢？就像已经造出“"莱特兄弟阶段”的通用人工智能？对此，我的答案是否定的。当然，我也可能判断有误。
说实话，对于我们现有的 AI 系统，我们确实还没有完全搞清楚它们是如何运作的。这一点与莱特兄弟的飞机形成了鲜明的对比——莱特兄弟非常清楚他们的飞机是如何工作的，因为那是他们亲手组装的作品。他们了解发动机的每一个细节：需要多大的功率才能产生足够的推力，才能达到所需的速度，才能产生足够的升力让飞机离地。他们在飞行之前就已经完成了所有关于推力、阻力、升力和功率的基础计算。也就是说，在飞机首飞之前，他们就已经在理论上证实了它能够飞行。
反观我们现在的 AI 系统，它们就像一个巨大的黑匣子。从技术角度来说，这个系统大约由一万亿个可调节的元素构成了一个庞大的电路网络。我们对这些元素进行了数以万亿计的微小随机调整，直到系统表现出近似智能的行为。
这种情况就好比，假如莱特兄弟当年没有选择设计和制造飞机，而是转而进入鸟类育种行业，试图培育出越来越大的鸟，直到培育出一只能够载客的巨型飞鸟。
然后他们带着这只鸟去联邦航空局申请认证，对话可能是这样的： “能否为我们的巨型飞鸟颁发认证？”
而航空局会回答：“抱歉，你们的鸟还在伤害乘客，随意把人扔进海里，我们既不了解它的运作机制，也无法预测它的行为，所以无法给予认证。”
这就是我们目前的处境。在我看来，这些“巨型飞鸟”永远不可能成长到能够稳定承载数百甚至数千名乘客的规模，我们也永远无法真正理解它们的工作原理。它们可能永远也无法突破音障，或者达到类似的技术突破。我们需要在两个方面取得进一步的突破：一是能力本身，二是对这种能力的理解。因为如果我们无法理解这些能力，那么这些能力对我们而言就毫无意义。
接下来，让我们回顾过去十年，也就是深度学习的时代。
深度学习的本质是什么？简单来说，就是从一个包含大量可调节参数的系统开始，通过不断调整这些参数，使系统最终的行为能够完成我们期望的任务——可能是识别图片中的物体，可能是将中文翻译成英文，又或者是其他各种各样的任务。
事实上，机器翻译是这项技术首个真正具有重大影响力的应用。我还记得第一次使用它来处理一些法语文件时的震撼。因为我在法国有一套公寓，经常需要处理各种法语文件，这个系统完美地将这些文件翻译成了英语。虽然说即便翻译完我还是不太理解这些法律文书的具体含义，但翻译质量本身确实令人印象深刻。
另一个具有里程碑意义的突破是 AlphaFold。它是一个能够根据氨基酸序列预测蛋白质结构的系统。在结构生物学领域，这个问题已经困扰科学家们数十年之久。此前的实验方法不仅耗时耗力、成本高昂，而且只能应用于为数不多的几类蛋白质。但这个计算方法的出现，就像是为生物学家们打开了一扇新的大门——它让他们能够预测数百万种蛋白质的结构，而不是仅仅局限于几百种。这对整个生命科学领域都是一个革命性的贡献。
机器学习在模拟领域的应用，是另一个重大突破。要知道，模拟技术在现代社会中可谓无处不在：我们用它来模拟桥梁的受力情况、飞机的气动性能、船舶周围的流体流动、管道中的物质运输，甚至是人体动脉中的血液流动。这些模拟过程往往需要消耗巨大的计算资源，比如在超级计算机上模拟血流状况，可能需要持续好几周的运算。但借助机器学习方法，我们可以将这些需要数周的计算压缩到几秒钟内完成，而且保持同样的精确度。这一进展极大地推动了气象预报、气候模型、工程设计等诸多领域的发展速度。
还有一个引人入胜的例子是生成式设计。大家可能对 DALL-E、Midjourney 和 Stable Diffusion 这些系统比较熟悉，它们可以根据文字描述生成图像。
说个趣事，我在英国上议院演讲时，曾要求系统生成“上议院议员进行泥地摔跤”的画面，结果确实完成得不错，只不过画面中四位正在摔跤的议员加起来只有五条腿。但在实际应用中，这项技术的价值远不止于此。传统上，工程师们使用 CAD 工具设计结构时，需要先创建基础形状，然后将这些形状组合起来，再进行结构分析，往往会发现要么太脆弱，要么太重，要么强度不够。而现在，我们可以让 AI 系统直接根据设计要求提出解决方案。这些生成式设计往往会创造出优雅而富有生命力的有机结构，其性能常常超出人类设计师的预期。
然而，在这些令人瞩目的成就背后，我们也要直面 AI 领域的一些明显短板。比如自动驾驶汽车，这项技术至今仍未能完全实现。说来有趣，我在 1993 年就开始研究自动驾驶技术，而第一辆自动驾驶汽车早在 1987 年就在德国高速公路上进行了测试。但是时至今日，已经过去了 37 年，尽管各大公司一再承诺我们很快就能买到真正的自动驾驶汽车，但现实是这样的产品仍然没有真正面世。期间发生过致命事故，有车辆陷入湿水泥中无法动弹，还出现过各种各样的问题。
更令人意外的是，在本该是计算机强项的算术运算方面，AI 也表现出了明显的局限性。这听起来很难让人相信，因为计算不是应该是计算机最擅长的领域吗？但事实是，像 ChatGPT 这样的大语言模型，即便接触过数以百万计的算术例子、解释和教程，仍然无法保证准确进行基础的算术运算。
从表现来看，这些模型似乎并没有真正理解算术运算的基本概念。相反，它们更像是在使用一种查表的方式来解决问题。每当我们将电路规模扩大 10 倍，提供 10 倍的训练数据，它在算术运算上的准确性也只能提高一个数量级。这种特征非常典型地说明它们在使用查找表的方式工作，而不是真正掌握了如何一列一列地加数字并处理进位这样的基本原理。这确实让人有些失望。
更让人惊讶的是，事实证明它们也并没有真正学会下围棋。我们原本以为在 2017 年 AlphaGo 击败人类世界冠军后，它们的水平就已经远超人类了。从等级分来看，最强的围棋程序达到了约 5200 分，而人类世界冠军的等级分大约在 3800 分左右。按照这个差距，理论上 AI 应该能在 100 局比赛中赢下 99 局甚至全部 100 局。
但就在几个月前，我们发现这些程序实际上并未正确理解围棋的基本概念。它们无法准确理解相互连接的一组棋子构成的“棋组”概念。我们发现某些类型的棋组，尤其是环形棋组，AI 完全无法识别。在这种情况下，它会变得非常混乱。我们甚至找到了一些方法，可以让这些所谓“超人类水平”的围棋程序莫名其妙地放弃 50 到 100 颗棋子，最终输掉比赛。现在，即便是业余棋手，而不是职业选手，都能在让 AI 九子的情况下，连胜它十局。这说明它们并非真的达到了超人类水平，只是让我们误以为它们做到了而已。
基于以上种种情况，我认为我们还需要更多的技术突破，特别是在提高 AI 学习效率方面。人类学习新知识往往只需要一两个，最多不过五到十个例子就能掌握。但对计算机来说，可能需要一百万、甚至十亿个例子才能学会同样的内容。这种学习方式显然难以持续：因为从根本上来说，整个宇宙中都不可能存在足够多的数据来支撑 AI 通过这种方式达到超人类水平。
因此，我们确实需要新的突破。但同时我们也要承认，这些突破很可能会在未来发生。许多日复一日在行业一线工作的人员，他们每天都在开发大型语言模型、多模态模型——这些能够进行视觉感知、控制机器人的系统。根据他们的工程经验预测，只要将现有系统的规模扩大约 100 倍，就有可能超越人类能力，实现真正的通用人工智能。有些人甚至预测这一目标将在 2027 年实现。
从投入的资源来看，这个预测似乎并非完全不可能。要知道，目前我们在 AGI 研究上的投入已经是曼哈顿计划（研制核武器）的十倍，是我们有史以来建造的最大、最昂贵的科学仪器——大型强子对撞机投入的一百倍。如果说金钱能够决定成败，那么这项研究确实应该能够取得成功。
但另一方面，这项技术也可能会遇到发展瓶颈。首先，要训练一个规模扩大百倍的模型，恐怕整个宇宙中现存的文本数据都不够用。其次，这种规模的扩张未必能带来人们期待的能力提升，因为这些预测并非建立在严谨的理论基础之上，而仅仅是基于“更大就是更好”的经验观察（Scaling Law）。
如果真是这样，我们可能会目睹一个泡沫的破裂，其影响之大将使得 20 世纪 80 年代末的“AI 寒冬”相形见绌——那时的挫折可能只是一阵微寒。要知道，目前在这个领域的投资已经达到了惊人的 5000 亿美元，如果要将系统规模扩大百倍，所需投资很可能会达到万亿美元级别。
终于，我们要谈到正题（伦理学）了。
也许它们会选择离开，只在人类真正需要那种超级智能的紧急情况下回来帮助我们。如果真的发生这种情况，我会觉得这是最好的结局。这将证明我们终于找到了正确的方向。
图灵奖得主杨立昆：统治欲望源于生存需求，而非智能水平，AI 不会有这种想法 | AI 2025
硅谷神预言家库兹韦尔：科技每年将为人类增加一年寿命，2032 年之后实现“倒流” | AI 2025
谷歌前 CEO 施密特：AI 将在今年获得“永久记忆”，2028 美国会耗尽能源储备 | AI 2025
IBM 八大专家预测：现代编程语言是给人类设计的，AI 需要类似汇编的原生语言 | AI 2025
Agent 炒作一年仍未落地，99% 不懂 AI 的人和剩下 1 % 产生了鸿沟 | AI 2025
奥特曼开启 AGI 倒计时：很快搞定核聚变，第一批智能体会在今年加入劳动力队伍 | AI 2025
“AI 会取代程序员吗？”——这个问题如今愈发令人困扰。伴随着 Cursor 等 AI 编程助手爆火，面对日新月异的技术，不少开发者感到迷茫：未来的程序员究竟该何去何从？是被 AI 取代，还是与 AI 共舞？在这个充满变革与机遇的时代，我们需要重新思考软件开发的未来。为此，CSDN 特别策划推出了最新一期特刊：《新程序员 008：大模型驱动软件开发》。
读过《新程序员》的开发者曾这样感慨道：“让我惊喜的是，中国还有这种高质量、贴近开发者的杂志，我感到非常激动。最吸引我的是里面有很多人对 AI 的看法和经验和一些采访的内容，这些内容既真实又有价值。”
能学习到新知识、产生共鸣，解答久困于心的困惑，这是《新程序员》的核心价值。欢迎扫描下方二维码订阅纸书和电子书。
