以下是部分访谈内容：
本·霍洛维茨: AI正在做一些我们不知道、也不知道怎么让它做的事情，但我们觉得以后可能会弄明白。理解这一点很重要。
马克·安德森: 没错。它未来可能会发生，也可能不会，我们不知道。乍一看，好像那些警告末日到来的人总是占上风，他们的论点很简单：你无法排除这种可能性。
我举个例子，我不久前在萨姆·哈里斯的播客上和他深入讨论过这个问题。我是萨姆的粉丝，但那次讨论我 basically 试图从十几个不同角度来分析这个问题，思考它的可能性、物理限制、技术限制等等。但他的回复永远是：你仍然无法排除这种可能性。
所以我就，好吧。要是这种可能性无法排除，就会掉进逻辑陷阱，讽刺的是，这曾经被称为“切尼主义”，是以迪克·切尼的名字命名的。
关于“切尼主义”还有一本很有名的书。那是20年前，当时伊拉克问题很热门，“切尼主义”指的是，如果你觉得某件灾难性事件发生的概率是1%，你就必须全力以赴去阻止它发生。
本·霍洛维茨: 你是指像入侵伊拉克推翻萨达姆政权那种事？
马克·安德森: 对，比如。你必须入侵伊拉克。这就是问题所在。
本·霍洛维茨: 什么问题？
马克·安德森: 可能会造成什么不良后果？所以，这是一种基于假设的推测性论点，即使只有1%的可能性，也变成了100%的确定性。
马克·安德森: 为了防止万一，你必须采取行动，即便这可能会造成灾难性的后果。这就是逻辑陷阱。在我看来，这就是逻辑陷阱，但这就是这种论证方式的含义，也是问题所在。这种论点的AI版本，埃利泽·尤德考斯基的版本是，我们必须炸掉数据中心。
马克·安德森: 卡尔·萨根有句名言：非凡的断言需要非凡的证据。这是因为，我们这些聪明人可以整天坐在那儿，想象各种各样的世界末日场景。我们可以想象大型强子对撞机会摧毁现实，我们可以想象超级武器会被发明出来，诸如此类。
马克·安德森: 我们可以整天假设和推测这些场景。但是，非凡的断言需要非凡的证据。如果没有非凡的证据，那很可能只是杞人忧天，而为了预防这些事情而采取的行动，造成的后果可能会比什么都不做更糟糕。
本·霍洛维茨: 我们在这方面有很多前车之鉴，比如入侵伊拉克，比如禁用核能，最终导致了现在气候变化的局面。所以，应对那0.0001%的可能性，是要付出代价的。
马克·安德森: 没错。实际上，“切尼主义”在技术领域的完整版本叫做“预防原则”，我们之前聊过。预防原则是技术哲学和科学哲学的一个原则，是德国绿党在20世纪70年代提出的，目的是阻止民用核能的扩散，他们也确实做到了。“预防原则”指的是，除非科学家或技术人员能证明新技术在所有情况下都是无害的，否则就不能应用这项技术。
马克·安德森: 我喜欢用回测来解释。投资的时候，你总是要做回测。你有个赚钱的想法，你得回测一下，看看这个想法在过去能不能赚到钱。所以，“预防原则”的回测就是，我们会发明火吗？
本·霍洛维茨: 汽车、电、铲子。
马克·安德森: 没错。铲子可以用来挖洞，也可以用来砸人。所有的好东西都可能被滥用。
汽车比马车快，但也可能撞死人。成年人的讨论方式应该是权衡利弊。冷静、客观地分析利弊。“预防原则”就有点像小孩子，觉得除非绝对安全，否则什么都不能做，那岂不是永远躲在黑暗里，什么新东西都不能发明？这太可怕了。
正如你所说，现在即使在环保运动内部，也有越来越多的人认为在核能问题上应用“预防原则”是个灾难性的错误，因为核能是清洁能源的希望。为了避免使用核能，我们花了60年时间大规模建设碳基能源设施，最终导致了现在环保人士都害怕的后果。
本·霍洛维茨: 事实证明，长期大量排放化石燃料到大气中是有问题的。
马克·安德森: 确实有问题。顺便说一句，阻止AI发展也一样。AI有风险，不发展AI也有风险。不发展AI的风险在于……
本·霍洛维茨: 可能无法治愈癌症，无法解决各种重大问题，比如气候问题、地缘政治问题、粮食和水资源短缺等等。我们现在面临的各种棘手问题，以后很可能都能通过AI，也就是更强大的数据库智能得到解决。所以，你的意思是，就因为AI有那么一点可能会以我们都无法理解的方式失控，我们就不要解决所有这些问题了？
马克·安德森: 没错。这就涉及到现实问题了。肯定会有人反驳说，你无法排除这种可能性。但我只想说，就目前而言，我们还不知道怎么让AI“起飞”。
本·霍洛维茨: 是的。
马克·安德森: 目前还没有这种AI。我想说的是，如果我们知道怎么做，我们肯定已经投资了，但我们没有。
本·霍洛维茨: 现在还没有。这让我想起了小时候看过的那些科幻电影，说是物理定律允许时间旅行。有很多关于时间旅行的电影，但我们现在仍然不知道怎么做，即便我们无法排除这种可能性。就因为我们无法排除这种可能性，我们就应该禁止所有物理学研究吗？万一我们真的发明了时间旅行，改变了未来，毁了一切怎么办？但现在的问题是，我们讨论的“AI起飞”还不知道怎么实现。
马克·安德森: 这种讨论中还存在一种信息不对称。悲观主义者的观点听起来总是更成熟、更睿智、更有说服力。所以，在这些讨论中，悲观主义者听起来总是像个成年人，像智者一样警告我们未来可能发生的危险，而乐观主义者，或者说实用主义者，听起来总是很天真，好像不明白自己说的话意味着什么。
马克·安德森: 但话说回来，我们还不知道怎么让AI自我“起飞”。目前还没有这种AI。反对这种世界末日场景的最好论据，就是物理规律的限制。我问你，本，现在AI初创公司面临的最大限制是什么？
本·霍洛维茨: GPU不够用。
马克·安德森: 第一步，芯片短缺。没错。
本·霍洛维茨: 芯片有了，电力也不够。电力够了，散热又成问题。所以，有很多限制。AI能自我改进，和它变成无所不能的超级智能，中间有很大的差距。AI发展史告诉我们，AI能做的事情比我们想象的要局限得多，即便我们已经取得了很大进步，它在很多方面仍然很具体，在自我改进方面也一样。
看看现在这个领域的研究，都不是那种能彻底改造自身的、天才型的自我改进，而是一些小的改进，比如迭代推理能力之类的，这和超级“起飞”根本不是一回事。GPU不够，电力不够，散热不够，然后我比较放心的是，根据我的了解，它不可能一下子就“起飞”。
马克·安德森: 本，我感觉现在还没有哪个AI，比如那些能写代码的大语言模型，能开发出比自己更强大的版本。完全没有。
Ai的能力已经停止增长
马克·安德森: 它们甚至都没改进过机器学习算法。根本没有。我们现在讨论的都只是假设。还有件事很有意思，我们以后再详细聊。两年前，只有一个大语言模型鹤立鸡群，那就是OpenAI的。
但现在，有六个模型都达到了差不多的水平。有趣的是，至少目前看来，它们的能力都达到了一个瓶颈，好像撞到了天花板。当然，有很多聪明人正在努力突破这个瓶颈。但就目前的数据来看，如果画一张性能随时间变化的图，你会发现，至少在局部，AI的能力已经停止增长了。
本·霍洛维茨: 从GPT 2.0到GPT 3再到3.5，进步的速度很快，但从3.5到4，就慢下来了。GPU的使用量仍然在以同样的速度增长，但AI的智能水平并没有提高多少。这说明，数据可能不够了，或者还有其他原因。
马克·安德森: 我们以后专门讨论瓶颈问题。
本·霍洛维茨: 人类的知识快不够用了。
马克·安德森: 没错。简单来说，那些真正懂AI的人都认为，AI的能力主要取决于数据，特别是训练数据。现在那些大型模型都是靠抓取互联网上的数据，包括人类生成的文本、视频、音频等等来训练的。但这些数据是有限的。实际上，那些大型AI实验室现在都缺数据缺得厉害，他们甚至雇佣了成千上万的程序员、医生、律师来手动回答问题，就为了训练AI。
本·霍洛维茨: 这让我想起了我儿子，还记得以前那种基于专家系统的医疗诊断程序吗？
马克·安德森: 记得，就是那种基于规则的。
本·霍洛维茨: 对。
马克·安德森: 规则越多越好。所以，这也很讽刺，现在AI的招聘很火爆，很大一部分原因就是需要专家来生成答案，用来训练AI。有点讽刺，但事实如此。正如本所说，现在 basically 有六个模型的能力都和GPT-4差不多，都遇到了瓶颈。当然，有很多聪明人正在努力突破瓶颈，提高AI的推理能力。但我们现在讨论的都只是假设。希望他们能成功，毕竟我们需要更强大的AI。但在那之前，我们没必要担心AI的自我改进问题，因为我们现在连怎么让AI自我改进都不知道。
本·霍洛维茨: 一点都不知道。我觉得这可能是最重要的政策原则：别去监管我们还没发明出来的东西，这很危险。比放任自流危险得多。
Ai本质上就是一个巨大的方程式
马克·安德森: 没错。你现在就可以试试。去问问ChatGPT或者其他AI，问它们会不会做这种事。它们会详细解释为什么不会。所以，我们得退一步想想。AI是个涵盖性术语，指的是一大堆具体的技术和一个总的概念。但我们现在拥有的AI，和我们曾经以为我们会拥有的AI，根本不是一回事。本提到了专家系统，我们上大学那会儿，80年代，正是专家系统火爆的时候。当时的想法是，AI就是一大堆规则。但这种方法 basically 失败了。还有很多其他的AI研究方向。有本书让很多末日论者很兴奋，我经常提到它。这本书是尼克·博斯特罗姆十年前写的，《超级智能》。
尼克·博斯特罗姆是牛津大学的哲学家，这本书充满了末日论的调调，但有意思的是，他在书里描述了很多通往“超级智能”或AI的路径，但完全没提到大型语言模型。
本·霍洛维茨: 没有提到Transformer架构，“注意力机制就够了”。
马克·安德森: 没错。那篇论文和Transformer算法都是在他写书之后才出现的，他不可能预见到。但关键是，这玩了个认知障眼法。人们读了他的书，然后看到了一些书里没提到过的东西，就把书里的理论套用在了这些新东西上。但大型语言模型和书里描述的AI的工作方式完全不同。它们的工作方式，就像我们之前讨论Truth Terminal时说的，完全不一样。
所以，那种认为AI会像终结者一样，变成一台不可阻挡的优化机器，不停地运转，直到把一切都变成回形针，或者消灭所有人类，这种想法，根本不符合大型语言模型的工作方式。
本·霍洛维茨: 它们只是在预测下一个词，而且经过训练，它们不会做蠢事。
马克·安德森: 没错。而且，它们的连贯性会逐渐下降，词元会用光。有很多限制。它们会犯错，会搞混。而且，大型语言模型本质上就是一个在训练数据矩阵中搜索的引擎。你问同一个问题的方式不同，得到的答案也会不一样，这取决于它在所谓的“潜在空间”中搜索的路径，有一定的随机性。所以，它没有一个统一的“自我”。有人说AI会这样会那样，我不同意。大型语言模型没有统一的“自我”。
本·霍洛维茨: 博斯特罗姆的书把AI过度拟人化了，这很不现实。我们总是喜欢把所有东西都想象成跟我们一样，但AI本质上就是一个巨大的方程式，在人类知识库里搜索答案。我真不知道他是怎么得出那些结论的，不过以后再说吧。
马克·安德森: 顺便说一下，尼克·博斯特罗姆又写了本新书，说超级智能会让一切都变得更美好。所以，他自己已经不是末日论者了，又变成了乌托邦主义者。其实他们一开始都是乌托邦主义者，都是奇点主义者。大概20年前，他们变成了末日论者。现在，他们中的一些人又变成了乌托邦主义者，或者说乐观主义者。所以，末日恐慌正在消退。他们也在学习和适应，或者说，找到了新的方法来兜售自己的书。
苏联的结局
马克·安德森: 你刚才说的，不仅仅是军事竞争，就像20世纪的美苏对抗也不仅仅是军事对抗。它是一个三角形，三个角相互关联：军事、技术和经济。技术先进的国家，军队也更强大。在资源有限的世界里，经济强大的国家，军队也更强大。
马克·安德森: 回顾一下美国是如何赢得冷战的，你就能明白这个三角形的关系。主要有两方面原因：
一是我们在技术上胜过了苏联，比如我们在计算机领域取得了领先，这让我们能够启动“星球大战计划”，也就是导弹防御系统。现在还有人争论这个计划在技术上是否可行，但苏联人显然相信它是可行的，因为美国在其他技术领域遥遥领先。
二是经济竞争。苏联解体后，叶利钦的经济部长写过一篇文章，说压垮苏联的最后一根稻草是经济问题，是石油和小麦出口的枯竭，导致硬通货短缺，最终破产。他们可以印很多卢布，但卢布什么都买不到，他们也没钱从西方进口商品。这就是苏联的结局。他们的经济崩溃了，而我们的经济却蒸蒸日上。
技术和经济是相互关联的。如果苏联更有钱，他们就可以投入更多资金研发技术。美国当时经济实力雄厚，是资本主义制度，所以我们可以在军事研发上投入巨资。而苏联的经济不行了，没钱投资军队和技术，最终崩溃。值得记住的是，我们赢得冷战的方式是最好的，敌人直接投降了，说，我们不玩了。
本·霍洛维茨: 孙子兵法说，不战而屈人之兵，善之善者也。
马克·安德森: 我们之前聊过你家的历史，我觉得很有意思。如果你在1970年告诉你奶奶，苏联会在19年后解体，她肯定觉得你在做梦。根本无法想象。在长达44年的冷战中，直到87、88年，都没人觉得苏联会解体。
本·霍洛维茨: 太突然了。完全出乎意料。我们当时还处在冷战之中，他们突然就投降了。
马克·安德森: 他们放弃了。他们 simply 放弃了。这是最好的胜利。所以，我的观点是，我们现在正处于“中美冷战2.0”。但我们不应该通过第三次世界大战来取胜，而应该像上次那样，用我们的制度优势压倒对方，让他们心服口服，主动加入我们。
马克·安德森: 我们现在最不应该做的，最愚蠢的事情是什么？
本·霍洛维茨: 停止创新。
马克·安德森: 没错，停止创新，就像给自己套上脚镣。这会在我们即将胜利的时候葬送一切，简直是自杀式的行为。说实话，如果我们真这么干了，那输了也活该。
本·霍洛维茨: 没错。我觉得中美和美苏之间还是有一些区别的。我们的经济联系更紧密，比如我们的手机都是在中国生产的，他们的手机都是在美国设计的。所以，比起彻底脱钩，不如找到一个新的平衡点。我们现在的关系确实有些问题，但还没到彻底决裂的地步。AI自主战争对双方来说都是灾难，贸易战也一样。所以，我们应该更明智一些。
还有，你刚才说的，如果看看现在AI领域的情况，我们做得还不错。中国AI很强，美国AI也很强。我们现在没必要限制AI发展。就像冰球运动员韦恩·格雷茨基说的,别去追冰球，要去冰球将要去的地方。
如果你真的担心中国，我们应该把精力放在我们真正落后的领域，比如机器人供应链，而不是限制AI技术的发展或阻止技术外流。我觉得那样做是白费力气，而且会适得其反，搬起石头砸自己的脚。我们应该把精力放在真正重要的事情上。我们只要做好自己的事，剩下的，我同意，会水到渠成。
本·霍洛维茨: 很多人对AI有个误解，觉得AI已经发展成熟了。但实际上，即使是现在这些大型公司和他们的AI模型，也很可能用的是错误的架构。我有个在Meta工作的朋友，Yann LeCun，他说，现在AI的发展方向是错的。所以，在一个自上而下、高度集中的系统里，很难诞生新事物。而我们现在讨论的AI技术，只是个开始，未来还有无限可能。这对我们来说是一个巨大的优势。
关注《森林聊AI商业》公众号
了解 AI 如何塑造商业的未来
