IPP全球智库纵览|​巧妇难为无米之炊,AI难以自授新技

学术   2024-11-01 17:41   广东  

IPP评论是国家高端智库华南理工大学公共政策研究院(IPP)官方微信平台。

导语:

尽管AI被广泛视为经济的下一个强大增长引擎,尤其是在OpenAI和Anthropic等公司吸引到前所未有的巨额投资后,市场对AI的期望也随之达到新的高度。然而,现实的发展并非一帆风顺。

《华尔街日报》专栏作者安迪·凯斯勒撰文指出,AI领域中的一些关键“悖论”,这些悖论不仅成为当前发展的瓶颈,也可能带来长期风险。其核心在于,尽管AI在处理复杂的智力任务上表现优异,却在看似简单的感知和运动技能方面面临巨大挑战。这种差距体现了人类数十亿年的生物进化成果,AI难以轻易复制或超越。
图源:The Wall Street Journal

*本文作者:安迪·凯斯勒(Andy Kessler),《华尔街日报》专栏《内部观点》的作者,该专栏聚焦于科技与市场及其与文化的交汇点。他曾获得2019年度杰拉尔德·洛布奖。他还著有多本书籍,包括《华尔街猛料》和《吃人不吐骨》,他曾在贝尔实验室设计芯片,之后在佩恩韦伯和摩根史坦利投资公司工作,并创立了对冲基金Velocity Capital。



正文



人工智能有望成为推动经济发展的新动力引擎,这一点至关重要:OpenAI刚刚获得了66亿美元的融资,创下历史上的最大风险投资记录,公司估值高达1570亿美元。然而,该公司预计今年将亏损50亿美元,并且预测到2029年的累计亏损将达到440亿美元。

我们被各种令人眼花缭乱的新闻轮番轰炸。Anthropic公司的首席执行官达里奥·阿莫迪大胆预测,到2026年,“强大的AI”将在许多领域超越人类智能。OpenAI也不甘示弱,声称其最新模型“被设计为在回应前多加思考,能够处理复杂的任务,进行推理,并解决更棘手的问题”。
Anthropic CEO 达里奥·阿莫迪此前预测,到2026年,AGI的智力将超越人类诺奖得主。图源:Wikimedia Commons
难道AI真的会变得像人类一样吗?甚至拥有意识?

大型语言模型确实让人眼前一亮,但它们本质上还是模仿人类思维的统计模型。你不能单纯靠使用更便宜的芯片就指望性能有飞跃式的提升。这里不仅仅涉及摩尔定律(芯片密度每18个月翻一番),还有更多复杂的因素在起作用。虽然我不愿意当那个泼冷水的人,但还是得给这股AI热潮降降温:
莫拉维克悖论:婴儿比AI聪明。1988年,机器人研究者汉斯·莫拉维克指出,“让计算机在智力测试或下棋方面达到成人水平相对容易,但在赋予它们一岁婴儿那样的感知和移动能力时,却难如登天。”许多天生的能力已经深植于我们的DNA中,其中很多都是无意识的。从这方面来看,即便AI要想赶上一个牙牙学语的婴儿,依旧道阻且长。

莫拉维克先生进一步指出:“在人类大脑高度发达的感觉和运动区域中,编码了数十亿年关于世界本质及如何在其中生存的经验。”DNA就像一本古老的智慧书,记录了生命成功的秘诀。
人类感知是多模态的,包括同时处理视觉等感官信号。AI需要具备非常高效的传感器融合能力才能做到这一点。图源:新华社
AI还有很长的路要走。上周,苹果公司的AI研究人员似乎也同意这一点,他们指出,“当前的大型语言模型并不具备真正的逻辑推理能力;相反,它们只是在模仿训练数据中的推理步骤,就像是鹦鹉学舌”。

哈佛大学心理学教授史蒂芬·平克上周对我总结这一悖论时说:“对我们来说轻而易举的事情,比如在三维世界中的操作,对AI来说却像是登天之难。我们短时间内还不会见到AI水管工来修水管。而对我们来说困难重重的事情,比如诊断疾病或编写代码,对AI来说可能就是小菜一碟。”
语言末日悖论:正如我之前提到的,AI的智慧源自于人类逻辑,这些逻辑深藏在字里行间。大型语言模型需要人类的文字作为输入,才能变得更加先进。但是一些研究人员认为,到2026年至2032年之间,我们将用尽可用于训练模型的书面文字。

遗憾的是,我们不能用AI生成的文本来训练AI模型,这会导致所谓的“模型崩溃”,输出变成无意义的乱码。可以将其想象成近亲繁殖——AI需要新的、来自人类的输入来提供新鲜的视角。
当AI模型重复使用自己生成的数据进行训练时,模型可能会逐渐偏离真实世界数据的多样性和复杂性。图源:新华社
一项研究表明,即使只有1%的数据是合成的,也足以破坏训练模型。因此,我们需要更多的人类输入——这也是为什么OpenAI与道琼斯达成了内容协议,并且上周又与赫斯特集团合作,获得了超过60种杂志和报纸的内容。

当前的模型使用了30万亿个人类词汇进行训练。要想达到摩尔定律[1]那样的增长速度,是否意味着在未来十年内,这个数量要增加1000倍,达到30京个词元?真的有那么多文字可供训练吗?

规模悖论:初步迹象显示,大型语言模型可能遵循所谓的幂律分布[2]。正如谷歌研究员魏达刚所言,“增加模型大小、数据集大小或是计算量可以带来显著的性能提升,但随着规模的扩大,收益会逐渐减少”。换句话说,大型语言模型可能会遇到难以逾越的瓶颈。

投入悖论:现在,数据中心对用于AI训练的图形处理器有着近乎无尽的需求。英伟达上一季度的收入达到了300亿美元,预计到2025年收入将攀升至1770亿美元,而到2026年更是将达到2070亿美元。但是,红杉资本的风险投资人戴维·卡恩对此持怀疑态度,他认为这种需求未必能持久。
根据彭博社预测,英伟达今年的营收预计将达到 1256 亿美元。图源:Wikimedia Commons
在他看来,AI产业需要实现6000亿美元的收入,才能回本迄今为止所有的AI基础设施支出。行业领头羊OpenAI预计今年收入为37亿美元,明年跃升至120亿美元,并预计到2029年将突破1000亿美元的大关。不过,这或许需要十年的时间来证明今日在GPU芯片上的巨额投入是值得的。

高盛的研究部负责人写了一篇报告,题为“生成式AI:花费多多,收获寥寥?”他在题目里加了个问号,也算是留了点余地。诺贝尔奖得主、麻省理工学院的经济学家达龙·阿西莫格鲁(Daron Acemoglu)认为,AI只能搞定5%的工作量,并在接受彭博社采访时直言,“大笔的资金可能会打水漂”。
再看看电力成本问题——一次ChatGPT的查询耗电几乎是谷歌搜索的十倍。据说微软为了应对电力需求的激增,正在重启三哩岛核电站的一个反应堆。我坚信AI会让我们的生活更加美好,但这条路可不是一路平坦,直线上升的。它更像是太极图中的阴阳平衡之道,充满曲折和挑战。

内容编译|白一冰
[1] ‌‌摩尔定律是由‌英特尔(Intel)创始人之一‌戈登·摩尔(Gordon Moore)在1965年提出的一个观察性规律‌,具体内容为当价格不变时,‌集成电路上可容纳的元器件的数目,约每隔18-24个月便会增加一倍,性能也将提升一倍。换言之,每一美元所能买到的电脑性能,将每隔18-24个月翻一倍以上。
[2] 幂律分布是一种数学现象,表现为某个值的频率与其排名的幂函数成反比,通常用于描述自然界和社会系统中大量复杂系统的分布特性,如地震强度、网络链接数及财富分配等现象。

往期推荐

郑永年:AI假装是人类,中美怎么办?|IPP国际会议


IPP国际会议|蒋余浩:中国人工智能创新发展路径研究——基于“非线性创新观”的探索


IPP国际会议|元桥一之:人工智能会取代人类的思维能力吗?


关于IPP
华南理工大学公共政策研究院(IPP)是一个独立、非营利性的知识创新与公共政策研究平台。IPP围绕中国的体制改革、社会政策、中国话语权与国际关系等开展一系列的研究工作,并在此基础上形成知识创新和政策咨询协调发展的良好格局。IPP的愿景是打造开放式的知识创新和政策研究平台,成为领先世界的中国智库。

IPP评论
华南理工大学公共政策研究院官方微信平台。 国际视野,中国情怀;扎根真实世界,回应中国问题。
 最新文章