陈龙:新一轮人工智能技术突破对发展新质生产力的启示

文摘   2024-05-23 18:01   浙江  

简介:陈龙罗汉堂总裁、湖畔创研中心执行教育长、为溪创始人。

引用来源:刚、戚聿东陈定定、申卫星、张世华、温百华:“人工智能技术革命:演进、影响和应对”,《国际经济评论》2024年第3期,第9~51页。

在这个科技革命主导的时代,如何催生科技突破、使其转化为经济和商业的引擎并成规模地落地、开花和结果,正成为新增长范式的一个核心命题。2023年9月,习近平总书记提出新质生产力的理念,旨在提倡由技术革命性突破、生产要素创新性配置、产业深度转型升级而催生的先进生产力。其目标是:提升全要素生产率,以深化技术应用为驱动,促进新产业、新业态和新模式快速涌现,并通过满足多样化、高端化的消费需求促进产业升级。

发展新质生产力,要形成与之相适应的新型生产关系,让各类优质生产要素向新质生产力方向顺畅流动。这需要创新链、产业链、资金链、人才链的深度融合。这与2022年中央经济工作会议提出的“要推动‘科技—产业—金融’的良性循环”以及“十四五”规划强调的“构建实体经济、科技创新、现代金融、人力资源协同发展的现代产业体系”,都高度契合。

毫无疑问,突飞猛进的人工智能(AI)技术,是发展新质生产力的重要引擎。而人工智能技术在过去十年的革命性突破,恰恰源自科技—产业—金融的有效结合。这对于思考在国内如何“以科技创新引领产业创新,积极培育和发展新质生产力”具有启发意义。

一、技术革命性突破背后是巨大的不确定性

从历史的后视镜看以美国人工智能公司OpenAI为代表的这一轮人工智能革命,往往会低估之前巨大的未知、不确定和犹疑以及由此带来的挑战。

首先是对技术发展大方向的认知。自1950年以来,对智能一直存在两大迥然不同的假说,即智能是逻辑还是生物的产物。符号主义认为,智能的基础是逻辑推理,知识可以通过一系列符号(Symbolic Expressions)和规则(Symbolic Rules)来推演形成,构建和完善逻辑框架就成为发展智能的方向。连接主义则认为,起初的逻辑体系并没有那么重要,智能的本质是学习如何建构神经网络中的连接强度。明斯基和帕佩特于1969年发表《感知机:计算几何学》,表明当时的单层神经网络不能解决基本的推理问题,基于连接主义的神经网络发展进入寒冬。直到1986年,图灵奖获得者杰弗里·辛顿与其他学者一起发表文章,证明神经网络中的多个隐藏层可以学习任何函数,从而解决了单层感知机的局限,也表明大规模神经网络的重要性(见图1)。2012年,辛顿和他的学生伊尔亚·苏茨克维(即OpenAI的联合创始人和首席科学家),使用基于神经网络架构设计的计算机视觉系统获得了视觉识别大赛冠军。之后伊尔亚在一次访谈中指出,“无可辩驳的是,如果一个神经网络又深又大,那么它可以解决一项艰巨的任……这种神经网络是可以被训练的。因此,如果你能训练它,扩大规模,并且找到数据,你就会成功

图1 人工智能取得的重要进展

来源:根据公开资料汇编。


强化学习之父、计算机科学家里奇·萨顿在2019年发表的“苦涩的教训”一文中也指出:“从过去70年的AI研究中可以得出的最大教训是,最有效且遥遥领先的方法是那些有效运用算力的通用方法(General Methods That Leverage Computation)。”但过去大多数研究默认计算成本不变,没有意识到算力成本急剧下降意味着什么,因此这些研究者一直认为,通过运用人类经验来提升算法才是主要的路径。虽然国际商业机器公司(IBM)的深蓝计算机在1997年打败国际象棋大师,被认为是人工智能发展的里程碑,但是因为技术路径选择的问题,难以持续突破,未能帮助IBM在人工智能领域保持引领地位。

其次,即便确定了大型神经网络的发展方向,如何形成可以产业化的技术,仍然充满不确定性。这一轮技术革命性突破是以基于转换器的生成式预训练模型(Generative Pre-trained Transformer,GPT)为代表的纯解码器(Decoder-only)路线,通过自然语言处理模型实现突破(见图2)。这一路线之所以能形成并在2021年后迅速繁荣,源于不同领域的科技和产业要素的耦合以及相互增强。换言之,这个过程并不具有必然性。

图2 大语言模型演化树

资料来源:Yang J. F., Jin H.Y., Tang R.X.et al., “Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond”, ACM Transactions on Knowledge Discovery from Data, 2023, https://arxiv.org/abs/2304.13712[2024-04-05]。


GPT的成功在于把生成式(Generative)、预训练(Pre-trained)、转换器(Transformer)、语言逻辑和对齐人类需求组合在一起,并设计了一个名为ChatGPT的现象级产品。所谓“生成式”,OpenAI在2016年发表的文章中指出,其核心目标之一是理解世界,而生成式模型可能是达成这个目标的最佳路径; 文章引用费曼(Richard P. Feynman)的名言,即“我不能创造的东西,我也就无法理解”。所谓“预训练”,则是通过对大量数据的学习,产生一种通用的能力。但最重要的还是转换器的产生。2017年谷歌的研究人员提出了基于自注意力机制的转换器架构,即把信息压缩成从具体到抽象的各种特征、关系和知识点,也就是参数,并通过权重决定重要性。通过采用这种架构,提出了并行处理大量信息的方法论。

然而,即使有了技术洞见和GPT的方法论,如果没有加速计算的革命,革命性突破也难以发生。根据OpenAI早先的一篇文章分析,人工智能训练任务所需的算力每3.42个月就会翻倍,对算力的需求增长远超摩尔定律(即每18个月芯片性能翻一倍)。而因为有了基于自注意力机制的转换器架构,可以并行处理信息;同时在硬件层面,图形处理器(GPU)的并行计算架构恰好与此功能完美配合。通过革新运算方法、设计更优内存和通信电路等方式,英伟达在过去十年将单个GPU的AI推理性能提高了1000倍。这便是为何英伟达的首席执行官(CEO)黄仁勋在2024年全球技术大会(GTC)上说,“2012年,AlexNet点燃了星星之火,这是人工智能与英伟达GPU的首次碰撞……几年后,我们发现了一个完美的应用场景(生成式AI)”。两者的结合,实现“大力出奇迹”,即通过大规模使用算力来构建越来越大、越来越深的神经网络,这成为实现人工智能的最佳路径,也因此造就了英伟达和OpenAI的今天。

最后,语言和“对齐”是GPT飞轮最后的闭环。正如语言学家乔姆斯基所言,“语言是生成思想的系统,而思想是由语言所生成的”。由于语言本身蕴含了最丰富的人类智能,从对语言逻辑的充分学习入手发展生成式能力,最有可能让AI获得一定程度的泛化智能能力(即从已知推向未知)。“对齐”意味着让模型准确理解和响应人类诉求,并与安全性以及人类伦理等标准相结合,从而使其转变为可与人类互动并供人类使用的产品。

可以看到,这一轮AI革命性突破环环相扣,而每一环都面临不同程度的不确定性,这对从业者和投资者则意味着巨大的风险和决策压力。跨越每一个重大不确定性,都需要技术洞见、战略定力及具体方法论的组合。

二、OpenAI如何应对科技—产业—金融各环节的挑战

上一部分阐述了OpenAI在技术路径上遇到的挑战和做出的选择。同样重要的是其在商业路径和风险资本上的选择。OpenAI是这一轮AI革命的领跑者,但它仅成立于2015年,且成立后6年几乎没有收入(见图3)。即便到作为最高水平大模型领跑者的今天,OpenAI也还只是一个年营业收入16亿美元、约770个员工(截至2023年)的企业,而且还在快速“烧钱”。在风起云涌的大模型竞赛中,OpenAI终局如何、是否能获得这一轮AI革命的最大红利,其实充满变数。例如,2024年4月元宇宙(Meta)推出的开源模型Llama 3-70B,仅有不到GPT-4的4%的参数量,却已在多种评测中紧追其后。如何在技术不确定、资金需求巨大、竞争激烈的AI产业实现突破?OpenAI引爆这一轮AI革命的经历,提供了以企业家精神以及市场化机制设计克服重大不确定性的科技商业化范例。 

图3  OpenAI营业收入走势(2016-2023年)

数据来源:作者根据历年新闻资料整理。


首先,OpenAI坚持基于技术洞见的战略定力。要沿着神经网络的技术路径构建AI能力,其必要条件是大模型、大算力、大数据。这意味着,在模型规模(即神经网络规模)达到关键节点前,模型能力难以产生真实价值。这恰恰是明斯基和帕佩特在1969年对神经网络路径提出的质疑。

OpenAI早期推出的GPT-1和GPT-2分别使用的参数量为1.24亿和15.4亿,这两个小模型未能涌现智能。直到2020年发布GPT-3,参数量跃升到1750亿,其展现的能力才受到广泛关注。但在GPT-3发布后,《麻省科技评论》发表了一篇文章“傲慢自大的GPT-3:自己都不知道自己在说什么”。文章提出了三方面质疑:(1)大力没出奇迹,“更大让GPT3更好,但这个变化不是革命性的”;(2)应该走逻辑派路线,“AI要理解语义,应该学习儿童如何理解世界的”;(3)质疑从语言中获得泛化能力,“纯粹通过纯文本方式输入可以实现的目标是有限的”。

此外,在技术路线上,OpenAI一直面临与谷歌的直接竞争。谷歌于2014年收购人工智能公司DeepMind,随后推出的阿尔法围棋(AlphaGo)取得了对战世界围棋冠军李世石的历史性胜利。人工智能的巨大潜力以及谷歌的一家独大,引起一些科学家和企业家的警觉,如科技生态风投家萨姆·奥尔特曼(Sam Altman)、科技创业者埃隆·马斯克(Elon R. Musk)、人工智能专家伊尔亚·苏茨克维、技术运营专家格雷格·布罗克曼(Greg Brockman)和沃伊切赫·扎伦巴(Wojciech Zaremba)。他们拥有共同技术愿景,愿意联合起来,希望在抓住人工智能机遇的同时,确保这一技术让社会广泛受益,并防止潜在的风险。可见,这是完全市场化的行为,机遇与竞争交织其中。

虽然谷歌和OpenAI都选择了转换器架构,但不同于谷歌采取双向编码器路线,OpenAI采取了纯解码器的生成式路线。OpenAI在推出GPT-1和GPT-2后就用完了所有资金,相较于谷歌并无优势,但OpenAI通过前面的实验,验证了“大力出奇迹”这一技术思路,并在获得微软10亿美元的融资后继续全力投入,由此实现了现象级成功。

其次,OpenAI能引领这一轮AI革命,还依赖它将技术规模化的工程能力以及落地为商业应用的产品能力。基于“大力出奇迹”的技术路线,OpenAI要不断扩大训练数据量和模型参数量,训练效率就成为关键。这得益于OpenAI的团队构成,既有以伊尔亚为代表的算法团队,也有以格雷格为代表的具有算法理解的工程团队。此外,2021-2022年,OpenAI与微软云合作重构了其模型训练的基础设施,为之后训练GPT-4提供了“超级计算”的基础。这些工程化能力主要表现在,OpenAI能用极小算力进行小规模实验,并预测出大规模计算的成功率,从而大大降低了动辄数千万美元的大规模训练的不确定性。同时还表现为研发新产品的极致效率。基于GPT-3.5的能力,OpenAI仅仅耗时13天就推出了ChatGPT这一令世界惊艳的产品;同样,OpenAI的文生视频大模型Sora也是由一个小团队在很短的时间内推出,其核心领导者甚至是刚刚毕业不久的博士。

最后,OpenAI得以成功也依赖市场化的商业机制设计以及与风险资本的紧密融合。OpenAI一开始是纯粹的非营利组织。在2019年发布GPT-2时,OpenAI已基本用光了所有资金。OpenAI首席执行官萨姆说,“为了成功完成我们的使命,我们需要海量资金,数额远超出我最初的设想”。为此,OpenAI改制成立了一家有限营利公司OpenAI LP以吸引风险投资。从改制到发布ChatGPT的三年多时间,OpenAI经历了6轮融资,涉及多家风投企业,包括引入微软作为其最主要的投资者。

鉴于存在巨大的不确定性,微软和OpenAI在风险资本上的合作与产业化的进展环环相扣。微软在2019年7月注入了10亿美元,在GPT-3发布后,又投资了20亿美元。2022年11月OpenAI推出ChatGPT并取得巨大成功后,微软在2023年1月进一步为其提供了100亿美元的融资。在治理机制上,微软并没有尝试把OpenAI转变为其子公司。2023年6月,OpenAI进行了第二次改制,从有限责任合伙企业变更为有限责任公司,其中微软持有49%的股权,但不在OpenAI拥有董事会席位,从而使得OpenAI董事会对公司的未来发展方向拥有绝对控制权。OpenAI最初作为非营利组织、董事会权力主要由外部董事掌握且缺乏投资人制约等缺陷,引发了2023年11月的“政变”。当事件平息后,OpenAI董事会改组,成员之一为曾任美国财政部长的知名经济学家劳伦斯·亨利·萨默斯(Lawrence H. Summers),这使得OpenAI从非营利组织与商业的结合,最终转变为商业与社会责任的结合,为后期进一步加快OpenAI的发展奠定了治理基础。

OpenAI与微软的融合不仅在资金层面,而且体现在产业层面的深度合作。微软为OpenAI补充了一流的工程化能力、数据资源以及应用场景。工程化方面,微软Azure是OpenAI的独家云服务提供商,为OpenAI训练和推理提供了能够快速部署的算力;数据资源和应用场景方面,微软大量的B端、C端数据给大模型提供了更丰富的训练语言材料,Office、Bing等软件为OpenAI的 GPT嵌入提供了天然的场景。同样,微软通过与OpenAI合作,在新一轮人工智能革命中获得了先机,人工智能成为微软从云计算到其他原有产品营业收入上涨的主要推动力,同时微软也获得了资本市场的高度认可,其市值从2022年年底的1.8万亿美元已经升至2024年4月初的超3万亿美元。

三、OpenAI作为一个科技商业化范本的启示

OpenAI引爆这一轮人工智能革命的过程,提供了以企业家精神、要素组合、市场化机制设计克服“科技—产业—金融”各环节不确定性的科技商业化范例。

人工智能革命在技术路线、产业化和资金方面都面临很大的风险,无法事先预判并明确规划。这就要求各参与方拥有适配的态度、动机和灵活性,以市场化的方式自发组合和探索。起初,技术路线不确定性很大,OpenAI是一个非营利组织,早期资金来源于捐赠人。随着技术路径逐渐明晰,风险资本加入的动机不断增强,并且与产业化相辅相成。各参与方都承担了很大风险,并灵活动态地调整参与策略。

面对巨大的不确定性,多方市场力量协同促成了OpenAI的成功。OpenAI在这个过程中深度改变了其治理机制,由此获得了更多外部投资。这个市场化组合的过程,不仅弥补了其技术路线要求的大参数模型训练的资金缺口,而且为OpenAI带来了与微软互惠互利的深度合作。“科技—产业—金融”的良性循环使得OpenAI在保持技术和产品领先性与获得更多市场投资之间建立了正向飞轮。同时,OpenAI推动的技术路线与英伟达的GPU算力迭代,也形成了正向飞轮,以市场化的方式促进相关产业突飞猛进,并反哺自身。这种市场化协同方式,使得OpenAI以及各方参与者能够以长期主义应对科技革命的不确定性,并最终赢得胜利。

以OpenAI为代表的人工智能革命并非个案。从更长期的技术突破及产业化的全球历史经验看,相较于效率和规模,高风险性更是其本质特征,因此,需要以市场化主体为核心来推动技术革命,这些主体必须具备拥抱风险的态度。即便一些早期技术源头来自政府项目,如互联网,但其后期发展潜力完全出乎美国政府在20世纪90年代早期的预判;其真正发展成为商业化的服务和技术应用,还需叠加一系列市场导向的技术突破,并且以可落地的产业化持续驱动市场资金的投入。在这个过程中,政府所能发挥的重要作用,是为资本和企业构建良好的营商环境,稳定市场对未来的长期预期,支持分散的市场化主体敢于创新、挑战不确定性、坚持长期主义。这是科技革命商业化的本质,其中不同参与者需要扮演各自的角色。

四、小结

这一轮人工智能革命方兴未艾,生动地展示了技术革命性突破背后巨大的不确定性。随着中国科技及产业不断趋近前沿,叠加地缘政治因素导致的技术壁垒,中国经济正快速超越以前通过已有成熟技术规模化来推动产业发展的阶段,在技术创新、产业应用以及资金配置上将面临越来越大的风险和挑战。而国际上人工智能技术突破及产业化进程,为国内以人工智能为重要引擎的新质生产力发展提供了宝贵经验。

从此轮人工智能革命的领跑者OpenAI的经历看,技术洞见、战略定力、工程能力、产品能力、商业设计的结合,促使其惊心动魄地跨越了“科技—产业—金融”各环节的多重风险和不确定性,这足以成为科技商业化的范本。

从社会机制视角看,OpenAI的成功建立在多方市场力量的高效协同上,技术领先性、产品市场竞争力与风险投资回报之间形成有力的正向循环,从而有效应对技术革命存在的巨大风险。

从政策视角看,由于发展新质生产力本质上具有风险,构建与新质生产力适配的新型生产关系需要充分发挥金融市场有效匹配风险和收益的功能,营造公平竞争、充满活力、稳定可预期的营商环境,从而鼓励市场化主体敢于创新、承担风险的长期主义行为。同时,还应充分发挥市场机制以及国内超大规模市场的优势,加速形成科技创新、产业应用与风险投资之间的正向循环。



(此为缩减版,注释从略,请前往知网下载全文
http://kns.cnki.net/kcms/detail/11.3799.F.20240520.1636.002.html.

罗汉堂观点
罗汉堂是由阿里巴巴集团倡议,并由包括7位诺贝尔经济学奖得主在内的全球顶尖学者共同发起的开放型研究机构。经过数年发展,罗汉堂搭建了一个由不同领域前沿研究者组成的数字经济研究社区,旨在系统思考、研究数字技术革命对经济和社会的影响。
 最新文章