下载|李国杰院士：智能计算技术的突破与挑战

科技 2024-11-29 17:28 北京

近几年掀起的人工智能浪潮本质上是智能计算技术的突破，智能计算技术已成为推动社会进步的关键力量。11月22日，由中科云计算研究院与东莞理工学院联合主办，世界数字科学院倾力协办的“智・算国际学术交流会”在东莞松山湖成功举办。中国工程院院士李国杰在会上发表了《智能计算技术的突破与挑战》视频演讲，引起了业内人士的高度称赞。媒体对李国杰院士进行了专访，深入探讨了智能计算技术的发展现状与未来前景。

智能计算技术的历史性突破和发展趋势

面对媒体的采访，李国杰院士首先从全球范围内的实际案例，为我们深入且全面地剖析了现代智能计算技术所取得的具有重大历史意义的突破，以及对其发展趋势的多种判断，具体表现在以下十个方面：

一是人工智能在应用广度上的突破。人工智能历经70年的发展，在符号主义、连接主义和行为主义等研究路线上均取得了重大进展。此次人工智能的浪潮中，连接主义一马当先，基于神经网络的机器学习取得了历史性的突破，为人工智能的普及应用带来了新的希望。这一波人工智能的突破具有划时代的意义，它将显著加快人类进入智能时代的进程。人工智能不再局限于特定领域的应用，而是在各个领域展现出了强大的潜力。从医疗保健到金融服务，从交通运输到教育领域，人工智能的应用正在改变着人们的生活和工作方式。

二是大语言模型(LLM)可能已形成趋同的“世界统计模型”。OpenAI创始人之一Ilya Sutskever 曾对某MIT团队发表的论文“柏拉图表征假说”给予高度评价，该论文指出，神经网络在不同数据和模态上以不同目标进行训练，正趋向于在其表示空间中形成一个共享现实世界的统计模型。MIT另一团队的最新研究成果进一步显示，大模型中已形成一种类似人类大脑的“脑叶”结构和“语义晶体”。这一发现似乎验证了 Hinton 一直坚持的“人工神经网络与人类大脑有某种相似性”的猜想，为人工智能的发展提供了新的理论支持。

三是规模定律(Scaling law )可能已遇到天花板。2010年代被称为AI “规模化”的时代，然而，随着预训练大模型性能增长放缓，机器学习正进入一个“发现和探索”的新阶段。Ilya Sutskever过去一直在讲“Scaling law”，最近他承认，关于 Scaling law 的乐观判断可能是错的。如今，训练模型不再是单纯地追求“越大越好”，而是要找出Scaling的对象究竟应该是什么。这一转变标志着人工智能行业从追求规模扩张向更加精细化、实用化的方向发展。

四是深度学习还没有撞墙。通过语言大模型来实现通用人工智能(AGI)不一定是最佳途径，但深度学习不等于大模型的预训练，还在继续发展。为了应对 GPT 改进放缓的挑战，业界正在转向改进预训练后的模型，这可能会产生不同类型的 Scaling Law。即使预训练技术不再有重大突破，人工智能仍然有很大的发展空间，可以探索新的实现机器智能的途径，也可以在现有基础上创新个人消费产品和企业产品。

五是以数据为中心和以模型为中心都有出路。曾经担任过百度公司首席科学家的吴恩达认为，在过去十年中，人工智能最大的转变是向深度学习转变。而在未来十年，人工智能将转向以数据为中心。他指出，现在更有效的方法是固定神经网络架构，寻找改善数据的方法，从“大数据”转向“好数据”。与之不同的是，图灵奖得主杨立昆则认为，基于自监督的语言模型无法获得关于真实世界的知识。我们需要学习一个具备常识推理与预测能力的世界模型，这才是 AI 大模型未来的理想道路。

六是必须从原理上改进机器学习算法，才能用广域分布式计算做大模型预训练。大模型的训练对算力需求最为旺盛。目前，大模型训练通常采用相对集中的集群系统(一两千米的园区以内)，而非异地分布式计算。这是因为训练过程中需要频繁地交换模型参数和梯度信息，实现反向传播的延迟通常需要控制在毫秒级别甚至更低。我国在西部建设的智算中心，如果要训练超大规模的模型，单个集群的计算能力要足够强。如果仍采用反向传播算法，靠距离遥远的多个小智算中心分布式计算来训练大模型，未必是可行的出路。

七是人工智能基础设施的投入和实际收入之间，存在巨大差距。在美国，算力规模决定企业胜负仍是主流理念。微软、谷歌、Meta、亚马逊等巨头都在投入数百亿美元建设新的数据中心，为训练模型提供更大的算力。最近，马斯克创建的xAI公司仅用122天就建成10万张H100 GPU卡的AI集群，未来还要构建更大规模的智能超算中心。美国龙头企业坚信，谁能率先建成全球最大的AI训练系统，谁就能掌握市场的主导权。然而，投资界普遍认为，AI的预期收入和基建投入之间，存在6000亿美元缺口。巨大的算力投入是否能带来与之匹配的回报，仍是一个未知数。算力不是收入，而是成本，要把算力的投入变成实实在在的收入，必须为终端用户提供真正的价值。人工智能是惠及各行各业的智能技术，长期而言，智能技术带来的收入增长肯定远远超过6000亿美元。目前人工智能处在技术成熟曲线的期望膨胀期，我们面对的问题是如何度过未来的泡沫化谷底期，尽快走向实质生产的高峰期。

八是AI加速芯片将进入多芯片竞争的“XPU”时代。GPU不一定是人工智能的最优算力芯片，越来越多的专用芯片正在不断涌现。例如，谷歌 TPU(张量处理单元)发明者之一Jonathan Ross 创立的 Groq公司，推出了ASIC芯片LPU(语言处理器)，其推理性能是英伟达 GPU的10倍，成本仅为其十分之一。美国新兴芯片创业公司 Etched发布的首款 ASIC AI芯片 ——Sohu，将 Transformer 架构嵌入芯片内部，性能是英伟达B200的10倍。华为昇腾 920 芯片也引发了业内对国产AI加速芯片的期待。Nvidia的GUGPU芯片通用性较强，CUDA生态对用户有一定的吸引力，可能会在市场上延续相当长的时间。但GPU芯片一片难求的局面已在改变。针对一类AI应用的专用芯片也可能成为主流。

九是超算和智算正在实现“历史性的汇合”。超算和智算之间的界限正变得越来越模糊，本质上它们是同类。超级计算和以深度学习为代表的智能计算已逐步融合，CPU在智算中将发挥越来越大的作用。一个案例是中国科学院大学等单位的研究人员联合开发的T-MAC算法，实现了矩阵乘不要做乘法，只需查表，CPU推理速度超过AI专用加速器。中科曙光公司牵头的超算互联网今年 4 月上线以来，已链接 280 家服务商，为上百个行业 1000 多个应用场景提供算力服务。这一举措为国家先进算力提供了坚实的基础。

十是数据工厂将是未来的大产业。Scale AI 作为一家人工智能数据标注企业，已实现近10亿美元的年度收入。数据工厂貌似劳动力密集的低端产业，但数据标注等服务是人工智能产业链中不可或缺的环节，为人工智能的发展提供了高质量的数据支持，大有可为。蚂蚁数科发布的新一代数据标注产品，向企业客户提供 AI 驱动的全流程数据服务，为人工智能的发展注入了新的活力。

智能计算技术的困惑与挑战

随后，李国杰院士以其渊博的学识和深刻的洞察力，又从多个重要方面为我们深入且系统地分析了现代智能计算技术所面临的困惑与挑战。这些困惑与挑战是横亘在智能计算技术发展道路上的一道道难关，亟待我们去攻克和突破。李国杰院士的分析为我们清晰地勾勒出了当前智能计算技术领域的复杂形势，也为相关领域的研究人员和从业者提供了宝贵的思考方向和研究路径。

一是人工智能还有很长的路要走。几千年来，人类探索的基本科学问题包括“天问”、“物问”、“命问”和“脑问”。其中，关于人的智慧从何而来的“脑问” 是最难攻克的科学问题。目前，人工智能的基础理论并没有取得根本性的突破，仍处在伽利略时代。人工智能在工程上取得了巨大成功，但在理论层面上，我们还知之甚少。要真正进入智能时代，还要走很长的路。

二是发展人工智能需要突破图灵计算的局限。图灵机存在很多限制，如所有输入的信息必须是现成的，计算过程中与输入源不能交互，机器必须按照有限的确定性规则运行等。目前数字计算机的每一步具体操作是按照图灵计算做的，但机器学习整个过程合起来已经不是图灵计算。这其中可能隐含着许多深层次的奥妙，需要我们进一步探索和研究。揭开大模型的黑盒子可能也要在计算模型上打开缺口。

三是突破还原论的复杂性极限。智能化科研是一次认识论的革命，它挑战的是还原论“信仰”。圣塔菲研究所所长大卫・克拉考尔撰文，尝试从理论层面实现复杂性科学与机器学习的统一。这一挑战将推动我们对人工智能的认识从简单的还原论向更加复杂的系统论转变，为人工智能的发展提供新的理论基础。目前许多学者怀疑大模型有理解和推理能力，是基于还原论的思维逻辑，突破还原论的框框，可能会发现一片新天地。

四是要突破大语言模型的本质性局限。大语言模型采用类似心理学研究的描述性推理，靠样本的统计相似性猜测答案，难以保证正确性。这些问题是神经网络模型的“本性” 所决定的，无法用技术手段彻底解决。这一局限性提醒我们，在使用大语言模型时，需要保持谨慎，并结合人类的判断和思考，以提高结果的准确性和可靠性。

五是实现 AI 的统计优势与人类的理论驱动的结合。AI通过处理海量数据，提取模式并基于概率分布进行预测，本质上局限于对已有知识的模仿，而非对新知识的原创性探索。人类认知的本质是 “理论驱动”，能够在数据缺乏甚至矛盾的情况下，基于理论、假设和想象力形成前瞻性的信念，并通过实验加以验证。如何实现AI的统计优势与人类的理论能力的结合，是下一阶段智能研究的重要方向。只有在明确AI的局限性并发挥人类独特优势的基础上，才能真正迈向智能技术的黄金时代。

六是不要追求绝对的无条件的通用人工智能。人工智能是对人类智能某一个方面的再现，在科学技术领域，所谓“通用”一定是相对的，有一定的条件或范围。大模型追求的AGI是行为表现和解决所有人能解决的问题，只是十余种“通用”目标的一种。我们要认识人工智能的局限性，不能盲目追求天下通吃的人工智能，重点还是要根据实际需求，在相对通用的人工智能技术基础上落地到各个行业，让一定范围内的人工智能技术见到实效。

七是低精度计算可能不是AI计算的主要优势。最近的实验发现，模型训练和推理时使用的精度，是影响成本和性能的重要因素。训练所需的 token 越多，所需的精度就越高，这对 GPU 的大规模应用可能会产生影响。这一发现提醒我们，在选择计算精度时，需要综合考虑成本和性能的平衡，以实现最优的计算效果。

智能计算技术引领未来

最后，李国杰院士指出，人工智能技术是迎接新时代的颠覆性技术，我们一定要高度重视，不能因为担心失控而错过发展机遇。另一方面，我们也要认识到人工智能还处在初级阶段，要下深功夫解决基础的理论问题，才能真正进入智能时代。我们要做理智的人工智能促进派，不要做观潮派，更不要做促退派。

在当前这个充满机遇与挑战的时代，智能计算技术的发展既需要我们积极探索创新，又需要我们冷静思考面临的困惑与挑战。我们相信，在众多科学家和工程师的共同努力下，智能计算技术将不断取得新的突破，为人类社会进入智能时代做出更大的贡献。

总之，智能计算技术的发展前景广阔，但也面临着诸多挑战。我们需要在技术创新、理论研究和应用实践等方面不断努力，推动智能计算技术健康发展，引领科技迈向智能时代。（来源：中国网）

欲获得李国杰院士《智能计算技术的突破与挑战》ppt下载地址，请在本公众号对话中发送关键词“李国杰智能计算”。

必达智库

人工智能、区块链、大数据、云计算、工业互联网、物联网、未来网络、下一代互联网、虚拟/增强现实等信息通信领域的技术、业务、标准、政策、合作等

最新文章

中国工程院院刊《Engineering》发布“2024全球十大工程成就”

中国工程院在京发布《全球工程前沿2024》报告

国家中医药管理局印发《中医医院信息与数字化建设规范（2024版）》

德勤发布了《2025年技术趋势》报告

民政部等24部门联合印发《关于进一步促进养老服务消费提升老年人生活品质的若干措施》

下载|《工商银行人工智能大模型白皮书2024》

Science重磅发布：2024年度十大科学突破!

《湖北建设全国碳金融中心实施方案》印发

中医药是中华文明瑰宝

中国工程院发布《中国工程科技2040发展战略研究》

何友院士：人工智能产业需要开源开放的共享体系

空间智能首个大模型发布，李飞飞联合创办不到3个月的公司估值已达10亿美元

智能与幻觉

王坚院士：《无尽的计算：AI和研究范式变革》

下载|《第六代固定通信网（F6G）白皮书V1.0——天地一体化光通信技术》发布

下载|《汽车产业AIGC技术应用白皮书》

四部门联合发出《关于开展“清朗·网络平台算法典型问题治理”专项行动的通知》

工信部、应急部联合启动2024年应急通信装备创新揭榜挂帅工作

王坚院士：AI、AI+以及AI基础设施

《湖南省大力支持大学生创业若干政策措施》发布

中办国办联合发布《关于数字贸易改革创新发展的意见》

工信部等十二部门关于印发《5G规模化应用“扬帆”行动升级方案》的通知

国资委：目前最紧迫的是要向前瞻性战略性新兴产业集中

马斯克宣布改革政府计划全文

下载|李国杰院士：智能计算技术的突破与挑战

国家数据局印发《可信数据空间发展行动计划（2024—2028年）》

2025年值得关注的10大技术趋势

下载|陈志杰院士：培育低空经济新质生产力构建低空生态新发展格局

数字经济战略助力榕江打造“村超”生态文旅品牌-榕江县委书记、县长徐勃在清华大学分享村超成功秘诀（附全文）

特朗普当选美国总统与猴子逃离同一家实验室，惊人的巧合？

华为发布数据通信未来十大技术趋势报告，引领未来网络发展方向

下载|《云原生AI技术架构白皮书》发布

下载|中国控制工程网发布《2024中国工业AI发展洞察与展望白皮书》

中办国办联合发布《关于加快公共数据资源开发利用的意见》

马斯克能否出任特朗普政府的“体改委主任”？

下载|贝森·贝纳奇发布《2024年人工智能现状全景报告》

特朗普再次当选美国总统将会对中国人工智能、量子科技等高科技领域产生怎样的影响？

尤肖虎院士：6G与人工智能紧密联系、相互支撑、共同发展

美国拜登政府发布《人工智能备忘录》

国资委|中央企业必须在积极拥抱、大力发展人工智能中走在前列、作出表率

工信部、财政部、国家数据局联合发布《新材料大数据中心总体建设方案》

下载|中国电信发布《分布式智算中心无损网络技术白皮书》

河南省发布《河南省推动“人工智能+”行动计划（2024—2026年）》

中国脑机接口技术发展呈现出蓬勃发展态势

全球脑机接口发展情况概要介绍

下载|中国信通院发布《2024年度制造业数字化转型典型案例集》

国办印发《关于加快完善生育支持政策体系推动建设生育友好型社会的若干措施》

Neuralink的Blindsight脑机接口设备获得美国FDA突破性设备认定

下载|《中国AIGC文创产业指数2024》发布

中办国办《关于加快推动博士研究生教育高质量发展的意见》简介

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉