大模型“算力饥渴”怎么破？

科技 2024-11-16 08:47 中国香港

回顾人工智能(AI)的发展历程，从2012年开始总共经历了三个主要阶段。最初只是关注于一个具体、受限人工智能任务的小模型，比如图像识别、语音识别，泛化能力较差;到2016年至2020年间的过渡期，这个时间段里模型不断向上发展，规模不断增加，但还没有达到今天的程度;再到2019年之后基于Transformer架构的大模型的快速发展，人工智能模型的规模和复杂性不断增加，能够支持多任务学习，有更好的性能和泛化能力，走向通用的模型能够支持多种人工智能的任务，如对话、问答、创作，也包括图像检索、分类，多种形态的任务可以在同一个模型上实现。

2024年9月26日，2024中国集成电路设计创新大会暨第四届IC应用展(ICDIA 2024)在无锡举行。在大会的高峰论坛上，清华大学集成电路学院副院长尹首一教授发表了题为《晶圆级计算：进展与挑战》的主题演讲。尹教授深入剖析了当前人工智能大模型对算力的巨大需求，以及晶圆级计算作为解决这一问题的新方向的潜力和挑战。

清华大学集成电路学院副院长尹首一教授

算力需求和芯片工艺均面临挑战

随着大模型的发展，对算力的需求急剧增加。尹教授指出，人工智能大模型的Scaling Law与半导体的Scaling概念相似，模型尺寸的增加必然要求更高的算力。然而，当前的算力与模型需求之间存在巨大的鸿沟。具体来说，算力中心的算力需求需要从芯片算力和系统算力两个方面考虑。系统算力可以分为三个参数层级：芯片算力密度、芯片面积和系统集群的Scaling-out。

芯片算力密度：依赖于制造能力，单位面积内的晶体管数量决定了算力密度。

芯片面积：受制于制造过程中的光刻技术，当前芯片面积的工业极限是光刻机曝光区域的最大858平方毫米。

系统集群的Scaling-out：当前万卡集群已经不够用，OpenAI正在探讨1000万卡集群的构建。

尹教授指出，当前面临的最大挑战是制造工艺进入后摩尔时代，器件的Scaling-down面临瓶颈。传统的制造工艺提升单芯片算力的路径变得难以持续。

此外，系统层面也面临“规模墙”的挑战，主要体现在以下几个方面：

1、互联能力限制：单芯片算力很高，但芯片间的高带宽互联范围有限，以英伟达NVLink通信距离为例，高带宽互联域半径仅为50米。在这之外，互联带宽急剧下降，限制了整个系统的规模持续提升。

2、系统功耗：算力中心是电老虎，OpenAI CEO奥特曼甚至投资了一家核聚变创业企业以解决能源问题。可想而知能源问题有多严峻，以至要在核聚变这样的技术突破还没有完全达成的路线上下注。

3、集成方式限制：传统智算中心的集成方式是芯片到板卡、板卡到整机、整机到机柜，机柜代把它互联起来。今天典型的算力中心，一个机柜里有27台服务器，9个是交换机，导致算力密度仅为67%，集群的算力密度仅为44%。

晶圆级计算的解决方案

从智算中心来看，算力集群面临Scaling-out“规模墙”的问题急需行业从系统架构角度突破，不仅在单芯片算力上能提升，在系统规模上也要能够提升，才能满足未来大模型再进一步发展对算力的迫切的需求。

“这个问题是今天从学术界到工业界普遍公认的难题，英伟达作为算力发展上的先行者，他们也面临同样的挑战。” 尹教授表示，2024年OFC光纤通信大会上，英伟达CEO黄仁勋讲曾说，未来的数据中心不再是今天理解的数据中心，而是一个基本计算单元，如果能够把所有计算中心里的组件都集成到一个GPU里，才能解决今天面临的问题。“这促使我们去思考，今天芯片发展遵循的是摩尔定律，不断地把芯片做小、密度做高，未来可能需要从计算系统角度考虑，也许会有一个系统集的摩尔定律帮助我们摆脱规模墙制约。”

面对这些挑战，尹教授提出了晶圆级计算作为新的解决方案。“可以把它看作是系统级摩尔定律的探索，这也是算力先行者提出的想法，把一个数据中心做成一颗芯片。”

晶圆级计算的目标是将一个数据中心集成到一个晶圆上，即“一颗晶圆一颗芯片”(One Wafer One Chip)。这需要在芯片面积和单芯片算力上达到极致，同时解决系统层面的互联问题。

目前业界有两个最出名的晶圆级计算项目，产品技术路线稍有不同，分别是：

特斯拉的Dojo系统：发布于2021年，采用数据流计算架构和台积电的InFo-SoW基板集成技术，实现了高密度的计算芯粒互联。特斯拉设计了专门的TTPOEP通信协议，简化了传统TCP/IP协议，提高了芯粒间的通信效率。

Cerebras的WSE技术：发布于2019年，采用整晶圆光罩拼接技术，实现了一体成型。通过专门的容错架构设计，大幅降低了晶圆缺陷带来的损失，使得95%以上的晶圆面积可以用于有效计算。

通过对比特斯拉Dojo和传统英伟达集群的例子，可以看到晶圆级计算在算力密度上的数量级提升，以及在成本、功耗和训练时间上的显著优势。

以构建Z级算力中心数据作为目标基准，采用A100 GPU成本是800亿美元，而走晶圆集计算路线的特斯拉Dojo成本是14亿美元。从功耗角度来看，GPU路线是4000兆瓦，晶圆级路线约1100兆瓦。最后看使用效果，以训练一个GPT4尺度的模型为基准，传统GPU路线差不多17.8小时，晶圆级芯片路线是4.4小时。这些数据来自于特斯拉实际的Dojo系统测试和统计，从成本、占地、功耗、训练时间来看，这条技术路线有机会全面颠覆过去传统GPU的路线。

实际应用与前景

尹首一教授提到，晶圆级计算已经不再是概念，而是已经落地并构建了亿级算力中心的实践。目前，特斯拉和Cerebras的晶圆级计算系统已经在实际的智算中心中大规模应用。例如，Cerebras在阿联酋建设的Galaxy-3超算中心提供了8EFlops的算力，而特斯拉在纽约州建立的算力中心也达到了4Eflops的算力。

晶圆级系统可以分解成三部分，一是核心的计算芯粒，通过互联技术被基板承载;中间的互联基板可以是硅，也可以是玻璃等其它材质;下方是垂直供电，或IO、存储组合的系统级模组，上中下三层构成晶圆级计算系统结构。

但它们在设计和制造上都面临挑战。例如，晶圆级计算需要解决多芯片之间的互连问题，以及实现对高算力计算单元的供电和散热。为此，特斯拉等公司采用了先进的基板技术和高密度存储、供电合成模块，实现了对晶圆级计算系统的有效支撑。

尹教授总结道，晶圆级计算是解决当前算力需求的重要方向。从2019年Cerebras发布第一代产品到2024年台积电开放InFo-SoW工艺，这条技术路线已经得到了产业界的广泛认可。尽管面临诸多挑战，但晶圆级计算的前景仍然非常光明。

热点新闻

6日，国家税务总局发布通知，推出和优化五方面28条便民办税缴费举措，重点聚焦支持民营企业为主体的广大中小微企业和个体工商户。

热点新闻

6日，国家税务总局发布通知，推出和优化五方面28条便民办税缴费举措，重点聚焦支持民营企业为主体的广大中小微企业和个体工商户。

热点新闻

6日，国家税务总局发布通知，推出和优化五方面28条便民办税缴费举措，重点聚焦支持民营企业为主体的广大中小微企业和个体工商户。

热点文章推荐

电子工程专辑

中国版创建于1993年，致力于为中国的设计、研发、测试工程师及技术管理社群提供资讯服务。

最新文章

柔宇12.3亿元资产拍卖流拍

数据中心高效过流保护与监控：高度集成 50A E-Fuse

极越汽车“烂尾”售后，CEO辟谣跑路传闻

应印度政府要求，vivo与迪克森成立合资公司，占少数股

深度对话：边缘计算下的算力与能效挑战

云技术将推动生成式AI的普及

相干激光雷达在ADAS和汽车传感领域越来越受青睐

利用逻辑门实现数字振荡器设计

Intel新一代B系游戏显卡发布，还带AI帧生成...

传苹果自研蓝牙和Wi-Fi组合芯片，将取代博通

英伟达上诉，最高法院驳回

美国计划推出AI芯片“守门人”新规

美国宣布提高中国太阳能硅片、多晶硅关税

韩国“K Chips法案”因总统弹劾动议案未获通过

半导体芯片供应周期解读与展望

中国也有了自己的FuSa小组

2元网购，德国进口WiFi信号增强器，拆开后......这个电路真牛X

三十年悬案真相大白：Intel奔腾FDIV Bug终于找到根源

IBM发布全新光电共封装工艺：AI模型训练速度将提升5倍

SmartNIC及其在HPC中的功能浅析

PC处理器用3D V-Cache堆缓存，现阶段真的值得吗？

我去华强北走了一圈，发现一些新玩意......

年终啦！工程师写总结，送示波器、稳压电源、螺丝刀！

苹果新铰链设计专利公示！为折叠屏iPhone铺路

曝苹果博通联合开发AI芯片：最快会在2026年亮相

半导体零缺陷制造需要数据共享

博主建议：OPPO/VIVO/字节，接盘极越！可行吗？

创新突破，加码汽车市场！思瑞浦发布汽车传感器网络ASN收发器

马斯克刷新世界首富记录

ChatGPT突发全球宕机，OpenAI解释

Arrow Lake和Lunar Lake，不像一家人...

超高压氮化镓的崛起：碳化硅能否幸存？

日本厂商宣布2025年4月实际生产2纳米芯片

谷歌指控微软与OpenAI涉嫌垄断

蔡司成功收购Beyond Gravity光刻部门

特斯拉将推出“廉价版”Model Q，中国市场售价14万起

前11个月中国集成电路出口额，突破万亿元

通用停止自动驾驶出租车项目资金支持

从CoWoS走向CoPoS，晶圆从圆形变成方形

上海发布支持上市公司并购重组行动方案

铠侠IPO发行价敲定

宁德时代40亿欧元落子西班牙，投建欧洲第三座电池工厂

安森美收购Qorvo碳化硅技术

极越爆雷后CEO首次露面！现场员工情绪激动集体维权

【国内首款】车规级多路开关检测接口(MSDI) DIA74124

华大九天实际控制权变更，中国电子集团入主

魏少军ICCAD2024最新演讲：中国芯片设计业要自强不息

小米首款SUV车型提前曝光

传美国批准向阿联酋出口先进AI芯片

苹果将推出首款自研5G基带芯片

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉