通往万亿晶体管GPU之路

科技 2024-12-08 18:27 北京

人工智能的繁荣发展需要新的芯片技术。

1997年，IBM的“深蓝”超级计算机打败了国际象棋世界冠军加里•卡斯帕罗夫。这是超级计算机技术的一次突破性展示，也首次让人们看到了高性能计算有一天可能超越人类智能。在接下来的十年里，我们开始将人工智能用于许多实际任务，如面部识别、语言翻译以及电影和商品推荐。

又过了15年，人工智能已经发展到可以“结合知识”的地步。ChatGPT和Stable Diffusion等生成式人工智能可以写诗、创作艺术作品、诊断疾病、编写总结报告和计算机代码，甚至可以设计出与人类设计相媲美的集成电路。

人工智能很有可能成为未来所有人类活动的数字助手。ChatGPT就是一个很好的例子，它展示了人工智能有助于推动高性能计算的普及性应用，为社会中的每一个人带来益处。

所有这些奇妙的人工智能应用都归功于3个因素：高效机器学习算法的创新、可用于训练神经网络的海量数据，以及通过半导体技术发展实现的节能计算进步。虽然最后这一项贡献无处不在，但它在生成式人工智能革命中的重要性却未得到应有的重视。

在过去30年里，人工智能的重要里程碑都是通过当时最先进的半导体技术实现的，没有它们，这些里程碑就不可能实现。深蓝计算机是通过结合0.6微米和0.35微米节点的芯片制造技术实现的；赢得ImageNet竞赛并开启当前机器学习时代的深度神经网络是用40纳米技术实现的；AlphaGo使用28纳米技术征服了围棋世界，初版ChatGPT是在采用5纳米技术的计算机上训练的。而最新版的ChatGPT则依靠使用了更先进的4纳米技术的服务器提供支持。从软件和算法到架构、电路设计和设备技术，人工智能所涉及的每一层计算机系统都是提高人工智能性能的倍增器。但公平地说，基础晶体管技术是实现上层进步的关键。

如果人工智能革命要继续按照当前的速度发展下去，将需要半导体行业提供更多的支持。10年内，它将需要拥有1万亿个晶体管的GPU，是目前常见GPU所拥有的晶体管数量的10倍。

01 人工智能模型的持续增长

过去5年里，人工智能训练所需的计算能力和内存访问量提高了几个数量级。例如，训练GPT-3需要相当于每秒超过5000千万亿次的运算持续一整天，并需要3万亿字节（3TB）的内存容量。

新的生成式人工智能应用所需的计算能力和内存访问量还在继续快速增长。现在，我们需要回答一个紧迫的问题：半导体技术如何才能跟上这一步伐？

02 从集成器件到集成芯粒

自集成电路发明以来，半导体技术一直致力于缩小特征尺寸，以便将更多的晶体管塞进极小的芯片中。今天，集成已经上升到了一个更高的层次；我们将超越二维缩放，进入三维系统集成。我们正在将许多芯片组装成一个紧密集成的大规模互连系统。这是半导体技术集成的范式转变。

在人工智能时代，系统能力直接与系统集成的晶体管数量成正比。限制晶体管集成数量的主要因素之一是光刻芯片制造工具被设计成只能制造不超过约800平方毫米的集成电路，这被称为“光罩限制”。但现在，我们可以将集成系统的尺寸扩展到光刻技术的光罩限制之外。通过将几块芯片连接到一个更大的中介层（一块内置互连的硅片）上，我们可以集成一个能够比单芯片包含更多器件的系统。例如，台湾积体电路制造股份有限公司（以下简称台积电）的基板上晶圆芯片（CoWoS）技术可以容纳多达6个光罩范围的计算芯片，以及十几个高带宽存储器（HBM）芯片。

高带宽存储器是另一种对人工智能而言越来越重要的关键半导体技术：该技术可将芯片堆叠在一起进行系统集成，台积电称之为“集成片上系统”（SoIC）。高带宽存储器由一堆动态随机存取存储器（DRAM）垂直互连芯片组成，位于控制逻辑集成电路之上。它使用了称为“硅通孔”的垂直互连来让信号通过每块芯片，并使用了焊锡球连接内存芯片。如今，高性能图形处理器（GPU）广泛使用了高带宽存储器。

未来，3D 系统级集成单芯片技术可以为目前的常规高带宽存储器技术提供替代方案，在堆叠芯片之间实现更密集的垂直互连。最新进展显示，高带宽存储器测试结构使用混合键合堆叠了12层芯片，相较于目前使用的焊锡球，这种铜对铜连接实现了更高的密度。这种内存系统在低温下在较大的基础逻辑芯片之上进行键合，总厚度仅为600微米。

随着由大量芯片组成的高性能计算系统运行大型人工智能模型，高速有线通信可能很快会限制计算速度。如今，数据中心已经在使用光互连来连接服务器机架。很快，我们将需要基于硅光子技术与GPU和中央处理器（CPU）一起封装的光学接口。它们将提高带宽的能源效率和面积效率，实现直接的GPU到GPU光学通信，使成百上千台服务器像一个具有统一内存的巨型GPU一样工作。人工智能应用的需求将让硅光子技术将成为半导体行业最重要的使能技术之一。

03 迈向万亿晶体管GPU

如前所述，用于人工智能训练的典型GPU芯片已经达到了光罩范围限制，其晶体管数量约为1000亿个。要持续晶体管数量增多的趋势，将需要用2.5D或3D集成互连的多芯片来执行计算。通过基板上晶圆芯片、集成片上系统或相关的先进封装技术集成多个芯片，可以使每个系统的总晶体管数量远远超过单块芯片所能容纳芯片的数量。我们预测，在10年内，一个多芯粒GPU将拥有超过1万亿个晶体管。

我们需要在一个3D堆栈中将所有这些芯粒连接起来，不过幸运的是，业界已经能够迅速缩小垂直互连的间距，从而提高连接的密度，而且还有很大的进步空间。我们认为互连密度完全可以提高一个数量级，甚至更多。

04 GPU的能效趋势

那么，这些硬件创新技术将如何提升系统性能？

如果关注能效性能（EEP）这一指标的稳步提升，我们便可以从服务器GPU中看到这一趋势。能效性能是系统能源效率和速度的综合衡量指标。在过去15年里，半导体行业的能效性能每两年提高大约3倍。我们相信这一趋势将按照历史速度继续。它将受到来自多方面创新的推动，包括新材料、设备和集成技术、极紫外光刻、电路设计、系统架构设计以及所有这些技术元素的协同优化等。

特别是我们在此讨论的先进封装技术，它将推动能效性能的提高。此外，系统技术协同优化等概念也会越来越重要，系统技术协同优化是将GPU的不同功能部分分散到各自的芯粒上，并使用性能最佳、最经济的技术来构建每个部分。

05 3D集成电路的米德-康维时刻

1978年，加州理工学院教授卡沃•米德（Carver Mead）和施乐帕洛阿尔托研究中心的琳•康维（Lynn Conway）发明了一种用于集成电路的计算机辅助设计方法。他们使用了一套设计规则来描述芯片尺寸，使工程师无须深入了解工艺技术就能轻松设计超大规模集成电路。

现在，3D芯片设计也需要类似的能力。如今的设计师需要了解芯片设计、系统架构设计以及软硬件优化。制造商需要了解芯片技术、3D集成电路技术和先进封装技术。正如1978年那样，我们再次需要一种描述这些技术的通用语言，让电子设计工具能够理解这些技术。这种硬件描述语言可以让设计师自由地进行3D集成电路系统设计，而不必考虑底层技术。这种语言已经在发展之中了，一种名为3Dblox的开源标准已经被当今大多数技术公司和电子设计自动化公司接受。

06 隧道尽头的未来

在人工智能时代，半导体技术是推动新的人工智能能力和应用发展的关键因素。新的GPU不再受制于过去的标准尺寸和形式因素。新的半导体技术不再局限于在二维平面上来缩小下一代晶体管。人工智能集成系统可以由尽可能多的节能晶体管、专用计算工作负载的高效系统架构以及软硬件优化关系组成。

在过去50年里，半导体技术的发展就像在隧道中行走。前方的道路是清晰的，因为有一条明确的路径，而且大家都知道需要缩小晶体管。

现在，我们已经走到了隧道的尽头，之后的半导体技术将越来越难开发。然而在隧道之外，还有更多的可能性在等待着我们。

—END—

点击下方名片

即刻关注我们

算力猩

隶属于智猩猩，关注计算芯片创新，解读中国算力突破。

算力网（络），应该是什么

先进封装技术解读 | 台积电

IBM 的大规模 A100/H100 GPU 集群 Infra 建设

22页PPT详解 NVIDIA RTX™ 5880 Ada 及训推一体机【附下载】

AI数据中心：网络设计和选型标准

突破内存墙：DRAM技术演进及3D DRAM革命

SC24｜谷歌AI加速器：TPU v6e Trillium技术解析

公开课预告：大规模异构GPU集群的互联、运维与调度｜基流科技技术负责人敬阳主讲

揭秘 AWS 10p10u 最新网络架构！

AI时代的以太网：应对大规模GPU集群网络挑战

智算中心正在CDN化

博通3.5D F2F技术：定义AI XPU的未来

NVIDIA RTX™ 5880 Ada 性能解析与私有化大模型部署｜在线研讨会直播预告

AI数据中心历史、技术与关键企业

揭秘！世界第一个采用CXL 3.1交换机的AI集群

公开课预告：大模型时代的智算GPU集群｜阿里云智能集团智算集群产品专家陈祎主讲

GPU服务器支持的“卡数”由哪些因素决定？

HBM制裁加码下的困境与出路

Meta 万卡 GPU 集群稳定性剖析与最佳实践

通往万亿晶体管GPU之路

亚马逊芯片帝国背后的功臣

比GPU快20倍？d-Matrix推理性价比分析

AWS最强AI芯片，深度解读！

功能安全的图形显示解决方案与汽车制造业模拟数字孪生平台 | NVIDIA 加速汽车制造与智驾开发专场直播预告

公开课预告：OISA构建开放高性能GPU卡间互联体系｜中国移动研究院李锴主讲

NVIDIA GH200 内部架构探究

UEC 和 UAL 应该合并吗？

AI Infra峰会与大模型峰会议程全公布！2024中国生成式AI大会上海站本周举行，报名即将截止！

公开课预告：针对先进封装的2.5D/3D Chiplet协同设计仿真EDA工具探讨｜硅芯科技创始人赵毅主讲

一文看懂Infinity Fabric

大模型时代：交换机衡量指标、技术演变及性能分析

爱芯元智吴炜：多模态大模型在端侧的创新实践与挑战｜GenAICon 2024上海站演讲预告

智算中心：现状、挑战、策略与未来机遇

GenAICon 2024上海站主会场议程公布！34位学者专家全景式解构大模型与AI Infra

追赶NVIDIA，国产AI芯片需努力的5个方面

光羽芯辰创始人周强：通向个人大模型之路｜演讲预告

从UALink近期发展再看GPU Scale Up的互连方向

无问芯穹首席科学家戴国浩教授：软硬协同与多元异构，共筑大模型算力底座｜演讲预告

公开课预告：智算中心 AI Scale-Up 网络技术｜益思芯科技解决方案副总裁唐杰主讲

大规模AI计算时代的存储：挑战与优化

聊一聊算力调度

全球化布局：AI 企业如何补齐算力短板，保障GPU集群稳定性｜GMI Cloud 亚太区总裁 King.Cui演讲预告

中国系统级封装大会SiP China 2024周三开启！免费报名～

面向大规模AI计算的高性能网络架构：Enfabrica ACF-S解决方案深度解析

近30家大模型与AI Infra企业来了！年度生成式AI大会上海站公布最新嘉宾，报名进入最后阶段

高性能GPU服务器硬件拓扑及集群组网

GPU互连新标准：UALink联盟能否打破NVIDIA垄断？

高性能智算集群设计思考与实践｜阿里云智算集群产品解决方案负责人丛培岩演讲预告

全球化布局：AI 企业如何补齐算力短板，保障GPU集群稳定性？｜GMI Cloud 亚太区总裁 King.Cui演讲预告

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉