我们处于一个复杂且多维度的世界，科技进步加速、贫富差距分化和地缘政治紧张共存。但如道德经所说“万物负阴而抱阳，冲气以为和”，历史总是在动荡中前进，危险中孕育着机会，繁荣中隐藏着衰败。结合科技进步与人文历史，耐心小心的寻找“混乱生机”。
如果希望可以时常见面，欢迎标星🌟收藏哦~
01. AI革命如进行下去，十年内需要万亿晶体管GPU
1997年，IBM的深蓝超级计算机击败了世界国际象棋冠军加里·卡斯帕罗夫。这是超级计算机技术的开创性展示，也是首次窥见高性能计算有朝一日可能超越人类智能的先例。在接下来的10年里，我们开始将人工智能用于许多实际任务，如面部识别、语言翻译以及推荐电影和商品。
再快进15年，人工智能已经发展到可以“合成知识”（ “synthesize knowledge”）的地步。生成性人工智能，如ChatGPT和Stable Diffusion，可以创作诗歌、创造艺术作品、诊断疾病、编写摘要报告和计算机代码，甚至设计可与人类制造相媲美的集成电路。
人工智能成为所有人类事业的数字助手的巨大机遇就在眼前。ChatGPT是AI如何使高性能计算平民化、为社会每个人带来好处的一个很好的例子。
所有这些令人惊叹的AI应用都归功于三个因素：高效的机器学习算法的创新、用于训练神经网络的大量数据的可用性，以及通过半导体技术的进步实现的能效计算的进步。尽管无处不在，但这场生成性AI革命的最后一个贡献却没有得到应有的认可。
算法
数据
半导体
在过去的三十年里，AI的所有重要里程碑都是由当时的前沿半导体技术实现的，没有它就不可能实现。
深蓝使用了0.6和0.35um节点芯片制造技术的混合实现
赢得ImageNet比赛、开启当前机器学习时代的深层神经网络使用了40nm技术
AlphaGo使用28nm技术征服了围棋游戏
ChatGPT是在采用5nm技术构建的计算机上训练的
ChatGPT的最新版本是由使用更先进的4nm制程服务器驱动的
从软件和算法到架构、电路设计和设备技术，计算机系统的每一层都作为AI性能的倍增器。但可以说，基础的晶体管设备技术是使上层进步成为可能的东西。
如果AI革命要以其目前的速度继续下去，它将需要半导体行业提供更多。在十年之内，它将需要一个1万亿晶体管的GPU——也就是说，一个晶体管数量是今天典型数量的10倍的GPU。
半导体技术进步：包括新材料、光刻技术进步、新型晶体管以及先进封装技术
02. 半导体技术如何跟上迅速增长的人工智能模型？
过去五年中，人工智能训练所需的计算和内存访问需求增长了几个数量级。例如，训练GPT-3模型需要相当于每天超过500亿亿次运算的能力（即5000 petaflops-days），以及3万亿字节（3太字节）的内存容量。
新的生成性人工智能应用所需的计算能力和内存访问继续迅速增长。我们现在需要回答一个紧迫的问题：半导体技术如何跟上步伐？
解读：这个转变意味着半导体行业正在从单一大型芯片设计转向更加模块化和灵活的多芯片设计。不同功能的芯片，如CPU、GPU、内存等通过高速互连技术紧密集成，从而实现更高性能和更优能效比。
自从集成电路发明以来，半导体技术一直在致力于缩小特征尺寸，以便我们可以将更多的晶体管塞进一个指甲大小的芯片中。今天，集成度已经提升到了更高的层次；我们正在超越二维缩放，进入三维系统集成。我们现在将许多芯片组合成一个紧密集成的、高度互联的系统。这是半导体技术集成的范式转变。
在人工智能时代，一个系统的能力与集成到该系统中的晶体管数量直接成比例。一个主要的限制是光刻芯片制造工具被设计为制造不超过大约800平方毫米的集成电路，这被称为光罩限制。但现在我们可以将集成系统的尺寸扩展到光刻的光罩限制之外。通过将几个芯片附着在更大的中介层上—这是一个内置互连的硅片—我们可以集成一个包含比单个芯片可能包含的器件数量多得多的系统。例如，台积电的晶圆上芯片（CoWoS）技术可以容纳多达六个光罩场的计算芯片，以及一打高带宽内存（HBM）芯片。
解读：三维系统集成允许通过使用较大的中介层（interposer）来连接多个较小的芯片，从而克服了光罩尺寸对芯片尺寸的限制。中介层是一块硅片，上面构建了互连，使得多个芯片能够作为一个整体协同工作，极大地提高了集成度和系统的整体性能。台积电的CoWoS技术是这种三维集成技术的一个例子，它允许在一个封装内集成大量的计算芯片和高带宽内存芯片。
Nvidia如何使用CoWoS高级封装?
CoWoS是台积电的晶圆上芯片高级封装技术，已经在产品中得到应用。例如，Nvidia的Ampere和Hopper GPU。每个GPU由一个GPU裸片和六个高带宽内存立方体组成，全部位于一个硅中介层上。计算GPU裸片的尺寸大约是目前芯片制造工具所允许的最大尺寸。Ampere拥有540亿个晶体管，而Hopper拥有800亿个晶体管。从7纳米技术过渡到更密集的4纳米技术，使得在基本相同面积上增加了50%的晶体管数量。Ampere和Hopper是当今大型语言模型（LLM）训练的主力军。训练ChatGPT需要数万个这样的处理器。
高带宽内存（HBM）是另一种对AI日益重要的半导体技术的例子：通过将芯片相互堆叠来集成系统的能力，我们在台积电称之为集成芯片上的系统（SoIC）。HBM由DRAM芯片的垂直互连堆叠和控制逻辑IC组成。它使用称为硅通孔（TSV）的垂直互连来传输每个芯片的信号，并使用焊料凸点形成内存芯片之间的连接。如今，高性能GPU广泛使用HBM。
展望未来，3D SoIC技术可以为当今的传统HBM技术提供一种“无凸点替代方案”，提供比焊料凸点更密集的垂直互连。最近的进步已经展示了使用混合键合的12层芯片堆叠的HBM测试结构，这是一种铜对铜的连接，密度高于焊料凸点所提供的。在较大的基础逻辑芯片上以低温键合，该存储系统的总厚度仅为600微米。
由大量芯片组成的高性能计算系统运行大型AI模型时，高速有线通信可能很快限制计算速度。如今，数据中心已经使用光互连来连接服务器机架。我们将很快需要与GPU和CPU一起封装的基于硅光子学的光学接口。这将允许扩大能效和面积效率高的带宽，用于直接的光学GPU到GPU通信，使得数百台服务器可以像一个巨大的统一内存的GPU一样运行。由于AI应用的需求，硅光子学将成为半导体行业最重要的使能技术之一。
解读：迈向万亿晶体管要依赖系统性能提升，需要先进封装工艺和光通信两个支柱，尤其是芯片与芯片之间的光学通信路线的实现了，英伟达也早早的布局了Ayar Labs。
如前所述，用于AI训练的典型GPU芯片已经达到了光罩尺寸限制。它们的晶体管数量约为1000亿个。晶体管数量增加的趋势的延续将需要多个芯片通过2.5D或3D集成来执行计算。通过CoWoS或SoIC及相关高级封装技术集成多个芯片，可以实现每个系统的总晶体管数量远超单个芯片所能容纳的数量。我们预测在未来十年内，一个多芯片片GPU将拥有超过1万亿个晶体管。
我们需要将所有这些芯片在3D堆叠中连接在一起，但幸运的是，行业已经能够迅速缩小垂直互连的间距，增加连接的密度。而且还有很多提升空间。我们看不出有什么理由互连密度不能增加一个数量级，甚至更多。
05. GPU的能效性能趋势
那么，所有这些创新的硬件技术是如何促进系统性能的呢？
如果我们观察服务器GPU中所谓的能效性能这一度量的稳步改进，就可以看到这一趋势。能效性能（EEP）是衡量系统能效和速度的综合指标。在过去的15年里，半导体行业大约每两年将能效性能提高了三倍。我们相信这一趋势将以历史速率持续下去。它将由许多来源的创新推动，包括新材料、器件和集成技术、极紫外（EUV）光刻、电路设计、系统架构设计，以及所有这些技术元素的共同优化等。
05. 3D集成电路的Mead-Conway时刻
1978年，加州理工学院的教授Carver Mead和施乐帕洛阿尔托研究中心（Xerox PARC）的Lynn Conway发明了一种集成电路的计算机辅助设计方法。他们使用一套设计规则来描述芯片的缩放，这样工程师就可以轻松设计非常大规模的集成电路（VLSI），而无需对工艺技术有太多了解。
3D芯片设计需要类似的能力。如今，设计师需要了解芯片设计、系统架构设计以及硬件和软件的优化。制造商需要了解芯片技术、3D IC技术以及高级封装技术。正如我们在1978年所做的，我们再次需要一种共同的语言来以电子设计工具能理解的方式来描述这些技术。这样的硬件描述语言可以让设计师在设计3D IC系统时不受底层技术的限制。它正在到来：一个名为3Dblox的开源标准已经被当今的大多数技术公司和电子设计自动化（EDA）公司采纳。
06. 现在，我们已经到达了隧道的尽头
在人工智能时代，半导体技术是新AI能力和应用的关键使能者。新的GPU不再受过去标准尺寸和形态的限制。新的半导体技术不再仅限于在二维平面上缩小下一代晶体管的尺寸。一个集成的AI系统可以由尽可能多的能效晶体管组成，具有针对专业计算工作负载的高效系统架构，以及软硬件之间优化的关系。
在过去50年中，半导体技术的发展感觉就像是在隧道里行走。前方的道路很清晰，因为有一条明确定义的路径。而且每个人都知道需要做什么：缩小晶体管。
现在，我们已经到达了隧道的尽头。从这里开始，半导体技术将变得更加难以开发。然而，在隧道之外，还有更多的可能性在等待着我们。我们不再受过去的限制束缚。
