Liu, Yafei; Li, Xiangyu; Yin, Shouyi
基于芯粒的设计方法将系统芯片分解成多个较小的芯粒, 并通过先进封装重新组装成一个新的系统芯片, 是实现高算力大模型芯片与系统的重要技术. 这种方法在后摩尔定律时代备受关注, 其在成本、性能和敏捷设计方面具有明显的优势. 尽管芯粒设计作为一种新兴技术受到了广泛关注, 但仍然面临诸多挑战. 清华大学尹首一和李翔宇团队的综述论文“Review of chiplet-based design: system
architecture and interconnection”从芯片设计者的角度全面综述了现有的芯粒设计, 对基于芯粒的系统架构设计问题的国际研究现状和最新进展归纳, 并给出关于发展趋势的分析. 该论文系统性地总结了芯粒设计的系统架构、互连拓扑和路由方案, 并对芯粒的发展趋势进行了展望, 如异构MPSoC设计将受益于芯粒设计方法、芯粒设计的平台化设计趋势, 以及封装—架构—互连的协同优化趋势等. 与以往专注于底层技术或某一单一领域的分析不同, 本综述采用了一种更全面、系统性的策略来研究这些方法, 旨在为设计人员提供系统性的、纵向比较的观点.
Large circuit models: opportunities and
challenges
Chen, Lei; Chen, Yiqi; Chu, Zhufei; et al.
Sci China Inf Sci, 2024, 67(10): 200402
集成电路的EDA技术是全球范围内极具专业化和技术密集度的行业. 高性能芯片短生命周期和严格的性能、功耗、面积要求给EDA设计带来了挑战. 大模型技术的发展为解决这些挑战带来了新的机遇. 大模型能够分析大量设计案例, 在广阔的设计空间中进行预测和分析, 这有望对EDA工具产生革命性的影响. 尽管目前“AI for EDA”已经成为EDA领域的研究热点之一, 但这些方法大多专注于单一任务的优化, 未能充分考虑电路设计的整体连贯性和多阶段复杂性, 限制了“AI for EDA”对设计流程的整体提升. 香港中文大学徐强、北京大学、东南大学黄如院士团队与华为等合作的观点文章“Large circuit models: opportunities and challenges”本文提出构建一个专为电路设计与优化的大模型：大电路模型（Large Circuit Model, LCM）. 本文将EDA设计流程视为一个多模态转换过程: 从自然语言规格说明到模块化架构设计, 再到硬件描述语言编写的RTL代码, 直至最终的物理设计布局. 大电路模型将专注于解决EDA流程中最为重要的优化与验证问题, 推动EDA工具的能力向前迈进一大步.
Luo, Xiang; Zhang, Chen; Geng, Chenbo; et al.
Li, Wenjie; Lyu, Dongxu; Wang, Gang; et al.
目前已经有大量关于神经网络中非线性模块硬件架构设计的研究, 但大多局限于卷积神经网络和小规模的Transformer,对于当前热门的大模型中最常见的softmax和层归一化模块仍缺乏充分的研究. 特别是关于层归一化的硬件架构设计, 因其同时需要计算平方根与除法, 且近似层归一化对模型性能的影响大于softmax,导致其高效通用硬件架构设计成为难题. 上海交通大学贺光辉和徐宁仪团队的研究论文“Hardware-oriented algorithms for softmax and layer normalization of large language models”提出了面向硬件的近似softmax和层归一化算法, 然后设计出相应的高效硬件架构. 相较于已有的同领域最优设计, 本文提出的架构在面积和功耗方面具有显著节省. 这些设计无需微调, 几乎不影响模型性能, 能够作为大模型芯片的即插即用非线性单元, 有助于加速整体硬件设计与部署.
Han Shihao, Liu Sishuo, Du Shucheng, et al.
在边缘计算的快速发展中, 存内计算（Computing-In-Memory, CIM）技术以其卓越的能效比和计算并行性, 成为推动智能设备发展的关键力量. 然而, 面对边缘场景对运算精度、模型密度和能耗效率的不同需求, 如何实现在不同应用场景的神经网络架构定制化, 仍然是当前亟待解决的问题. 与此同时, 混合专家（Mixture of Experts, MoE）模型作为大模型算法的新兴研究方向, 其在边缘端部署仍待优化. 南方科技大学王中锐和中科院微电子所尚大山团队的研究论文“CMN: a co-designed neural architecture search for efficient computing-in-memory-based mixture-of-experts”提出了一种软硬件协同优化的神经网络架构搜索框架CMN. 该框架以实现高效计算存储为目标, 通过软件层面的MoE模型设计与硬件层面的CIM系统配置的紧密协同, 在软件层面针对MoE结构的专家位置、数量和维度进行优化搜索, 在硬件层面针对存算阵列大小、外围电路设计等进行优化搜索, 两者构成嵌套搜索以适应各边缘场景下的不同需求.
专题特邀编辑：
清华大学 尹首一教授
华东理工大学 唐漾教授
香港科技大学 涂锋斌教授
