独享MRDIMM有多强？至强6性能核处理器的内存二三事

科技 2024-12-25 13:14 北京

至强6性能核的核心规模

在之前的文章中，我们预计至强6性能核处理器每颗计算单元芯片中的内核数量为43，加上每个计算单元有两组双通道内存控制器各占一个网格，那么总共占用43+2=45个网格，可以由5×9的布局构成。但这个假设有一个问题，要构成128核的6980P，三颗芯片只屏蔽1个内核，这良率要求比较高啊。

至今还未在公开渠道看到至强6性能核处理器的Die shot或架构图，但英特尔发布了晶圆照片作为宣传素材。虽然晶圆照片并不能提供每颗芯片的清晰信息，但隐约能感觉到，网格构成更像是5×10，而不是5×9或6×8。另外，左上角和左下角疑似内存控制器的区域面积比预想的要大得多，每一侧占了三个网格。如果接受了两组内存控制器共占用6个网格的设定，那么每个芯片中就是50-6=44个内核，在构成6980P的时候分别屏蔽一到两个核即可，感觉就合理多了。

在获得相对可信的内核数量后，新的疑惑就是：为什么至强6性能核的内存控制器这么占地——这个区域有其他未知功能？还是因为增加了MRDIMM (Multiplexed Rank DIMM)的支持？毕竟在此之前，英特尔的双通道DDR5、三通道DDR4内存控制器只占一个网格，甚至，连信号规模更大、带宽更高的HBM控制器（至强CPU Max处理器）也是一个网格。至强CPU Max处理器的HBM2e是工作在3,200MT/s，那么每个控制器带宽是410GB/s，整颗CPU有超过2TB/s的HBM带宽。

虽然对疑似内存控制器区域所占芯片面积的疑惑未解，还需要进一步解惑，但我们至少可以确定，英特尔在这一代至强的内存控制器上是下了大本钱的。至少在相当一段时间内，它是可以“独占”MRDIMM的优势了。

至强6性能核的NUMA与集群模式

谈服务器的内存就绕不过NUMA（Non-Uniform Memory Access，非统一内存访问）。因为随着CPU内核数量的增加，各内核的内存访问请求冲突会迅速增加。NUMA是一个有效的解决方案，将内核分为若干组，分别拥有相对独立的缓存、内存空间。规模缩小后，冲突就会减少。一般来说，NUMA划分的原则是让物理上临近某内存控制器的内核为一个子集。这个子集被英特尔称为SUB-NUMA Clustering，简称SNC。同一SNC的内核绑定了末级缓存（LLC）和本地内存，访问时的时延最小。

譬如，在第三代至强可扩展处理器中，一个CPU内可划分两个SNC域，每个SNC对应一组三通道DDR4内存控制器。如果关闭NUMA，那么整个CPU的内存将对称访问。

而第四代至强可扩展处理器使用了4颗芯粒的封装，可以被划分为2个或4个SNC域。如果希望每个内核可以访问所有的缓存代理和内存，可以将第四代至强可扩展处理器设置为Hemisphere Mode或者Quadrant Mode，默认是后者。第五代至强可扩展处理器是2颗芯粒，可以划分为两个SNC域。

在至强6性能核中，可以将每个计算单元芯片作为一个SNC，每个域拥有4个内存通道，这被称为SNC3 Mode。如果要通过其他芯粒的缓存代理访问所有内存，那就是HEX Mode。

根据英特尔提供的数据，几种不同模式的内存访问时延差异较大，与内核、内存控制器之间的“距离”直接相关。至强6性能核的内核规模、内存控制器数量增加之后，相应的访问时延也会上升。例如，根据我们前面的观察，至强6性能核内每个计算单元芯片中，内核与内存控制器的最远距离为10列，而第四代/第五代至强可扩展处理器无NUMA的为8列。这反映在英特尔的数据上，就是至强6900P在SNC3 Mode的时延略高于上一代至强处理器的Quad Mode。如果至强6900P设为HEX Mode，那么内核与内存控制器的最远距离将达到13甚至15列，时延增加会比较明显。

整体而言，由于SNC3 Mode时延低，其将成为至强6服务器的默认模式。这种模式主要是适合虚拟化/容器化这类常见云应用，以及并行化程度高的计算（如编解码）等。当然，HEX Mode可以直接访问更大规模的内存，这对于大型数据库，尤其是以OLTP为代表的应用来说更为有利。Oracle和SQL通常建议关闭NUMA以获得更佳的性能。Apache Cassandra 5.0这类引入向量搜索的数据库也能从HEX Mode显著获益。部分科学计算也更适合HEX Mode，譬如通过偏微分方程建模的PETSs、分子动力学软件NAMD等。

HEX Mode的另一个典型场景是配合CXL内存使用。譬如英特尔在今年12月11日发布的一篇利用CXL内存优化系统内存带宽的论文中，使用了至强6900P搭配12条64GB DDR5 6400以及8个128GB CXL内存模块，其中至强6900P本地的768GB DDR5内存在HEX Mode下配置为NUMA0，所有的1TB CXL内存配置为NUMA1，采用优化交错配置（Interleaving Strategy）。测试表明，在内存带宽敏感的应用中，使用CXL内存扩展可以提升20%～30%的性能。

MRDIMM领跑者

对于至强6性能核处理器而言，提升内存带宽最直接的方法莫过于MRDIMM。这也是这款处理器相比其他同类产品比较独占的一项能力，近期看不到任何其他CPU厂商有明确支持MRDIMM的时间表，更不要说推出实际产品了。相对而言，内存厂商对MRDIMM的支持比较积极，美光、SK海力士、威刚都推出了相应的产品，包括高尺寸（Tall formfactor，TFF）。第一代DDR5 MRDIMM的目标速率为8,800 MT/s，未来会逐步提升至12,800 MT/s、17,600 MT/s。

MRDIMM增加了多路复用数据缓冲器（MDB），改进了寄存时钟驱动器（MRCD）。MDB布置在内存金手指附近，与主机侧的CPU内存控制器通讯。MDB主机侧的运行速度是DRAM侧的双倍，DRAM侧的数据接口是主机侧的双倍。MRCD可以生成4个独立的芯片选择信号（标准的RCD是两个，对应两个Rank）。MDB可通过两个数据接口将两个Rank分别读入缓冲区，再从缓冲区一次性传输到CPU的内存控制器，由此实现了带宽翻倍。

由于MRCD可以支持4个Rank，也意味着可以支持双倍的内存颗粒。已经展示的MRDIMM普遍引入更高的板型（TFF），单条容量也由此倍增。由于至强6900P插座尺寸大增，导致双路机型的内存槽数量从上一代的32条减少到24条。要能够继续扩展内存容量，增加内存条的面积（增加高度）确实是最简单直接的手段。通过使用256GB的MRDIMM，双路至强6900P机型可以获得6TB内存容量。除了更大的内存带宽，更高的内存容量也非常有利于AI训练、大型数据库等应用的需求，进一步强化至强6900P在AI机头领域的优势。

与DDR5 6,400MT/s相比，MRDIMM 8,800MT/s的实际运行频率略低（4,400MT/s），导致轻量级的应用不能从内存带宽的增加当中明显获益。其实类似的问题在内存代际转换之初均会存在，能够充分利用更大内存带宽的主要还是计算密集的应用，譬如加密、科学计算、信号处理、AI训练和推理等。从目前的测试看，对MRDIMM受益最大的应用主要包括HPCG（High Performance Conjugate Gradient）、AMG（Algebraic Multi-Grid）、Xcompact3d这些科学计算类的应用，以及大语言模型推理。

内存带宽与大模型推理

上一节有提到，并非所有应用都能充分利用MRDIMM的内存带宽收益。就本节重点要谈的推理应用而言，根据目前所见的测试数据，卷积神经网络为代表的传统推理任务在MRDIMM中获得的收益就比较小，不到10%的水平。而在大语言模型推理当中，MRDIMM的带宽优势将得到充分的发挥，性能提升在30%以上，因为大模型是确定性的渴求显存/内存容量和带宽的应用场景。

在这里就得提一下英特尔至强6性能核处理器发布会资料中的另一个细节：在多种工作负载的性能对比中，AI部分的提升幅度最为明显，而且仅用了96核的型号（至强6972P）。

也就是说，至强6972P使用了至强8592+的1.5倍内核，获得了至少2.4倍的大语言模型推理性能。其中，右侧的是Llama3 8B，int8精度，那么模型将占用约8GB的内存空间。以目前双路24通道MRDIMM 8,800MT/s约1,690GB/s的总内存带宽而言，可以算出来每秒token数理论上限是211。而双路8592+是16通道DDR5 5,600MT/s，内存总带宽为717GB/s，token理论上限是接近90。二者的理论上限正好相差大约2.4倍。在这个例子当中，内存带宽的增长幅度明显大于CPU内核数量的增长。也就是说，在假设算力不是瓶颈的情况下，内存或显存容量决定了模型的规模上限，而带宽决定了token输出的上限。

一般来说，在控制模型参数量并进行低精度量化（int8甚至int5、int4）之后，大语言模型推理时的算力瓶颈已经不太突出，决定并发数量和token响应速度的，主要还是内存的容量和带宽。通过MRDIMM，以及CXL内存扩展带宽将是提升推理性能最有效的方式。这也是目前CPU推理依旧受到重视的原因，除了可获得性、资源弹性外，在内存容量及带宽的扩展上要比VRAM便宜的多。

结语

随着掌握更多的信息，至强6性能核处理器在内存带宽上的优势和潜力显得愈发清晰了。MDRIMM不但能够大幅提升内存带宽，还能使可部署的内存容量翻倍，显著利好传统的重负荷领域，如科学计算、大型数据库、商业分析等，对于新兴的向量数据库也大有裨益。CXL还能够进一步起到锦上添花的作用。

过去几年，增长迅猛的大模型推理需求，让至强可扩展处理器（从第四代开始）利用GPU缺货的契机证明了在AMX的加持下，纯CPU推理也有不错的性能，而且易于采购和部署。随着应用深入，部分互联网企业还挖掘了CPU推理的资源弹性，与传统业务同构的硬件更易于进行峰谷调度。至强6性能核处理器在核数、内存带宽均大幅提升的加持下，推理性能激增，进一步提升了推理的性价比。在解决了“能或不能”的问题之后，推理成本是大语言模型落地后最关键的挑战。或许在这方面，至强6性能核处理器配MRDIMM的组合，将会带来一些新的解题思路。

关注我们获取更多精彩内容

往期推荐

● 最佳演讲人气王 | 抖音井汤博数据中心技术矩阵和产品套餐化研发策略

● 最佳演讲人气王 | 阿里云任华华一册在手液冷不愁——《数据中心液冷系统技术规程》内容解析

● 最佳演讲人气王 | 康普吴健：关键网络决定智算效率

● 最佳演讲人气王 | 世纪互联刘学潮：数据中心国产柴发的机遇和挑战

CDCC

数据中心标准、技术沟通交流平台

最新文章

AI时代：如何提高有效算力？

OpenAI新近离职首席研究官麦克格鲁大爆料：模型进展慢缘于数据中心建设慢、训练O1算力比GPT4高百倍

地热能可为人工智能数据中心供电

光纤测温技术应用在数据中心的调查报告

今晚20:00 锁定CDCC直播间 | 零碳数据中心关键路径

博大数据菲律宾融合智算中心10MVA送电成功，点亮东南亚算力新里程

独享MRDIMM有多强？至强6性能核处理器的内存二三事

微软与卡特彼勒合作氢能数据中心获美国能源部最高奖项

做好数据中心能耗管理的8个关键点

AI成“吞电巨兽”！美监管机构警告：部分地区最早明年将电力短缺

微软今年买了485000颗GPU

12月26日20:00，锁定CDCC直播间——揭秘零碳数据中心关键路径

维谛成功收购离心式冷水机技术，以此扩大全球解决方案版图，强化对高性能计算和人工智能的支持

腾讯50亿大手笔布局韶关！

2024中国金融行业数据中心发展论坛完美收官，创新成果璀璨夺目，引领行业迈向新高地！

“2024中国金融行业数据中心发展论坛”参会指南——全面解析会议亮点与参会攻略

某金融数据中心扩容改造供配电在线割接实战

液冷板防凝露的关键措施与技术

会议全日程 | 2024中国金融行业数据中心发展论坛开幕在即——共筑数据未来，引领金融科技新篇章

451 Research | 未来核能对人工智能发展的影响

OpenAI o1 的智商已经达到120，高于普通人平均水平

面向未来的能源互联网 | 伊顿&世纪互联能源路由器发布会成功举办

浅谈江苏某数据中心空调系统设计

分布式光纤传感（Distributed Fiber Optic Sensing）发展历史

最佳演讲人气王 | 世纪互联刘学潮：数据中心国产柴发的机遇和挑战

2024年数据中心用电需求将增至20.9G，马来西亚政府延长发电厂营运期限应对

微软发布数据中心闭环液冷设计，“零水蒸发”冷却系统预计2026年开始运行

最佳演讲人气王 | 康普吴健：关键网络决定智算效率

马来西亚发布新指南以推动数据中心发展

CDCC专家探营 | 大美时代视听大数据产业园，一个有格调的高品质数据中心

GPU服务器支持的“卡数”由哪些因素决定？（上篇）

GPU服务器支持的“卡数”由哪些因素决定？（下篇）

新型TIM：散热效率提升高达70%？AI数据中心是不是可以不慌了！

更名一年后，这家企业又有新举措

NTT公司试验两相直芯液冷并推出现场试验数据中心

数字经济新动能！中国移动马山数据中心即将竣工

阿里巴巴官方回应“河源云计算数据中心失火”，对云服务未造成任何影响

最佳演讲人气王 | 抖音井汤博数据中心技术矩阵和产品套餐化研发策略

原创中标｜山西太原万家寨云谷大数据中心

科技巨头公司Meta为数据中心寻求核电支持

智慧金融算力未来 | 6大亮点曝光，EDC变革一触即发，不容错过！

世界上最智能的语言模型！OpenAI“满血版”o1大模型上线

NVIDIA GH200 内部架构探究-2

继Google的数据落地越南之后，Nvidia又在越南建智能和数据中心！

联想郝京阳：拥抱液冷：联想推动AI产业绿色高质量发展

让算力更加容易更加便宜

SK海力士将采用台积电3nm制程生产第六代高频宽內存HBM4

NVIDIA GH200 内部架构探究-1

最佳演讲人气王 | 阿里云任华华一册在手液冷不愁——《数据中心液冷系统技术规程》内容解析

NVIDIA 危？亚马逊计划推出AI芯片Trainium2

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉