引言 — 周末了，聊一点轻松的，包括教育，新能源，和关于CXL的一道TCO的计算题 。
最近发了两篇文章，与其说是AI不如说是网络，参考文章的作者也是如此，一个来自于Juniper，一个之前在Cisco。
最近也很高兴认识了大佬zartbot，并且讨论了他的一个GPU运用以太网的想法，我觉得挺好。同时也推荐一下他的公众号，干货满满。
以太网之于AI，仿佛当年赤壁之战前公瑾和孔明手心中的“火”字，对nvlink有农村包围城市的意义。如我之前写的那篇，最近手心写下以太网的，有Jim Keller和。。。。很多人。
如题，这篇小文包括四个部分，即
音乐
视频
计算题
写在最后
I. 音乐
儿子练习乐器要选流行音乐，让我推荐。我说了几首周杰伦，五月天和孙燕姿的歌曲。想了一下，大概是二十五年前的歌了。再说了几首Bruno Mars和Maroon 5的歌，大概也是发行在十五年前了。
我就问他，同学们最近在听什么。
他转身跳起了科目三。
我说，抖音口水歌啊，没什么营养，少听。
转过身去，却想起当年，我用周杰伦的歌曲去说父母不能与时俱进，一直在听“洪湖水浪打浪”时。
父母只是听听，微笑不语。
II. 视频
一：最近被雷军圈粉，不是因为SU7，而是因为他在北京车展上的一段视频，拜访蔚小理时，谈吐的格局和落落大方。
不过硬被网友创造出一个李想焊门的成语。
二：前一段时间和一位老同学吃饭，因为团队可能会被裁员影响，一阵唏嘘后聊起了他最近买的车，也是国产新能源品牌。
他说选这辆车的一个主要原因，是支持造车新势力和国家的新能源战略。
我和他都没有笑。他说这个话的时候，眸子里发光，一如当年毕业的夏天，乐队排练时背着吉他的少年。
三：成长环境和大众舆论对于蔚小理来说都不算很友好，但是能看到他们的愿景和使命感。理想的愿景是2030年，成为全球领先的人工智能企业。小鹏的愿景是利用智能智造来创造更好的出行生活。蔚来的愿景是创造更好的移动生活。
这些人做这些事，都不只是为了自己。地缘政治和技术封锁是不可逃避的话题，新能源和其他被影响的技术发展和市场一样，需要支持。
III. 计算题
回归主业，再聊一下这道利用CXL来进行TCO优化的计算题。
CSP需要为不同的虚机，也就是VM类型预先分配和固定CPU和内存的资源，并且按照预估的需求来设定服务器的配置。
然而，VM的需求是动态变化的，并且随着业务的变化，其需求类型也会存在变化。
这和服务器的预先分配和固定的资源配置，成为了一个矛盾。借用下面这张图来说明。
另一方面，内存是目前服务器成本的一个主要贡献者。
根据对来自微软Azure的跟踪数据的分析，DRAM可能占服务器成本的50% ，在Meta的服务器成本中占40% 。通过对Azure的数据进行分析，内存滞留是浪费的主要原因和一个重要的成本节约领域。
滞留是指在所有服务器的CPU核心都被分配给客户VM时，会留下未分配的内存，无法出租。
内存池化的出现作为一种解决方案，允许滞留的内存被返回到一个分散的池中，并由其他服务器利用。然而，现有的内存池化系统和概念验证（POCs）必须应对由CXL交换机和布线电缆引入的高成本和系统复杂性。
我们的工作介绍了一种用于CSP平台的双节点CXL内存池系统，可以很方便的安装在已有的两台单路服务器上。这使来自不同VM的处理器能够以高带宽和低延迟访问内存资源，动态地在共享池中分配CXL内存。
通过计算表明，与静态服务器内存配置相比，双节点CXL内存池系统实现了成本节约和盈利增加。我们的结果显示，双节点CXL内存池系统可以将总服务器成本降低12%，并在3年内每个节点带来额外的81K美元收入。
该系统的内存容量可以根据特定需求在两个节点之间动态分配。
具体的实现方法和测试步骤，在技术白皮书发布后，我会将链接放在知识星球。
以下主要解释模型，得到成本的降低和盈利的提升。
在研究过程中，我们构建了一个简单的分布曲线，如上图a所示。最常见的虚拟机（VM）类型属于1:4到1:6核存比，广泛用于各种工作负载，包括Web服务器、中小型数据库、开发和测试环境以及轻量级企业应用程序。
1:4核存比的VM也适用于许多应用程序，满足特定需求。
对于需要大量内存数据处理和小规模应用程序的专用工作负载，有两个合适的选项：内存密集型VM和成本效益型VM，分别的核心与内存比率为1:8和1:2。
上图b中展示了两个具有不同内存比率配置的物理服务器模型。主要区别在于模型2（双节点CXL内存池系统）包含原生DDR内存和CXL内存，而模型1仅包含不同容量的原生DDR内存。
为了成本优化和物理上限，模型1包括两种类型的服务器以满足VM需求，配置为1:4和1:8的核存比（核心数量比内存容量）。
另一方面，模型2只需相同内存配置的相同服务器SKU和每个主机连接的CXL内存池卡。CXL内存池卡可以配置为为每个节点分配不同的内存容量。
模型2，提供了两个关键优势。首先，对于核存比不同的物理服务器，模型2采用一致的内存配置，而不是不同的DIMM容量或数量/数量。不同的DIMM组合可能导致频率和性能的差异，给服务器配置带来复杂性。其次，模型2通过动态分配的CXL内存池卡提供核心到内存的灵活配置。这有助于最小化内存滞留，并通过在服务器内容纳更多的VM有效地最大化资源利用率。
降低成本
在模型1和模型2之间的总成本比较中，模型2从DDR容量从1:8减少到1:4，同时包含4个CXL内存容量单元，从而获益。
此外，DIMM的每GB成本与其容量紧密相关。当前，在32GB和64GB的更高容量型号与更高容量的成本优势相比，它们显示出更好的每GB成本优势，例如，128GB比32GB贵约8%。这一方面突显了引入CXL内存池卡的潜在优势。通过允许配置等效的内存容量，这些卡可以提供更具成本效益的内存解决方案。
在这里我们提供了一个真实的服务器来比较总成本差异。结果显示，模型2的总成本比模型1的总成本少12%。
增加利润
通过动态分配内存容量单元的CXL内存池卡，模型2提供了核存比灵活配置的机会。
这种灵活性有助于最大限度地提高资源利用率，并减少内存滞留。内存滞留意味着所有CPU核心都已分配，但没有足够的内存容量供应，从而无法继续托管更多的VM。内存池允许回收部分内存并重新分配给其他服务器，使资源更加利用，提高云服务商的收入。
我们假设每个CXL内存容量单元的成本为4,000美元，每个容量为32GB的DDR5 DRAM模块的成本为200美元。我们还根据阿里云2023年的VM价格来计算收益，其价格由VM类型、规模和使用情况决定。
我们的分析结果显示，在3年的时间里，每个服务器节点可以为CSP带来额外的81K美元收入。这种收入增长主要来自内存滞留的减少和资源利用率的提高。
IV. 写在最后
计算的详细过程与VM的需求模型有关，我这里没有做细节介绍。以上的这个介绍，是不是看了不太懂？这就对了，我开始算的时候自己也不太懂。😅
懂不懂的也不重要，既能省钱还能多赚钱就好了，这点很重要。这道计算题，关键取决于我们假设的需求模型和变化模型是否成立。
感谢同事Albert和Shiyu的反复建模计算和POC系统的搭建。
在实验室中，有这样一台基于两个单路服务器的双节点CXL内存池系统静静地躺着。等技术白皮书出来之后，再做更新。
高阅读量文章
