etmem：更灵活，更强大的内存分级扩展技术

文摘 2024-10-10 19:50 广东

随着CPU算力的发展，尤其是ARM核成本的降低，内存成本和内存容量成为约束业务成本和性能的核心痛点。

目前主流通用存储方案内存成本占比约30% [1]，是服务器硬件成本中不可忽视的一部分。但当前DRAM工艺达到极限，短期突破难度大，DRAM成本下降空间小，导致内存成本挑战大。同时，算力发展超前于内存容量发展（过去十年CPU核数增长7+倍，内存容量密度仅增长4倍），HPC等大内存诉求场景性能受限于内存容量约束。

因此如何节省内存成本，如何扩大内存容量成为存储迫切要解决的问题。

OpenAtom openEuler，简称“openEuler”提供etmem内存分级扩展技术，通过DRAM+内存压缩/高性能存储新介质形成多级内存存储，对内存数据进行分级，将分级后的内存冷数据从内存介质迁移到高性能存储介质，如持久内存（AEP）或闪存设备中，达到内存容量扩展的目的，从而实现内存成本下降 [2]。

内存扩展技术现状和需求

Linux内核在启动时会创建kswapd进程，其可以在内存紧张时将LRU队列中的冷内存页换出到交换分区。这种内存扩展方式存在配置灵活性差的问题，具体而言有以下几点：

1. 换出策略固定

kswapd进程通过系统级的LRU队列识别冷内存页并进行换出，这种方法难以针对特定进程换出，同时识别冷页的策略也无法进行自定义修改。

2. 换出时机固定

当内存中空闲页少于低水位线时，内核会唤醒kswapd进程并进行内存换出，此时机用户无法配置。

3. 不支持持久内存

kswapd无法将冷内存换出到持久内存节点上。

针对以上问题，对etmem的需求如下：

1. 定制化的换出策略支持

通过支持定制化的换出策略，etmem允许用户根据特定业务进程使用自定义的热度识别策略，达成更精细的冷页识别。

2. 更灵活的换出时机选择

etmem可以在配置文件中对换出时机进行设置，支持在系统空闲内存低于特定值，或进程内存占用大于特定值时进行扫描和换出。

3. 更多的存储后端支持

etmem的内存淘汰后端同时支持内存压缩（DRAM）、内存搬迁（AEP）、内存换出（闪存）。

etmem架构

etmem的整体架构如下图：

etmem包含客户端和服务端，两者通过socket通信机制进行交互。客户端下发创建/删除工程、启动/停止工程、查询工程的命令，服务端通过客户端下发的配置文件，读取project管理配置信息，以及engine配置信息，并执行客户端下发的操作。启动工程之后，服务端会对业务进程进行扫描，并根据扫描统计结果以及淘汰策略，对页面进行分级淘汰，实现节省内存的目标。

etmem提供了数个engine，包括slide和cslide，支持将扫描结果中低于热度阈值的冷页进行内存淘汰。cslide在slide的基础上支持了大页内存和将冷页淘汰到持久内存节点。除了自带的engine外，etmem还提供了配置接口，允许用户使用自定义的第三方engine对内存热度扫描结果进行处理，实现了定制化的内存冷热区分。

etmem的页面淘汰操作同时支持内存压缩、内存搬迁、内存换出，可以将冷页移动到不同的后备存储介质上。

主要特点

1. 透明化迁移

etmem可以在不干扰用户应用的前提下，自动将冷数据迁移至其他存储层。这种透明化的设计确保了系统在高效运行的同时，减少对前台业务造成影响。

2. 智能调度

通过对数据访问模式的动态监测，etmem能够判断哪些数据是“热数据”，并将其保留在DRAM中。相对不常访问的“冷数据”则被迁移至其他存储介质，降低了核心内存的使用负担。

3. 灵活性与扩展性

etmem支持多种内存层级组合，如DRAM、AEP和SSD。用户可以根据具体需求灵活配置内存策略，满足不同的业务场景。

4. 开源社区支持

作为 openEuler 生态的一部分，etmem的源码已在开源社区中公开，开发者可以通过Gitee访问其代码库 [2]，进行定制化开发或贡献代码。

客户案例

中国电信发布了基于openEuler的天翼云操作系统CTyunOS，支持etmem内存分级扩展技术，可按照不同策略使用 DRAM和低速内存介质如SCM、AEP等不同内存，通过内存分级调度让热数据保留在DRAM高速内存区中，让冷数据交换到低速内存区，达到提升物理内存使用效率的效果。该特性适用于内存容量敏感型应用，典型如 mysql 数据库，spark等应用。与天翼云在虚拟机场景进行联合创新，拓展介质为AEP时，开启etmem相比于不开启etmem时业务性能提高了约30%，提升了物理内存性价比 [3]。

参考链接

[1] 2023年中国云计算行业发展成本分析服务器成本占比约75%【组图】_行业研究报告 - 前瞻网 (qianzhan.com)：https://www.qianzhan.com/analyst/detail/220/231205-f13beb41.html

[2] etmem源码仓库：https://gitee.com/openeuler/etmem

[3] 中国电信正式发布天翼云操作系统 CTyunOS：基于 openEuler 开源系统 - IT之家 (ithome.com)：https://www.ithome.com/0/586/242.htm

http://mp.weixin.qq.com/s?__biz=MzkyMjYzNjU0Ng==&mid=2247511715&idx=1&sn=7c04105b10cf09701454ae4a95ea9da4

OpenAtom openEuler

openEuler是由开放原子开源基金会（OpenAtom Foundation）孵化及运营的开源项目。 openEuler 面向数字基础设施的操作系统。

最新文章

openEuler携手产业伙伴发出全球可持续化发展倡议，共建AI时代数据安全

同济大学推出基于XuWare中间件的功能安全计算操作系统

【活动报名】openEuler Meetup 郑州站

大佬现场挖人？座位爆满？腼腆实习生化身C位罩单舞小蓝？ROS SIG 在 openEuler Summit 2024 做了这些…

openEuler系累计装机量突破1000万，树立操作系统产业新里程碑

直击！操作系统大会2024重磅看点

openEuler Summit 2024：凝聚产业创新力量，共建全球开源新生态

倪光南院士：拥抱开源，为世界贡献一流的服务器操作系统

iSulad支持NRI扩展式插件细粒度、低时延容器资源灵活管理

开源无界：openEuler的全球成长之旅

openEuler Summit 2024 | 欢迎参加SIG组开放工作会议

【Call for Poster 】操作系统大会＆openEuler Summit 2024 Poster 征集

Linux 内核漏洞发布分配机制重大变化，openEuler Kernel SIG maintainer 加入社区漏洞检视组

操作系统大会＆openEuler Summit 2024 | 快来定制你的专属海报吧！

新书｜《操作系统基础与实践——基于openEuler平台》

openEuler Copilot System洞察与实践-美团场景案例

15万元奖金来袭！开放原子大赛openEuler应用软件开发赛等你来挑战！

openEuler 社区 2024 年 10 月运作报告

活动回顾｜openEuler SDS Meetup 北京站

根植openEuler 携手共建“一生态” ——第二届openEuler生态大会（中国·湖南）成功举办

【活动回顾】openEuler Meetup杭州站举办，共话操作系统安全

中移物联OneOS与openEuler联合推出非对称AMP双系统方案

百度智能云发布基于 openEuler 的 BaiduLinux CloudOS

Rust-Shyper 架构简介及对 RISC-V 的支持

1024 | 揭秘不一样的openEuler开发者

就在明天！openEuler Meetup 杭州站，共同探讨操作系统安全

openEuler Summit 2024 | 欢迎参加SIG组开放工作会议

议题亮点抢先看！一起倾听SDS技术高能分享！

深入分析基于AI的系统故障检测技术原理

2024年度openEuler社区贡献之星评选启动

openEuler Copilot System技术分享-- 调优/运维业界洞察

ZVM性能测试报告

【Call for Poster 】操作系统大会＆openEuler Summit 2024 Poster 征集

倒计时3天！openEuler Summit 2024 技术分论坛议题征集即将截止，即刻报名，参与分享

【活动报名】openEuler Meetup 杭州站，共同探讨操作系统安全

【通知】2024年度 openEuler项目群意向捐赠项目征集

【活动报名】openEuler SDS Meetup北京站

关注∣2024年度openEuler领先商业实践单位遴选征集工作正式启动

openEuler 社区 2024 年 9 月运作报告

openEuler与Linaro携手参加OSSUMMIT 2024

etmem：更灵活，更强大的内存分级扩展技术

【创新项目探索】openAMDC一种高性能的分布式缓存软件

开源公告 | 备份软件open-eBackup正式开源

2024年第五届CID参会报名开启！

openEuler Summit 2024 | 诚挚的邀请您提交议题、申报SIG会议、成为共建单位……

openEuler人才认证正式发布

开放原子生态大会--openEuler生态分论坛圆满结束

直播通道开启!开放原子开源生态大会openEuler分论坛邀你来看~

【活动报名】开放原子开源生态大会，一起来探索openEuler吧！

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉