腾讯云操作系统内核团队悄然修复bug,获Linux创始人Linus Torvalds 赞许

科技   2024-12-30 20:50   四川  

12月30日获悉,腾讯云操作系统(Tencent OS)内核团队在 Linux 社区默默提交的两项改进,成功解决了自 2021 年以来一直困扰着一线厂商,并在近期让多个Linux顶级Maintainer(软件维护者)困惑的关键内核bug。这一改进方案最终被合并进入后续的 Linux  LTS(Long-term support) 版本中,并获得了 Linux 之父 Linus Torvalds 的高度评价。


Linus:“不明,觉赞”


大约两个月前,Linux 社区中的一封邮件引起了广泛关注。其内容主要是,自2021 年 12 月起,Linux 内核中启用了 Large folio 特性(能够提升系统访存性能)的XFS 文件系统用户(但不仅限于XFS)有概率遭遇缓存损毁导致的宕机问题。该问题受到了社区的高度重视。


XFS是最常见的 Linux 文件系统之一,在常见的 Linux 使用场景中,如服务器、桌面等,XFS 被作为主力文件系统大量采用。尽管该bug较难触发,但其潜在风险仍然让社区和各大厂商感到不安。Meta和 Cloudflare等公司甚至不得不暂时禁用XFS 的 Large folio 特性以确保系统稳定。


一个多星期的讨论中,大家迟迟没有捕捉到bug所引发的具体位置或线索,只是确认 bug确实存在而且亟需修复。几位顶级Maintainer,以及 Linus Torvalds 本人也参与进入讨论。


社区在广泛排查的过程中,突然发现这个问题在新的Linux 内核版本中已经不复存在。进一步的调查发现,这一变化归功于腾讯云操作系统内核团队在今年4 月提交的两项改进。


原来,腾讯云操作系统内核团队在进行操作系统性能优化研发时发现,操作系统内核使用XArray(内核中用于处理广范围地址索引结构的基数树处理库)管理Page Cache(页面缓存)时,会因XArray在分配内存时没有考虑好并发修改的问题,导致分配的内存指针可能指向错误的数据,对外表现为XFS 与其他引入了 Large Folio 特性的文件系统均有概率出现卡死宕机甚至数据丢失的情况。


针对这一问题,腾讯云操作系统内核团队在优化 Page Cache对 Xarray 的使用上,引入了一个新的辅助函数,简化了 Xarray 的中 Large Folio 的插入算法,并进一步梳理和修复了内存分配的并发处理,确保了即使在多线程环境下,内存分配和释放也能正确进行。这些改动不仅修复了数据损坏的问题,还提升了操作系统系统的性能。


经历了数个星期的讨论与分析后,这些改动被社区认为是最佳的修复方案。


如今,这一修复方案已经被合入了最新的操作系统版本中,为这一问题画上了句号。同时,方案也极大提升了大文件在Page Cache 中的读入性能,数以十亿计运行Linux 的设备,都会因此快一点。


除了这次贡献外,腾讯云操作系统内核团队近年来通过与社区的紧密合作,在swap(交换空间)、memory cgroup(内存控制组)、页面与热度管理等方面持续进行技术创新,不断提升Linux 内核的性能和稳定性,助力操作系统技术发展。


目前,腾讯云也开发了自研的服务器操作系统版本TencentOS Server,装机规模超过1000万套,除了支撑腾讯自研的国民级应用,也广泛服务了互联网、金融、政务、工业、能源、交通等行业客户。


云技术
传播新技术,关注云计算、雾计算、边缘计算、量子计算、物联网、5G、人工智能、大数据、虚拟化、安全、区块链、DevOps、存储、SDN、职场、招聘等领域,分享资讯、经验、技术、坚持干货。
 最新文章