CNCF最新技术雷达，Fluid脱颖而出，它来自何处？

文摘 2024-11-28 09:28 中国香港

这是2024年的第90篇文章

（本文阅读时间：10分钟）

Fluid在CNCF最新技术雷达报告中脱颖而出

在犹他州盐湖城举办的北美Kubecon大会上，云原生计算基金会（CNCF®）于2024年11月14日发布了2024年最新的CNCF技术景观雷达报告。该报告深入评估了生态系统中多集群应用管理以及批处理、AI和ML计算技术的生产就绪状态。

CNCF技术景观雷达通过调查300多名使用云原生技术的专业开发者以及CNCF最终用户社区的成员，收集了他们在多集群应用管理以及批处理、AI和ML技术方面的实际使用经验。这些反馈代表了云原生最终用户最关心的实际问题。

报告根据各项技术的生产使用准备情况进行评估，并将它们分为四个类别：采用、试验、评估和保留。其中，“采用”类别包括成熟度最高、用户广泛认可的技术。特别值得注意的是，批处理、AI和大数据领域的相关项目，Apache Airflow、CNCF的CubeFS、Kubeflow和Fluid，这四个技术因其在基于Kubernetes的云原生AI体系中的应用而备受关注，成为业界技术选择的风向标。

下载完整报告：https://www.cncf.io/reports/cncf-technology-landscape-radar/

根据报告结果，Apache Airflow、CubeFS、Kubeflow和Fluid在批处理、AI和ML领域得到了广泛的认可，并已被大量部署在最终用户的生产环境中。特别值得一提的是，已开源10年的Airflow，它已连续3年获得此项荣誉。与此形成对比的是，作为这四个项目中最年轻的成员，Fluid的突出表现不仅获得了社区用户的广泛认可，也代表了对Fluid开源社区维护者和贡献者的极大赞赏。

而在关键的洞见中，Fluid两次被提到，分别是

1. 对于批处理/AI/ML计算技术，Apache Airflow、CubeFS、Kubeflow和Fluid被置于技术雷达的“采用”位置，表明许多用户已选择它在生产环境中使用；

2. 根据开发人员反馈，Fluid在成熟度上排名很高，成为开发者们表示最有可能向他人推荐的技术之一。

看到这，相信你已经对这个项目充满了好奇。成为CNCF社区用户在批处理、AI和ML领域的首选，Fluid究竟什么来头？

Fluid是什么？

Kubernetes提供了传统数据访问接入层面的接口（CSI，Container Storage Interface），对应用如何在容器集群中高效使用和灵活管理数据并没有定义。然而，这是很多数据密集型应用依赖这样的高层数据访问和管理接口，例如：在运行AI模型训练任务时，数据科学家需要能够管理数据集版本、控制访问权限、数据集预处理、动态数据源挂载更新、加速异构数据读取等。这是云原生容器社区缺失的重要能力之一。

为了解决这些挑战，阿里云容器服务团队、南京大学和Alluxio社区共同提出了“云原生弹性数据抽象”概念（例如DataSet），并将其作为“一等公民”在Kubernetes中实现。围绕弹性数据集Dataset，他们创建了云原生数据编排与加速系统Fluid，以实现数据集的管理（CRUD操作）、权限控制和访问加速等功能。该项目于2021年5月被CNCF接纳为Sandbox项目，旨在加速数据密集型应用全面拥抱云原生。

Fluid的愿景是Data Anyway（简单接入），Data Anywhere（到处运行），Data Anytime（按需使用）。

Data Anyway：关注数据的易接入性。存储供应商无需深入了解K8s的CSI或掌握Golang编程，即可灵活且简单地接入各种存储客户端。

Data Anywhere：Data Anywhere 概念具有双重含义。首先，它强调对计算资源的多样性支持，提供包括弹性算力和容器算力在内的通用支持（From Anywhere）。其次，它强调提供通用的数据高速访问能力，通过多种分布式缓存技术加速异地数据的计算访问（To Anywhere）。目前已支持包括开源的Juicefs、Alluxio和Vineyard等多种缓存引擎。这些技术支持广泛的存储类型，包括云厂商的OSS、S3、GCS以及开源的Cubefs、Juicefs、GlusterFS等，同时也支持自研的存储如PoleFS、StarFS等存储解决方案。

Data Anytime：关注数据使用的灵活性和动态性。它允许在容器运行时动态修改数据源，满足数据科学家在Kubernetes环境下，无需中断服务即可根据实际需求随时添加或移除存储数据源的需求。

Fluid的架构图

Fluid为什么这么受欢迎？

Fluid的广泛使用，来自于其满足了存储插件提供者（提供商），机器学习平台开发者以及使用者多样化需求。

3.1 分布式存储插件的提供者

分布式存储开发者很喜欢Fluid，会Docker和shell脚本就会在Kubernetes中开发存储插件，不需要学习和维护CSI Plugin了。只需要关心挂载和卸载两个核心操作即可。这样大大降低了开发复杂度和开发周期。

客户案例（详见文末）：小米StarFS CubeFS

3.2 机器学习平台的开发者和运维者

支持混合算力（弹性算力和容器算力）: Fluid屏蔽了有节点和无节点Kubernetes之间的差异，通过CSI和Sidecar技术实现了数据接入的灵活性，确保在不同的运行时环境中提供一致的用户体验。

屏蔽缓存和存储多样性：Fluid允许根据不同的存储源和场景需求，灵活选择合适的缓存引擎，可以针对场景无缝切换，比如经常有用户同时使用JuicefsRuntime和ThinRuntime。

分布式缓存资源的生命周期管理：在Fluid中，缓存可以作为Kubernetes资源进行调度、管理和弹性伸缩，并与计算资源混部。同时，支持单个或多个缓存集群的不同管理方式。

简化数据运维：通过Kubernetes的CRD (Custom Resource Definition)，用户可以定义自动化的数据处理流程，包括缓存的扩容/缩容、预热、迁移及自定义数据操作，实现与现有运维体系的无缝整合。

客户案例（详见文末）：阿里集团作业帮

3.4 数据科学家

1. 加速数据处理：Fluid的高效数据管理和缓存机制显著提高了数据访问速度，使数据科学家能更快地处理数据集，加速机器学习模型的训练和推理过程。

2.开发简单，符合使用习惯：数据科学家主要用 Python 进行开发，Fluid通过提供Python SDK在Kubernetes环境中部署和管理数据集，无需深入学习复杂的YAML或其他配置文件，从而降低了技术门槛。

3.本地开发体验：Fluid的Dataset功能支持描述多个数据源，并允许用户动态挂载或卸载新旧挂载点，这些改变对用户容器即时可见，无需重启，从而解决了数据科学家对容器使用的主要不满。

客户案例（详见文末）：聚宽量化深势科技

欢迎参与Fluid

Fluid项目正式开源后，吸引了来自不同行业，不同规模的社区用户将Fluid应用到更广泛的场景中：AIGC，大模型，大数据，混合云，云上开发机管理，自动驾驶数据仿真等。Fluid在支撑云上真实应用中不断迭代改进，并应用到生产环境中，系统的稳定性，性能和规模也变得成熟。

据统计，目前已有相当规模的Kubernetes集群在持续使用Fluid，其中在用户机器学习平台可以支持最大上万节点规模。每天在云原生环境中创建Fluid的用户主要来自互联网、科技、金融、电信、教育、自动驾驶与机器人、智能制造等领域。Fluid开源社区用户包括有小米、阿里巴巴集团、阿里云PAI机器学习平台、中国电信、微博、B站、360、乾象、作业帮、赢彻、虎牙、Oppo、云知声、云刻行、深势科技、聚宽、同花顺等。更多使用信息请查看用户注册列表。

Fluid 项目官网：https://fluid-cloudnative.github.io/

GitHub 项目地址：https://github.com/fluid-cloudnative/fluid

如果您希望贡献Fluid，请阅读贡献者文档，我们欢迎对于Fluid的使用，集成和文档的贡献。如果您希望贡献代码，请了解开发者文档

客户案例

[01] 小米StarFS

https://www.infoq.cn/article/kco7hi5tcve08yswniw7

[02] CubeFS

https://mp.weixin.qq.com/s/MFag2Pt11_z-ZWE_CDGIcQ

[03] 阿里集团

https://mp.weixin.qq.com/s/2Z-U7_oWYxzFh3_--EH8WA

[04] 作业帮

https://www.infoq.cn/article/W65RcTI8AUhmoHVLkzWo

[05] 聚宽量化

https://mp.weixin.qq.com/s/U9blYoOc40EPKK0GlCJWzA

[06] 深势科技

https://mp.weixin.qq.com/s/_LdITur1fZRzTAuyRZ9S5g

参考链接

[01] CNCF Technology Landscape Radar

https://www.cncf.io/reports/cncf-technology-landscape-radar/

[02] 用户注册列表

https://github.com/fluid-cloudnative/fluid/blob/master/ADOPTERS.md

[03] Fluid 项目官网

https://fluid-cloudnative.github.io/

[04] GitHub 项目地址

https://github.com/fluid-cloudnative/fluid

[05] 贡献者文档

https://github.com/fluid-cloudnative/fluid/blob/master/CONTRIBUTING.md

[06] 开发者文档

https://fluid-cloudnative.github.io/docs/next/developer-guide/how-to-develop

[07] CNCF Launches Technology Landscape Radar, Reference Architectures to Address Gaps in Cloud Native Ecosystem

https://www.cncf.io/announcements/2024/11/14/cncf-launches-technology-landscape-radar-reference-architectures-to-address-gaps-in-cloud-native-ecosystem/

文章转载自阿里技术。点击这里阅读原文了解更多。

CNCF概况（幻灯片）

扫描二维码联系我们！

CNCF (Cloud Native Computing Foundation)成立于2015年12月，隶属于Linux Foundation，是非营利性组织。

CNCF（云原生计算基金会）致力于培育和维护一个厂商中立的开源生态系统，来推广云原生技术。我们通过将最前沿的模式民主化，让这些创新为大众所用。请关注CNCF微信公众号。

http://mp.weixin.qq.com/s?__biz=MzI5ODk5ODI4Nw==&mid=2247550444&idx=2&sn=bc763c6a7d490b7ae6a8033ec2fdf270

CNCF

云原生计算基金会（CNCF）致力于培育和维护一个厂商中立的开源生态系统，来推广云原生技术。我们通过将最前沿的模式民主化，让这些创新为大众所用。

最新文章

CNCF Weekly 24-48

Strimzi 0.44.0 的集群伸缩自动再均衡功能