KubeCon China 回顾 |开源技术的未来——做踏实的工程师,爱自己的孩子

科技   2024-08-28 16:30   上海  


对于开源软件的未来,我从来没有什么愿景,我也不想要愿景。我把自己看作一个踏实工作(plodding)的工程师。

—— Linus Torvalds ,8 月 23 日于香港 KubeCon China 2024




在即将迎来 Real-Time Linux 项目成立 20 周年之际,已经 54 岁的 Linus Torvalds 依然还是那位说出“Talk is cheap, show me the code“的“踏实的工程师”。

主论坛演讲:Linux 和 Git 的创始人 Linus Torvalds 与 Verizon 开源项目办公室负责人 Dirk Hohndel 的对话

8 月 23 日,Linux 之父 Linus Torvalds 在香港的 KubeCon China 2024 大会主论坛上隆重登场。他与 Verizon 开源项目办公室负责人 Dirk Hohndel 畅谈了 Linux 生态的现状和未来发展趋势。他们的讨论覆盖了 Linux 开发的多个方面,包括版本更新、安全性议题、Rust 语言在 Linux 中的集成,以及人工智能在软件开发中的应用等等。之后,在 Linux 内核维护者见面会上,Linus 和 Linux 基金会研究员 Greg Kroah-Hartman,以及来自世界各地的顶尖核心内核开发者们深入讨论了更多 Linux 内核的开发规划问题。

“Linux 已经有 33 年历史了,你或许会认为所有的基础问题早已解决,但遗憾的是,事实并非如此。我们仍然在努力处理诸如内存管理等基础性问题。” 当谈及 Linux 内核的发布计划时, Linus 强调:“真正的发展是要把所有的细节都做好。”对于热门的人工智能话题, Linus 认为 AI 在软件开发中的最佳应用可能不是代码编写,而是代码审查。同时,他对 AI 带来的附加效应感到欣喜:“当 AI 出现时,像 NVIDIA 这样的企业开始更多地参与到内核开发中,这真是太好了!”

「DaoCloud 道客」开发者与 Linus 一起

在会场,「DaoCloud 道客」的开发者们都纷纷和他们心中的“开源偶像”合影留念,还在内核优化和 AI 技术应用等前沿问题上进行了热烈的交流。「DaoCloud 道客」的开发者们不仅获得了宝贵的知识和经验,也从前辈的身上更深刻地感受到了开源社区的力量。大家相信,通过不断的探索和合作,Linux 和开源技术将继续推动技术进步,为世界带来更多的可能性。

当然,在收获的同时,他们也向与会者输出了来自「DaoCloud 道客」的创新观点和方案。道客船长这就带大家回顾一下各个领域的“踏实的工程师们”所带来的精华内容。干货满满,准备启程!

01

AI 与基础设施
的共生演进

在当前的技术创新浪潮中,AI 毫无疑问是最受瞩目的赛道。本次大会是 AI_dev 首次与多个云原生开源社区的重量级会议联合举办,人工智能与云原生技术的融合和 AI 实践创新无疑成为了本次大会的焦点。本次大会中,「DaoCloud 道客」也带来了一些与 AI/ML 相关的议题,回应了一些 AI 基础设施领域中受到关注的话题。
潘远航《如何让你的 AI 底座效能提升 10 倍?》

被认为是 AI 基础架构的 Kubernetes,仅仅是在裸金属上构建 “AI Cloud”的第一步,那么要如何真正构建起一个高效的 AI 底座呢?「DaoCloud 道客」研发副总裁潘远航带来了这方面的分享。从网络和存储、vGPU 和调度策略、异构资源管理,到组织管理运营和模型服务优化,「DaoCloud 道客」基于开源方面的突破,推出了 d.run 算力一体化解决方案,旨在实现云原生人工智能基础设施效能的 10 倍提升。这一方案发挥了 HAMi、JuiceFS、HwameiStor、kubeFlow、dcgmi-diag、Kueue、Volcano、OpenCost、ORAS、 Triton、Ollama、Lingo 等多个开源项目的优势,在生产环境中具有卓越的表现。特别值得一提的是,HAMi 作为「DaoCloud 道客」的自主开源项目,刚刚通过了 Sandbox 投票,正式成为 CNCF 沙箱项目。

徐凯强、潘远航《打破界限:TACC 作为 AI+HPC 统一云原生基础设施》

大型 AI 模型正在推动各个行业对 GPU 集群的投资,如何管理这些大规模集群便成为了热点技术话题。潘远航还和香港科技大学徐凯强博士介绍了 TACC——一种融合了 Kubernetes 和 Slurm 优势的人工智能基础设施管理解决方案。自 2020 年以来,香港科技大学与「DaoCloud 道客」的 CNCF 贡献者合作开发的 TACC 支持着超过 500 名活跃研究人员的科研工作。它专为机器学习应用而设计,通过系统级优化,在性能和稳定性方面超越了传统 HPC 计算集群,可在软件和硬件层面支持和加速不断发展的机器学习研究。

殷纳《圆桌论坛:Kubernetes 调度社区碎片化现状及如何应对 AI/ML 工作负载带来的挑战》

当然,不可忽视的是,AI 的兴起为 Kubernetes 中 AI 工作负载的调度带来了新的挑战。本次大会上,「DaoCloud 道客」的殷纳与与几位行业专家在圆桌会议中共同探讨了这一问题。作为资深的维护者,他们深入介绍了 Godel-Scheduler、Koordinator、Kubernetes  SIG-Scheduling 和 Volcano 项目的技术背景和实践案例,并就如何在 Kubernetes 的上游更新与下游项目创新之间寻找平衡,以及在何处需要松散的可扩展性,何处需要具体的模式或功能等问题进行了深入讨论。

张凡石《无需运行时设置!让我们使用 Ollama Operator 轻松捆绑、分发、部署、扩展 LLMs》
对于 AI 应用开发者来说,除了底层的 AI 基础设施,优化工作流和降低 LLM 部署分发复杂度同样十分重要。Ollama Operator,一个基于 Modelfile 的 LLM 模型调度工具,在本次大会上吸引了众多 AI 开发者的关注。它有效地解决了捆绑、分发、部署和扩展 LLM 工作负载遇到的难题。张凡石在演讲中介绍了其多项功能,包括模型缓存、模型预加载、分布式副本、资源限制和操作自动化。Ollama Operator 使开发者能够通过简单的 CRD 定义行或内置的 kollama CLI 命令行,享受由 llama.cpp 提供支持的统一捆绑运行时,轻松实现包括跨操作系统和环境下的 LLM 的捆绑、分发、部署和扩展。

02

多云服务网格和
微服务迁移部署

除了 AI/ML 专题会议外,本次 KubeCon + Cloud NativeCon 还推出了十多个专题,涵盖了软件开发生命周期、平台工程、运维、安全、可观测性,数据和存储等多个重要领域。
肖旸《部署模式:平稳迁移和部署您的微服务》

在软件开发生命周期专题,肖旸介绍了自动化持续交付工具 Argo CD 和 Argo Rollouts 的特性及其面临的挑战。他总结了在不同场景下微服务迁移部署的有效模式,并分享了「DaoCloud 道客」在处理超出 Argo Rollouts 假设的复杂性问题时的解决策略和实践案例。

刘齐均《在多云环境中通过服务网格实现统一管理、连续性和合规性》

Istio 指导委员会成员刘齐均分享了「DaoCloud 道客」在多云环境中利用服务网格实现统一管理、连续性和合规性的宝贵经验和深刻见解。在多云和混合云架构中,企业经常面临多云通信、流量管理、应用编排、数据安全和应用迁移等复杂挑战。Istio 与 Karmada 集成的解决方案不仅提供了跨不同架构的无缝网络连接,确保了通信的可靠性和安全性,同时在这些复杂环境中实现了高效的应用调度

Karmada 是社区中多云方面至关重要的一个项目。它允许开发者在不同的云平台上平滑地编排工作负载,从而增强了云原生应用的灵活性和可扩展性。这种集成不仅简化了多云环境中的运维工作,还提高了企业对云资源的利用率和控制力。通过这些技术为软件开发生命周期提供的支持,开发者可以获得更高效、更智能的软件开发和运维体验。

03

边缘计算的利器:
KubeEdge

张红兵《KubeEdge 深入探讨:将 Kubernetes 扩展到边缘,实现真实行业用例》

边缘计算领域的代表项目 KubeEdge 在本次大会上同样备受瞩目。它作为首个云原生边缘计算开源项目,不仅扩展了 Kubernetes 至边缘计算设备,更提供了统一的边云协同管理能力。

「DaoCloud 道客」首席运营官、KubeEdge 技术指导委员会成员张红兵,携手华为云的 KubeEdge 维护者鲍玥,深入介绍了 KubeEdge 的核心组件和架构。他们通过智慧城市、工业物联网、边缘人工智能、机器人技术以及零售业等行业案例,分享了在边缘环境中部署 KubeEdge 的成功经验,深度分析了其带来的切实利益和推动行业变革的潜力。

胡炜《KubeEdge 如何构建适应边缘网络的安全可信隧道》

边缘网络的异构性,包括互联网、5G、Wi-Fi 等多种形式,使得服务质量保证变得更加复杂。在多变的网络环境中,确保数据传输的安全性是边缘计算面临的重要挑战。「DaoCloud 道客」胡炜和 n-hop 架构师 Clement Richard 阐述了 KubeEdge 如何利用其安全可信隧道技术,确保数据在边缘网络中的安全传输。KubeEdge 通过验证、加密和认证隧道内的所有通信,提供了高吞吐量、低延迟和高稳定性的网络性能。

KubeEdge 社区目前已汇集了超过 1500 名贡献者和 100 多个组织的积极参与,并期待更多志同道合的伙伴加入,共同探索和塑造边缘计算的未来。

04

containerd 2.0 预告
和 Sandbox API 解析

蔡威《Containerd:项目更新和深入探讨》

作为容器运行时的佼佼者,containerd 的进步对云原生技术的发展至关重要。「DaoCloud 道客」蔡威和 VMware 的 Akhil Mohan 联合呈现了 containerd 2.0 版本的新进展,包括沙盒 API、传输服务和节点资源接口等功能的更新,以及 API go 模块的新进展以及为使 containerd Go 客户端稳定而进行的重构。这些更新标志着 containerd 项目在提供更高效、更灵活的容器运行时解决方案方面迈出了重要一步。

蔡威《基于 containerd 的 Sandbox API 构建容器运行时》

此外,于 containerd 1.7 中发布的 Sandbox API 将在 containerd 2.0 中达到一个新的稳定里程碑。Sandbox API 允许容器引擎直接管理沙箱环境,绕过了传统的 OCI 标准接口,从而直接提升了容器引擎的性能和稳定性。这种直接管理方式,简化了容器的生命周期管理,使得容器部署和运行更为高效。

蔡威通过实际演示,展示了如何利用 Sandbox API 构建容器运行时环境。他还进一步介绍了 Kuasar——一个基于新 Sandbox API 的创新容器运行时框架。Kuasar 是首个采用沙箱控制器代理插件实现的运行时,它支持包括虚拟机监控器(VMM)、用户模式内核(UserMode Kernel)、WebAssembly 以及传统的 Runc 在内的多种沙箱技术。Kuasar 的设计允许在同一节点上部署多种安全沙箱,从而最大化节点资源的利用率,这种多沙箱共存的架构,为容器化应用的安全性和资源管理开辟了新的可能性。

05

Kubernetes 社区
和维护者们的十年

刘梦姣《Kubernetes 维护者圆桌:十年演变与未来趋势》

在过去的十年里,由于社区成员的奉献和创新,Kubernetes 发展成为云原生基础设施的基石,现在也成为了 AI 基础设施的重要部分。在这场特别的维护者圆桌会议上,包括刘梦姣在内的六位资深的 Kubernetes 维护者,一起回顾了和 Kubernetes 的共同携手走过的旅程,分享了他们的宝贵经验,并一同展望了 Kubernetes 未来十年的发展趋势。

Kubernetes 维护者圆桌会议的最后环节,现场大屏幕展示了来自不同背景的维护者们发自内心的留言——有温馨的、真诚的,也有实际的、幽默的。这些留言不仅温暖了现场,也激发了众多 Kubernetes 社区成员的共鸣,开发者们纷纷加入讨论,畅谈自己对 Kubernetes 社区的深厚情感以及对未来的期待。

十年,对于云原生和 Kubernetes 来说,是一个不断进化和创新的历程。随着人工智能、机器学习、高性能计算等前沿技术的发展,Kubernetes 社区面临着前所未有的需求和挑战。但同时,它们也推动着 Kubernetes 不断前行,探索更广阔的应用场景和更高效的资源管理方式。

展望未来,云原生的开源生态还将继续增长和进化。新的工具、框架和集成方案将不断涌现,为开发者提供更多的选择和可能性。这一切的成就和进步,都来自于那些无私奉献、不断创新的社区贡献者。

在 Linux 内核维护者见面会上,一位年轻的开发者问 Linus Torvalds,是什么让他坚持了这么多年。Linus 回答道,随着越来越多的人加入社区,这已经变成了他生命的一部分。Linus 补充道:“这就像你的孩子。”

Linus 的话语,不仅是对 Linux 内核的深情告白,也是对所有开源社区成员的鼓励和启发。正是这种对技术的热爱、对社区的责任感,让 Kubernetes 和 Linux 这样的项目能够持续发展,永远充满活力与创新。

随着 KubeCon China 2024 的圆满落幕,我们有理由相信,开源社区将继续以其独特的方式,孕育出更多的创新和突破。道客船长将继续为大家带来更多的见闻,带领大家深入探索云原生技术的无限可能。敬请期待我们后续的专题,还有更多干货等着大家!



热门推荐

            

访问以下网址,或点击文末【阅读原文】立即体验

d.run,让算力更自由
https://d.run/




DaoCloud 公司简介

「DaoCloud 道客」,云原生领域的创新领导者,成立于 2014 年底,凭借其自主知识产权的核心技术,成功打造了新一代云原生操作系统 DaoCloud Enterprise 5.0,致力于推动企业数字化、智能化转型。依托在云原生领域的技术积淀与持续创新,「DaoCloud 道客」推出 d.run 算力一体化解决方案,作为专业的技术提供商参与并推动多个区域算力枢纽中心的建设,为各行各业提供稳定、高效的算力支持。成立迄今,公司已在金融科技、先进制造、智能汽车、零售网点、城市大脑等多个领域深耕,标杆客户包括交通银行、浦发银行、上汽集团、格力集团、京东方、屈臣氏集团等。公司总部位于上海,并在新加坡、北京、深圳、成都、南京、武汉等地设立多家分公司及合资公司,总员工人数超过 300 人,是国家级“专精特新”小巨人企业、上海市高新技术企业,并入选了科创板培育企业名单。


网址:www.daocloud.io

邮件:info@daocloud.io

电话:400 002 6898



道客船长
分享云原生技术相关信息,助力开发者和企业云海扬帆!本公众号由 DaoCloud 负责运营
 最新文章