使用 Kanister 在 K8s 上进行向量数据库的备份与恢复

文摘   2024-11-01 10:03   中国香港  

作者:Pavan Navarathna Devaraj 和 Shwetha Subramanian

人工智能是一个令人兴奋且快速发展的领域,能够增强每个主要企业应用。它可以通过动态扩展、预测性维护、资源优化和个性化用户体验来提升云原生应用。然而,基础设施、运营和数据管理等方面的挑战仍然阻碍了大规模采用。幸运的是,云原生基础设施结合开源软件、模型、工具和数据库,使得实验和生产就绪的 AI 模型能够高效地训练、测试和部署。

训练机器学习模型需要在庞大的数据集上进行多次迭代。这些模型通常会生成高维数据,存储在向量数据库中。训练、测试和部署 AI 模型的过程资源密集,要求大量的计算能力和 GPU 计算周期。随着迭代次数的增加,向量数据库不断增长,保存这些昂贵操作的结果,成为推动 AI 工作负载的重要资产。

向量数据库在 AI 工作负载中的重要性

向量数据库存储高维向量,代表文本、图像和音频等非结构化数据。这些向量支持相似性搜索,可用于检索增强生成(RAG),从庞大的向量化数据集中提取相关上下文。这些附加上下文有助于提高大型语言模型(LLM)生成响应的质量。备份这些数据库对于维护数据完整性和防止可能中断 AI 应用的昂贵数据丢失至关重要。

将 AI 应用与向量数据库共同放在云原生基础设施上,组织可以优化运营并更轻松地管理基础设施。然而,由于向量数据库中存储的高维嵌入量巨大,数据保护至关重要,以保存迭代训练结果,避免在终止临时计算资源时丢失数据。失去这些数据可能会拖慢关键 AI 工作负载的进展,因此强有力的备份和灾难恢复(DR)策略变得不可或缺。

我们是如何通过 Kanister 解决这个问题的

在 2024 年北美 KubeCon + CloudNativeCon 大会上,我们的演讲“构建韧性:Kubernetes 上向量数据库的有效备份与灾难恢复[1]”将展示如何使用 Kanister[2](一个开源 CNCF 沙箱项目)为流行的向量数据库提供高效安全的备份和恢复策略。Kanister 是一个工作流管理工具,通过自定义资源(称为 Blueprint 和 ActionSet)简化 Kubernetes 上的数据管理,提供执行原子数据操作的能力。

其工作原理如下:ActionSet 指示 Kanister 控制器执行某个操作,如备份,而 Blueprint 定义在特定数据库上执行这些操作所需的步骤。在我们的演讲中,我们将:

  • 展示一个 Kanister Blueprint,详细说明一个流行向量数据库的备份与恢复操作。
  • 演示如何创建一个 ActionSet,将备份执行到对象存储并恢复数据库到你的环境中。

这次实用演示将为你提供使用 Kanister 保护 AI/ML 数据、确保韧性和效率的清晰路线图。

为什么你应该参加!

在 AI 变革每个行业的时代,保护这些模型所依赖的基础设施至关重要。如果你正在处理 AI、管理向量数据库或管理 Kubernetes 上的应用,这个环节非常适合你!通过参加,你将学习:

  • 向量数据库在 AI/ML 工作负载和 RAG 中的关键作用。
  • 如何在 Kubernetes 环境中高效部署这些数据库。
  • 使用 Kanister 简化 AI 驱动应用的备份和 DR 操作的最佳实践。

何时何地

请加入我们在盐湖城盐宫大礼堂 GI 举办的演讲“构建韧性:Kubernetes 上向量数据库的有效备份与灾难恢复”。

日期:2024 年 11 月 13 日,星期三
时间:下午 4:30 – 5:05 MST

我们将向你展示如何为你的 AI 应用做好未来准备,保护你的云原生基础设施。不要错过这个学习如何保护 AI 工作负载、确保商业连续性的机会!

参考资料
[1]

构建韧性:Kubernetes 上向量数据库的有效备份与灾难恢复: https://sched.co/1i7m3

[2]

Kanister: https://www.kanister.io/


点击【阅读原文】阅读网站原文


CNCF概况(幻灯片)

扫描二维码联系我们!




CNCF (Cloud Native Computing Foundation)成立于2015年12月,隶属于Linux  Foundation,是非营利性组织。 

CNCF云原生计算基金会)致力于培育和维护一个厂商中立的开源生态系统,来推广云原生技术。我们通过将最前沿的模式民主化,让这些创新为大众所用。请关注CNCF微信公众号。

CNCF
云原生计算基金会(CNCF)致力于培育和维护一个厂商中立的开源生态系统,来推广云原生技术。我们通过将最前沿的模式民主化,让这些创新为大众所用。
 最新文章