蚂蚁集团开源向量索引库 VSAG,高效支持千维以上向量存储

科技   2024-09-12 13:57   辽宁  

作者 | 蚂蚁集团
策划 | 罗燕珊

近日,由蚂蚁集团发起的,旨在提高数据库与大模型应用开发效率的“星辰智能社区”新发布了两个项目:AI 原生数据应用开发框架 DB-GPT 新版本与向量索引库 VSAG。

DB-GPT 是一个开源的 AI 原生数据应用开发框架。在数据库领域,如何增强和大语言模型的交互任务,减少大模型的幻觉,为用户提供可靠并且安全的数据理解和分析能力,仍然是一项极具挑战的工作。DB-GPT 通过开发多模型管理 (SMMF)、Text2SQL 效果优化、RAG 框架以及优化、Multi-Agents 框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单便捷。

本次开源的新版本 DB-GPT v0.6.0,完整支持了数据驱动的 AI 原生应用生命周期管理(AI Native Data Apps-dbgpts)以及 AI 原生应用仓库,方便开发者构建、发布、分享 AI Native Data Apps,还新增了六大特性,包括将 AWEL 协议升级至 2.0,支持更复杂的编排;结合 TuGraph,能支持图的构建与检索,进一步增强检索的准确性与召回的稳定性,以减少大模型的幻觉,在同样的检索效果下,构建 Graph 的成本比业界的方案少 50% 的 Tokens;支持 Agent Memory,如感知记忆、短期 / 长期记忆、混合记忆等;支持意图识别、槽位填充,支持 Text2NLU、Text2GQL 微调等。

除此之前,社区还新发布了向量索引库 VSAG。VSAG 是蚂蚁集团在向量数据库上一系列的工程优化与向量索引的算法改进成果,适用于高维向量的存储和计算优化,并能提供 C++ 和 Python 的接口以便使用。VSAG 已在蚂蚁内部百亿数据量级业务上使用,在保证同样的召回率情况下,VSAG 可以通过量化和基于磁盘的重排技术,将内存消耗降低到 HNSW(最流行的向量索引)的 1/10,从而实现生产部署成本的大幅降低。VSAG 将结合 DB-GPT,让 RAG 的构建更加简单、高效,同时 VSAG 作为独立开放的向量引擎,也将支持 LangChain、LlamaIndex 构建 RAG 应用。

点击底部阅读原文访问 InfoQ 官网,获取更多精彩内容!

今日好文推荐

剥离几百万行代码,复制核心算法去美国?TikTok 最新回应来了

又“刑”了!搞瘫公司三千多工作电脑,不给 500 万就删 IT 账户,网友:快乐的员工谁干这事儿啊

0 基础 2 分钟就能手撸一款 App,手机上也能操作!解放程序员的工具又多了一个

赔偿金达36月工资!LG显示巨亏,竟有1400人自愿离职?马斯克P图点赞《黑神话:悟空》;花钱看不了国足比赛!爱奇艺致歉 | Q资讯

InfoQ
为一线互联网公司核心技术人员提供优质内容。科技圈的观察者,前沿技术的传播者。
 最新文章