非结构化数据占比超过92.9%,IDC发布RAG与向量数据库市场前景预测

科技   2024-11-01 11:40   北京  



北京,2024年11月1日

当前,RAG与向量数据库是AI厂商布局的重点方向之一。2023年全球非结构化数据占比达到92.9%,用户需要更好地管理、治理这些数据从而用于更精准的分析和AI内容生成。IDC于近日发布了《RAG与向量数据库市场前景预测》(Doc# CHC52204725,2024年10月),报告绘制了RAG管道建设路径以及其中包含的主要技术和算法,收录并评估了市场中的主要厂商,来为市场选型提供参考建议。


在生成式AI开发过程中,41%的高管认为搭建RAG架构非常重要,81%的IT领导者认为利用自己业务数据的GenAI模型将使他们比竞争对手具有明显优势。RAG为LLM提供企业内部数据,使生成内容更加准确合理,已在知识问答、对话查询、任务执行等应用中集成。未来两年,企业表示将在营销、网络安全、知识管理和发现等领域中更多采用RAG。



原生向量数据库、向量检索引擎作为实现RAG的重要组成,最先落地的客户和场景包括银行(客服、知识库)、制造业(故障检测)、汽车(知识库、图片相似性搜索)、搜索(相似性搜索)等。从需求来看,大部分客户对RAG和向量数据库的区别还没有明确认知,更多从成本和难易程度的角度来考虑建设方式,同时随着文档数量的上升,也更关注如何组织逻辑、评估效果。


原生和非原生向量数据库将长期并存,成本、部署难度以及大模型/Agent套件服务将会是影响企业选择的最重要因素。即使存在性能差距,但均可以通过改善工程实现优化。原生向量数据库在可扩展性、准确率、数据规模、QPS等上有优势,以及自研embedding模型,会提高LLM生成内容的效果和精准度,但影响模型效果的因素还包括数据的前期处理、LLM模型本身效果、检索后重排序、Prompt等多个方面,且各技术解决方案均会集成ANN、HSNW、Graph等最新算法,之间壁垒并不明显。


向量数据库市场主要由GenAI带动,多为大模型服务项目总包中的一部分,仅有少量商业化解决方案落地,例如银行保险行业,2024年各企业在向量数据库项目上的营收规模大多集中在3000-5000万,其整体市场也面临着RAG开源检索引擎、LLMOps工具的影响。






根据市场调研和访谈,IDC绘制向量数据库&RAG技术发展趋势图,梳理当前和未来技术供应商布局和企业关注重点,以为市场提供参考。




本次IDC报告收录了中国市场向量数据库、RAG代表厂商,并对其优势项进行评估,包括阿里云、百度智能云、柏睿数据、滴普科技、Fabarta、火山引擎、矩阵起源、墨奇科技、腾讯云、星环科技、亚马逊云科技、Zilliz(按公司拼音首字母排序),此外值得关注的厂商还包括零一万物、爱可生、中国电信等。


李浩然

IDC中国高级分析师






IDC中国新兴科技研究组高级分析师李浩然表示,在当前GenAI技术路径下,向量数据库是实现内容精准检索和推荐的必然方式,考虑到部署难度和资源成本的问题,未来市场下向量引擎、原生向量数据库、多模态一体化数据管理方案等多种建设选择还会长期并存。Data Fabric将会是未来1-2年技术供应商的的布局重点,在多数据产品之上实现统一的数据存储、嵌入、检索和AI生成。同时市场在搭建AI应用时也需要关注数据隐私,避免在RAG检索时的数据泄露、跨越权限的问题出现。




IDC更多大数据、人工智能领域研究相关报告:






  • 《DataOps最佳实践案例》(即将发布)

  • 《面向Gen AI的数据基础设施建设指南》(即将发布)

  • 《Gen AI + Data市场趋势分析及最佳实践案例》(即将发布)

  • 《数据资产管理平台技术能力评估,2024》(即将发布)


如需进一步了解与此研究相关的信息或关注其他相关项目研究,请与IDC高级分析师李浩然(邮箱:leli@idc.com)联系。


免责声明


本文中的内容和数据均来源于IDC所发布的报告,所有内容及数据均为我公司所有。未经IDC书面许可,任何机构和个人不得以任何形式翻版、复制、刊登、发表或引用。

全文完


↓ 相关推荐

IDC首发中国市场代码生成产品评估报告

分析师观点:IDC解析全球数据湖仓市场最新趋势

中国数据智能市场生态图谱V5.0正式发布

需求驱动产业升级——《IDC MarketScape:中国实时湖仓市场2024年厂商评估》报告正式发布


NEW TO IDC



+

联系我们

扫描左侧二维码

与我们保持沟通


相关咨询,请联系

王勇,IDC中国 副总裁

电话:(+86-10) 5603 4087

电邮:fwang@idc.com

 

刘晓婷,IDC中国 客户支持代表

电话:(+86-10) 5082 5797

电邮:yvliu@idc.com

 

谢静,IDC中国  市场部

邮箱:mxie@idc.com




IDC咨询
关注IDC研究成果,掌握ICT市场脉搏
 最新文章