2024年10月15日,腾讯云计算(北京)有限责任公司(以下简称“腾讯云”)顺利完成了中国信通院组织的首批大模型驱动的智能数据开发平台专项测试,成为首个完成此项测试的企业。
数据开发是挖掘数据价值的核心工作,涵盖数据模型开发、ETL流程、数据分析处理、任务调度等全生命周期。大模型的引入,进一步简化了这些复杂流程,推动数据开发从2.0迈向3.0时代。通过自然语言交互,大模型提升了开发效率,降低了技术门槛,助力企业更快、更智能地实现数据价值。
为推动大模型在数据开发领域的应用,中国信通院云计算与大数据研究所依托中国通信标准化协会大数据技术标准推进委员会(CCSA TC601),联合腾讯云等40余家企业共同参与起草,充分参考各行业数据开发实践经验,编制完成了《大模型驱动的智能数据开发平台技术要求》标准,包含数据资源管理能力、平台资源管理能力、数据模型开发能力、智能化数据准备能力、数据开发代码生成及优化能力、工作流构建及调度能力、数据任务运维能力、数据开发管理能力、面向数据开发领域的智能问答能力等九大能力域,共33个能力项,90余条能力细则。腾讯云是标准的核心参编单位,其智能数据开发平台WeData成为首个通过测试的产品。
WeData是腾讯云推出的一站式数据开发治理平台,包含数据集成、开发、测试、运维的全链路DataOps数据开发能力,以及数据建模、数据质量、数据安全、数据资产等一系列数据治理和数据运营能力,帮助企业在数据构建和应用的过程中实现降本增效,数据价值最大化。
Data for AI 全生命周期保障数据质量与安全
1. 大数据与AI数据链路整合
通过一站式大数据+AI解决方案,WeData覆盖了从业务需求到数据加工、清洗、模型服务的全过程。与腾讯云Ti-One机器学习平台集成,支持模型训练任务的编写与调试,统一调度编排大数据处理、机器学习以及Notebook等任务,实现数据开发全流程的高效管理。
2. 基于RAG的知识库
WeData基于混元大模型与腾讯云ES的整合,提供企业专属模型微调和知识库构建服务,尤其在泛互联网和金融等领域,通过向量化存储与RAG技术,显著提升大模型问答准确率,确保数据质量、提高企业的数据治理能力。
3. 数据治理:数据质量与安全保障
WeData平台通过事前、事中和事后的数据治理流程帮助企业构建高质量的数据资产。平台还通过数据分类分级、权限管控、脱敏保护和安全审计等功能,确保数据的合规性和安全性。
AI for Data:智能化提升数据开发与治理效率
平台通过AI技术的深度融合,进一步提升数据开发和治理的效率,优化用户体验。
1. 智能助手提升SQL开发效率
基于混元大模型,WeData引入了智能助手功能,帮助用户快速排错、解释和注释SQL语句,显著提高开发效率。
2. 增强的血缘分析
AI技术进一步增强了WeData平台对SQL、Shell、Python等各种脚本的血缘分析能力,确保精准的数据关系解析。
3. 数据资产智能化管理
通过自然语言查询,WeData大大提高了数据检索的效率。平台还提供智能辅助盘点、元数据管理以及资产评估功能,帮助企业更好地管理数据资产,实现数据的高效利用。
4. 智能化数据安全防护
利用AI技术识别敏感数据并进行风险监测,显著降低误报和漏报率。平台通过标注训练数据,构建敏感数据识别引擎,确保在复杂场景下的数据安全性和合规性,并为企业提供精准的数据安全防护解决方案。
腾讯云WeData凭借与AI大模型的深度融合,为企业提供了一站式智能数据开发与治理解决方案,不仅显著提升了数据开发效率,还助力企业在数字化转型过程中最大化数据的商业价值。腾讯云大数据将持续致力于为各行业客户提供轻快、易用,智能的大数据平台。
首批大模型驱动的智能数据开发平台专项测试通过企业将在12月份2024数据资产管理大会颁发证书,此标准为“大模型+数据智能应用”系列标准之一,该系列标准如下,欢迎联系咨询!
《大模型驱动的智能数据分析工具技术要求》(已完成,开放测评)
《大模型驱动的智能知识图谱技术要求》(已完成,开放测评)
《检索增强生成(RAG)技术要求》(已完成,开放测评)
《大模型驱动的智能知识问答系统技术要求》(已完成,开放测评)
《数据智能体技术总体要求》(已完成,开放测评)
《数据分析智能体技术要求》(已完成,开放测评)
《大模型驱动的智能数据开发平台技术要求》(已完成,开放测评)
联系人:
王超伦
wangchaolun@caict.ac.cn
13011807607
韩晓璐
hanxiaolu@caict.ac.cn
18627873252