大模型时代，人工智能行业高质量数据集对于构建准确、高效、可靠的模型至关重要，高质量数据集不仅能够提升模型的泛化能力，还能减少过拟合的风险，使得人工智能系统更加稳健。因此，开展全面、系统、标准化的人工智能数据集质量评估测试显得非常重要。人工智能数据集质量评估测试旨在系统性地检查数据集的完整性、准确性、一致性以及多样性等关键属性，掌握数据深层知识价值，确保数据高质量供给，形成贯穿于大模型全生命周期的高质量数据闭环。
中国信息通信研究院（简称“中国信通院”）高度关注和重视人工智能行业高质量数据集质量评估技术及产业发展态势，依托中国人工智能产业发展联盟和人工智能关键技术和应用评测工业和信息化部重点实验室，建立了“可信AI”人工智能数据集质量评估体系（ADAQ， Artificial intelligence Datasets—Quality evaluation），搭建“1+1+N”质量评估能力。
人工智能行业数据集质量评估体系（ADAQ）
一套方法：建立评估指标和方法保障标准化实施
ADAQ评估体系依据行业标准《面向人工智能的数据集质量通用评估方法 总体要求》，为人工智能数据集质量管理和质量评估提供标准依据和规范，按照“可用+好用+落地”的原则，涵盖数据集完整性、规范性、准确性、及时性、一致性等12个一级指标和36个二级指标，包括测试数据集准备、测试条件初始化、前置检测、后置检测以及数据集质量评估得分计算等五大核心部分。
一个平台：搭建数据集质量评估工具实现平台化管理
自建人工智能数据集质量评估工具平台，按照“规则检测+人工抽样+模型效果”的“三道关卡”融合思路进行开发，实现人工智能数据集质量评估指标的具体量化与项目执行，主要包括项目管理、参数配置、测评过程管理、可视化分析与总结、知识图谱管理、大屏展示等核心功能模块。
中国信通院人工智能行业数据集质量评估平台
N项服务：针对多样化需求提供定制化测试方案
覆盖不同测试数据类型，覆盖文本、图像、音频、视频以及多模态等不同类型数据集，包含预训练、监督微调、反馈强化、强化微调、推理等不同模型训练阶段。目前，ADAQ评估测试已服务头部中央企业招商局，通过交通物流行业数据集质量评估4级评级，极大地提升了该集团行业数据集的标准化建设能力，并具有广泛的行业推广价值。
下一步，中国信通院将结合人工智能技术发展趋势和行业高质量数据集建设需求持续完善人工智能数据集评估体系，诚邀各位行业专家共同参与。
项目咨询联系人：
燕老师
17801035157（微信同号）
yanjiangyi@caict.ac.cn
樊老师
18612301312（微信同号）
fanwei1@caict.ac.cn
项目合作联系人：
李老师
18611353631（微信同号）
lisun@caict.ac.cn
校 审 | 谨 言、珊 珊
编 辑 | 凌 霄
推荐阅读
