近年来,大模型参数规模和模型性能不断创出新高,加速推进人工智能实用化、通用化和普惠化发展,如何实现大模型的真正落地应用成为业界关注的焦点。大模型服务平台通过提供应用开发、大模型微调的一站式全流程工具链,以低成本、高效率让大模型落地于企业,在推动企业数字化转型的过程中起到关键作用,然而当前部分大模型服务平台能力仍有待提升,亟需开展相关评估协助企业进行平台选型。
中国信息通信研究院(以下简称“中国信通院”)人工智能研究所高度关注大模型及大模型服务平台发展动态,前期围绕技术发展态势快速迭代大模型标准体系,并依据标准开展4轮可信AI大模型标准符合性验证工作,累计为50余家企业提供90余个模块的验证服务。为进一步助力大模型在各大行业快速应用落地,促进大模型服务平台的能力持续提升,中国信通院现正式启动可信AI大模型服务平台专项评估。评估将依据《大规模预训练模型技术和应用评估方法》系列标准开展,包含模型开发层、能力服务层、应用管理层3个维度,具体评估范围如下。
1、模型开发层:评估大模型服务平台在数据管理、模型管理、模型训练、开发工具等能力上的支持程度;
2、能力服务层:评估平台大模型在智能语义、智能语音、智能视觉、跨模态等领域任务上的推理效果;
3、应用管理层:评估大模型服务平台在模型部署、配套服务、运维管理等方面的能力完备度。
大模型服务平台专项评估流程主要分为商务确认和技术对接两个部分,商务流程依次为参测意向沟通、评估流程申请和商务合同确认,技术对接主要围绕参测材料的准备、评价测试的实施及评估结果的评审展开。
图 1 评估流程
时间安排
1. 评估报名:即日起开始;
2. 评估执行:2024年11月;
3. 专家评审:2024年11月底;
4. 证书颁发:2024年底公开会议。
联系人
张老师,19852822678
zhangdan3@caict.ac.cn
陶老师,18951766189
taoqiuyu@caict.ac.cn
图 2 评估通过企业清单
- END -
2017年10月初,工业和信息化部正式批复中国信息通信研究院承建人工智能关键技术和评测工业和信息化部重点实验室(以下简称“部重点实验室”)。
中国信通院为进一步推动我国人工智能的工程化进程,依托部重点实验室成立了AI工程化推进委员会。委员会聚焦人工智能开发工具和平台,AI研发运营和管理,大模型应用,知识计算应用和AI数据集治理等技术方向,以产业活动、研究报告、标准和评估、最佳实践等手段,推动人工智能工程化相关的工具、系统、流程和治理体系的完善。
企业单位申请链接: