随着轻量化、多模态等技术的不断升级，端侧大模型正稳步渗透至智能手机、网联汽车、计算机、机器人等终端设备中。通过将计算任务从云端转移到终端，端侧大模型减少了数据传输延迟，提高了响应速度，成为实现万物智联的重要方式。然而，端侧大模型在研发和应用过程中依然面临资源限制、模型效果、平台兼容等诸多挑战，亟需通过标准编制、能力评估等手段为端侧大模型发展提供指引。
中国信息通信研究院（以下简称“中国信通院”）人工智能研究所高度关注端侧大模型技术及应用发展，依托人工智能关键技术和应用评测工业和信息化部重点实验室、中国人工智能产业发展联盟，联合业内20余家单位共同编制并发布了《端侧大模型技术和应用评估方法》标准。该标准自2024年1月启动编制，在标准框架设计、标准内容编写、标准文稿研讨及多轮修订工作中，得到了业内单位和专家的大力支持。
截至目前，中国信通院已为多家单位提供端侧大模型评估服务。从评估结果来看，目前端侧大模型已实现多元化落地应用，展现出较强的发展潜力。在模型能力方面，端侧大模型整体表现良好，具备较好的模型压缩、对话交互、生成创造能力，但分析决策、执行管理能力仍有提升空间。在模型适配方面，端侧大模型在手机、汽车、家电、计算机设备上的应用已取得显著进展，但在机器人、穿戴设备、医疗设备等终端上的应用仍需进一步探索和优化。在模型服务方面,端侧大模型的鲁棒性、安全性、交互多样性表现良好，但需进一步优化推理效率和用户体验，从而更好地满足用户需求并提升用户满意度。
图1端侧大模型首轮评估成果
为进一步扩展应用效能、辅助产品选型，现正式启动端侧大模型第二轮评估工作。
一
评估范围
1）模型能力：关注端侧大模型的训练推理能力及任务应用效果，包括模型优化（模型压缩、算法改进等能力项）、模型效果（对话交互、分析决策、生成创造等能力项）。
2）模型适配：关注端侧大模型的适配能力，包括设备适配（手机、汽车、计算机、机器人等能力项）、算力适配（芯片适配、硬件加速等能力项）、行业适配（行业覆盖、场景定制等能力项）。
3）模型服务：关注端侧大模型的服务质量，包括服务体验性（服务稳定性、交互多样性等能力项）、服务优越度（响应时间、推理效率等能力项）、服务成熟度（安全性、鲁棒性等能力项）。
图2 评估范围
二
评估流程
评估流程主要分为商务确认和技术对接两个部分，商务流程依次为参测意向沟通、测试申请和商务确认，技术对接主要围绕参测材料的准备、评估测试的实施及评估结果的评审展开。
图3 评估流程
三
评估时间
1.评估报名：即日起开始
2.评估执行：2024年10月至2024年11月
3.专家评审：2024年11月底
4.证书颁发：2024年底公开会议
联系人
张老师，19852822678
zhangdan3@caict.ac.cn
王老师，15651728035
wangqianna@caict.ac.cn
- END -
2017年10月初，工业和信息化部正式批复中国信息通信研究院承建人工智能关键技术和评测工业和信息化部重点实验室（以下简称“部重点实验室”）。
中国信通院为进一步推动我国人工智能的工程化进程，依托部重点实验室成立了AI工程化推进委员会。委员会聚焦人工智能开发工具和平台，AI研发运营和管理，大模型应用，知识计算应用和AI数据集治理等技术方向，以产业活动、研究报告、标准和评估、最佳实践等手段，推动人工智能工程化相关的工具、系统、流程和治理体系的完善。
企业单位申请链接：
