近年来，国内外多家机构相继推出多模态大模型，实现了文本、图像、视频、音频等多源数据的深度融合，在跨模态泛化理解与生成等方面表现出色，并逐步应用于内容创作、游戏开发、医疗健康、自动驾驶等领域。然而，多模态大模型技术选型难度大，应用效能评估复杂，亟需制定标准促进产业发展。
中国信息通信研究院（简称“中国信通院”）人工智能研究所持续关注多模态大模型的发展趋势，致力于推动该领域的技术创新与产业应用。中国信通院依托中国人工智能产业发展联盟及人工智能关键技术和应用评测工业和信息化部重点实验室，联合国内顶尖专家和技术团队，制定了《多模态大模型技术要求和评估方法》标准。该标准在制定过程中，充分考虑了技术提供方的产品能力以及应用方的实际需求，旨在构建一套系统的评估框架，以全面衡量多模态大模型在不同应用场景中的表现。
为帮助多模态大模型技术及应用的研发、评估和选型，助推相关产品和服务落地，中国信通院正式启动多模态大模型评估工作。
一
评估范围
评估依据《多模态大模型技术要求和评估方法》标准，围绕多模态大模型的模型能力和模型应用展开评估，共计30余个能力项。
1.模型能力：关注多模态大模型的基础能力、模型功能及具体应用效能，包括图像描述、视频描述、图像理解、视频合成、语音识别、图表问答等任务；
2.模型应用：评估多模态大模型在实际应用中的服务能力，涵盖应用丰富度与成熟度，关注行业覆盖度、场景支持度、部署平台通用性以及应用的安全性、稳定性和易用性等能力项。
二
评估流程
评估流程主要分为商务确认和技术对接两个部分，商务流程依次为参测意向沟通、验证流程申请和商务合同确认，技术对接主要围绕参测材料的准备、评价测试的实施及验证结果的评审展开。
三
评估时间
1. 评估报名：即日起开始；
2. 评估执行：2024年11月至2024年12月底；
3. 专家评审：2024年11月；
4. 证书颁发：2024年12月公开会议。
联系人
齐老师 18820191106
qigege@caict.ac.cn
吴老师 15927505636
wusiqi@caict.ac.cn
- END -
2017年10月初，工业和信息化部正式批复中国信息通信研究院承建人工智能关键技术和评测工业和信息化部重点实验室（以下简称“部重点实验室”）。
中国信通院为进一步推动我国人工智能的工程化进程，依托部重点实验室成立了AI工程化推进委员会。委员会聚焦人工智能开发工具和平台，AI研发运营和管理，大模型应用，知识计算应用和AI数据集治理等技术方向，以产业活动、研究报告、标准和评估、最佳实践等手段，推动人工智能工程化相关的工具、系统、流程和治理体系的完善。
企业单位申请链接：
