近几年，大模型推动人工智能技术迅猛发展，极大地拓展了机器智能的边界，展现出通用人工智能的“曙光”。如何准确、客观、全面衡量当前大模型能力，成为产学研用各界关注的重要问题。设计合理的任务、数据集和指标，对大模型进行基准测试，是定量评价大模型技术水平的主要方式。大模型基准测试不仅可以评估当前技术水平，指引未来学术研究，牵引产品研发、支撑行业应用，还可以辅助监管治理，也有利于增进社会公众对人工智能的正确认知，是促进人工智能技术产业发展的重要抓手。
全球主要学术机构和头部企业都十分重视大模型基准测试，陆续发布了一系列评测数据集、框架和结果榜单，对于推动大模型技术发展产生了积极作用。然而，随着大模型能力不断增强和行业赋能逐渐深入，大模型基准测试体系还需要与时俱进，不断完善。
关注边缘计算产业联盟ECC公众号，回复“240722”即可下载《大模型基准测试体系研究报告（2024年）》完整版。
· end ·
来源 | 中国信息通信研究院
责任编辑 | 乔珺
更多干货资料下载：
关注公众号，在对话框回复关键字“19”，即可下载《云端控制平台与物流自动导引车通用接口指南》PDF完整版；
关注公众号，在对话框回复关键字“18”，即可下载《智能驾驶计算芯片性能评测标准化白皮书》PDF完整版；
关注公众号，在对话框回复关键字“17”，即可下载《工业视觉技术与应用白皮书（2023）》PDF完整版；
关注公众号，在对话框回复关键字“16”，即可下载《Edge Native 技术白皮书 2.0》PDF完整版；
关注公众号，在对话框回复关键字“15”，即可下载《边缘学习：隐私计算白皮书》PDF完整版；
关注公众号，在对话框回复关键字“14”，即可下载《高速公路车路协同网络需求研究》PDF完整版；
关注公众号，在对话框回复关键字“13”，即可下载《城市场景车路协同网络需求研究》PDF完整版；
关注公众号，在对话框回复关键字“12”，即可下载《边缘计算视觉基础设施白皮书》PDF完整版；
关注公众号，在对话框回复关键字“11”，即可下载《Edge Native 技术架构白皮书1.0》PDF完整版；
关注公众号，在对话框回复关键字“10”，即可下载《工业互联网边缘计算节点白皮书1.0》PDF完整版；
关注公众号，在对话框回复关键字“09”，即可下载《5G时代工业互联网边缘计算网络白皮书》PDF完整版；
关注公众号，在对话框回复关键字“08”，即可下载《边缘计算与云计算协同白皮书2.0》PDF完整版；
关注公众号，在对话框回复关键字“07”，即可下载《运营商边缘计算网络技术白皮书》PDF完整版；
关注公众号，在对话框回复关键字“06”，即可下载《边缘计算IT基础设施白皮书1.0》PDF完整版；
关注公众号，在对话框回复关键字“05”，即可下载《边缘计算安全白皮书》PDF完整版；
关注公众号，在对话框回复关键字“04”，即可下载《边缘计算与云计算协同白皮书（2018年）》PDF完整版；
关注公众号，在对话框回复关键字“03”，即可下载《边缘计算参考架构3.0（2018年）》PDF完整版；
关注公众号，在对话框回复关键字“02”，即可下载《边缘计算参考架构2.0（2017年）》PDF完整版；
关注公众号，在对话框回复关键字“01”，即可下载《边缘计算产业联盟白皮书（2016年）》PDF完整版。
推荐阅读
更多精彩内容，请扫描二维码关注公众号哦~
点击阅读原文
