SuperCLUE团队
2024/09
背景
在线完整报告地址（可下载）：
www.cluebenchmarks.com/superclue_2408
报告核心内容摘要
摘要1：国内外大模型差距进一步缩小
ChatGPT-4o-latest是中文上全球表现最好的模型，但国内顶尖模型在部分通用能力上已将差距缩小至2%以内。
摘要2：国内大模型竞争加剧
国内闭源模型中Hunyuan-Turbo-Preview、AndesGPT-2.0、SenseChat 5.5、Doubao_pro_preview表现优异；开源模型表现最好的是DeepSeek-V2-0628、Qwen2-72B-Instruct，并且超过了众多国内外闭源模型。
摘要3：国内外大模型在不同任务上表现各有优势
在文科、理科和Hard任务中，ChatGPT-4o-latest在Hard任务中表现突出，Hunyuan-Turbo-Preview、AndesGPT-2.0在理科和文科任务上表现优异。
摘要4：端侧小模型表现惊艳
端侧小模型进展迅速，部分小尺寸模型表现要好于上一代的稍大尺寸模型，极大提升了落地的可行性。
目录
2. SuperCLUE测评体系及数据集说明
11. 端侧5B级别小模型榜单
1.SuperCLUE-o实时多模态交互测评
2.SuperCLUE-V多模态理解测评
4.SuperCLUE-Image文生图测评
正文
自2022年11月30日ChatGPT发布以来，AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮。国内学术和产业界在过去一年半也有了实质性的突破。大致可以分为四个阶段，即准备期（ChatGPT发布后国内产学研迅速形成大模型共识）、成长期（国内大模型数量和质量开始逐渐增长）、爆发期（各行各业开源闭源大模型层出不穷，形成百模大战的竞争态势）、繁荣期（更多模态能力的延伸和应用）。
2. 2024年值得关注的中文大模型全景图
截止目前为止，国内已发布开源、闭源通用大模型及行业大模型已有上百个，SuperCLUE梳理了2024年值得关注的大模型全景图。
2023年5月至今，国内外大模型能力持续发展。其中GPT系列模型为代表的海外最好模型经过了从GPT-3.5、GPT-4、GPT-4-Turbo、GPT-4o的多个版本的迭代升级。国内模型也经历了波澜壮阔的16个月的迭代周期，其中Top1的模型经历了9次易主，不断提升国内模型的最强战力。
二、SuperCLUE通用能力测评
2) 测评方式与真实用户体验目标一致
不同于传统测评通过选择题形式的测评，SuperCLUE目标是与真实用户体验目标保持一致，所以纳入了开放主观问题的测评。通过多维度多视角多层次的评测体系以及对话的形式，模拟大模型的应用场景，真实有效的考察模型生成能力。
3) “Live”更新，测评体系/方法与时俱进
本次8月报告聚焦通用能力测评，采用多维度、多层次的综合性测评方案，由理科、文科和Hard三大维度构成。题目均为原创新题，总量为3226道多轮简答题。
【理科任务】分为计算、逻辑推理、代码测评集；
【文科任务】分为知识百科、语言理解、长文本、角色扮演、生成与创作、安全和工具使用七大测评集；
【Hard任务】分为精确指令遵循测评集，复杂任务高阶推理测评集。
5.SuperCLUE模型象限
基于大模型在基础能力和应用能力的表现，本次共有21个国内大模型入选SuperCLUE模型象限。
SuperCLUE评测任务可划分为基础能力和应用能力两个维度。基础能力，包含：计算、逻辑推理、精确指令遵循、传统安全、高阶推理、语言理解、长文本和知识百科；应用能力，包括：工具使用、角色扮演、代码、生成创作能力；
四个象限的含义。它们代表大模型所处的不同阶段与定位，其中【潜力探索者】代表模型正在探索阶段未来拥有较大潜力；【技术领跑者】代表模型在基础技术方面具备领先性；【实用主义者】代表模型在场景应用深度上具备领先性；【卓越领导者】代表模型在基础和场景应用上处于领先位置，引领国内大模型发展。
1）Hard成绩
2）理科成绩
3）文科成绩
6.SuperCLUE通用能力测评：三级细粒度分数
7. SuperCLUE测评方法说明
1）理科（计算、逻辑推理）测评方法
2）理科（代码）测评方法
4）Hard（精确指令遵循）测评方法
5）Hard（高阶推理）测评方法
8. SuperCLUE开源榜单
a. 中文场景国内开源模型具备较强竞争力
DeepSeek-V2-0628、Qwen2-72B-Instruct领跑全球开源模型，较Mistral-Large和Llama-3.1在中文能力上有较大领先性。
Yi-1.5系列、GLM-4系列模型和Qwen2系列模型在开源中同样有不俗的表现。
小参数量的模型发展迅速，如qwen2-1.5b表现好于部分7B模型。
b. 在高难度任务上，不同的开源模型区分度较大。
在Hard任务中，Qwen2-72B-Instruct领先幅度很大。Mistral-Large-Instruct-2407、DeepSeek-V2-0628同样表现优异，其他开源模型均未达到及格线。
9. 10B级别小模型榜单
a.10B级别模型中，GLM-4-9B-Chat和Gemma-2-9b-it分列国内外榜首
在本次SuperCLUE测评中，GLM-4-9B-Chat取得61.15分，取得10B以内模型最高分，并且是国内10B以内唯一超过60分的模型。Gemma-2-9b-it取得60.93分，同样有超过60分的表现，领跑海外10B以内模型。
b.10B以内模型进展迅速，展现出极致的性价比
在10B以内模型中，超过50分的模型有6个，分别为GLM-4-9B-Chat、Gemma-2-9b-it、Qwen2-7B-Instruct、Yi-1.5-9B-Chat-16K、Llama-3.1-8B-Instruct、Yi-1.5-6B-Chat，其中国内4个模型，海外2个模型。展现出10B以内小参数量级模型的极致的性价比。
10. 端侧5B级别小模型榜单
国内以qwen开源模型为代表，Qwen2-1.5B-Instruct取得总分38.96分，其中理科37.42分；文科61.61分；Hard17.85分；文科任务上表现尚可，有挑战性的高难度任务上还有很大优化空间。
我们统计了所有大模型在测评中与GPT4-Turbo-0409的对战胜率。模型在每道题上的得分与GPT4-Turbo-0409相比计算差值，得到胜（差值大于0.25分）、平（差值在-0.25～+0.25分之间）、负（差值低于-0.25）。
SuperCLUE成熟度指数用以衡量国内大模型在SuperCLUE能力上是否成熟。
高成熟度指大部分闭源大模型普遍擅长的能力，SC成熟度指数在0.9至1.0之间。
当前国内大模型成熟度较高的能力是【语言理解】、 【知识百科】和【生成创作】，也是目前产业和用户侧大模型的重点应用场景。
中成熟度指的是不同大模型能力上有一定区分度，但不会特别大。SC成熟度指数在0.8至0.9之间。
当前国内大模型表现出中成熟度的能力是【工具使用】、【角色扮演】、【传统安全】、【逻辑推理】，还有一定优化空间。
低成熟度指的是少量大模型较为擅长，很多模型无法胜任。SC成熟度指数在0.7至0.8之间。
当前国内大模型低成熟度的能力是【计算】、【代码】、【长文本】和【高阶推理】。
极低成熟度指的是大多数模型无法胜任。SC成熟度指数在0.7以下。
当前国内大模型低成熟度的能力是【精确指令遵循】。
Chatbot Arena是当前英文领域较为权威的大模型排行榜，由LMSYS Org开放组织构建， 它以公众匿名投票的方式，对各种大型语言模型进行对抗评测。将SuperCLUE得分与ChatBot Arena得分进行相关性计算，得到皮尔逊相关系数：0.89，P值：2.46e-07，说明SuperCLUE基准测评的成绩，与人类对模型的评估（以大众匿名投票的Chatbot Arena为典型代表），具有高度一致性。
为验证自动化评价的可靠性，SuperCLUE团队在进行正式测评之前，从3000+道题目中针对5个模型，每个模型随机抽取了100+道题目进行人工复审。
审核内容及标准包括：
评价质量分为：优秀，良好 ，及格，不及格
完全不符合自己的判断：不及格（60以下）
基本符合自己的判断：及格（60或以上）或良好（75或以上）
通过5个模型的可靠性分析验证，我们发现可靠性数据分别为88.68%、96.23%、95.28%、97.64%、95.28%，其中可靠性最低有88.68%，最高为模型的97.64%。平均有94.62%的可靠性。
所以，经过验证，SuperCLUE自动化评价有较高的可靠性。
在线完整报告地址（可下载）：
www.cluebenchmarks.com/superclue_2408
未来两个月基准发布计划
预告：SuperCLUE通用基准测评10月报告将在2024年10月28日发布，欢迎反馈意见、参与测评。
欢迎加入【2024年8月报告】交流群。
扩展阅读
[1] CLUE官网：www.CLUEBenchmarks.com
[2] SuperCLUE排行榜网站：www.superclueai.com
[3] Github地址：https://github.com/CLUEbenchmark/SuperCLUE
[4] 在线报告地址：www.cluebenchmarks.com/superclue_2408
