中文大模型基准测评2024年10月报告

2024/11

目录

2. SuperCLUE测评体系及数据集说明

11. 端侧5B级别小模型榜单

1.SuperCLUE-Coder代码助手产品测评

2.SuperCLUE-AISearch搜索产品测评

3.SuperCLUE-Voice实时语音产品测评

1.SuperCLUE-V多模态理解测评

3.SuperCLUE-Image文生图测评

自2022年11月30日ChatGPT发布以来，AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮。国内学术和产业界在过去一年半也有了实质性的突破。大致可以分为四个阶段，即准备期（ChatGPT发布后国内产学研迅速形成大模型共识）、成长期（国内大模型数量和质量开始逐渐增长）、爆发期（各行各业开源闭源大模型层出不穷，形成百模大战的竞争态势）、繁荣期（更多模态能力的延伸和应用）。

2. 2024年值得关注的中文大模型全景图

截止目前为止，国内已发布开源、闭源通用大模型及行业大模型已有上百个，SuperCLUE梳理了2024年值得关注的大模型全景图。

2023年5月至今，国内外大模型能力持续发展。其中GPT系列模型为代表的海外最好模型经过了从GPT3.5、GPT4、GPT4-Turbo、GPT4o、o1的多个版本的迭代升级。国内模型也经历了波澜壮阔的18个月的迭代周期，其中Top1的模型经历了10次易主，不断提升国内模型的最强战力。

总体趋势上，国内外第一梯队大模型在中文领域的通用能力差距在持续缩小，从2023年5月的30.12%的差距，缩小至2024年8月的1.29%。不过随着o1的发布，差距再次拉大到8.19%。

二、SuperCLUE通用能力测评

2) 测评方式与真实用户体验目标一致

不同于传统测评通过选择题形式的测评，SuperCLUE目标是与真实用户体验目标保持一致，所以纳入了开放主观问题的测评。通过多维度多视角多层次的评测体系以及对话的形式，模拟大模型的应用场景，真实有效的考察模型生成能力。

3) “Live”更新，测评体系/方法与时俱进

本次10月报告聚焦通用能力测评，采用多维度、多层次的综合性测评方案，由理科、文科和Hard三大维度构成。题目均为原创新题，总量为2900道多轮简答题。

【理科任务】分为计算、逻辑推理、代码、工具使用测评集；

【文科任务】分为知识百科、语言理解、长文本、角色扮演、生成与创作、安全六大测评集；

【Hard任务】分为精确指令遵循测评集，复杂任务高阶推理测评集。

5.SuperCLUE模型象限

基于大模型在基础能力和应用能力的表现，本次共有23个国内大模型入选SuperCLUE模型象限。

SuperCLUE评测任务可划分为基础能力和应用能力两个维度。基础能力，包含：计算、逻辑推理、精确指令遵循、传统安全、高阶推理、语言理解、长文本和知识百科；应用能力，包括：工具使用、角色扮演、代码、生成创作能力；

1）Hard成绩

2）理科成绩

3）文科成绩

8. SuperCLUE测评方法说明

1）理科（计算、逻辑推理、工具使用）测评方法

·

2）理科（代码）测评方法

4）Hard（精确指令遵循）测评方法

5）Hard（高阶推理）测评方法

9. SuperCLUE开源榜单

a. 中文场景国内开源模型具备较强竞争力

• Qwen2.5-72B-Instruct、DeepSeek-V2.5领跑全球开源模型，较Llama-3.1系列模型在中文能力上有一定领先性。TeleChat2-35B排名国内开源第3名，有超过Llama-3.1-70B-Instruct的表现。

• MiniCPM3-4B、Yi-1.5系列和GLM-4系列模型系列模型在开源中同样有不俗的表现。

• 小参数量的模型发展迅速，如Qwen2.5-1.5B-Instruct和Qwen2.5-0.5B-Instruct表现好于部分7B模型。

b. 在高难度任务上，不同的开源模型区分度较大。

• 在Hard任务中，Qwen2.5-72B-Instruct领先幅度很大。DeepSeek-V2.5同样表现优异，其他开源模型均未超过40分。

10. 10B级别小模型榜单

a.10B级别模型中，Qwen2.5-7B-Instruct和Gemma-2-9b-it分列国内外榜首

在本次SuperCLUE测评中，Qwen2.5-7B-Instruct取得60.61分，取得10B以内模型的最高分，并且是国内10B以内唯一超过60分的模型。GLM-4-9B-chat取得56.83分排名第2。MiniCPM3-4B取得53.16分排名国内第3，是Top5中唯一5B以内的模型。Gemma-2-9b-it取得55.48分，领跑海外10B以内模型。

b.10B以内模型进展迅速，展现出极致的性价比

在10B以内模型中，超过50分的模型有6个，分别为Qwen2.5-7B-Instruct、GLM-4-9B-Chat、Gemma-2-9b-it、MiniCPM3-4B、Llama-3.1-8B-Instruct、Yi-1.5-9B-Chat-16K。其中国内4个模型，海外2个模型。展现出10B以内小参数量级模型的极致的性价比。

11. 端侧5B级别小模型榜单

国内端侧小模型进展迅速，相比国外小模型，国内小模型在中文场景下展现出更好的性能表现

• MiniCPM3-4B表现惊艳，取得总分53.16分的优异成绩，在SuperCLUE端侧5B小模型榜单中排名榜首。其中理科63.04分、文科69.87分、Hard26.56分，与同等参数量级模型Phi-3-Mini-4K-Instruct相比各个维度均有不同幅度的领先，展示出小参数量级模型极高的性价比。

• Qwen2.5系列小模型同样表现不俗，Qwen2.5-1.5B-Instruct取得总分43.92分，有超过Gemma-2-2b-it和Phi-3-Mini-4K-Instruct等更大参数量级模型的效果。Qwen2.5-0.5B-Instruct是本次上榜中参数量最小的模型，仅有5亿参数，依然能达到部分70亿参数模型的效果。

我们统计了所有大模型在测评中与GPT4-Turbo-0409的对战胜率。模型在每道题上的得分与GPT4-Turbo-0409相比计算差值，得到胜（差值大于0.25分）、平（差值在-0.25～+0.25分之间）、负（差值低于-0.25）。

SuperCLUE成熟度指数用以衡量国内大模型在SuperCLUE能力上是否成熟。

• 高成熟度指大部分闭源大模型普遍擅长的能力，SC成熟度指数在0.9至1.0之间。

• 当前国内大模型成熟度较高的能力是【语言理解】、 【知识与百科】和【生成与创作】，也是目前产业和用户侧大模型的重点应用场景。

• 中成熟度指的是不同大模型能力上有一定区分度，但不会特别大。SC成熟度指数在0.8至0.9之间。

• 当前国内大模型表现出中成熟度的能力是【工具使用】、【长文本】、【计算】、【角色扮演】、【传统安全】、【逻辑推理】和【高阶推理】，还有一定优化空间。

• 低成熟度指的是少量大模型较为擅长，很多模型无法胜任。SC成熟度指数在0.7至0.8之间。

• 当前国内大模型低成熟度的能力是【代码】。

• 极低成熟度指的是大多数模型无法胜任。SC成熟度指数在0.7以下。

• 当前国内大模型极低成熟度的能力是【指令遵循】。

在线完整报告地址（可下载）：

www.cluebenchmarks.com/superclue_2410

未来两个月基准发布计划

预告：SuperCLUE通用基准测评2024年度报告将在2024年12月26日发布，欢迎反馈意见、参与测评。

欢迎加入【2024年10月报告】交流群。

扩展阅读

[1] CLUE官网：www.CLUEBenchmarks.com

[2] SuperCLUE排行榜网站：www.superclueai.com

[3] Github地址：https://github.com/CLUEbenchmark/SuperCLUE

[4] 在线报告地址：www.cluebenchmarks.com/superclue_2410