SuperCLUE团队
2024/07
背景
在线完整报告地址（可下载）：
www.cluebenchmarks.com/superclue_24h1
报告核心内容摘要
摘要1：国内外大模型差距进一步缩小
国内外大模型差距进一步缩小：OpenAI最新模型GPT-4o依然是全球表现最好的模型，但国内大模型已将差距缩小至5%以内。
摘要2：国内开源模型崛起
本次登顶SuperCLUE的国内大模型为开源模型Qwen2-72B-Instruct，并且超过了众多国内外闭源模型。
摘要3：各任务表现
在文科、理科和Hard任务中，GPT-4o综合最佳，Claude-3.5在Hard任务表现突出，Qwen2-72B在文科任务表现优异。
摘要4：端侧小模型表现惊艳
端侧小模型进展迅速，部分小尺寸模型表现要好于上一代的稍大尺寸模型，极大提升了落地的可行性。
详情请查看#正文或完整报告。
目录
2. SuperCLUE测评体系及数据集说明
2.SuperCLUE-Image文生图测评
3.SuperCLUE-V多模态理解测评
正文
国内学术和产业界在过去一年半也有了实质性的突破。大致可以分为三个阶段，即准备期（ChatGPT发布后国内产学研迅速形成大模型共识）、成长期（国内大模型数量和质量开始逐渐增长）、爆发期（各行各业开源闭源大模型层出不穷，形成百模大战的竞争态势）。
2. 2024年值得关注的中文大模型全景图
截止目前为止，国内已发布开源、闭源通用大模型及行业大模型已有上百个，SuperCLUE梳理了2024年值得关注的大模型全景图。
总体趋势上，国内外第一梯队大模型在中文领域的通用能力差距在持续缩小，从2023年5月的30.12%的差距，缩小至2024年6月的4.94%。
来源：SuperCLUE，2024年7月9日
二、SuperCLUE通用能力测评
2) 测评方式与真实用户体验目标一致
不同于传统测评通过选择题形式的测评，SuperCLUE目标是与真实用户体验目标保持一致，所以纳入了开放主观问题的测评。通过多维度多视角多层次的评测体系以及对话的形式，模拟大模型的应用场景，真实有效的考察模型生成能力。
3) “Live”更新，测评体系/方法与时俱进
为进一步真实反应大模型能力，本次半年度测评采用多维度、多层次的综合性测评方案，由理科、文科和Hard三大维度构成。
【理科任务】分为计算、逻辑推理、代码测评集；
【文科任务】分为知识百科、语言理解、长文本、角色扮演、生成与创作、安全和工具使用七大测评集；
【Hard任务】本次测评首次纳入精确指令遵循测评集，另外复杂多步推理和高难度问题解决Hard测评集后续陆续推出。
1）GPT-4o领跑，国内大模型进展迅速
GPT-4o以81分的绝对优势领跑 SuperCLUE基准测试，是全球模型中唯一超过80分的大模型。展现出强大的语言、数理和指令遵循能力。
国内大模型上半年发展非常迅速，其中有6个国内大模型超过GPT-4-Turbo-0409。绝大部分闭源模型已超过GPT-3.5-Turbo-0125。
2）国内大模型形成三大梯队，头部企业引领发展
国内大模型市场形成多梯队格局，头部企业凭借快速迭代、技术积累或资源优势，引领国内大模型发展。例如大厂模型以阿里的Qwen2-72B、商汤的SenseChat5.0等均以 75+的分数位居国内大模型第一梯队。
大模型创业公司的代表如GLM-4、Baichuan4、Kimi、MiniMax-abab6.5均有超过70分的表现，位列国内大模型第一梯队。
3）开源模型极大发展，有超出闭源模型趋势
开源模型Qwen2-72B在SuperCLUE基准中表现非常出色，超过众多国内外闭源模型，与Claude-3.5持平，与GPT-4o仅差4分。 零一万物推出的Yi-1.5-34B在开源领域表现不俗，有超过60分的表现，较为接近部分闭源模型。
随着技术进步和应用场景拓展，2024年下半年国内外大模型市场竞争将持续加剧，推动技术创新和产业升级。
6.SuperCLUE通用能力测评：三级细粒度分数
1）理科细粒度分数
2）文科细粒度分数
3）SuperCLUE细粒度全局分数
7.SuperCLUE模型象限
SuperCLUE评测任务可划分为基础能力和应用能力两个维度。
基础能力，包含：计算、代码、传统安全等能力。
应用能力，包括：工具使用、角色扮演等能力。
9. SuperCLUE理科测评
1）测评数据集及方法说明
a. GPT-4o领先，国内外有一定差距
GPT-4o以81分的绝对优势领跑SuperCLUE基准理科测试，是全球模型中唯一超过80分的大模型。GPT-4-Turbo-0409得分77分，紧随其后。
国内大模型理科表现优异的模型，如Qwen2-72B、AndesGPT和山海大模型4.0稍落后于GPT-4-Turbo-0409，均取得76分的高分。但与GPT-4o还有较大差距。
b. 理科任务具有较高的挑战难度，区分度明显
理科任务有较高难度，我们可以发现，GPT-4o和GPT3.5-Turbo有17分的差距，Llama-3-70B比Llama-2-13B有34分的差距。
在国内闭源模型中，表现最高的模型（76分）和表现最差模型（58分）有18分的区分度。可见在理科任务上较能反应大模型之间的能力差距。
c. 小参数量模型在理科能力上表现不足
参数量较小的模型在SuperCLUE理科测评中，基本均为达到60分及格线，可见在难度较高任务上，参数量依然是影响较大的因素。
10. SuperCLUE文科测评
1）测评数据集及方法说明
2）SuperCLUE文科成绩
a. 国内外头部模型处于同一水平，均未达到80分良好线
GPT-4o在文科任务上取得76分，并未超过80分，说明文科任务上实现高质量处理依然有较大提升空间。国内擅长文科的模型如Qwen2-72B、AndesGPT、通义千问2.5和 DeepSeek-V2同样取得76分，与GPT-4o处于同一水平。
另外国内大模型如SenseChat5.0、山海大模型4.0和360gpt2-pro取得75分，表现不俗。与GPT-4-Turbo-0409表现相当。
b. 文科任务模型间的区分度不明显，表现“中规中矩”
本次测评所有国内模型得分分布较为集中，没有较大的区分性，均处于及格线（60分）-良好线（80分）之间。
国内外闭源模型得分均处于70-80分，表现“中规中矩”，处理能力较为相似。
国内开源模型得分大部分处于60-70分，表现“基本可用”，但在质量上还有较大提升空间。
c. 模型参数量在文科能力上不是模型的决定性因素
本次测评中参数量最小的模型qwen2-1.5b（15亿参数量），依然有超过60分的表现，而qwen2-7b有超过70分的表现，与文心一言4.0表现接近。
文科任务上如何提高语言处理质量，增加内容生成和理解的优秀水平，是国内外大模型需要进一步优化的方向。
11. SuperCLUE-Hard测评
1）测评数据集及方法说明
a. 国内外模型在精确指令遵循能力上有一定差距
GPT-4o在Hard任务（精确指令遵循）任务上取得85分，领跑全球大模型。Claude-3.5-Sonnet-200k仅随其后取得84分，表现同样不俗。是国内外模型中唯二超过80分的大模型。
国内表现最好的模型是GLM-4-0520和Qwen2-72B，取得79分，较GPT-4o低6分，还有一定的提升空间。
b. 精确指令遵循有较大区分度
本次测评所有模型得分的差异性较大，超出80分只有2个模型，且与排名第三的模型有5分差距。
国内仅有4个模型超过了75分，分别为GLM-4-0520、Qwen2-72B、SenseChat5.0和DeepSeek-V2。在国内大模型中较为领先。
国内闭源模型中得分最低的仅有60分，这说明高难度任务可以进一步区分模型之间的能力差距。
c. 小模型普遍不擅长精确指令遵循
本次测评中参数量最小的开源模型qwen2-1.5b在精确指令遵循任务上仅有18分，并且小于10B的模型均为达到60分及格线，是端侧小模型后续需要重点提升的能力。
12. SuperCLUE开源榜单
a. 中文场景国内开源模型具备较强竞争力
Qwen2-72B领跑全球开源模型，较Llama-3-70B在中文能力上有较大领先性。
Yi-1.5系列模型同样有不俗的表现，其中34B版本有超过60分的表现。
小参数量的模型发展迅速，如qwen2-1.5b与gemma-7b表现相当。
b. 在高难度任务上，不同的开源模型区分度较大。
在Hard任务中，Qwen2-72B和Llama-3-70B领先幅度很大，均有超出70分的表现。其他开源模型均未达到及格线。
Hard任务如精确指令遵循，可以很好的考察大模型的极限能力，后续将陆续增加复杂任务高阶推理和高难度问题解决等Hard任务，会进一步发现大模型的优化方向。
13. SuperCLUE端侧小模型榜单
2024年上半年小模型快速发展，可在设备端侧（非云）上本地运行，落地在不需要大量推理或需要快速响应的场景。
国内以qwen和Yi系列开源模型为代表，上半年进行了多次迭代。其中qwen2-7b（70亿参数）取得62分，打败了上一代版本的qwen1.5-32b（320亿参数），qwen2-1.5b（15亿参数）打败了Llama-2-13B-Instruct（130亿参数），展现了更小尺寸的模型的极致性能。
我们统计了所有大模型在测评中与GPT4-Turbo-0409的对战胜率。模型在每道题上的得分与GPT4-Turbo-0409相比计算差值，得到胜（差值大于0.5分）、平（差值在-0.5～+0.5分之间）、负（差值低于-0.5）。
1）整体胜率表现
从整体对战来看，国外领先模型GPT-4o以20.47%的胜率，66.81%的和率占据第一位，显示出其强大的整体能力。紧随其后的是Qwen2-72B-Instruct，胜率为18.86%，和率为65.06%，也展现出优于GPT4-Turbo-0409的实力。同样有着较强实力的模型还有AndesGPT、通义千问2.5、DeepSeek-V2、山海大模型4.0和SenseChat5.0等模型。
2）小模型胜率情况
在200亿以内参数的模型中qwen-2-7b的胜率排在首位，展现出不俗能力。排在2至3位的是Baichuan2-13B-Chat-v2、Yi-1.5-6B-Chat，同样有50%以上的胜和率，表现可圈可点。
3）在基础题目上与GPT-4-Turbo-0409差距有限
从胜率分布数据可以发现，大部分模型的和率都在50%以上。这说明国内外大部分模型在基础题目上与GPT-4-Turbo-0409的水平相近，随着任务难度的提升，不同模型的表现会有一定区分度。
SuperCLUE成熟度指数用以衡量国内大模型在SuperCLUE能力上是否成熟。
高成熟度指大部分大模型普遍擅长的能力，SC成熟度指数在0.8至1.0之间。
当前国内大模型成熟度较高的能力是【生成创作】和 【语言理解】，也是目前产业和用户侧大模型的重点应用场景。
中成熟度指的是不同大模型能力上有一定区分度，但不会特别大。SC成熟度指数在0.6至0.8之间。
当前国内大模型中成熟度的能力是【角色扮演】、【传统安全】、【知识百科】、【工具使用】、【长文本】，还有一定优化空间。
低成熟度指的是少量大模型较为擅长，很多模型无法胜任。SC成熟度指数在0.6以下。
当前国内大模型低成熟度的能力是【计算】、【逻辑推理】、【代码】、【精确指令遵循】。尤其在Hard任务的精确指令遵循的成熟度仅有0.23，是非常有挑战性的大模型应用能力。
Chatbot Arena是当前英文领域较为权威的大模型排行榜，由LMSYS Org开放组织构建， 它以公众匿名投票的方式，对各种大型语言模型进行对抗评测。其中，皮尔逊相关系数:0.90，P值：1.22e-5；斯皮尔曼相关系数：0.85，P值：1.12e-4 ；说明SuperCLUE基准测评的成绩，与人类对模型的评估（以大众匿名投票的Chatbot Arena为典型代表），具有高度一致性。
来源：SuperCLUE，2024年7月9日
为验证自动化评价的可靠性，SuperCLUE团队在进行正式测评之前，从2000+道题目中针对4个模型，每个模型随机抽取了100道题目进行人工复审。
审核内容及标准包括：
评价质量分为：优秀，良好 ，及格，不及格
完全不符合自己的判断：不及格（60以下）
基本符合自己的判断：及格（60或以上）或良好（75或以上）
通过4个模型的可靠性分析验证，我们发现可靠性数据分别为91%、90%、99%、90%，其中可靠性最低有90%，最高为模型的99.00%。平均有92.5%的可靠性。
所以，经过验证，SuperCLUE自动化评价有较高的可靠性。
在线完整报告地址（可下载）：
未来两个月基准发布计划
预告：SuperCLUE通用基准测评8月报告将在2024年8月27日发布，欢迎反馈意见、参与测评。
欢迎加入【2024上半年报告】交流群。
扩展阅读
[1] CLUE官网：www.CLUEBenchmarks.com
[2] SuperCLUE排行榜网站：www.superclueai.com
[3] Github地址：https://github.com/CLUEbenchmark/SuperCLUE
[4] 在线报告地址：www.cluebenchmarks.com/superclue_24h1
