SuperCLUE-6月
通知
各位好:
01
时间安排
即日起-6月13日:报名申请
6月10日-6月14日:模型对接
6月15日-6月21日:模型测评
6月22日-6月26日:结果统计
6月27日:发布榜单及报告
02
Hard模式升级
1
高难度问题解决
该类别考察AI模型解决实际生活或专业领域中的复杂问题的能力。这些问题通常需要深入的专业知识、创新思维和策略性分析。需展示出识别问题、分析问题组成部分并提出有效解决方案的能力,经常需要适应新信息或约束。
2
复杂任务推理
3
精确指令遵循
03
6月总分计算规则
6月SuperCLUE将由SC-理科、SC-文科和SC-Hard三部分构成,每部分占总分的权重相当。即:
总分=(理科+文科+Hard)/3
04
参与方式
请各大模型团队于6月13日18:00前使用单位邮箱参与申请,发送至:
contact@superclue.ai
邮件内容包括:单位信息、大模型简介、联系人和所属部门、联系方式。
05
其他
(一)发布形式
(二)注意事项
为防止数据污染,本次测评集均为新题。
(四)联系人
另:请关注“CLUE”官网(www.CLUEbenchmarks.com)
或微信公众号随时了解SuperCLUE最新动态。
点击阅读原文可查看往期榜单
发起 / SuperCLUE团队