SuperCLUE-8月
通知
各位好：
01
时间安排
即日起-8月13日：报名申请
8月10日-8月14日：模型对接
8月15日-8月21日：模型测评
8月22日-8月26日：结果统计
8月27日：发布榜单及报告
02
Hard模式升级
1
精确指令遵循
该类别主要考察模型的指令遵循能力，要求AI严格按照给定的指令进行回复，包括但不限于定义的输出格式或标准来生成响应，精确地呈现要求的数据和信息。本次升级在现有基础上进一步丰富题目类型，增加更多样化的题目形式，同时部分题目将包含上下文信息，以考察处理复杂信息的能力。
2
高阶任务推理
8月总分计算规则
8月SuperCLUE将由SC-理科、SC-文科和SC-Hard三部分构成，每部分占总分的权重相当。即：
总分=（理科+文科+Hard）/3
04
参与方式
请各大模型团队于8月13日18:00前使用单位邮箱参与申请，发送至：
contact@superclue.ai
邮件内容包括：单位信息、大模型简介、联系人和所属部门、联系方式。
05
其他
（一）发布形式
（二）注意事项
为防止数据污染，本次测评集均为新题。
（四）联系人
另：请关注“CLUE”官网（www.CLUEbenchmarks.com）
或微信公众号随时了解SuperCLUE最新动态。
点击阅读原文可查看往期榜单
发起 / SuperCLUE团队
