本测评结果仅用于学术研究。
11月20日，DeepSeek正式上线全新研发的推理模型 DeepSeek-R1-Lite 预览版。
据官方介绍，DeepSeek R1 系列模型使用强化学习训练，推理过程包含大量反思和验证，思维链长度可达数万字。该系列模型在数学、代码以及各种复杂逻辑推理任务上，取得了媲美 o1-preview 的推理效果，并为用户展现了 o1 没有公开的完整思考过程。
评测模型：DeepSeek-R1-Lite 预览版（网页）
评测集：
测评方法：针对每一道推理题目，我们提供人工校验和核对后的参考答案和推理过程；然后根据设定的评估流程、评价标准和打分规则（1-5分），裁判模型对候选模型的答案进行评估。链式推理设定的评价标准包括：思维过程、解题过程、最终答案等。小学奥数设定的评价标准包括：结果正确性、逻辑清晰度、表达清晰度等。
小学奥数示例
问
一个水池，有三个进水口和两个出水口，如果打开1个进水口和2个出水口，注满水池需要25分钟；如果打开2个进水口和2个出水口，注满水池需要10分钟。问：此时同时打开3个进水口和一个出水口，那么注满整个水池需要多少时间？
DeepSeek-R1-Lite-Preview回答：4.45分（满分5分）
问
gvnkovh zmw hgzgfvh wvxzb -> Temples and statues decay，
使用上面的例子来解码：
yllph klhhvhh zm vhhvmxv lu rnnligzorgb
DeepSeek-R1-Lite-Preview回答：33分（满分40）
# 联系我们
链式推理测评申请方式：
请使用单位邮箱，将测评研究目的、计划，研究机构、申请者介绍和联系方式（手机或微信），发送到邮箱。
小学奥数测评申请方式：
请使用单位邮箱，将测评研究目的、计划，研究机构、申请者介绍和联系方式（手机或微信），发送到邮箱。
扩展阅读
[1] CLUE官网：www.CLUEBenchmarks.com
[2] SuperCLUE排行榜网站：www.superclueai.com
[3] Github地址：https://github.com/CLUEbenchmark/SuperCLUE
