大模型能力分水岭数学考试,文心一言超gpt4o排名第一

文摘   2024-06-25 17:53   湖北  

2024年全国高考成绩陆续放榜,各位考生的成绩怎么样?在本次考试中还有几位特殊的考生——国内外知名的9个AI大模型也“参与”了本次高考,它们的成绩可谓也是“几家欢喜,几家愁”。

以河北省录取分数线(文科一本线:521分,理科一本线:511分)为标准,前段时间吹得飞起的的Kimi,文科理科均未过线,排名倒数。其他AI考生中,文科过一本线的有:GPT-4o-562分, 文心一言4.0-537.5分,百小应卡线521分;理科成绩上,文心一言排名第一,但和文科成绩相比还是有差距。

为什么文理科成绩之间有这么大的差距呢?

AI通过大量文本数据训练,已经可以将人类的语言习惯和思维模式学习到一定程度进而整理语言输出自己的观点,应对语言类考试可以说是“得心应手”,而理科考试中包含着大量的公式、数据和图表,这些信息AI要经过复杂的计算和推理来分析得出结果,这就需要AI模型具有强大的多模态识图能力——将多种模态的信息进行处理理解分析的能力,以及逻辑推理能力——对信息进行分析、推理、归纳、演绎的能力,这两个能力的欠缺也正是目前大部分AI模型的短板所在,因此在理科考试中各大AI模型就有点“捉襟见肘”了。

  • 下面我们来从理科中最具代表性的数学考试情况中具体来看:

从总分来看,在第一次测试中理科状元文心一言4.0以总分66的得分超过得分62分的GPT-4.0位列第一;从得分详情来看,文心一言的单选题正确率在60%以上,多选题更是全部正确,虽然在填空题上发挥欠佳,但从整体而言,文心一言发挥较为稳定,跨模态识图与逻辑分析能力已经可见一斑,表现甚至优于国外的GPT-4o。综合来看,文心一言已经凭借着其出色的跨模态识图和逻辑分析能力走在行业前列。

结语

本次AI大模型做高考题也让我们意识到未来AI大模型的发展更应该将重点放在提高多模态识图能力以及逻辑推理能力上

高考作为一项全面评估学生综合素质的大考,不仅要求学生掌握扎实的学科知识,还要求学生能够掌握知识之间的联系并合理运用。同样地,AI大模型的诞生是为了帮助人类更加便捷地解决生活中各个领域的问题,为了实现这个目的AI大模型也要不断提高自身的多模态识图能力和逻辑推理能力,以更好地适应生活中不同领域的情景和需求。


AI小智
AI认知架构师,让我们一起用AI改变世界!