十款大模型做高考数学题：伪装学霸实则靠蒙，腾讯、Kimi、百川是“真不会 ”

出品 | 搜狐科技

作者 | 梁昌均 郑松毅

6月7日，2024年全国高考拉开大幕。去年高考，搜狐科技&搜狐教育联合测评5款AI大模型挑战高考，今年我们迎来了更大规模的AI赴考大军。

ChatGPT-4o、阿里通义、字节豆包、百度文心一言、腾讯元宝、讯飞星火、智谱清言、月之暗面Kimi、百川百小应、MiniMax海螺AI等10款全新升级的大模型再次应考，参加作文、数学科目的测评。

在今年的高考数学测试中，我们选取了 *** 流传的新课标I卷的前8道单选题，并以图片的输入形式让大模型应考（其中豆包无图片识别功能，以文档形式输入测试）。

从答题结果显示，这10款大模型在数学题解答能力上差异明显。百度文心一言、字节豆包和讯飞星火均答对5道题，正确率达到63%，并列之一。

讯飞星火发挥保持稳定，其在去年的10道高考数学测试题中答对一半，以50%的正确率排名之一。当时，百度和ChatGPT均以40%的正确率排名并列第二。

阿里通义和智谱清言在此次考试中则均以50%的正确率并列第二，都答对4道题。这也表明，阿里通义的进步较大，去年其一道题也没答对，交了白卷。

ChatGPT-4o则和MiniMax海螺AI的实力相当，都答错5道题，正确率为38%。有意思的是，ChatGPT-4o在升级到目前更先进的大模型后，正确率反而还略低于去年。

腾讯元宝、月之暗面Kimi和百川百小应则排名垫底，三款大模型都只答对两道题，正确率仅有25%，妥妥的学渣。

不过，整体来看，今年没有出现大模型得零蛋的情况，而且平均正确率达到44%，远高于去年的26%，显示大模型整体数学能力有较大提升。

去年高考数学五款大模型评测情况

此外，今年我们还以图片形式测试了这些大模型的多模态能力，ChatGPT-4o、腾讯元宝等都可以直接把题目识别的结果呈现出来，但即便如此其答题能力还是有待加强。

还有大模型考生在一本正经地分析后，结果给的是错误答案，或者是无法给出答案，比如百度文心一言、Kimi、智谱清言等都出现了类似情况。智谱清言在回答最后两道题时则似乎是在蒙题，以“更佳猜测”的由头选出了正确答案，而不像其它答对的题目直接作出选择。讯飞星火虽然正确率很高，但需要多次给出继续作答的提示，才会接着答题。

同时，结合今年的高考作文测试来看，ChatGPT-4o依旧拔得头筹，腾讯元宝则拿下第二名，看来这两款大模型都是重文轻理的偏科生。综合来看，百度文心一言、字节豆包、智谱清言则可以说是文理兼修。

【附此次测试使用的高考数学题题目】

要想查看大模型考生其它科目表现，可点击专题链接。