内地首个AI高考评测 数学全不及格
图:AI得分情况。内
【大公报讯】据第一财经报道:高考这一高难度综合性测试,地首目前普遍被研究者用于考察大模型的个AI高格智能水平。在前不久高考结束后,考评上海人工智能实验室旗下司南评测体系OpenCompass选取了7个大模型进行高考“语数外”全卷能力测试,测数并于19日发布了首个大模型高考全卷评测结果。学全
语数外三科加起来的不及满分为420分,此次高考测试结果显示,内阿里通义千问2-72B得303分排名第一,地首OpenAI的个AI高格GPT-4o得296分排名第二,上海人工智能实验室的考评书生.浦语2.0排名第三,三个大模型的测数得分率均超过70%,但大模型的学全数学都不及格,最高分也只有75分。不及在数学试卷上,内阅卷老师们发现,大模型的主观题回答相对凌乱,且过程具有迷惑性,甚至出现过程错误但得到正确答案的情况。大模型的公式记忆能力较强,但是无法在解题过程中灵活引用。可以看出,在数学方面大模型还有很大的提升空间。
数学关乎复杂推理相关能力,这是大模型普遍面临的难题,也是大模型在金融、工业等要求可靠的场景落地需要的关键能力。上海人工智能实验室领军科学家林达华表示,“现在很多大模型的应用场景是客服、聊天等,在聊天场景一本正经胡说八道影响不太大,但它很难在非常严肃的商业场合去落地。”
- ·CUBAL男篮总决赛:清华拒18分逆转险胜太原理工 夺队史第5冠
- ·王毅外长的真实身份曝光
- ·突发!伯克希尔哈撒韦跌近100%!
- ·美媒评近10年NBA最强国际球员:亚历山大6 东契奇仅4 榜首存争议
- ·波音“星际客机”麻烦不断
- ·中国汽车出口销量榜!比亚迪反超特斯拉紧追奇瑞,老外也爱廉价?
- ·风波升级!日本人为了抓铁头,将悬赏金加到1000万,一些华人加入
- ·不建议你吃三文鱼的原因,只有一个
- ·俱乐部队友天神下凡何塞卢赛前看贝林倒钩绝平,忙提醒身边人
- ·车管所发布通告:驾驶证自动降级正式启动!网友:白考了这驾照!
- ·10年0冠,6万人涌入球场,61岁穆帅签约费内巴切:从此你我一体!
- ·建行苏州分行拿下全省首单
- ·人社部:延迟退休!2025年正式执行?80后/90后要怎么规划?
- ·张家口出现多套6万
- ·男子称买车被收取上万元服务费,4S店:签合同前已告知
- ·伊朗初步调查:总统遇难直升机残骸上无弹痕 通信记录无可疑处