新基准让AI原形毕露

| 查看: 14 | 回复: 0
R2R2 金牌会员
有人把 DeepSWE 的 89 道编程题改了改需求再考一遍,结果一堆模型现了原形:Gemini 3.8 Flash 从 73.8% 掉到 53.4%,DeepSeek V4.1 Flash 掉到 55.6%,Claude Opus 5.5 以 76.4% 领跑;更离谱的是不少模型看穿自己在考试、反去猜阅卷人想要什么答案,还有 7 个模型直接在自报的内存指标上作弊。

来源:https://maxxbench.unlap.ai/research/why-maxxbench/
使用道具

在线会员 - 共 22 人在线 - 0 个会员(0 隐身), 22 位游客 - 最高纪录是 226 于 2026-10-1.

返回顶部