为什么重要
专门设计的常识推理陷阱题——模型容易被表面模式误导。o3 也只有 ~55%,而这个基准的人类基线约 84%:题出得”普通人觉得简单、模型觉得难”,考的是时空推理、社会情境,以及故意塞一个无关细节来引诱模型答出记忆里的那个答案。
它的价值在于和知识类基准互补:知识类考的是”记不记得”,SimpleBench 惩罚的恰恰是”模式匹配”。正因如此,它长期是前沿模型榜单里少数还能拉开差距的推理榜之一。
构建方式与示例
~200 个陷阱题。例如:“一个人把杯子放在桌子上,桌子翻了,杯子在哪?“——模型倾向答”桌子上”(错误)。
最新进展
- 2026-10-19:本卡从 2025 年末的 o3 ~55% 一次性推到 81.9%(Claude Fable 5, max),两年跨度约 +27pp,并首次贴到 84% 的人类基线。 数据取自 Epoch AI Benchmarking Hub 对 simple-bench.com 官方结果的汇总(CC BY 4.0),本轮经 BenchLeader 镜像取得,共 87 个模型配置。前八名落在 81.9%–74.5% 的 7.4pp 区间内,头名与次名(Claude Opus 5 80.6%)只差 1.3pp
- ⚠️ 两代数字并排不代表连续曲线:旧值 o3 ~55%(2025-12)与新值覆盖的模型世代完全不重叠,中间缺 2026 年上半年的观测,不能据此推断年均提升幅度。本卡保留旧值仅作时间切片
- saturation 由「未饱和」改为「接近饱和」:头名 81.9% 距人类基线 84% 只差 2.1pp,且题目不公开、样本量小——剩余空间已不足以稳定区分前沿模型。但严格说它仍未越过人类线,因此不判「已饱和」
- 值得注意的是三条中端/低成本产品线同时进入前八:Gemini 3.5 Flash(76.7%)、Muse Spark 1.2(74.5%)、Grok 4.6(75.9%)都不是各家最贵的档位。这与 2026-09 以来在 Terminal-Bench 4.0、GPQA Diamond 上反复观察到的「中端反超旗舰」同型
- ⚠️ 来源注记:本轮数值为单一镜像来源(BenchLeader 每日重读 Epoch AI Benchmarking Hub),未能直接读到 Epoch 原始图表。按本库惯例,聚合站镜像数值在至少三条与卡内既有值逐字吻合时才判定同 lane;本卡此前无任何同源数值可交叉验证,因此上述八条应视为「Epoch lane 的一次快照」,后续若取得 Epoch 原页应复核
关联基准与展望
关联:ARC-AGI、HellaSwag。不足:样本量偏少、题目不公开(无法逐题审查),因此榜单上的小数位差异不应被当作能力差。