返回评测
推理 常识推理 接近饱和 模态 · 文本 任务 · 选择 / 判断

SimpleBench

人工设计的常识陷阱题,人类基线约 84%;到 2026-10 前沿模型已追到 81.9%(Claude Fable 5, max),首次贴到人类线

SimpleBench(独立研究者;结果经 Epoch AI Benchmarking Hub 汇总) ·

考察能力

常识推理 因果推理 空间推理 社会常识

构建信息

数据规模
~200 questions(题目不公开)
构建方式
人工设计陷阱题
评测方式
基准作者以固定 prompt 运行;多选准确率
核心指标
Accuracy(%);题目不公开且样本量小,几道题就能挪动分数,读榜单时差 1–2pp 应视为噪声

资源链接

模型效果排行

🥇 Claude Fable 5 (Anthropic, max; Epoch AI Benchmarking Hub, 榜期 2026-10-19)
81.9% 2026-10
🥈 Claude Opus 5 (Anthropic; Epoch AI, 榜期 2026-10-19)
80.6% 2026-10
🥉 Gemini 3.1 Pro (Google; Epoch AI, 榜期 2026-10-19)
79.6% 2026-10
4. GPT-5.5 Pro (OpenAI, high; Epoch AI, 榜期 2026-10-19)
76.9% 2026-10
5. Gemini 3.5 Flash (Google; Epoch AI, 榜期 2026-10-19)
76.7% 2026-10
6. Gemini 3 Pro (Google; Epoch AI, 榜期 2026-10-19)
76.4% 2026-10
7. Grok 4.6 (xAI; Epoch AI, 榜期 2026-10-19)
75.9% 2026-10
8. Muse Spark 1.2 (Meta; Epoch AI, 榜期 2026-10-19)
74.5% 2026-10

为什么重要

专门设计的常识推理陷阱题——模型容易被表面模式误导。o3 也只有 ~55%,而这个基准的人类基线约 84%:题出得”普通人觉得简单、模型觉得难”,考的是时空推理、社会情境,以及故意塞一个无关细节来引诱模型答出记忆里的那个答案。

它的价值在于和知识类基准互补:知识类考的是”记不记得”,SimpleBench 惩罚的恰恰是”模式匹配”。正因如此,它长期是前沿模型榜单里少数还能拉开差距的推理榜之一。

构建方式与示例

~200 个陷阱题。例如:“一个人把杯子放在桌子上,桌子翻了,杯子在哪?“——模型倾向答”桌子上”(错误)。

最新进展

  • 2026-10-19:本卡从 2025 年末的 o3 ~55% 一次性推到 81.9%(Claude Fable 5, max),两年跨度约 +27pp,并首次贴到 84% 的人类基线。 数据取自 Epoch AI Benchmarking Hub 对 simple-bench.com 官方结果的汇总(CC BY 4.0),本轮经 BenchLeader 镜像取得,共 87 个模型配置。前八名落在 81.9%–74.5% 的 7.4pp 区间内,头名与次名(Claude Opus 5 80.6%)只差 1.3pp
  • ⚠️ 两代数字并排不代表连续曲线:旧值 o3 ~55%(2025-12)与新值覆盖的模型世代完全不重叠,中间缺 2026 年上半年的观测,不能据此推断年均提升幅度。本卡保留旧值仅作时间切片
  • saturation 由「未饱和」改为「接近饱和」:头名 81.9% 距人类基线 84% 只差 2.1pp,且题目不公开、样本量小——剩余空间已不足以稳定区分前沿模型。但严格说它仍未越过人类线,因此不判「已饱和」
  • 值得注意的是三条中端/低成本产品线同时进入前八:Gemini 3.5 Flash(76.7%)、Muse Spark 1.2(74.5%)、Grok 4.6(75.9%)都不是各家最贵的档位。这与 2026-09 以来在 Terminal-Bench 4.0、GPQA Diamond 上反复观察到的「中端反超旗舰」同型
  • ⚠️ 来源注记:本轮数值为单一镜像来源(BenchLeader 每日重读 Epoch AI Benchmarking Hub),未能直接读到 Epoch 原始图表。按本库惯例,聚合站镜像数值在至少三条与卡内既有值逐字吻合时才判定同 lane;本卡此前无任何同源数值可交叉验证,因此上述八条应视为「Epoch lane 的一次快照」,后续若取得 Epoch 原页应复核

关联基准与展望

关联:ARC-AGI、HellaSwag。不足:样本量偏少、题目不公开(无法逐题审查),因此榜单上的小数位差异不应被当作能力差。

常识 陷阱 直觉推理 人类基线 Epoch AI