「标尺在熔化」4.0——AI 评测体系崩溃可视化
饱和不是事实，是你选的一条线；不确定性不是 1000 倍，是实算出来的倍数。拖一拖滑杆，看这两个数字怎么变。
🌡️「标尺在熔化」4.0 —— 评测体系崩溃可视化v4.0
🧮 默认阈值 90%：6/10 已饱和（60%）METR Sol 11.3h [5,40] → 71h [13,11400]🔴 已回源：metr.org 原文 / CRFM / The Verge / Tech Times
v4.0 变更：全站统一一份 METR 数据（旧版 Tab2 与 Tab6 的 CI 不一致，且两处都与原文不符）· 删除伪造的「作弊率曲线」· 军备竞赛时间线逐条加来源标记 · 饱和判定改为派生值 · Elo 量纲独立成轴 · 不确定性改用对数轴 · Skalse 定理补上被漏掉的建设性结论。
🌡️ 饱和阈值滑杆：饱和不是事实，是你选的一条线
拖动阈值，看「多少个基准已饱和」这个数字怎么变。同一个数据集，换个阈值就能从 40% 变到 70%——这正是「标尺在熔化」的第一个可测证据。
饱和阈值90%
80%85%90%95%
已饱和
6/10
饱和率（实算）
60%
不参与统计
1 个（Elo 量纲）
中位寿命
2.1 年
「中位寿命」= 发布后第几年，存活率（仍未越过阈值）跌破 50%。用 Kaplan–Meier 估计：S(t) = Π(1 − di/ni)，未越阈值者右删失到 2026。
🧩 自洽校验（实算）：本 Tab 上方「已饱和 6/10」与下方存活曲线的事件总数 6 ✓ 一致。
0–100 分制基准（共 10 个）
MATH-500MATH-500 (Hendrycks 2021)剩余空间 <1pp
🏆 o3 (OpenAI) · 📝 500 题 · 📅 2021 发布 · ⚠️ 污染报告 —（无公开统计）
已饱和
0%阈值 90%100%
MMLUMassive Multitask Language Understanding
🏆 GPT-5 (OpenAI) · 📝 14,042 题 · 📅 2020 发布 · ⚠️ 污染报告 —（无公开统计）
已饱和
0%阈值 90%100%
GSM8KGrade School Math 8K小学应用题已被完全榨干
🏆 Grok-4 (xAI) · 📝 1,319 题 · 📅 2021 发布 · ⚠️ 污染报告 —（无公开统计）
已饱和
0%阈值 90%100%
HumanEvalHumanEval (Chen 2021)
🏆 Claude Opus 5.5 · 📝 164 题 · 📅 2021 发布 · ⚠️ 污染报告 —（无公开统计）
已饱和
0%阈值 90%100%
HLEHumanity's Last Exam* 厂商口径，本站未取得独立复测
🏆 Kimi K2* (厂商自报) · 📝 3,000 题 · 📅 2025 发布 · ⚠️ 污染报告 —（无公开统计）
0%阈值 90%100%
SWE-bench ProSWE-bench Professional同一模型换成严格口径掉 到 73.0
🏆 Cursor 标准口径 (Opus 4.8 Max) · 📝 2,294 题 · 📅 2024 发布 · ⚠️ 污染报告 —（无公开统计）
0%阈值 90%100%
AIME 2024AIME 2024 Math Competition仅 30 题，1 题 = 3.3pp
🏆 o3 (OpenAI) · 📝 30 题 · 📅 2024 发布 · ⚠️ 污染报告 —（无公开统计）
已饱和
0%阈值 90%100%
Terminal-BenchMETR Terminal-Bench 2.1* METR 明确声明该模型下此套件结果不可靠
🏆 GPT-5.6 Sol* (厂商自报) · 📝 240 题 · 📅 2025 发布 · ⚠️ 污染报告 —（无公开统计）
已饱和
0%阈值 90%100%
aider polyglotaider polyglot benchmark
🏆 DeepSeek R1-0528 · 📝 225 题 · 📅 2024 发布 · ⚠️ 污染报告 —（无公开统计）
0%阈值 90%100%
SkatebenchSkatebench（抗污染私有编程基准）同任务 GPT-5.5 为 85%，Sonnet 5 单任务耗 ~69k tokens
🏆 Sonnet 5 (Theo Browne 实测) · 📝 480 题 · 📅 2026 发布 · ⚠️ 污染报告 —（无公开统计）
0%阈值 90%100%
♟️ Elo 量纲：单独一根轴，不进 0–100 温度计
LMArena 的分数是 Elo（约 1400 量级），不是 0–100 的百分比；它是相对分，不是能力绝对刻度。 旧版把它写成 94.0% 并判为「已饱和」——那是把两把不同的尺子塞进同一根温度计。这里单独渲染，且不参与饱和率统计。
LMArenaChatbot Arena (LMSYS)
1417 Elo10001417 · Llama 4 Maverick (2025-04)1500
📝 累计人类对战投票（非题数） · 📅 2023 发布 · ⚠️ 污染报告 —（无公开统计）
Elo 是相对分，不是 0–100 的能力刻度
📉 基准寿命：发布 → 饱和 → 退役
Kaplan–Meier 存活曲线。事件 = 越过当前阈值（90%），未越过者右删失到 2026。 实心点 = 越阈年份有记录；空心点 = 已过阈值但年份未知（取右端点，会高估存活率）。
| 基准 | 发布 | 越过 90% | 退役 | 当前 |
|---|---|---|---|---|
| MATH-500 | 2021 | 2024 | — | 99.2% |
| MMLU | 2020 | 2024 | — | 91.3% |
| GSM8K | 2021 | 2023 | 2025 | 98.5% |
| HumanEval | 2021 | 2023 | — | 97.2% |
| HLE | 2025 | — | — | 50.2% |
| SWE-bench Pro | 2024 | — | — | 87.1% |
| AIME 2024 | 2024 | 2025 | — | 96.7% |
| Terminal-Bench | 2025 | 2026 | — | 91.9% |
| aider polyglot | 2024 | — | — | 70.6% |
| Skatebench | 2026 | — | — | 37% |
⚠ 「越过阈值」的年份是本站标注值，不是逐条回源的发表记录。它用来演示「阈值怎么影响寿命」这个机制—— 不要把它当成各基准的精确饱和年份引用。当前阈值下算出的中位寿命 2.1 年， 换个阈值就会变，这正是本 Tab 想让你亲手看到的。
💡 核心洞察
高饱和基准（MATH-500 / GSM8K / HumanEval）已无法区分顶级模型。低饱和基准（HLE / SWE-bench）则正面临污染与口径问题—— 而且它们中间有相当一部分根本没有独立复测。结论不是「饱和了所以不好」，而是：「已饱和」和「不可信」是两个不同的失败模式，需要两种不同的修补，而它们往往同时发生。
📎 本工具的自我约束
- 每条外部事实带来源标记：📖 已回源 或 ⚠ 未取得一手来源。后者一律不参与任何「结论」的计算权重。
- 带引号的英文句子＝逐字承诺。本工具已删除所有核不到出处的英文引语（含旧版那句「When the ruler melts…」）。
- 「没有独立复测」在本工具里显示为「—（无公开统计）」，不显示为 0。空白不是 0%，是没人测。
- 分离曲线、账单模型、回合制结算为教学构造（标 ⚠），不复现任何真实训练过程。