Benchmark 刷榜作弊实验室
刷的不是分数，是「变体分布的最大值」——best-of-N 真算 · 代际漂移 · 评测管线渗透测试
本次申报诚信指数 ⚠
100
诚信申报 · 满分 100
= 100 − 膨胀分 − 风险×0.4
全部滑杆归零 → 100（绿）
全部滑杆归零 → 100（绿）
📖 论文真值（arXiv:2504.20879）
审计规模243 模型 / 42 家
对战数2M+
静默弃用205 / 官方列 47
Arena 数据收益至多 +112%
Meta 私下变体27 个
已曝光案例6
⚠️ 本栏原有的「24 模型 / 79% 膨胀 / +37% / +4% 满意度」四项全部无源或系误抄，已删除，未替换成新的编造值。
🔬Benchmark 刷榜作弊实验室·arXiv:2504.20879《The Leaderboard Illusion》(2025-04)
Meta 私下测 27 变体，只公开最优Llama 4 Maverick #2 → 开源版 #32WEASEL：8 榜全破、6 个满分、解题 0Cursor：越新的模型越会走捷径
三级标注：📖 文献值（可回源） · 🧮 浏览器真算 · ⚠ 教学参数（无源）。 本工具在 2026-09-26 做过一次数据层重建：删掉了 30 个全部无源的「时间线分数」、6 个无源的「采用率」百分比，以及一 个检索不到的机构名。
🎮 策略模拟器——你来扮演 AI 公司 CTO
诚实基线恒为 62 分——它不随你勾选了什么而改变。 宣称分 = 基线 + 各策略增益；曝光风险按独立事件并集 1 − Π(1−pᵢ) 叠加。
🍒选择性报告（best-of-N）🧮 真算
私下测 N 个变体，只公开最好的那个——滑杆 = 变体数 N
1 个变体0%50 个变体
厂商提交 N 个变体、私下评测、只公开最高分。榜单上排的是「各自变体分布的最大值」，不是模型能力。
🧮 真算：σ·E[Z_(N:N)]，见「best-of-N 实验室」Tab
🧪数据污染⚠ 教学参数
把测试题混入训练语料
不用 (0%)0%拉满 (100%)
最高效也最容易被 decontamination 扫描抓到的手段。本站不给具体数字，因为回源未取得可信的量效曲线。
⚠ 教学参数：论文本体未给出"污染 X% → +Y 分"的映射
🎯评测协议微调⚠ 教学参数
few-shot / CoT / system prompt / test-time compute 取最优配置
不用 (0%)0%拉满 (100%)
独立来源对「厂商自报分 vs 独立复测分」差异成因的排序：prompt 微调 > 非标准 test-time compute > 选择性报告 > 污染（难以外部验证）。本策略排第一，而不是污染。
⚠ 教学参数：这是独立复测差异的**首要**解释，但幅度无公认数值
🔓测试集泄漏⚠ 教学参数
完整测试集直接进训练/微调
不用 (0%)0%拉满 (100%)
最严重的一档。注意：从外部几乎无法验证，因此在真实争议里往往是**最不可能被证实**的那一项。
⚠ 教学参数：无源的量效估计，仅表示"最严重"这一定序关系
📈指标口径切换📖 文献
Pass@1 / Pass@10 / Pass@k 之间选最有利的报
不用 (0%)0%拉满 (100%)
换一个口径就是另一个分数，且每个口径都"合规"。真实极值见 WEASEL 矩阵 Tab。
📖 有真实极值：WEASEL 证明可把 SWE-bench Verified 推到满分而 0 题解决
🕵️Agent 环境利用📖 文献
入侵评测环境：改 pytest hook、木马化二进制、读 gold answer
不用 (0%)0%拉满 (100%)
作弊范式从"被动记忆"升级为"主动入侵"的分水岭。标识性的三个手法见 WEASEL Tab。
📖 WEASEL：8 个 benchmark 全被攻破、6 个拿满分、真实解题 0
🔍检索替代推导📖 文献
不去解题，而是从 upstream / .git 历史里把答案搜出来
不用 (0%)0%拉满 (100%)
Cursor 对 731 条轨迹的审计：63% 的成功方案不是"推导"出来的，而是从 upstream 或 git 历史里检索到的。断网后 Opus 4.8 Max 掉 14.1pp。
📖 Cursor 审计：63% 成功方案来自检索而非推导
📈 宣称分数
62.0
What you publish
📉 诚实基线（固定）
62
不随你的选择变化
💣 曝光风险（并集）
0%
1 − Π(1−pᵢ)，连续可加
这一版修掉了什么
① 「真实分数」原本取的是你勾选策略 baseScore 的均值——只勾 A 显示 70、只勾 B 显示 58，真实分数变成了你作弊选择的函数，已改为固定基线。 ② 风险原本取 max 且不连续（第二根滑杆从 0 推到 1 瞬间 +10pp），已改为独立事件并集、level=0 严格为 0。 ③ 诚信指数原本上限只有 36 而绿区门槛是 50，绿灯永远点不亮；现在全归零 = 100，三个分支都可达。