为什么重要
代码基准最大的问题是数据污染——HumanEval 的题目早已出现在各种训练数据中。LiveCodeBench 通过持续收集新发布的竞赛题目来解决这个问题，只使用模型训练截止日期之后的题目进行评测。
构建方式
- 持续从 LeetCode、Codeforces、AtCoder 收集新发布的题目
- 按发布日期标注，支持按模型训练截止时间筛选
- 四种评测任务：代码生成、自我修复、代码执行预测、测试输出预测
- 已收集 400+ 题，持续增长
任务示例
代码生成：给一道 LeetCode Medium/Hard 题目的描述，生成通过所有测试用例的 Python/C++ 代码 自我修复：给代码 + 错误输出，修复代码使其通过 执行预测：给代码 + 输入，预测输出结果（不执行代码）
最新进展
- 2026-09-01（本轮补录）：Vals AI 正式把 LiveCodeBench 归档，理由是本基准「性能已饱和」，不再对新模型运行评测。 这是继 OpenAI 推 SWE-bench Pro、AA 移除 GPQA Diamond 之后，第三家主流独立评测机构对 2024 年一代编码基准做出退役判定，可作为本卡 saturation=已饱和 的外部锚点。归档前最后一次全量快照（2026-09-01）的前十名为：Claude Fable 5.1 90.52% / Claude Fable 5 89.78% / Gemini 3.8 Flash 89.48% / Claude Opus 5 89.03% / Gemini 3.7 Flash 88.65% / Gemini 3.1 Pro Preview 88.48% / Grok 4.6 88.22% / Gemini 3.6 Flash 88.08% / GPT-5.2-Codex 87.99% / Qwen 3.8 Max 87.85%
- 2026-09-01：Vals AI 归档快照的成本列是这轮最有信息量的一列。 头名 Fable 5.1 定价 $10/$50，第三名 Gemini 3.8 Flash 只要 $1.5/$7.5（单价约 1/6.7，分差 1.04pp）；第 17 名 DeepSeek V4 Flash 0731 87.26% 的定价是 $0.44/$1.32——比头名低不到 3.3pp，单价是它的 1/23。头名之所以是头名，靠的是约 1pp 的准确率，不是量级差
- 2026-09-01：开源权重在本 lane 上已经贴到闭源。 Vals 自己在要点里写明：DeepSeek V4 与 Kimi K3 距最好的闭源模型只差 2.29pp 与 2.59pp，而同一批模型在 agentic 法律与金融基准上的差距要大得多——竞赛编程是开源追赶最快的能力轴之一
- ⚠️ lane 提示：本轮新增的两条（Fable 5.1 / Fable 5）属 Vals AI lane，与卡内既有的 BenchLM v6（93.5%）、AA（91.7%）、厂商自报（93.2%）等不同源。topResults 按分数降序合并排列只是合规，不构成跨源强弱结论——同一模型在不同窗口/版本上可差 5pp 以上（见 2026-07-09 与 2026-07-19 两条）
- 2026-08-18：Artificial Analysis 快照复核（194 个模型，均值 50.4，标准差 24.1）：Gemini 3 Pro Preview 91.7% 仍为收录范围内最高分，Gemini 3 Flash Preview (Thinking) 90.8% 升至第二；DeepSeek V3.2 Speciale 以 89.6% 新进入 Top 8，与 GPT-5.2（89.4%）、GLM 4.7 Thinking（89.4%）形成 89–90% 的密集集群
- 2026-08-18：性价比断层：DeepSeek V3.2 Speciale 以 $0.27/$0.40 每百万 token 拿到 89.6%，而 GPT-5.2 Pro 花 $10.50/$84.00 只有 88.9%——排序上前者更高，成本相差两个数量级。GPT-OSS-120b（$0.03/$0.10）87.8% 同样排进前列，竞赛编程已进入”便宜模型够用”的区间
- 2026-08-18：跨源口径分歧持续存在：BenchLM v6 榜（DeepSeek V4 Pro Max 93.5%）与 Artificial Analysis 榜（Gemini 3 Pro Preview 91.7%）收录的模型集与评测协议不同，两榜榜首相差近 2 个百分点且无公共校准点。本文件 topResults 为两源按分数合并降序，引用单一分数时必须注明来源
- 2026-05：Artificial Analysis 更新 LiveCodeBench 排行榜至 218 模型，Gemini 3 Pro Preview 以 91.7% 进入 Top 3，Gemini 3 Flash Preview 以 90.8% 进入 Top 5
- 2026-05：Artificial Analysis 数据显示 GLM 4.7 Thinking 达 89.4%，GPT-5.2 达 89.4%，Claude Opus 4.5 Thinking 达 87.1%
- 2026-05：LiveCodeBench v6 排行榜扩展至 45+ 模型 (llm-stats.com)，Kimi K2.6 在 v6 上以 89.6% 领先
- 2026-05：BenchLM 排行榜 (14 模型) DeepSeek V4 Pro (Max) 以 93.5% 领跑，Qwen3.7 Max 以 91.6% 紧随
- 2026-05：Seed 2.0 Pro 在 v6 上达 87.8%，Qwen3.6 Plus 达 87.1%，Step-3.5-Flash 达 86.4%
- 2026-05：Qwen3.6-27B（仅 27B 参数）达 83.9%，小模型效率突出
- 2026-05：基准标记为已饱和——Top 3 均超 91%，头部模型差距仅 1.9%
- 关键趋势：Gemini 3 系列在竞赛编程上快速追赶；不同排行榜因评测窗口差异排名不同（BenchLM vs Artificial Analysis）；推理预算至关重要
- 2026-07：PinchBench 综合排行榜（533+ 模型）显示 LiveCodeBench 已进入饱和压缩阶段——Top 10 模型差距仅 1.8pp（GLM-5 88.7% / GPT-5.2 68.7% 不同时段）但 v6 排行榜 Top 3 稳定在 91%+；Anthropic Fable 5 (Adaptive Reasoning, Max Effort, Opus 4.8 Fallback) 在综合分 71.9 但 LiveCodeBench 子分仍受限于其推理预算
- 2026-07：Kimi K2.6 在 LiveCodeBench v6 上以 89.6% 稳居 Top 5，DeepSeek V4 Pro (Max) 93.5% 仍为 SOTA；Step 3.7 Flash 96.7% 在 AIME 2026 但 LiveCodeBench 排名未进入 Top 10，说明竞赛数学 vs 竞赛编程是两个不同的能力维度
- 关键趋势：LiveCodeBench 已基本饱和（v6 Top 3 均超 91%），新进入者（Muse Spark / Claude Opus 4.8）需与 DeepSeek / Gemini / Qwen 在 v7 阶段竞争；不同模型在竞赛编程上的优势差异显著小于在数学推理上的差异（竞赛编程更多是”快速实现”而非”深刻推理”）
- 2026-06-09：Claude Fable 5 发布，LiveCodeBench Pass@1 达 88.1%（vendor scaffold），Claude 系列首次进入 LiveCodeBench 排行榜前列；OpenAI 同期发布 GPT-5.6 Ultra 达 87.4%；DeepSeek V4 85.8% 进入第二梯队
- 2026-07-01：MangoMind 7月编码基准综合排行显示 Fable 5 在 SWE-bench Pro 80.3% / Terminal-Bench 2.1 88.0% / LiveCodeBench 88.1% 三榜第一，DeepSeek V4 (85.8%) 与 GPT-5.6 Ultra (87.4%) 紧随；BenchLM 仍以 DeepSeek-V4-Pro Max 93.5% 为 LiveCodeBench v6 SOTA
- 2026-07-06：7月排行榜显示 Fable 5 88.1% / GPT-5.6 Ultra 87.4% 紧追 DeepSeek-V4-Pro Max 93.5%，但 Fable 5 在 Terminal-Bench / SWE-bench Pro 上同时领先，体现”长周期任务”能力强于”快速实现”能力——这与 Fable 5 1M 上下文 + 长周期任务优化（dynamic workflow）策略一致
- 关键趋势：LiveCodeBench 已彻底饱和——Top 5 压缩至 93-88%（DeepSeek 93.5% / Gemini 91.7% / Qwen 91.6% / Fable 5 88.1% / GPT-5.6 Ultra 87.4%），3.5pp 内已容纳 5 家厂商；行业正在转向 LiveCodeBench Pro (竞赛级 Elo 评级) / OIBench (Codeforces) 等更细分评测
- 2026-07-09：vals.ai 更新 LiveCodeBench 排行榜至 127 模型——Claude Fable 5 89.8% 居首，Gemini 3.1 Pro Preview 88.5% 第二，GPT 5.2 Codex 88.0% 第三；DeepSeek V4 Pro (Max) 93.5%（BenchLM v6）与 Fable 5 89.8%（vals.ai）之间的 3.7pp 差异源自不同评测窗口（v6 vs v5 混合）
- 关键趋势：LiveCodeBench 已完全饱和——不同评测源（BenchLM / vals.ai / PinchBench）因版本窗口差异产生 ~5pp 分数差异，基准自身的版本碎片化正在削弱其作为”统一标尺”的可信度；行业需要 v7 版本统一评测窗口，或转向 LiveCodeBench Pro（竞赛级 Elo 评级）作为替代
- 2026-07-12：GPT-5.6 Sol 在 LiveCodeBench 上表现出”分裂人格”——BenchLM v6 口径下 DeepSeek-V4-Pro Max 93.5% 仍为 SOTA，但 vals.ai v5 混合口径下 Fable 5 89.8%/Gemini 3.1 Pro Preview 88.5%/GPT 5.2 Codex 88.0% 分列前三；GPT-5.6 Sol 在 LiveCodeBench 上未进入 Top 5（OpenAI 未重点投入竞赛编程优化），与其在 Agent 长程任务上的强势形成对比
- 2026-07-16：Grok 4.5 在 LiveCodeBench 上暂无独立第三方数据；基于 BenchLM 综合推断，Grok 4.5 竞赛编程能力处于中上游（约 80-85% 区间），但其真正的优势在 Terminal-Bench 2.1（83.3%）和 SWE-bench Pro（64.7%）上
- 2026-07-19：BenchLM 更新 LiveCodeBench v6 排行榜——Sakana Fugu-Ultra（Sakana AI）以 93.2% 进入榜单，超越 DeepSeek-V4-Pro Max 93.5% 或与之持平（不同评测窗口），成为 v6 新 SOTA 候选；v6 排行榜目前仅 10 模型参与，多数主流模型已转向其他编码基准
- 关键趋势：LiveCodeBench 已从”竞赛编程区分器”蜕变为”模型训练策略探测器”——DeepSeek-V4-Pro Max 93.5%（竞赛编程优化）、Fable 5 88.1%（长程任务优化但推理预算有限）、GPT-5.6 Sol（Agent 优先，竞赛编程非重点）三者分数差异反映的是训练优先级而非”编程能力强弱”；v6/v5 版本差异 + BenchLM/vals.ai/AA 三家评测源差异导致同一模型分数可差 5pp+，LiveCodeBench 作为”统一标尺”的时期已经结束
- 终局判断：LiveCodeBench 已完成其历史使命——从 2024 年 v1 的抗污染创新到 2026 年 v6 的全面饱和，它见证了竞赛编程能力从 28.7% (GPT-4) 到 93%+ (DeepSeek/Sakana) 的跃迁；新进入者（Sakana Fugu-Ultra）的出现虽然刷新了 SOTA 候选，但 93%+ 的分数已无实际区分度；行业共识转向 LiveCodeBench Pro（竞赛级 Elo 评级）/ CodeShield（安全编码）/ OIBench（Codeforces 真实竞赛）等下一代评测
- 2026-07-25：Sakana Fugu-Ultra（Sakana AI 多模型路由系统）以 93.2% 进入 LiveCodeBench v6，Fugu 以 92.9% 紧随；两者均为 Sakana 自报分数，使用多模型编排而非单一模型——标志着”路由编排系统”首次在竞赛编程基准上与单体模型竞争。注意：Sakana Fugu 是一个封闭的多模型路由系统（内部可使用 Claude/GPT/Gemini 等），其分数代表的是路由系统的能力而非单个模型的编程水平
- 关键趋势：LiveCodeBench v6 排行榜当前仅 10 模型参与，多数主流厂商已停止在此上报，基准已完全进入”参考存档”阶段——尽管分数仍在更新（Sakana Fugu-Ultra 93.2%），但已无实际区分度。LiveCodeBench Pro（竞赛级 Elo，584 题，Codeforces/ICPC/IOI 来源，SOTA Gemini 3.1 Pro 2887 Elo）已成为竞赛编程评测的实际标准
关键发现
- DeepSeek V4 系列主导排行榜：Pro (Max) 93.5%，Flash (Max) 91.6%，Pro (High) 89.8%
- 推理预算至关重要：DeepSeek V4 Pro (Max) 93.5% vs DeepSeek V4 Pro (non-Max) 56.8%，差距高达 36.7%
- 开源模型全面超越闭源：Top 8 全部为开源权重模型
- 中国模型占主导：DeepSeek、Kimi、GLM、Qwen 四家占据前列
- 代码生成基准整体趋近饱和，头部模型差距缩小
关联基准
- HumanEval：经典但已饱和，LiveCodeBench 是其精神继承者
- Codeforces：竞赛平台直接评 Elo
- USACO：更难的竞赛编程
不足与展望
- 偏竞赛编程风格，与真实软件开发场景有差距
- 不测试仓库级理解和多文件编辑能力
- 需要持续维护（收集新题），长期可持续性有待观察