为什么重要
LiveCodeBench Pro 是对”LLM 编程超越人类专家”论断的最强反驳。虽然常规编程基准（HumanEval、LiveCodeBench）上模型接近饱和，但竞赛级编程揭示了根本性差距：
- 困难题全模型 0 分：o3-high、Gemini 2.5 Pro、DeepSeek R1 在 Codeforces 3000+ 分难题上全部归零
- 中等题仅 53%：表现最好的 o4-mini-high 在中等难度题上一次通过率仅 53.5%
- Elo 远低于人类精英：o4-mini-high 的 Elo 2116 仅排在人类参赛者前 1.5%，远低于大师级 2700 线
- 与工具调用差距显著：OpenAI 宣称的 2719 Elo 包含终端访问等外部辅助，去除后仅 2116
构建方式
- 实时收集：比赛结束后立即收集 Codeforces、ICPC、IOI 赛题，在互联网出现正确答案之前入库
- 每日更新：题库持续更新，最大限度减少数据污染
- 人工标注：每个问题手动标注所需关键技能和认知焦点分类
- 三级难度：简单 (≤2000 Elo)、中等 (2000-3000 Elo)、困难 (>3000 Elo)，按 Codeforces 评分自动分层
- 认知分类：知识密集型、逻辑密集型、观察密集型三类
关键发现
- 竞赛级推理是 LLM 的真正瓶颈：所有模型在困难级别上 0 分，与常规基准上的”超越人类”形成鲜明对比
- 推理模型 vs 非推理模型差距大：DeepSeek R1 (1161 Elo) 远超非推理版本，但仍远低于 Gemini 3.1 Pro (2887 Elo)
- Gemini 系列在竞赛编程上统治力强：Gemini 3.1 Pro (2887) 比 GPT-5 (2176) 高 711 Elo，差距悬殊
- Claude 在竞赛编程上相对较弱：Claude Sonnet 4.5 仅 1412 Elo，远低于 Gemini 和 GPT 系列
- 工具调用被高估：去除终端访问后模型 Elo 普遍下降 400-600 分
- OpenAI 宣称 vs 实测差距：o4-mini 官宣 2719 Elo，实测 2092（无工具），差距约 627 分
与 LiveCodeBench 的区别
| 特性 | LiveCodeBench | LiveCodeBench Pro |
|---|---|---|
| 题目来源 | LeetCode + Codeforces + AtCoder | Codeforces + ICPC + IOI |
| 难度 | 常规竞赛 | 顶级竞赛 |
| 评测指标 | pass@1 (%) | Elo Rating |
| 污染风险 | 中（LeetCode 题目较易暴露） | 低（赛题实时收集） |
| 饱和度 | 已饱和 (Top > 93%) | 未饱和 (困难题 0%) |
| 区分能力 | 中等 | 极强 |
最新进展
- 2026-05：Gemini 3.1 Pro 以 2887 Elo 刷新纪录，比第二名 Gemini 3 Pro (2439) 高 448 分
- 2026-04：GPT-5 以 2176 Elo 进入前三，比 o4-mini (2092) 高 84 分
- 关键趋势：Gemini 系列在竞赛编程上展现统治力；困难级别对所有模型仍为零分；Elo 评级体系比 pass@1 更能反映模型间差距
关联基准
- LiveCodeBench：常规编程基准（已饱和）
- Codeforces：竞赛平台直接评测
- USACO：美国竞赛编程
- CodeContests：DeepMind 竞赛编程基准
不足与展望
- 仅覆盖竞赛编程风格，不代表工业编码能力
- Elo 评级受样本量和题目选择影响
- 需要持续收集新赛题，长期维护成本高
- 困难题数据点稀少（所有模型 0 分），难以区分模型间差异
- 未来可能需要引入更多 IOI/ICPC 级别的赛题