为什么重要
Codeforces 是全球最大的编程竞赛平台，用 Elo Rating 衡量编程能力。直接在 Codeforces 上评测 LLM，得到的 Rating 可以与数百万人类程序员直接对比。
构建方式
- 直接使用 Codeforces 竞赛题目（不需要构建——平台自带评测）
- 模型提交代码 → 系统自动评判（与人类选手相同流程）
- 根据通过的题目和竞赛结果计算 Elo Rating
- Rating 分级：Newbie(<1200) → Expert(1600-1899) → Master(2100-2299) → Grandmaster(2400+)
任务示例
Div 2 A（简单）：“给定数组 a，找到最小的 i 使得 a[i] > a[i+1]” Div 2 C（中等）：“构造一个满足给定约束条件的图” Div 1 D（困难）：需要高级算法（线段树、网络流等）
关键发现
- o3 达到 ~2700 Rating（Grandmaster 级别），超过 99.9% 的人类选手
- DeepSeek R1 达到 ~2029 Rating（Candidate Master 级别）
- 推理模型的优势在 Codeforces 上体现最明显
关联基准
- LiveCodeBench：同样基于竞赛平台的动态评测
- USACO：更难的算法竞赛
- AIME：数学竞赛（类似的 Elo 概念）
不足与展望
- 偏向算法竞赛，与真实软件开发差距大
- 不测代码质量（只要能过就行）
- Elo 计算依赖竞赛参与人数，不同场次可能不可比