为什么重要
CodeContests 是 AlphaCode 论文的核心评测基准，从 Codeforces 等在线竞赛平台收集。不同于 HumanEval 的简单函数题，它要求理解复杂的问题描述、设计高效算法并处理边界情况。
构建方式
- 从 Codeforces、LeetCode、Description2Code 等平台收集
- 每道题包含问题描述、示例输入输出、隐藏测试用例
- 测试集 117 题，严格按时间切分避免污染
任务示例
问题：给定 n 个城市的坐标，找到一条路径使得总距离最短且访问所有城市（TSP变体） 要求：在时间/内存限制内通过所有测试用例
关键发现
- AlphaCode 首次在 Codeforces 上达到人类中位水平
- 大量采样 + 聚类过滤是关键策略
- 推理模型（o3）大幅提升了单次通过率
关联基准
- Codeforces Rating：竞赛编程评分
- LiveCodeBench：抗污染编程
- USACO：计算机奥赛
不足与展望
- 测试集偏小（117 题）
- 竞赛编程不完全反映工程编码能力
- 采样大量解后筛选的策略在实际中不可行