为什么重要
InnovatorBench 是 ICLR 2026 接收的 AI 研究创新智能体基准，填补了”评测 Agent 能否像研究员一样独立完成科研”的空白。其核心贡献在于：
- 端到端科研能力评测：不是评测零散技能（如单次代码生成），而是要求 Agent 完成从假设形成、实验设计、代码实现、执行到分析的完整科研流程
- 六大多样化领域：覆盖数据构建、数据筛选、数据增强、损失设计、奖励设计、脚手架搭建——这些都是 LLM 研究中最核心的技术方向
- ResearchGym 平台：专为长期科研任务设计的基础设施，支持分布式多 GPU 执行、异步监控和环境快照，突破了传统 Agent 平台”单容器同步执行”的局限
- 任务极具挑战性：Agent 平均需要 11 小时以上 才能达到最佳表现，远超现有基准的典型执行时间
这对 AI for Science 和研究自动化领域具有标志性意义——当 Agent 需要超过 11 小时才能在一个研究任务上达到最佳表现时，这不再是”问答”问题，而是真正的”长时推理与执行”挑战。
构建方式
1. 任务来源与设计
InnovatorBench 的 20 个任务源自有影响力的 AI 研究论文及其开源代码库，覆盖六大领域：
| 领域 | 缩写 | 核心挑战 | 典型任务 |
|---|---|---|---|
| 数据构建 | DC | 从零构建高质量训练数据 | 构建指令微调数据集 |
| 数据筛选 | DF | 从大规模数据中筛选高质量子集 | 设计过滤流水线 |
| 数据增强 | DA | 扩充数据多样性和质量 | 实现 DAPO 式增强 |
| 损失设计 | LD | 设计更优的训练损失函数 | 改进 SFT 损失 |
| 奖励设计 | RD | 设计 RLHF 中的奖励信号 | 构建奖励模型 |
| 脚手架搭建 | SC | 构建训练/推理的基础架构 | 搭建训练框架 |
每个任务描述包含：研究动机、目标、数据详情、操作约束、评估指标和环境规格。工作空间提供最小 conda 环境、数据集（测试集标签隐藏）、模型检查点和改编后的代码仓库。参考解决方案和评估脚本对 Agent 隐藏。
2. ResearchGym 平台
为支持 InnovatorBench 的评测需求，研究团队开发了 ResearchGym：
- 丰富动作空间：42 种原语，覆盖命令执行、文件操作、Web 搜索/浏览和多模态解析
- 分布式执行：支持跨多台机器和 GPU 的实验编排
- 异步监控：长时间运行时可实时查看进度
- 环境快照：可保存/恢复环境状态，支持分支实验
- 可扩展：社区可贡献新任务、数据集和评估协议
3. 评估框架
多维度评估，每个维度独立打分：
- 正确性：提交的代码是否正确实现了目标功能
- 性能：产出的模型/方法在测试集上的表现
- 输出质量：生成数据/模型的质量指标
- 不确定性：方法对超参数和随机种子的稳定性
关键发现
前沿模型表现分化
- Claude Sonnet 4 在 Loss/Reward 设计上领先：得益于可靠的工具使用和执行能力
- GPT-5 在数据驱动任务上表现优秀：数据构建和筛选任务中代码正确率较高
- 所有模型在算法相关任务上脆弱：损失设计和奖励设计任务中，Agent 经常因实现细节错误导致训练崩溃
长时推理的系统性失败模式
- 急躁问题（Impatience）：Agent 倾向于过早提交，而非充分迭代优化
- 资源管理不善：多 GPU 任务中经常出现显存溢出或资源浪费
- 模板化推理过度依赖：Agent 过度依赖已知模式，缺乏创新能力
- 长时间跨度决策退化：任务执行超过 6 小时后，Agent 的决策质量显著下降
执行时间特征
- Agent 平均需要 11 小时以上 才能达到最佳表现
- 前期（0-3 小时）：主要进行环境探索和初步实现
- 中期（3-8 小时）：迭代优化和错误修复
- 后期（8-11+ 小时）：性能调优和最终提交
- 很多 Agent 在中期就因资源耗尽或上下文溢出而放弃
最新进展
- 2025-10-31：论文发布（arXiv:2510.27598），4 个前沿模型参与评测
- 2026-01：ICLR 2026 接收
- 2026-05：社区关注升温，被视为”下一代代码研究基准”
- 当前仅有 Claude Sonnet 4、GPT-5、GLM-4.5、Kimi-K2 四个模型的评测数据，需关注 Opus 4.7/4.8、GPT-5.5 等最新模型评测
关联基准
- MLE-bench：机器学习工程基准，但任务更偏向工程实现而非研究创新
- ScienceAgentBench：科学 Agent 基准，覆盖更广泛的科学领域
- DeepResearch Bench：深度研究 Agent 基准，侧重信息收集和报告撰写
- PaperBench：论文复现基准，但缺少完整的”假设→实验→分析”流程
不足与展望
- 20 个任务样本量偏小，统计置信度有限
- 评测资源需求极高（每任务 8 × 80GB GPU），限制了参与规模
- 目前仅 4 个模型评测，缺乏 Claude Opus 4.7/4.8、GPT-5.5 等最新模型数据
- 评估涉及长时间运行的模型训练，可复现性受随机性影响
- 任务偏重 LLM 研究领域，未覆盖计算机视觉、强化学习等其他 AI 子领域
- 需要更多”框架 × 模型”交叉评测来验证结论的鲁棒性