为什么重要
RL 后训练（RLHF/GRPO 等）是提升 LLM 能力的关键手段，但整个流程涉及奖励建模、数据采集、训练策略设计等复杂决策。Agent² RL-Bench 第一次系统评估 LLM Agent 能否自主工程化这个完整流水线，而不仅仅是被训练的对象。这对理解”AI 能否改进 AI”这一核心问题具有直接意义。
核心设计
基准设计了三级六任务的递进框架：Level 1 为静态规则驱动训练，Level 2 引入中间复杂度，Level 3 要求闭环在线 RL 和轨迹采集。评测基础设施包括隔离工作区、自动评分 API、运行时插桩和自动事后分析。交叉测试了 5 种 Agent 系统与 6 种驱动 LLM 的组合。
关键发现
结果呈现极大分化：在 ALFWorld 环境任务上，Agent 通过 SFT 预热 + GRPO + 在线 rollout 实现了 5.97 → 93.28 的惊人提升；但在 DeepSearchQA 等开放域任务上仅提升 2.75，处于噪声水平。另一个关键发现是，在固定预算下监督学习流水线整体仍优于 Agent 驱动的后训练，驱动 LLM 的选择比 Agent 架构本身影响更大。