Agent 不该只会听话：从自底向上技能演化到端到端多轮 RL，AI Agent 训练范式正在重写
从 Bottom-Up Agent 的自主技能演化到 WebAgent-R1 的端到端多轮强化学习，再到 MARTI 的多智能体 RL 训练框架，AI Agent 正在摆脱人类预设的工作流，走向自主习得能力的训练范式。
Agent 不该只会听话：从自底向上技能演化到端到端多轮 RL，AI Agent 训练范式正在重写
引言：当 Agent 不再需要「操作手册」
当前绝大多数 LLM Agent 框架遵循同一个模式：人类设计工作流，定义工具调用顺序，Agent 负责执行。这种自顶向下（Top-Down）的范式在结构化任务中表现良好——ReAct 循环、思维树（ToT）、分层规划器，这些架构有一个共同前提：人类已经知道问题的最优分解路径。
但真实世界不是这样运作的。人类不是先学会「计划」，再学会「行动」；而是在无数次的试探、犯错、复盘中逐步沉淀出技能。2025 年 5 月，三篇来自不同方向的论文——Bottom-Up Agent（arXiv:2505.17673）、WebAgent-R1（arXiv:2505.16421, EMNLP 2025）和 MARTI（清华大学 C3I 实验室）——从不同侧面挑战了这一前提，共同指向一个核心命题：AI Agent 的能力不应由人类预设，而应从经验中自主习得。
本文将深入解析这一范式转变的技术内核，探讨从自底向上技能演化到端到端多轮 RL 训练的方法论差异，并展望其对 Agent 工程实践的深远影响。
一、自顶向下的困局：为什么「人类设计工作流」正在碰到天花板
1.1 工作流的刚性瓶颈
主流 Agent 框架——LangGraph Supervisor、AutoGen、CrewAI——本质上都是工作流编排器。它们的核心抽象是「节点-边」：每个节点是一个 Agent 或工具调用，边定义了执行顺序和条件分支。这种设计的优势是可解释、可控，但代价是刚性：
- 无法适应未知环境：当环境动态变化（如网页改版、API 变更），预设工作流可能直接失效
- 缺乏迁移能力：为 A 任务设计的工作流难以复用到 B 任务
- 人类瓶颈：每个新场景都需要人类重新设计流程，可扩展性差
1.2 行为克隆的泛化困境
另一种常见方案是行为克隆（Behavior Cloning, BC）——从人类示范中学习。然而，BC 本质上是模仿表面行为而非理解意图。当遇到训练分布外的场景时，BC Agent 的表现会急剧下降。更关键的是，BC 永远无法超越示范者：它学到的策略上界就是人类水平。
Silver 和 Sutton（2025）在他们的愿景论文中明确提出了这一挑战：Agent 应该能从持续的经验流中进步，而非依赖人类精心设计的每一步指令。这正是 Bottom-Up Agent 论文的灵感来源。
二、自底向上技能演化：Bottom-Up Agent 的试错-推理-抽象循环
2.1 核心思想：从原子动作到技能组合
Bottom-Up Agent（Du et al., arXiv:2505.17673）提出了一个根本性的设计范式转变：Agent 从零技能出发，通过自主交互逐步构建技能库。其理论基础是部分可观察马尔可夫决策过程（POMDP），Agent 无法直接观测环境全貌，只能基于有限的视觉输入做决策。
核心机制包含三个阶段：
| 阶段 | 操作 | 关键技术 |
|---|---|---|
| 探索 | 从单步原子动作开始，逐步尝试行为组合 | 增量式技能增强（Augmentation） |
| 评估 | 通过 VLM 对比执行前后状态，判断技能有效性 | 视觉状态差异检测 + LLM 推理 |
| 抽象 | 为有效技能生成语义描述，纳入技能库 | LLM 自动命名与概括 |
技能的定义是可组合的原子动作序列。例如，Agent 可能先学会「点击某个按钮」，然后将其扩展为「点击按钮 → 等待页面加载 → 提取文本」，最终形成「搜索并获取信息」的高层技能。这个过程的关键特征是增量性：每个新技能都是已有技能的扩展，而非从零设计。
2.2 技能选择的决策机制
在每个时间步，Agent 从技能库中筛选出与当前状态匹配的候选技能集，然后通过蒙特卡洛树搜索（MCTS）评估每个候选技能的前景，选择最优执行。MCTS 的引入解决了「技能多但不知道何时用」的问题——它提供了一种系统化的前瞻评估机制，而非简单的规则匹配。
2.3 实验验证：从游戏中证明泛化能力
Bottom-Up Agent 的实验设计极具说服力：在《杀戮尖塔》（Slay the Spire）和《文明 V》（Civilization V）两款复杂策略游戏中，Agent 仅通过原始像素输入和模拟鼠标输出进行交互——与人类玩家完全相同的输入输出通道。不使用任何游戏专用 API 或特权信息。
结果表明，自底向上的 Agent 能够在无预设目标、无任务指令的情况下，仅通过自主探索就习得有意义的游戏技能。更令人印象深刻的是，多个 Agent 的多样化经验可以加速技能库的集体积累——这为多 Agent 协同学习提供了一种全新范式。
三、端到端多轮 RL：WebAgent-R1 直接从交互中学习策略
3.1 从单轮到多轮：RL 训练的根本挑战
DeepSeek-R1、OpenAI o 系列证明了 RL 在单轮推理任务（如数学题）上的威力。然而，Agent 面对的是多轮交互——每一步动作都会改变环境状态，后续决策必须基于新的观测。这带来了三个根本性挑战：
- 信用分配问题：任务成功或失败的奖励信号要如何归因到数十步前的某个决策？
- 探索效率：多轮交互的轨迹空间呈指数级增长，随机探索几乎不可能找到有效策略
- 训练稳定性：长轨迹的梯度传播和方差控制比单轮任务困难得多
3.2 WebAgent-R1 的解决方案：异步轨迹 + 二元奖励
WebAgent-R1（Wei et al., arXiv:2505.16421, EMNLP 2025）提出了一个出人意料的简洁框架：
核心设计：Agent 直接与网页环境在线交互，异步生成多样化轨迹，仅使用二元任务成功奖励（成功 = 1，失败 = 0）进行训练。没有过程奖励，没有奖励模型，没有任何中间监督信号。
这个设计看似简单，实则蕴含深刻洞见：在多轮交互中，过程奖励的设计本身就是一个难题——什么样的中间状态是「好的」？过早引入过程奖励可能反而误导策略学习。WebAgent-R1 用实验证明，仅靠最终的二元信号，RL 就能有效学习多轮策略。
关键数据：
| 模型 | BC 基线 | WebAgent-R1 | 提升 |
|---|---|---|---|
| Qwen-2.5-3B | 6.1% | 33.9% | +27.8pp |
| Llama-3.1-8B | 8.5% | 44.8% | +36.3pp |
这两组数据远超所有 SFT 和提示工程基线，甚至超越了 OpenAI o3 等闭源模型。
3.3 训练动力学的三阶段
WebAgent-R1 的训练过程呈现出清晰的三阶段动力学：
- 初始技能习得期：奖励快速上升，Agent 学会基本操作（如导航、点击）
- 探索精炼期：轨迹变长，交互次数增加，Agent 尝试更复杂的策略
- 策略稳定期：奖励趋于收敛，Agent 形成稳定的高效策略
3.4 初始化策略的消融实验
WebAgent-R1 引入了两个变体进行消融研究：
- WebAgent-R1-Zero：从原始模型直接 RL，不做任何 SFT
- WebAgent-R1-CoT：从使用长 CoT 数据训练的 SFT 模型启动 RL
结果揭示了一个重要发现：行为克隆的预热阶段（Warm-up）至关重要。R1-Zero 的训练不稳定且最终性能较差，说明 RL 并非万能——合理的初始化为 RL 提供了探索的起点。同时，R1-CoT 虽然思考过程更详细，但最终成功率并未显著优于标准 R1，表明长 CoT 不是万能药，在多轮交互场景中，简洁的思考可能比冗长的推理更有效。
四、多智能体 RL 训练：MARTI 的集中交互-分布训练架构
4.1 从单 Agent 到多 Agent RL
当 Agent 从「单兵作战」转向「协同作战」，RL 训练面临新的挑战：信用分配如何跨 Agent 进行？如果三个 Agent 辩论后得出了正确答案，谁该获得更多奖励？
MARTI（清华大学 C3I 实验室）提出了集中式交互 + 分布式训练的架构：
- 集中式多智能体交互：所有 Agent 的交互和奖励分配在中心节点完成
- 分布式策略训练：每个 Agent 独立更新自己的策略，避免梯度冲突
4.2 三大核心模块
| 模块 | 功能 | 技术方案 |
|---|---|---|
| Multi-Agent World | 定义 Agent 交互拓扑和消息流 | DAG 工作流（辩论、链式、混合） |
| Centralized Rewarding | 为每个 Agent 分配信用 | 规则奖励 + LLM-as-Judge + AgentPRM |
| Single Agent Trainer | 独立训练每个 Agent 的策略 | PPO / GRPO / REINFORCE++ / TTRL |
MARTI 支持异构模型——同一个 Agent 图中，不同节点可以使用不同大小的 LLM。这在实践中极其重要：并非每个子任务都需要最强模型，轻量模型配合专门化训练往往更高效。
4.3 初步实验：小模型 + 多 Agent RL 的威力
MARTI 在 AIME 等推理基准上的初步实验表明，多个 3B 模型通过 RL 训练后的协同效果，可以接近甚至超过单一的大模型。这与 ML-Agent（arXiv:2505.23723）的发现一致：仅用 9 个 ML 任务训练的 7B Qwen-2.5 Agent，竟然超越了 671B 的 DeepSeek-R1 Agent。
五、两条路线的统一：自底向上与端到端 RL 的互补性
5.1 表面矛盾与深层统一
Bottom-Up Agent 强调技能的显式表示和逐步积累，WebAgent-R1 则追求端到端的策略学习，两者看似矛盾，实则互补：
| 维度 | Bottom-Up Agent | WebAgent-R1 |
|---|---|---|
| 技能表示 | 显式（可读、可复用） | 隐式（编码在模型参数中） |
| 训练信号 | 自主探索 + VLM 评估 | 二元任务奖励 |
| 可解释性 | 高（技能可追溯） | 低（黑盒策略） |
| 迁移性 | 强（技能可跨任务共享） | 弱（策略绑定于特定环境） |
| 适用场景 | 开放环境、长期演化 | 封闭环境、明确目标 |
5.2 融合路径：显式技能引导 RL 探索
一个自然的融合方向是：用自底向上习得的技能库作为 RL 训练的初始策略。这与 WebAgent-R1 中「行为克隆预热」的思想一致，但走得更远——不仅是模仿人类示范，而是让 Agent 先通过自主探索构建技能基础，再用 RL 精炼策略。
ReasonRAG（arXiv:2505.14069）的实验为此提供了佐证：使用仅 5k 过程级奖励样本训练的模型，超越了使用 90k 结果级奖励训练的 Search-R1。过程监督与技能引导的结合，可能是突破当前 RL 训练效率瓶颈的关键。
六、行业影响：从「Prompt Engineering」到「Experience Engineering」
6.1 Agent 开发者的角色转变
当 Agent 能从经验中自主习得能力，开发者的核心任务将从设计工作流转向设计经验：
- 环境设计：构建让 Agent 能高效探索的交互环境
- 奖励设计：定义清晰的反馈信号，而非模糊的提示词
- 课程设计：安排从简单到复杂的任务序列，引导技能积累
- 技能策展：审核、组织和共享 Agent 习得的技能
这本质上是从软件工程师到教育者的角色转变。
6.2 对 Agent 平台的影响
当前 Agent 平台（Dify、Coze、LangGraph）的核心价值是工作流编排。如果自底向上范式成熟，平台需要新增：
- 技能市场：Agent 习得的技能可以打包发布、交易和复用
- 训练沙箱：提供安全的环境让 Agent 进行 RL 训练
- 技能审计：验证自动习得技能的安全性和可靠性
6.3 安全性考量
自底向上训练的 Agent 拥有更强的自主性，但也带来了新的安全风险：
- 不可预测行为：Agent 可能习得设计者未预料到的技能
- 奖励作弊（Reward Hacking）：Agent 可能找到绕过奖励设计意图的捷径
- 技能滥用：强大的技能可能被用于非预期用途
这要求我们在推动自主习得能力的同时，建立相应的技能治理框架。
七、未来展望
7.1 短期（6 个月）
- 多轮 RL 训练成为 Agent 微调标配：WebAgent-R1 证明了端到端多轮 RL 的可行性，预计更多团队将跟进
- 过程奖励替代结果奖励：ReasonRAG 和 s3（arXiv:2505.14146）的研究表明，精心设计的过程级奖励可以用更少数据达到更好效果
- GUI Agent 的 RL 突破：GUI-Shift（arXiv:2505.12493）的自监督 RL 方法为 GUI 交互 Agent 提供了可扩展的训练路径
7.2 中期（1-2 年）
- 技能库成为 Agent 系统的一等公民：像 Bottom-Up Agent 这样的显式技能表示将被主流框架采纳
- 多 Agent RL 训练基础设施成熟：MARTI 类框架将与 vLLM、OpenRLHF 等推理/训练基础设施深度整合
- Agent 训练数据市场出现：高质量的 Agent 交互轨迹将成为新的数据商品
7.3 长期（3-5 年）
- Agent 自主进化成为现实：Agent 不只是学习技能，还能自主发现新任务、设定新目标
- 人机协作范式重构：人类从「指挥者」变为「协作者」，与自主进化的 Agent 共同成长
- AGI 的可能路径之一：从经验中持续学习、不断积累技能，正是通向通用智能的一条可行路径
结论
2025 年 5 月的这三项研究——Bottom-Up Agent、WebAgent-R1 和 MARTI——从不同维度共同揭示了 AI Agent 训练的范式转变：从人类预设工作流到 Agent 自主习得能力。Bottom-Up Agent 证明了显式技能演化的可行性，WebAgent-R1 证明了端到端多轮 RL 在复杂交互任务中的有效性，MARTI 则将 RL 训练扩展到多 Agent 协同场景。
这三条线索的汇合指向一个清晰的方向：未来的 Agent 不是被编程出来的，而是被培养出来的。训练 Agent 将更像教育一个学习者——提供环境、设计课程、给予反馈——而非编写一个程序。这一转变不仅改变了技术路线，更将重塑 Agent 开发者的角色定义和整个 Agent 生态的结构。
对于从业者而言，现在正是重新审视自身技能栈的时刻：从 Prompt Engineering 到 Experience Engineering，从工作流设计到课程设计，从调试代码到引导学习——这不是选择题，而是生存题。
编者评：这三篇论文的共同点不仅是方法论上的突破，更是一种哲学立场：Agent 的能力上界不应由设计者决定。自顶向下设计给了我们可控、可解释的 Agent，但也设下了性能天花板。自底向上的范式打开了这个天花板，代价是更大的不确定性和更高的安全挑战。但正如人类智能本身就是在试错中涌现的一样，也许不确定性不是 bug，而是 feature——关键在于我们如何设计护栏，而非因噎废食。值得持续关注的是，当这种范式从学术验证走向工程落地时，训练效率和安全治理将成为决定其成败的两个关键变量。
参考文献：
- Du, J. et al. “Rethinking Agent Design: From Top-Down Workflows to Bottom-Up Skill Evolution.” arXiv:2505.17673, 2025.
- Wei, Z. et al. “WebAgent-R1: Training Web Agents via End-to-End Multi-Turn Reinforcement Learning.” EMNLP 2025.
- MARTI: “A Framework for LLM-based Multi-Agent Reinforced Training and Inference.” Tsinghua C3I, 2025.
- Jiang, P. et al. “s3: You Don’t Need That Much Data to Train a Search Agent via RL.” EMNLP 2025.
- Zhang, W. et al. “Process vs. Outcome Reward: Which is Better for Agentic RAG Reinforcement Learning.” arXiv:2505.14069, 2025.
- Liu, Z. et al. “ML-Agent: Reinforcing LLM Agents for Autonomous Machine Learning Engineering.” arXiv:2505.23723, 2025.
- Dong, G. et al. “Tool-Star: Empowering LLM-Brained Multi-Tool Reasoner via Reinforcement Learning.” arXiv:2505.16410, 2025.
- Jin, B. et al. “An Empirical Study on Reinforcement Learning for Reasoning-Search Interleaved LLM Agents.” arXiv:2505.15117, 2025.