论文精读

OpenClaw 精读：通过对话训练任意 Agent 的 RL 方法

简单对话驱动的通用 Agent 强化学习训练框架

2026年3月11日 OpenClaw RL Agent Training 对话驱动

OpenClaw-RL: Train Any Agent Simply by Talking — 精读报告

项目来源: AReaL (Ant Reasoning RL) — 蚂蚁集团 & 清华大学交叉信息院联合开源
核心论文: AReaL: A Large-Scale Asynchronous Reinforcement Learning System for Language Reasoning (arXiv: 2505.24298v5)
GitHub: https://github.com/inclusionAI/AReaL (examples/openclaw)
发布时间: AReaL v1.0 稳定版 — 2026年3月4日
作者: Wei Fu, Jiaxuan Gao, Xujie Shen, Chen Zhu, Zhiyu Mei, Chuyi He, Shusheng Xu, Guo Wei, Jun Mei, Jiashu Wang, Tongkai Yang, Binhang Yuan, Yi Wu

一、概述：为什么需要”边用边训”

2026年开年以来，以OpenClaw、LangChain、Claude Code为代表的智能体框架迅速繁荣，但暴露出两个根本性瓶颈：

瓶颈一：接入训练成本高。 各框架接口各异，每接入一个框架进行RL训练，往往需要编写整套适配代码。

瓶颈二：能力固化。 多数Agent的能力取决于底层模型在训练阶段习得的固定权重，部署后无法再针对特定场景持续优化。正如原文描述：

“大多数 Agent 的能力取决于底层模型在训练阶段习得的固定权重，部署后无法再针对特定场景持续优化，能力上限在交付时便已确定。”

OpenClaw-RL的核心愿景是：用户只需像平常一样与Agent对话、交互、打分，后台的RL系统即可自动采集训练数据并更新模型——这就是”Train Any Agent Simply by Talking”的含义。

二、核心理念：Agentic RL 的”一键接入”

2.1 零代码接入

OpenClaw-RL方案的最大突破在于Proxy Worker中转层的设计。开发者完全不需要修改智能体原有代码，只需修改配置文件中的两个参数即可接入训练：

“通过在智能体与训练系统之间加入 Proxy Worker 中转层，开发者只需修改一个请求地址即可接入训练。”

以OpenClaw为例，开发者只需在配置文件中将base_url和api_key指向AReaL网关：

default_provider = "localhost"
default_model = "Qwen/Qwen3-0.6B"
api_key = "sk-sess-xxxxxxxxxxxx"  # 从 start_session 输出获取

[model_providers.localhost]
name = "localhost"
base_url = "http://<proxy-gateway-address>"  # 指向AReaL网关
wire_api = "chat_completions"

“以当前大热的 OpenClaw 为例，开发者只需在 OpenClaw 配置文件中将 base_url 和 api_key 指向 AReaL 网关，就能让自己的 OpenClaw 接入强化学习训练。“

2.2 “边用边训”的完整闭环

训练的完整生命周期如下：

启动RL服务：在GPU机器上运行train.py，获取Proxy Gateway地址
配置Agent：将API地址指向AReaL网关
正常使用：像往常一样与Agent交互，后台自动记录所有token级别数据
打分反馈：任务完成后调用set_reward.py给予奖励分（建议范围 [-1, 1]）
模型更新：系统自动打包数据并触发训练迭代，无需重启Agent即可更新权重

“智能体像往常一样执行任务，用户周期性给 Agent 完成任务的情况打分，AReaL 在后台自动完成训练数据的采集与模型的更新，在持续使用的过程中让智能体自动进化。”

这个流程的精妙之处在于对智能体完全透明：Agent运行时不需要知道自己正在被训练，它只是像往常一样通过API调用大模型，而Proxy Gateway在背后默默记录一切。

三、系统架构：全异步训推解耦

3.1 AReaL的异步RL架构

AReaL是首个全异步、训推解耦的大模型强化学习训练系统。其核心设计将Actor（生成）和Learner（训练）在时间维度上完全解耦：

“We present AReaL, a fully asynchronous RL system that decouples generation from training. Rollout workers in AReaL continuously produce new outputs without waiting, while training workers update the model as soon as a batch of data is collected.”

传统同步PPO系统的问题在于：生成过程必须等待批次中最长的输出完成后才能进行模型更新，导致GPU利用率严重不足。AReaL通过异步架构彻底解决了这一问题。

架构三大组件：

组件	角色	说明
Rollout Workers	数据生成	持续生成新的推理输出，不等待同步
Training Workers	模型训练	收集到一批数据后立即更新参数
Proxy Worker	数据中转	连接Agent与训练系统的关键桥梁

3.2 Proxy Worker：核心中间层

Proxy Worker是连接分布式Agent运行时和RL训练系统的关键组件。它提供标准的OpenAI/Anthropic API协议服务，在推理时捕获token级信息：

“代理网关（Proxy Gateway）提供 OpenAI/Anthropic API 协议服务，在推理时捕获 Token 级信息，避免因 tokenizer 配置差异导致的序列不一致问题。”

Proxy Worker的核心功能包括：

数据接收与缓冲：接收来自多个Agent的原始交互数据
计算卸载：执行不依赖于最新模型参数的计算（如奖励计算、GAE估计）
数据格式化：将数据转换为Learner需要的标准格式
流量平滑：防止因Agent交互速度波动导致训练端的数据饥饿或积压

3.3 Staleness-Enhanced PPO

异步架构的一个固有挑战是数据陈旧度（staleness）——当训练使用的样本与当前模型版本差距过大时，可能导致训练不稳定。AReaL采用了增强的陈旧度感知PPO变体来解决这一问题：

“AReaL controls data staleness by balancing the workload of rollout and training workers and incorporates staleness-enhanced PPO variant to better handle stale training samples.”

具体方法包括：

动态平衡生成和训练Worker的工作负载
对PPO的裁剪目标进行调整以容忍略有过时的训练样本
引入重要性采样修正用于Off-policy数据

3.4 Trie前缀树序列打包

AReaL引入了创新的Trie（前缀树）序列打包技术，解决多轨迹共享前缀的冗余计算问题：

“Trie（前缀树）序列打包解决多轨迹共享前缀的冗余计算问题，单 Worker 训练吞吐最高提升 8.31x，显存占用减少超 50%。”

在Agent交互场景中，同一对话的多次推理响应往往共享大量的系统提示和对话历史前缀。Trie打包将这些共享前缀合并，避免重复计算，极大提升了训练效率。

四、Archon训练引擎：从零实现的PyTorch原生引擎

AReaL内置了原生训练引擎Archon，这是基于PyTorch从零实现的高性能分布式训练引擎：

“原生训练引擎 Archon，基于 PyTorch 原生能力实现完整的 5D 并行（数据并行、流水线并行、张量并行、上下文并行、专家并行），降低了安装与调试门槛。”

5D并行支持的完整矩阵：

并行维度	说明
数据并行（DP）	多卡分割数据批次
流水线并行（PP）	模型层间切分
张量并行（TP）	单层内的矩阵切分
上下文并行（CP）	长序列的并行处理
专家并行（EP）	MoE模型的专家分布

Archon能够训练千亿参数MoE模型。令人惊叹的是，这套复杂的分布式系统仅用1人·月（32天）的开发周期即从零实现到验证正确性，累计修改近百万行代码。这得益于AReaL集成的AI辅助开发体系：

“AReaL 集成了全套 AI 辅助开发流程，覆盖从规划、编码、校验到 PR 创建的全链路。在处理 MoE 并行、内存优化等核心模块时，AI 编程助手能提供专家级指导。“

五、支持的算法与模型生态

5.1 RL算法矩阵

AReaL支持多种主流RL算法，所有算法均可在异步/同步模式间切换：

算法	适用场景
PPO	经典近端策略优化
GRPO	数学推理优化
GSPO	通用智能体优化
DAPO	分解异步策略优化
LitePPO	轻量级训练场景

5.2 模型与后端支持

模型家族: Qwen2/3（含MoE版本）、Qwen2.5-VL/Qwen3-VL（多模态）、Gemma 3及其他Hugging Face LLM
训练后端: Megatron, PyTorch FSDP, PyTorch Archon
推理后端: vLLM, SGLang

5.3 应用场景覆盖

数学推理: GSM8K、多轮对话奖励折扣、Countdown自定义奖励
代码推理: HumanEval、LiveCodeBench、SWE-Bench
Agent RL: 客服智能体（Tau2-Bench）、搜索智能体、多轮工具调用
视觉语言: Geometry3K、CLEVR Count等7万视觉推理任务

六、实验结果

6.1 训练效率提升

“Extensive experiments on math and code reasoning benchmarks show that AReaL achieves up to 2.77x training speedup compared to synchronous systems using the same number of GPUs, with comparable or improved final performance.”

关键数据：

相比同步系统（相同GPU数量），训练加速最高达 2.77倍
最终模型性能持平或优于同步训练
Trie序列打包使单Worker训练吞吐提升 8.31倍，显存占用减少超 50%

6.2 推理基准表现

在数学推理（MATH、GSM8K、AMC、AIME）和代码推理（HumanEval、LiveCodeBench）等基准测试上，AReaL训练的模型均取得了具竞争力的表现，证明了异步训练在不损失模型能力的前提下能大幅降低时间成本。

七、OpenClaw训练实战示例

AReaL仓库中提供了完整的OpenClaw训练示例（examples/openclaw），使用ZeroClaw（一个基于Rust的轻量级OpenClaw替代品）作为Agent运行时。

7.1 硬件要求

至少2张NVIDIA GPU（计算能力8.0+，即Ampere/Hopper架构）
网络可达的Agent运行时机器

7.2 核心操作流程

Step 1: 启动RL服务

uv run python3 examples/openclaw/train.py \
  --config examples/openclaw/config.yaml \
  experiment_name=my-exp trial_name=trial-0 \
  allocation_mode=sglang:d1+fsdp:d1 \
  actor.path=Qwen/Qwen3-0.6B \
  scheduler.type=local \
  rollout.openai.admin_api_key=<admin-api-key>

Step 2: 初始化会话

python start_session.py http://<gateway> --admin-key <admin_key>

Step 3: 与Agent正常交互

zeroclaw channel start

“所有的 LLM 调用都会通过代理网关进行记录。”

Step 4: 分配奖励

python set_reward.py http://<gateway> \
  --api-key sk-sess-xxxxxxxxxxxx \
  --reward 1.0

Step 5: 刷新会话（触发训练）

再次调用start_session.py，系统自动结束旧会话、导出轨迹数据、开始新会话。当数据量达到train_dataset.batch_size时，AReaL自动执行训练并更新权重。

7.3 安全注意事项

“RL-finetuned models may exhibit unexpected behaviors. Please ensure strict permission rules and an isolated execution environment for your agent runtime.”

这一警告非常重要——经过RL微调的模型可能出现不可预测的行为，因此必须在隔离环境中运行Agent。

八、关键技术点总结与评价

8.1 创新点

训推完全解耦: 这是最核心的架构创新。通过Proxy Worker中间层，任何遵循OpenAI/Anthropic API协议的Agent都可以零改造接入RL训练，真正实现了”Train Any Agent”。
异步训练稳定性: Staleness-Enhanced PPO解决了异步系统的固有挑战，在保持训练稳定性的同时获得了显著的效率提升。
Trie序列打包: 针对Agent交互场景中大量共享前缀的特点，8.31倍的吞吐提升和50%的显存节省是非常显著的。
AI辅助工程化: 32天1人·月完成近百万行代码的Archon引擎，展示了AI辅助开发在复杂分布式系统工程中的巨大潜力。

8.2 局限性

奖励设计的挑战: 当前方案依赖用户手动打分（标量奖励），对于复杂的多步骤Agent任务，如何设计有效的自动奖励函数仍是开放问题。
硬件门槛: 最低2张A100级别GPU的要求，对个人开发者来说仍有较高门槛。
安全风险: 正如官方警告所述，RL微调后的模型行为不可预测，在Agent有系统级权限的场景下（如OpenClaw可操作文件系统和终端），这一风险被放大。
评估体系缺失: 对于”边用边训”场景下Agent能力的持续评估和回滚机制，目前缺乏系统性方案。

8.3 对行业的影响

“AReaL v1.0 的发布为行业带来了积极的信号：一个开箱即用的 Agentic RL 训练底座已经成形。”

这一方案标志着Agent从”固定能力”向”持续进化”的范式转变。当Agent可以在真实使用中从用户反馈持续学习时，“一人公司”的概念将变得更加现实——你的AI助手会越来越懂你，越来越擅长处理你的特定工作流。

九、与相关工作对比

维度	AReaL (OpenClaw-RL)	Agent Lightning	传统RLHF
架构	全异步训推解耦	分层RL解耦	同步交替训推
Agent兼容性	零代码接入任意Agent	支持LangChain/AutoGen等	需深度定制
训练效率	2.77x加速	未公开具体数据	基线
奖励来源	用户打分/自动奖励	环境反馈	人类偏好标注
部署方式	修改API地址即可	需代码集成	离线训练
适用模型	Qwen/Gemma/通用HF模型	通用LLM	通用LLM