告别「训完即冻结」：2026年7月，AI Agent 训练长出三根支柱

一、一个被忽视的根本矛盾

2026年已经过半。AI Agent 从年初的”能做点什么”进化到了”能代替初级工程师干活”——Claude Code 编写了 Anthropic 80% 的代码，GPT-5.6 的 Solar System 把子代理编排做成了商用产品，GLM-5.2 在 SWE-bench Pro 上跑到 62.1%。但仔细看这些 Agent 的部署模式，会发现一个扎心的事实：

它们都是「训完即冻结」的。

一个 Agent 上线后，它的权重、系统提示、工具列表、上下文 Harness 全都固定了。模型在真实环境中每天处理数千条请求，积累的海量交互轨迹全当日志扔掉了——而这些恰恰是让 Agent 变聪明的最宝贵素材。

这个矛盾不是没人看到。今年6月我们讨论过自进化 Agent 的架构蓝图（Autogenesis Protocol、EvolveR、RWML、LEMON），但那些工作更多是在算法层面论证”Agent 可以自进化”。真正的问题是：缺少一套能让 Agent 在生产环境中持续进化的工程基础设施。

2026年7月，答案开始浮出水面。

二、两周、三篇论文、一套完整栈

7月的前两周，三篇来自清华大学及相关团队的论文密集发布，恰好构成了 Agent 自进化训练的三个工程支柱。这不是巧合——这些工作共享核心作者网络（唐杰、东昱晓等横跨多篇），反映的是同一个研究社区对 Agent RL 瓶颈的系统性攻关。

支柱一：基础设施 — AReaL 2.0

论文：Next-Generation Agentic Reinforcement Learning Systems Enable Self-Evolving Agents
arXiv：2607.01120 | 团队：蚂蚁集团 + 清华大学 + 香港科技大学
GitHub：github.com/areal-project/AReaL（Apache 2.0，已加入 PyTorch Foundation Ecosystem）

AReaL 2.0 解决的是一个前置问题：真实工作流里发生的一切，如何被转化为可学习、可治理、可回放的经验？

答案是一套三件套架构：

Agent Trajectory Data Protocol (ATDP)：将 Agent 轨迹标准化为六元组 ⟨观察, 内部状态, 动作, 结果, 奖励, 元数据⟩。与传统日志不同，ATDP 以步骤为单位记录了完整的决策上下文——模型版本、工具版本、租户、权限、成本——使得系统可以回答”到底是哪次检索、哪个工具调用导致了这次失败”。

Agentic Data Proxy：解决”在真实生产系统中如何记录”的企业级数据代理。Agent 可能接触代码、客户信息和内部系统，训练链路必须考虑权限控制、数据脱敏、隔离和审计。Data Proxy 在安全边界内将真实任务数据引入训练流程。

Agent Evolution Control Plane：将原本服务于 Rollout 和训练的计算单元重组为可部署、可接入、可替换的 Agent-compute 微服务组件。只要将 Agent 的 LLM 推理后端切换到 AReaL 2.0 管理的入口，就能在尽量少改动原有规划、工具调用、沙箱和记忆模块的前提下，把真实交互流引入在线 RL 闭环。

AReaL 2.0 的核心洞察是：自演进 Agent 的关键瓶颈不是模型有多强，也不是 RL 算法是否先进，而是缺少一套能服务真实 Agent 的在线 RL 基础设施。蚂蚁集团已经在内部生产环境中验证了这套架构，社区方面华为云和 MindLab 也已接入。

支柱二：算法 — SAO

论文：Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning
arXiv：2607.07508 | 团队：清华大学 KEG 实验室 + Z.AI（侯振宇、李宇江、唐杰、东昱晓）

如果说 AReaL 2.0 解决了”怎么收集数据”，SAO 解决的就是”怎么高效训练”。

当前 Agent RL 训练的标准做法是 GRPO（Group Relative Policy Optimization）：对每个问题同时生成一组回答（通常是 8 个），比较组内优劣来决定如何更新。这在短回答任务中工作良好，但在长程 Agent 任务中有一个致命缺陷：一个 Coding 任务 3 步完成，旁边那个跑了 40 步还在调工具——整个批次必须等最慢的那个 Rollout 结束才能更新，GPU 大量空转。

更根本的冲突在于：GRPO 的”组采样”本质上是同步的——它需要等一组回答都生成完才能计算相对优势。而异步训练要求”来一个训一个”。把组采样塞进异步框架要么回到同步等最慢的，要么组内各回答来自不同时间点的策略，导致严重的离策略偏差（off-policy drift）。

SAO 的解法直接而激进：扔掉组，每次只用一个 Rollout。

听起来简单，实施起来需要同时解决三个难题：

1. 离策略偏差：用直接双边重要性采样（DIS），只使用 Rollout 阶段记录的 token 对数概率计算重要性采样比，超出设定区间的 token 不参与梯度更新。
2. 梯度方差：单 Rollout 训练梯度方差更高。SAO 将价值模型更新频率设为策略模型的 2 倍，冻结注意力模块只优化 MoE 投影层，并在多轮轨迹中跳过环境观测 token 只传播动作间的优势信号。
3. 训练稳定性：引入严格的双侧 token 级裁剪策略——这是 SAO 能稳定训练 1000+ 步的关键。相比之下，GRPO 变体在约 160 步时开始发散。

结果如下：

更关键的验证来自工程实践：SAO 已被部署到 GLM-5.2（750B-A40B）的完整训练管线中。这不是一次性实验，而是生产级规模的验证。Z.AI 的 slime 框架将 Rollout、奖励计算、策略更新解耦为异步流水线，SAO 是其中的算法核心。

SAO 的一个坦诚之处在于：它没有试图发明全新的 RL 算法，而是证明了在 LLM 后训练场景下，经典 PPO 风格的 Critic 加上现代工程手段，可以比纯 on-policy 的组采样方法更适合异步 Agent 训练。对正在维护 Agent RL 训练管线的工程师来说，这是一个经过生产验证的 GRPO 替代路径。

支柱三：监督信号 — SEED

论文：SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning
arXiv：2607.14777 | 团队：清华大学 + 浙江大学 + 港中文 + 南洋理工 + 同济大学（吴金阳、杨硕、卢正熙、张帆、沈宇豪、冯朗、罗浩然、连政、张帅、温正棋、陶建华）
GitHub：github.com/jinyangwu/SEED

如果说 SAO 解决了”怎么训得快”，SEED 解决的就是”训什么”。

在长程 Agent RL 中有一个被长期忽视的结构性缺陷——监督缺口（supervision gap）。基于结果的 RL 只能判断任务成败（轨迹级稀疏奖励），但无法指出哪些中间观察、动作或工具调用应该被强化。失败轨迹可能包含有用行为，成功轨迹也可能包含可复用策略，但稀疏奖励对此一无所知。

这就像是给你一份 20 页的论文只打一个总分，没有批改痕迹——你知道不及格，但不知道为什么。

SEED 的做法精巧且自洽：

阶段一：后见技能监督微调。收集基础策略的交互轨迹，由外部分析器将完整轨迹总结为”后见技能”（hindsight skills）——成功轨迹对应可复用策略或工作流，失败轨迹对应纠正或规避规则。然后微调模型使其同时具备行动和轨迹分析能力。

阶段二：自进化同策略蒸馏。在 RL 过程中，当前策略模型扮演双重角色：既采样任务轨迹，也作为分析器从这些轨迹中提取后见技能。然后 SEED 比较模型在有无后见技能时对同一批动作的判断变化，将这个差异转化为密集的 token 级同策略蒸馏（OPD）信号，与 GRPO 联合优化。

这里有一个巧妙的设计：每次策略更新后，分析器也被刷新为最新策略。这意味着决策能力和事后分析能力同步进化——当策略遇到新的失败模式时，分析器也能识别并从中提取教训。这正是”自进化”的核心：不是从静态教师那里蒸馏，而是让策略自己做自己的老师，且老师跟着学生一起进步。

SEED 在推理时完全不需要分析器、技能库或额外提示——所有后见知识已被内化到策略权重中。在 ALFWorld、SearchQA 和 WebShop 等文本和视觉 Agent 任务上，SEED 持续超越 GRPO 基线，并展现出对未见场景的鲁棒泛化。

三、从训练栈到部署栈：Anthropic CMA 的平台进化

如果把 AReaL 2.0 + SAO + SEED 看作 Agent 的”训练操作系统”，那么 Anthropic 的 CMA（Claude Managed Agents）就是 Agent 的”部署操作系统”。两组工作在7月的时间线上形成了一种有趣的对称。

7月22日，Anthropic 对 CMA 进行了六项更新，最值得注意的是三项：

思考力度五档调速：effort 参数从 session 级统一设置下沉到每个 agent 可独立配置，五档可选（low / medium / high / xhigh / max）。这解决了一个现实的成本问题——“问今天几号”和”审计500页财报”用同一套推理深度纯粹在烧 token。在多 Agent 系统中，分流协调器用 low，产品答疑用 medium，投诉升级用 high，法律合规用 max——同一个 session 里按任务难度动态分配算力。

子 Agent 实时流下探到线程级：此前子 Agent 是黑盒，跑偏了还是卡死了只能等超时。现在可以订阅每个子 Agent 的独立线程流，实时看到它在想什么、写什么。这对于生产环境中的 Agent 可观测性至关重要。

7 种新 Webhook 覆盖环境和记忆存储全生命周期：环境创建/暂停/销毁、记忆存储更新——全部事件驱动，轮询可以退环境了。

值得注意的是，CMA 的技能上限 500 并非7月22日的新功能，而是平台的既有能力——但这个数字本身揭示了一个趋势：单个 Agent Session 已经能承载整个业务部门的知识库。从20到500的跃迁发生在此前的迭代中，而7月22日的更新则是让管理这些规模化 Agent 所需的控制平面（可观测性、事件驱动、细粒度成本控制）走向成熟。

Anthropic 的路线图很清楚：OpenAI 赌入口（ChatGPT 超级应用），Google 赌基础设施（GCP + TPU），而 Anthropic 赌的是 Agent 操作系统的深度——托管沙盒 + 全栈 Agent 控制 + 思考力度调速，让 Agent 从”能跑”变成”能运维”。

四、三根支柱之间的张力

把这三篇论文和 CMA 更新放在一起看，会发现一个微妙的张力。

AReaL 2.0 和 SAO 偏向开放生态：开源、社区驱动、PyTorch Foundation、多框架兼容。它们的目标是成为 Agent RL 的”PyTorch 时刻”——让任何团队都能搭建自己的自演进 Agent 管线。

而 CMA 偏向垂直整合：从模型到沙箱到编排到可观测性全栈自研。它的目标是成为 Agent 的”iOS”——深度整合带来的体验优势，代价是锁定。

这种张力在2026年7月同时出现并非偶然。它标志着 Agent 训练已从学术探索期进入工程落地期——而这个阶段必然伴随着开放与封闭、标准化与垂直整合的路线之争。就像当年深度学习框架的 TensorFlow vs PyTorch 之争，最终胜出的不一定是技术最先进的，而是生态最活跃的。

对中国 AI 产业来说，AReaL 2.0 + SAO + SEED 这套”清华系”技术栈的密集出现还有一个隐含信号：Agent RL 训练的工程能力正在从少数头部实验室扩散到更广泛的产学研社区。当 SAO 能稳定训练 1000 步并部署到 750B 参数模型的生产管线时，“Agent 自进化”就不再是论文里的未来愿景，而是可以复现和迭代的工程实践。

五、未来展望：拼图还差哪几块？

三根支柱搭起了 Agent 自进化的骨架，但要让一个 Agent 真正在生产环境中持续变强，还有几个未解决的问题：

评估自动化：在线 RL 的前提是你知道什么是”好”。目前大多数 Agent 评估依赖人工标注或静态基准——这本身就是瓶颈。AReaL 2.0 在路线图中提到了自动化评估，但这仍是一个开放问题。

安全边界：当 Agent 在线持续学习时，如何防止它学到不应该学的行为？CMA 的安全路由（Fable/Mythos 双生模型）给出了一个方向，但那是 inference-time 的方案。训练时的安全约束机制还远未成熟。

多模态 Agent 训练：SEED 在视觉 Agent 任务上展示了初步效果，AReaL 2.0 的多模态路线图也在规划中，但将自进化 RL 扩展到需要视觉理解、屏幕操作的多模态 Agent 仍是一个开放的工程挑战。

遗忘与记忆管理：在线持续学习面临的一个经典问题是灾难性遗忘——Agent 学会新任务后忘记了旧能力。目前三篇论文都没有系统地解决这个问题。

成本核算：SAO 需要训练和维护额外的价值模型，显存和算力开销比 GRPO 更大。对于短轨迹、低方差的标准任务，GRPO 仍然高效且足够——这意味着 Agent RL 训练栈可能最终会是一套混合方案，ROI 的考量将决定在什么场景下用哪套工具。

六、结论

2026年7月很可能被记住为 Agent 训练范式的一个转折点。不是因为有某篇颠覆性的论文——SAO 没有发明新算法，SEED 的核心思想（hindsight learning + distillation）在 RL 领域早有前身，AReaL 2.0 本质上是工程系统创新而非理论突破。

但恰恰是这种”没有革命、只有补课”的性质，才是这个月真正的价值所在。

Agent 自进化不再是一个”需要证明可行”的学术命题——它已经可行了。现在的问题是工程化：如何让数据安全地从生产环境流入训练管线，如何在异步条件下保持训练稳定，如何把轨迹级的稀疏奖励转化为 token 级的密集监督。AReaL 2.0、SAO 和 SEED 各自给出了一个维度的工程答案，三者的组合构成了可落地的生产级方案。

对于正在建设 Agent 系统的团队来说，这个月的信号很明确：不要等到 Agent 出了生产事故才开始想”怎么让它变好”。从架构设计的第一天起，就要为持续进化留好数据接口和训练回路。 基础设施的搭建时机不是”等规模大了再说”——规模大了再补，代价是重新设计整个系统。

Agent 的”训完即冻结”时代正在结束。接下来的竞争，看谁先建立起从生产到训练的完整进化飞轮。

本文涉及的论文：

• AReaL 2.0: arXiv:2607.01120（蚂蚁集团/清华/港科大）
• SAO: arXiv:2607.07508（清华 KEG/Z.AI，已部署于 GLM-5.2）
• SEED: arXiv:2607.14777（清华陶建华团队，代码开源）
• Anthropic CMA 7月22日更新：参考 @ClaudeDevs 官方公告