Agentic RL 训练的三个收敛点：Kimi、Cursor、Chroma 在做同一件事

三家工程团队用不同场景、不同模型，独立走向了几乎相同的 RL 训练范式：强基座 + 生产环境 rollout + 结果奖励。这不是巧合，是一个正在收敛的工程方向。

工程实践 强化学习 Agentic AI Kimi K2.5 Cursor Composer Chroma Context PARL 实时RL

Agentic RL 训练的三个收敛点：Kimi、Cursor、Chroma 在做同一件事

最近三份工程报告同时出现：Moonshot AI 的 Kimi K2.5 论文、Cursor 的 Composer 2 技术报告、Chroma 的 Context-1 writeup。三个不同的公司，三个不同的应用场景（多模态代理、代码编写、RAG 上下文管理），但它们的训练方法收敛到了几乎一样的地方。

Philipp Schmid（Google DeepMind）在 3 月底整理分析了这三份报告，核心结论是：这不是三个独立的 RL 实验，而是一个新范式的三个实例化。

三个共同要素

1. 从强基座开始，不从头训

没有一家从零开始。Kimi K2.5 从 Kimi K2（含多模态预训练）开始；Cursor Composer 2 从 Kimi K2.5（1T 参数/32B active 的 MoE）开始；Chroma Context-1 从 gpt-oss-20B 开始。

这个选择不只是节省计算资源。强基座意味着模型已经具备基本能力，RL 的工作是精炼协调策略，而不是教会基础知识。从弱基座出发，RL 很容易陷入局部最优。

2. 在生产环境的真实工具链里做 rollout

三家都在自己的生产工具链中跑 RL rollout——Kimi 在多模态 agent 框架里，Cursor 在真实的 IDE 代码执行环境里，Chroma 在 RAG 检索管道里。

这和在模拟器里训练完全不同。生产环境里的工具失败、格式错误、上下文截断都是真实存在的噪声，模型必须学会在这些条件下稳定工作。Cursor 甚至走得更远，引入了实时 RL（Real-time RL）：直接从真实用户的生产推理 token 里抽取训练信号，省去了专门的 rollout 步骤。

3. 结果奖励 + Generative Reward Model（GRM）处理开放任务

三家都用可验证的结果信号作为主要奖励（代码能否通过测试、攻击任务是否成功、检索质量是否提升），并用 GRM（生成式奖励模型）处理那些没有明确答案的开放任务（风格、体验、遵循规范）。

GRM 让 RL 从”有标准答案的问题”扩展到了”没有标准答案但有可评判偏好的问题”——这对 Agent 场景尤其关键，因为真实 Agent 任务通常不是考试题。

Kimi 的特殊之处：PARL 和 Agent Swarm

Kimi K2.5 有一个在另外两家没有的设计：PARL（Parallel-Agent Reinforcement Learning）和 Agent Swarm。

大多数 Agent 系统是串行执行的：think → tool call → observe → think → tool call。PARL 打破了这个模式，训练模型在协调者（Orchestrator）角色里动态决定何时拆分子任务、派给哪些子 Agent 并行执行。

关键设计：协调者可训练，子 Agent 冻结。

这个解耦解决了信用分配问题：如果一起优化，正确答案可能来自协调者分解得好，也可能来自某个子 Agent 碰运气。冻结子 Agent 并把它们的输出当作环境观测，就能精确优化协调逻辑本身。

PARL 的奖励由三部分构成：

  • r_perf：任务是否成功（主信号）
  • r_parallel：防止”串行坍塌”（模型懒得拆分任务，全自己做）
  • r_finish：防止”虚假并行”（拆很多 Agent 但都没实质性工作）

后两个辅助奖励在训练过程中逐步退火到零，最终策略只优化任务成功率。这是一个精心设计的课程学习结构。

Cursor 的特殊之处：实时 RL

Cursor Composer 2 有另一个值得单独说的创新：不只是训后部署，而是边部署边训练。实时 RL 从生产流量里直接提取训练信号——用户真实在用，模型真实在更新。

这个方向的含义很大：部署即训练，流量即数据集。一个拥有大量用户的产品，其 RL 训练数据飞轮比没有用户的学术团队快得多。

Chroma 的特殊之处：学会主动管理上下文

Context-1 解决的问题更聚焦：教模型在检索过程中主动删掉不相关的已检索文档，腾出上下文空间继续检索。

这听起来像是 RAG 的工程优化，但它背后的思想转变是：上下文是有成本的资源，模型应该学会主动管理，而不是被动接收。 这对 Agent 长期任务（需要多轮检索）来说是关键能力。

为什么这三个收敛点值得记录

这三份报告不是在争论”RL 是否 work”，而是在工程层面告诉你 RL how work。三个方向：

  1. 并行化协调（Kimi）：从 Agent 协议层训练调度能力
  2. 生产流量反馈（Cursor）：让真实用户变成训练数据来源
  3. 上下文主动管理（Chroma）：让模型学会资源意识

这三件事很可能都会成为下一代 Agentic 模型的标配。现在还是每家独立实现，18 个月后可能是”当然要这样”。