三家公司用 RL 训练 Agentic 模型，但方向各不相同

Kimi K2.5 学会协调并行 Agent、Cursor Composer 2 在生产流量上实时训练、Chroma Context-1 教模型主动裁剪上下文——相同的 RL 方法论，三个不同的核心问题

技术前沿 强化学习 Agentic AI RL训练 Kimi Cursor 多智能体

三家公司用 RL 训练 Agentic 模型，但方向各不相同

如果 2024 年是 instruction-following 的年份，2025-2026 年是 RL 用于 agent 训练的年份。Moonshot AI、Cursor、Chroma 在相近的时间窗口里各自发布了技术报告，描述了用强化学习解决 agentic 场景核心问题的三条路径。Philipp Schmid（Google DeepMind）在三月底整理了一篇详细的技术拆解，值得仔细读。

三个系统的共同点先列出来：

  1. 都从强基座出发，不从零训练。Kimi K2.5 在 Kimi K2 上扩展，Cursor 的 Composer 2 以 Kimi K2.5 为起点，Chroma 从 gpt-oss-20B 出发
  2. 在生产环境（production harness）里运行 RL rollout，而不是合成的评测环境
  3. 使用可验证的 outcome-based reward，以及 Generative Reward Model（GRM）处理开放性任务
  4. 大规模并行生成 trajectory，RL 的 infrastructure 成本是关键约束

但三者解决的核心问题截然不同。

Kimi K2.5 的核心贡献：让模型学会何时并行

大多数 agent 系统的执行路径是串行的：思考 → 工具调用 → 观察 → 思考。Kimi K2.5 的 Agent Swarm 框架通过 RL 让模型学会主动决定何时分解任务、启动多个并行子 agent。

关键设计是 PARL（Parallel-Agent Reinforcement Learning）：Orchestrator（可训练）负责任务分解和协调，Sub-agents（参数冻结）负责执行。冻结 sub-agent 解决了一个微妙的信用分配问题——如果两者都在训练，正确的最终结果无法区分是 orchestrator 分解得好还是 sub-agent 碰巧做对了。

Reward 设计也值得注意：除了任务成功信号，还有两个辅助 reward——奖励并发的 r_parallel 和奖励完成的 r_finish，前者防止”串行崩塌”（模型懒得并行），后者防止”虚假并发”（模型乱开 agent 刷 r_parallel）。这两个辅助 reward 在训练后期会被退火到零，最终只保留纯性能信号。

效果：并行任务的推理延迟降低最多 4.5x。

Cursor Composer 2：在真实用户流量上实时做 RL

Cursor 的问题更偏工程：长编程 session 的上下文管理。当你和 AI 结对编程几个小时，如何让 agent 记住相关历史而不被噪音淹没？

Composer 2 的解法是教模型自我总结（self-summarization）：在 session 进行中，模型周期性地把已有对话压缩成关键摘要，替换掉原始历史。总结的质量直接影响后续任务质量，所以可以用 outcome reward 来训练它。

更有意思的是训练数据来源：Cursor 直接用生产用户流量进行实时 RL 训练。这需要非常强的 safety constraint（不能把 bug 引入生产代码），但收益是训练分布完全对齐真实场景。

Chroma Context-1：主动管理检索上下文

Chroma 的问题是 RAG 场景下的上下文利用率。标准 RAG 会把检索回来的文档全部塞给模型，但大量内容是冗余的——不仅消耗 context window，还可能干扰推理。

Context-1 通过 RL 训练模型主动裁剪检索到的文档：对每个检索结果，模型决定保留哪部分、压缩哪部分、直接丢弃哪部分，从而为后续搜索轮次腾出空间。这把 context management 从一个工程 trick 变成了模型能力。

“Each team runs RL rollouts through the same tools, prompts, and execution environments that their model encounters in production.” — Philipp Schmid，How Kimi, Cursor, and Chroma Train Agentic Models with RL

这三个方向代表了 Agentic AI 的三个核心瓶颈：任务分解效率（Kimi）、长 session 上下文管理（Cursor）、检索噪音（Chroma）。

有意思的是，这三个问题在 2023-2024 年都是用 prompt engineering 和 RAG 优化来解决的——加更好的 system prompt、调整 chunk size、做重排序。现在的方向是把这些能力直接训进模型参数里，用 RL 的端到端优化代替人工规则的层层叠叠。

这对预训练数据的含义是：要训出好的 agentic 模型，不再只需要高质量文本语料，还需要高质量的 trajectory 数据——真实的 agent 执行过程、工具调用序列、失败和修正的轨迹。这些数据的获取和筛选，正在成为新的数据工程挑战。