Kimi、Cursor、Chroma 的共同选择：在生产环境里跑 RL

最近几周内，三家公司不约而同地公开了他们训练 agentic 模型的技术报告：Moonshot AI 的 Kimi K2.5、Cursor 的 Composer 2 和 Chroma 的 Context-1。

Philipp Schmid 在他的博客里把这三篇一起读了。共同的结论：agentic RL 已经从实验室走向工程实践，且有一套正在形成的范式。

三家共同的方法论

这三家公司背景、产品方向各不相同，但训练方法高度一致：

1. 从强基础模型出发，不从头训练

• Kimi K2.5：在 Kimi K2（1T 参数 / 32B active MoE）上做多模态预训练扩展
• Cursor Composer 2：以 Kimi K2.5 为基础继续训练
• Chroma Context-1：从 gpt-oss-20B 出发

2. 在生产环境里跑 RL rollout 这是最关键的共同点。三家都不是在模拟环境中做训练，而是把真实的工具、真实的 prompt 和真实的执行环境直接用作训练环境。模型在 production harness 里采样轨迹，用真实任务的成败来计算 reward。

“Each team runs RL rollouts through the same tools, prompts, and execution environments that their model encounters in production.” — Philipp Schmid, philschmid.de

3. Outcome-based rewards 不奖励过程，只看结果。此外三家都在用 Generative Reward Model (GRM) 来处理开放性任务——对于无法用规则判断对错的任务（如代码风格、文档质量），用另一个模型来打分。

4. 异步、大规模 rollout 基础设施 Agent 轨迹比单步推理长得多，三家都为此专门建了大规模异步 rollout 系统。

三家各自解决的问题

共同方法之外，每家针对的具体问题不同：

Kimi K2.5：解决并行 agent 协调的信用分配问题。用 PARL（Parallel-Agent Reinforcement Learning）框架，只训练 orchestrator（协调者），冻结 sub-agents——避免了”最终答案对了，但不知道是谁的功劳”的 credit assignment 难题。为了防止 orchestrator 摸鱼（只用单个 agent 就解决任务），专门加了 parallelism reward；但为了防止滥用（spawn 一堆无意义的 sub-agent），又加了 finish reward，并在训练后期把辅助 reward 退火到零。

Cursor Composer 2：解决长代码会话的 context 管理问题。用 self-summarization 在会话中途压缩上下文，保留关键信息；同时从 production traffic 里做 real-time RL——用户实际的使用行为就是训练数据。

Chroma Context-1：解决 RAG 里的 context 主动管理问题。让模型学会自己剪掉不相关的检索结果，腾出空间继续搜索。这个 self-editing context 能力完全通过 RL 获得，不是手工规则。

这意味着什么

几个月前，“agentic RL”还是学术论文里的词。现在它已经是 Cursor、Moonshot 这类产品公司的工程实践。这个速度比预期快。

更重要的是范式的统一：production harness training 正在成为 agentic 模型训练的标准路径。模型不再在真空中学习”怎样使用工具”，而是直接在真实工具、真实任务、真实失败里学习。这本质上是把 deployment 和 training 的边界模糊化了。

下一个问题是：当 production traffic 本身是由 AI 生成的（AI 用 AI 建的工具），这个闭环会走向哪里？