三家公司同时验证了同一套 Agentic RL 训练方法

三家完全不同的公司——做多模态的 Moonshot AI、做代码编辑器的 Cursor、做向量数据库的 Chroma——在同一个月各自发布了自己的 agentic 模型训练报告。读完会发现，他们用的核心方法惊人地相似。

这不是巧合。这是一个领域正在收敛到某个正确答案的信号。

四个共同模式

Philipp Schmid 在他的博客 How Kimi, Cursor, and Chroma Train Agentic Models with RL 里把三份技术报告并排分析。相同之处有四点：

1. 不从头训练，从强 base 出发

• Kimi K2.5：扩展自 Kimi K2，加入多模态预训练
• Cursor Composer 2：直接从 Kimi K2.5（1T 参数 / 32B active MoE）出发
• Chroma Context-1：从 gpt-oss-20B 出发

没有一家是 RL from scratch，全是”站在巨人肩膀上”。

2. 在 production 环境里跑 RL rollout

这是最关键的一点：每家团队都在和生产环境完全一致的工具、prompt、执行环境里生成训练轨迹。不是模拟环境，不是简化任务。真正的 production harness。

3. Outcome-based 奖励

没有密集的 step-by-step 奖励，只看最终结果有没有达成。对于无法用程序验证的开放任务，三家都用了 Generative Reward Model（GRM）。

4. 异步大规模并行 rollout

Agent 轨迹生成成本很高，每家都投入了专门的基础设施来并行生成大量轨迹。不是串行采样，是工业规模的异步 rollout。

各自的创新点

共同框架之外，三家有各自独特的贡献：

Kimi K2.5 的 Agent Swarm

最有新意的设计。模型通过 RL 学会自动分解任务，派生并行子 agent。关键设计：Orchestrator（可训练）负责协调，Sub-agents（冻结）负责执行。这个冻结 + 可训练的拆分解决了 credit assignment 问题——最终答案对不对，只归因于 Orchestrator 的决策质量，而不是子 agent 运气。

训练用了专门的 PARL Reward，包含三个分量：任务成功奖励、并行化奖励（防止 serial collapse）、完成奖励（防止 spurious parallelism）。两个辅助奖励系数随训练退火，最终只优化任务成功率。效果：推理延迟降低最多 4.5×。

Cursor Composer 2 的 Self-Summarization

解决了长编程会话的 context 压缩问题：模型学会主动压缩已完成阶段的上下文，为后续推理腾出空间。还直接从生产流量里运行实时 RL——真实用户在用的时候产生的轨迹直接进训练。

Chroma Context-1 的 Self-Editing Context

教会模型主动修剪检索回来的文档：看完发现没用，就把它丢掉，腾出空间搜更多。这不是 RAG pipeline 的外部后处理，而是模型内化的行为。

这个模式为什么正在成为标准？

换个角度想：如果你要训练一个 coding agent，你希望它在什么环境下学会写代码？当然是真实的代码执行环境，真实的报错，真实的单测。

supervised fine-tuning 教的是”专家演示长什么样”，RL 教的是”什么行为能真正解决问题”。对于 agentic 任务——需要多步骤、工具调用、纠错——RL 天然更匹配。

问题一直是成本：agent rollout 极其昂贵。但上述三家都解决了这个工程问题，用异步并行基础设施让大规模 RL 变得可行。

“All three use reinforcement learning with similar methodology: start from a strong base model, train inside the production harness, use outcome-based rewards, and run asynchronous large-scale rollouts.” — Philipp Schmid，How Kimi, Cursor, and Chroma Train Agentic Models with RL

这套方法论的意义在于：它不是大实验室独有的秘方，而是可以被任何有足够数据和工程能力的团队复制的范式。下一个问题是：谁能把这套流程进一步降低门槛，让更多团队用上？