Agent 的训练对象换了：四篇论文同周指向同一个词——状态

引言：两天之内，四篇论文换了同一个靶子

过去两年，agent 训练的默认动作是收集轨迹——更长、更多、更干净的 rollout，然后做 SFT 或 RL。9 月 23 日和 24 日，arXiv 上前后出现的四篇论文没有一篇在做这件事。它们的改动对象各不相同，却落在同一个名词上：状态。

• 9 月 23 日，中国人民大学的 AEWM（arXiv:2609.28416）提出，agent 的历史会自己污染自己，世界模型该改的是这段历史，而不是预测工具返回什么。
• 9 月 24 日，Env-Rethink（arXiv:2609.29773）提出，问题不在 agent，在环境：SOTA 模型从干净环境的 83.9% 掉到噪声环境的 57.6%。
• 同一天，Self-Play Pretraining with Zero Data（arXiv:2609.30063）把数据本身变成可优化对象：一个 generator 用 RL 出题，一个 learner 用交叉熵答题，全程零自然数据。
• 还是这天，通义千问的 Qwen-Planner-Agent（arXiv:2609.29892）把模型与 harness 的共演化写进了训练回路。

把这四件事摆在一起，会看到一个很直白的转向：agent 的能力瓶颈正从”模型会不会想”移到”状态对不对”。四条路线分别改的是脑子里的状态、脚下的环境状态、训练数据的生成状态、运行时 harness 的状态。

第一层：历史会污染，世界模型该做的是编辑

AEWM 的起点是一句反驳。现有语言世界模型的主流做法是预测环境观测——下一步工具会返回什么。论文认为这条路线走偏了：真实反馈随时可得，去重建高熵、依赖执行的工具返回价值有限，模拟反倒引入编造的证据。

那世界模型该预测什么？论文给的答案是”推理与动作如何塑造未来的任务进程”，而不是模拟工具响应。

支撑这个转向的是一个被命名为 task-state contamination 的失效机制。轨迹分析显示，agent 在陌生环境里探索时，需要基于部分观测维护假设、计划和已验证进展的判断。它们会转而把无依据的假设当成事实、在矛盾反馈下保留过期计划、把部分进展当成完成。落到具体行为上：追一个已经被否掉的搜索候选，在未经核实的代码上继续垒，或者不看终端输出就宣布成功。

AEWM 的三个组件对应三个动作：

• Action Judge：把每一步决策判为 Critical、Exploratory、Noisy 三类。
• State Revision：从同一段已观测历史出发，把被判为 Noisy 的推理—动作续接改写掉。
• EditAct：把上面两者接进真实执行，直接替换后续决策所基于的状态，而不是递一条批评意见让 agent 自己重试。

训练分两段：mid-training 用约 52B token（Search、Terminal、SWE 三域，混合原始轨迹与合成数据），SFT 用 12 万条精选样本（6 万条 Action Judge 加 6 万条 State Revision，三域各 4 万条）。

结果有三组数字值得记住。Action Judge 在自建跨域基准上拿到 70.5% 的 macro-F1，超过最强 frontier 基线 10.6 个点。EditAct 在六个基准、三个 agent backbone 上全部胜过 ReAct 以及 step 级和 trajectory 级的 Best@3：Qwen3.5-4B 平均 +6.7 分、9B +5.2 分、35B-A3B +3.2 分。把 EditAct 校正过的轨迹拿来拒绝采样微调（AEWM-RFT），在推理时不再挂 AEWM 的前提下，比 Self-RFT 高 2.2、2.6、2.5 分。

两个细节比总分更有意思。

其一，收益随基座变强而递减。4B 拿 +6.7，35B-A3B 只拿 +3.2；换成更强的 Qwen3.5-Plus，BrowseComp 从 44.1% 提到 52.7%，但 Terminal 和 SWE 的收益有限，论文自己的解释是世界模型与更强的 agent 之间存在能力差。状态编辑本质上是在补弱模型的短板，不是通用增益。

其二，消融里最刺眼的一格是 Self-WM。让推理 agent 自己当世界模型，BrowseComp 39.3%、Terminal-Bench 2.0 只有 30.7%，两项都低于 ReAct 基线（40.9%、37.1%）。换成 DeepSeek-V4-Pro 当世界模型，三项分别 47.4、45.7、46.3，也都低于完整 AEWM 的 48.1、48.3、48.9。论文由此给了一个双向结论：干预的设计和世界模型的训练两头都得做，缺一个都拿不到满分。

还有一格值得单独拎出来：Random Gate。它把学到的 Action Judge 换成随机触发，触发概率对齐 AEWM 在线预测的 Noisy 率（BrowseComp 0.648、Terminal-Bench 2.0 0.344、Doc2Repo 0.340），三个基准分别拿到 44.1、40.8、43.9。这组数字说明”多改几次”本身就值一部分分，而剩下的那部分只有学会挑该改哪一步才拿得到。同组对照里，Agent Resampling（判为 Noisy 后让 agent 自己重采样）在 BrowseComp 上只有 36.2%，比 ReAct 基线还低——给机会重试，不如直接把状态换掉。

第二层：环境本身不是 agent-ready

AEWM 改的是 agent 内部。Env-Rethink 认为，很多失败根本不该由 agent 承担。

论文列了三条现实环境的毛病：信息散落、碎片化；相关证据与误导信息、冲突版本混在一起；环境随时间演化，不断引入新噪声和更难的任务。

代价有多大？论文用一组干净/噪声对照给出答案：30 个任务上，所有配置在噪声环境下都更低，干净环境 75.1%–95.1%，噪声环境 45.1%–68.5%，平均差 26.3 个百分点。摘要里那句 83.9% → 57.6% 就来自这组对照。

噪声长什么样？30 个任务环境共 2,196 个文件，其中标准文件 192 个，噪声文件 2,004 个。噪声不是随机乱码，而是几类专门骗 agent 的形态：假终版（被真实版本链或自身内容否掉的”最终版”）、伪造权威（无记录支撑的审批或消息）、误导重定向（与权威关系或时间线冲突的指针）、被取代版本（仍具历史证据价值的旧版本成员）、范围外文件。

Env-Rethink 的解法是一个 27B 的后训练模型加两层结构：Collection Map 把相关文件组织起来，Event Log 给跨数据关系补上上下文，再配一套 tool-use hooks 在执行时把环境上下文浮出来。论文比较了两种合成模式——只用环境信息的 EGS，与额外引入任务监督的 TGS。

结果很整齐（30 个任务、1,280 条 rubric 项）：DeepSeek-V4.1-Flash 从噪声基线 64.4% 到 EGS 82.9%、TGS 87.3%；GLM-5.3-Flash 从 58.3% 到 63.6% 和 81.6%；Claude Opus 4.8 从 60.5% 到 71.3% 和 79.6%；GPT-5.6-Sol 从 62.9% 到 69.6% 和 78.2%；HY3 从 45.1% 到 46.3% 和 62.0%。五个模型上 TGS 全部优于 EGS，两者全部优于噪声基线。整体口径是九个模型、30 个任务上 rubric pass rate 提升超过 15.1%。

文件筛选那一段更值得工程团队看一眼：Env-Rethink 在 192 个标准文件里留住 160 个，放进 271 个噪声文件；Qwen3.8-27B 是留住 136 个、放进 606 个。这活的本质不是”把噪声删干净”，而是取舍——多选 24 个有用文件的代价是多带 335 个噪声文件。

第三项能力才是这篇论文真正的野心：用 virtual event histories 改变环境状态与证据关系，主动生成更难的实例，拿去喂下一轮 agent 改进。环境不再只是被测对象，它成了训练信号的生产装置。

第三层：连训练数据的生成过程都能自己优化

如果说 Env-Rethink 把环境变成了可优化对象，Self-Play Pretraining with Zero Data 走得更远——它连外部世界都不要了。

设定极简：从随机初始化出发，两个模型一起学。generator 提出程序，由一台通用图灵机解释后生成字节序列；learner 自回归预测这些字节，用标准交叉熵训练。generator 那侧用强化学习，奖励是”产出的序列处于 learner 能力前沿”，于是课程随 learner 一起演化。选通用图灵机是为了拿到一个覆盖全部可计算数据生成过程的搜索空间，尽量少带领域先验。

论文自称 proof-of-concept，主张不含糊：预训练数据的上限该由算力决定，而不是由人类知识决定。实测结果是，在多个自然数据集上，零样本 loss 随 self-play 算力呈可预测的缩放；模型还表现出上下文学习，并在训练过程中自己发现了一些可识别的数学序列。

这里必须带上论文自己写的边界，否则这条线会被读成”预训练不需要数据了”。Discussion 里作者明说：通用预训练无法恢复偶然信息——关于某个特定世界的事实，最终只能通过与那个世界的交互进入模型，所以他们并不把它看作标准预训练的替代品。

这句话恰好界定了这一层与前两层的关系：Self-Play 造得出”可计算的普遍结构”，造不出”你脚下这个环境的具体状态”。前两层改的正是后者。

第四层：harness 不是外壳，它在训练回路里

Qwen-Planner-Agent 把前面三层收进一个工程回路。论文的框架叫 AI-for-AI：数据生产、模型训练、部署通过一份共享的 action-feedback-verification contract 串起来，模型既是被开发的对象，也参与开发下一代系统。

选的场景是移动端规划——长程、反馈慢，而真机交互昂贵。三段结构分别是：数据侧的 human-gated agentic 数据飞轮，专职 agent 造任务、采轨迹、筛配数据，并把训练反馈送回下一轮生成；训练侧先用监督规划做冷启动，再做混合环境的在线 agentic RL，其中的 CARE（Competence-Aware Reward-and-Advantage Engineering）随任务成功率上升改变奖励侧重，并校准 advantage，避免细小的效率差主导学习；第三段的运行时回路驱动模型与 harness 共演化，harness 在运行时编排 memory、skills、tools，把结构化动作反馈与保留下来的失败轨迹回灌给二者的协同更新。论文特别强调，这些更新是被评审、被版本化的，不在服务时自主生效。

MobilePA-Bench 有 1,700+ 个可执行任务、200+ 个移动工具、13 个 query-task 域。Qwen-Planner-Agent 27B 拿到 77.05% 总分，在受评模型与 agent 系统里排第一，略高于 GPT-6 Astra 的 76.84% 和 Claude Opus 5 的 75.71%。

拆开看更有价值：27B 从基座 67.22% 到 Planner-Model 71.90%，再加 harness 到 77.05%；35B-A3B 从 54.90% 到 64.79% 再到 69.91%。两个尺寸上，harness 那一段分别值 5.15 和 5.12 个点，与 planner 训练那一段（4.68 和 9.89 个点）量级相当。这组数字把”harness 只是外壳”的说法直接否掉了——它与模型权重是同等量级的配置项。

CARE 的训练动态也值得一读：同样设置下，完整 CARE 的准确率与 Vanilla RL 相当，最终步输出 token 少 32.5%；去掉 advantage calibration 后输出更短，准确率却卡在更低的平台上。省下的 token 是真省，代价不是白付的。

行业影响：agent 团队的工位要重排

四条路线合起来，对做 agent 的团队有三处直接含义。

第一，世界模型的位置被重新定义了。过去它常被放进”预测下一步会发生什么”的格子，AEWM 把它挪到了”决定下一步该以什么状态开始”。这个挪动有工程后果：它不再是一个独立可评测的预测器，而是插在执行回路里的编辑算子，评测必须连着 agent 一起做——Self-WM 那两格低于基线就是这个提醒。

第二，环境准备成了一道工序。Env-Rethink 的 26.3 个百分点说明，同一个模型在干净与噪声环境之间的落差，比换一代模型还大。任何在真实业务环境里跑 agent 的团队，都该先量一遍这个落差，再决定要不要继续调模型。

第三，harness 进入训练回路，也就意味着它进入版本管理与评审。Qwen-Planner-Agent 的做法是”更新被评审、被版本化，不在服务时自主生效”，这句话值得抄进任何 agent 平台的变更规范。

未来展望

三条线各自留下明确的下一步。

AEWM 的收益递减曲线指明了一个方向：世界模型与推理 agent 的能力差一旦拉开，编辑就不管用了。要么让世界模型跟着 agent 一起变大，要么改成只在高不确定性步骤上介入——Random Gate 那三格已经给出”随便介入”的价值上限，剩下的空间就是精准定位的收益。

Env-Rethink 的 virtual event 机制把环境变成课程生成器，打开了一个此前没人认真做的方向：环境难度可以像数据配比一样被调度。难点在于避免课程过拟合——agent 变强的方式若是记熟了这类虚拟事件的套路，迁移就会打折。

Self-Play Pretraining 眼下是 proof-of-concept，真正有说服力的部分是那条可预测的缩放律。它在更大算力上若依然成立，“数据墙”的含义会被改写：墙不再是人类产出的文本总量，而是能用于自对弈的算力。作者自己划的边界（偶然信息必须来自交互）决定了它不会取代标准预训练，却会成为标准预训练之前的一段通用结构预热。

结论

一句话概括这一周：agent 训练的单位正从一条轨迹，换成一次状态转移。

AEWM 改的是 agent 记住的状态，Env-Rethink 改的是 agent 面对的状态，Self-Play Pretraining 改的是训练数据被生成时的状态，Qwen-Planner-Agent 改的是执行时承载模型的那个状态。

对行业的实际含义是：下一轮 agent 能力提升，不会来自更大的 rollout 预算，而会来自这四层里某一层被工程化地搬进你的流水线。四层的改造成本差别很大——改 harness 最便宜，加环境准备中等，训练一个自己的世界模型最贵、收益递减也最快。先量落差，再选层。

参考来源

• Agent-Editing World Model: Rethinking World Modeling for LLM Agents（arXiv:2609.28416，2026-09-23，中国人民大学）
• Breaking the Environment Wall: Evolving LLM Agent Environments for Recursive Self-Improvement（arXiv:2609.29773，2026-09-24）
• Self-Play Pretraining with Zero Data（arXiv:2609.30063，2026-09-24）
• Qwen-Planner-Agent: A Closed-Loop AI-for-AI Framework for Real-World Mobile Planner Agents（arXiv:2609.29892，2026-09-24，通义千问）
• Hugging Face Daily Papers