Agent 不只需要会做，还需要会变：从自进化协议到世界模型，AI Agent 架构正在长出「自适应层」

引言：当「连接协议」不够用的时候

2026 年上半年，AI Agent 领域出现了一个耐人寻味的分化：一边是 MCP、A2A 等连接协议快速标准化，Agent 的「外部连接能力」突飞猛进；另一边，一系列论文和系统开始触及一个更深层的问题——如果 Agent 不仅要调用工具，还要在运行过程中安全地修改自己、优化自己、进化自己，现有架构真的够用吗？

答案是否定的。当前的 Agent 架构存在三个结构性缺陷：

第一，组件高度耦合。 Prompt、工具、记忆、环境逻辑通常被写死在同一个框架里。一旦任务变化，就需要人工修改代码或重写工作流——这不是「智能体」，这是「智能脚本」。

第二，缺少生命周期与版本管理。 Agent 在运行中修改了 Prompt 或工具代码，但没人记录改了什么、为什么改、改坏了能不能回滚。一次坏更新可能让整个系统瘫痪。

第三，自进化仍是经验主义。 很多系统所谓的自我改进，本质上是让模型反思一下、改一下 Prompt 或代码，缺乏统一接口、审计机制和可复现的安全边界。

2026 年 2 月至 5 月间，四项来自不同团队的研究——Autogenesis Protocol（南洋理工/斯坦福/普林斯顿，ICML 2026）、EvolveR（浙大/上海 AI 实验室，ICML 2026）、RWML（微软研究院/哥伦比亚大学）和 LEMON（NeurIPS 2026 投稿）——从不同维度共同回应了这些问题。它们不是孤立的创新，而是一个正在成形的范式：AI Agent 架构正在长出「自适应层」，从「人类设计、Agent 执行」走向「Agent 自我进化」。

本文将深入解析这四项工作的技术内核，勾勒出自适应 Agent 架构的全景图，并探讨其对工程实践的深远影响。

一、Autogenesis Protocol：给 Agent 装上「自进化操作系统」

1.1 核心洞察：演化对象与演化逻辑的分离

Autogenesis Protocol（AGP）的核心架构洞察可以用一句话概括：像数据库分离存储与计算一样，分离「什么在演化」与「如何演化」。

这一洞察来自南洋理工大学张文涛、斯坦福大学赵哲等人的研究，通讯作者为普林斯顿大学王梦迪教授和南洋理工大学安波教授。论文（arXiv:2604.15034）提出了一个双层协议架构：

底层：RSPL（Resource Substrate Protocol Layer）——定义五种可演化资源：Prompt、Agent（决策策略）、Tool（执行接口）、Environment（任务与环境动态）、Memory（持久状态）。每项资源被注册为协议管理实体，拥有唯一名称、描述、输入输出映射函数、trainable 标志和元数据。资源本身是被动的——不包含优化逻辑，不能自修改。所有变更必须通过受控的接口操作完成。

上层：SEPL（Self-Evolution Protocol Layer）——定义五个原子算子构成闭环自进化：

算子	符号	功能
Reflect	ρ	分析执行轨迹，识别失败假设——计算「语义梯度」
Select	σ	将诊断假设转化为具体修改提案
Propose	π	生成可验证的资源变更方案
Evaluate	ε	在隔离环境中测试变更效果
Commit	κ	仅当评估通过时提交变更，更新版本

这个闭环的关键在于：每一步都有审计痕迹，每一步都可以回滚。版本管理器为每个资源维护版本谱系，支持回滚、分支和差异对比。动态管理器处理运行时热替换，无需重启系统。追踪模块捕获细粒度执行轨迹，既是调试工具，也是训练信号来源。

1.2 为什么这比「让模型自己反思」更根本？

当前很多 Agent 系统的「自我改进」流程是：模型执行任务 → 反思哪里做得不好 → 修改 Prompt → 重试。AGP 论文指出这存在三个问题：

1. 缺乏结构化接口：修改是 ad-hoc 的字符串拼接，没有类型系统、没有 schema 约束，很容易改出语义错误。
2. 缺乏可审计的变更日志：改了什么、为什么改、改之前的版本是什么，全部丢失。
3. 缺乏安全沙箱：修改直接在生产环境中生效，无法先验证再提交。

AGP 的解决方案是把自进化从「经验主义的字符串操作」升级为「协议化的资源管理」。这让人联想到 Git 对软件工程的变革——不是禁止修改，而是让修改可追踪、可回滚、可协作。

1.3 实验验证

基于 AGP 构建的 Autogenesis System（AGS）在多项长期规划和跨工具基准测试中，相较于强基线展现了一致性改善。特别值得注意的是 LeetCode C++ 近满分的成绩，验证了该协议在复杂编程任务中的实用性——Agent 不仅能执行，还能在执行过程中识别低效的解题策略，动态调整 Prompt 和工具配置，持续优化自身表现。

二、EvolveR：从失败中长出「认知 Skill」

2.1 核心问题：Agent 只会查知识，不会查经验

浙大联合上海 AI 实验室的 EvolveR（arXiv:2510.16079，ICML 2026）提出了一个精准的区分：

传统 RAG 解决的是「模型不知道某个事实怎么办」——去外部知识库检索。但很多任务失败不是因为缺少事实，而是因为策略不对：

• 面对比较类问题，Agent 可能只查了一方信息就急着下结论；
• 面对多跳问答，可能没有先识别中间实体；
• 面对复杂检索任务，可能没有验证信息来源是否一致。

这类失败本质上是「解题策略」问题，不是多查几段资料就能解决的。EvolveR 在外部知识检索之外引入了一个新动作：检索经验。

2.2 闭环生命周期：四阶段协同

EvolveR 的框架由四个阶段构成闭环：

阶段一：在线交互。 Agent 面对新任务时，可以同时调用外部知识库和内部经验库。经验库里保存的不是具体答案，而是从过去任务中提炼的策略原则——「对于比较类问题，应先分别收集双方信息，再进行结论判断」。

阶段二：离线经验自蒸馏。 Agent 冻结参数，回看自己的交互轨迹。成功轨迹提炼出指导性原则，失败轨迹总结出警示性原则。关键发现：小模型更依赖外部教师，大模型更适合自蒸馏。在 0.5B 模型上，GPT-4o-mini 教师蒸馏效果更好；到了 3B 规模，自蒸馏反而超过教师蒸馏——因为自己总结出的经验更符合自身能力边界和推理习惯。

阶段三：经验库维护。 新原则进入经验库前，经过语义去重和相似原则合并。每条原则记录使用次数和成功次数，形成动态评分。长期有效的被保留，低效或误导性的被剪枝。即使经验库扩展到接近 5 万条原则，Top-3 检索延迟仅约 0.20 秒。

阶段四：策略进化。 使用 GRPO 强化学习更新策略。奖励不仅关注最终答案正确性，也关注推理过程完整性——是否进行了合理思考、是否调用经验检索、是否调用外部知识检索。Agent 学到的不只是「怎么回答问题」，而是「什么时候该查经验、什么时候该查知识」。

2.3 实验数据与洞察

在 Qwen2.5-3B 上，EvolveR 平均 EM 达到 0.382，高于 Search-R1-instruct 的 0.325；在 Qwen2.5-7B 上达到 0.417，超过 Search-R1-instruct 的 0.385。

消融实验揭示了一个重要事实：完整 EvolveR 平均分 0.382；如果不允许检索经验库，下降到 0.340。经验库不是装饰模块，而是性能提升的关键来源。 高分原则中，理想且可执行的原则占比达 82%，验证了动态评分和剪枝机制的有效性。

EvolveR 的深刻之处在于：它把 Agent 从「会查资料」推进到「会总结经验」。传统 RAG 像是给模型配一本外部资料库；EvolveR 则像是给 Agent 建立一本持续更新的「经验手册」，而这本手册是 Agent 从成功和失败中自己提炼出来的。

三、RWML：让 Agent 学会「预测未来」

3.1 缺失的一环：前瞻能力

微软研究院和哥伦比亚大学的 RWML（Reinforcement World Model Learning，arXiv:2602.05842）从另一个角度切入同一问题：LLM Agent 缺乏对行动后果的预测能力。

想象一个场景：让 Agent 去厨房找一把刀。缺乏世界模型的 Agent 只能盲目地挨个抽屉搜索；而具备世界模型的 Agent 会在行动前预测「刀更可能在灶台上或刀架上」，从而优先检查这些位置。

这种「在脑海中模拟行动后果」的能力，正是人类高效规划的核心。RWML 要做的，就是把这种能力教给 LLM Agent。

3.2 技术方案：Sim-to-Real Gap Reward

RWML 的核心创新在于用强化学习（而非传统的监督微调 SFT）训练世界模型。传统方法让 LLM 预测下一个状态的精确文本，但这存在两个问题：

1. Token 级保真度 ≠ 语义等价：预测出「刀在灶台上」和「刀在台面上」在语义上等价，但在 token 层面完全不同，SFT 会惩罚这种「正确但措辞不同」的预测。
2. 模型崩溃风险：token 级预测容易导致模型在训练数据分布之外生成低质量文本。

RWML 的解决方案是 Sim-to-Real Gap Reward：在一个预训练嵌入空间中，对齐 Agent 内部模拟的下一状态与环境实际观测到的下一状态。这意味着奖励函数衡量的是语义一致性，而非逐 token 匹配。

具体而言，RWML 的训练流程是：

1. Agent 在当前状态 s_t 选择动作 a_t
2. 世界模型生成模拟的下一状态 ŝ_{t+1}
3. 环境返回实际的下一状态 s_{t+1}
4. 在预训练嵌入空间中计算 sim(ŝ_{t+1}, s_{t+1}) 作为奖励信号
5. 用这个信号更新世界模型参数

这种方法的关键优势在于完全自监督——不需要专家示范，也不需要人工标注的成功/失败信号。更重要的实证发现是：它比 LLM-as-a-Judge 更不容易出现 reward hacking。LLM 评判器可能被模型的表面流畅性欺骗，但嵌入空间中的语义对齐更难被钻空子。

3.3 性能表现

在 ALFWorld（家庭环境交互任务）和 τ² Bench（复杂工具调用）上，RWML + 任务成功奖励的组合分别比直接使用任务成功奖励的 RL 高出 6.9 分和 5.7 分，同时达到了专家数据训练的性能水平——而这一切都是在完全自监督的条件下实现的。

这组数据的意义在于：世界模型不是锦上添花的附加模块，而是让 RL 训练信号更高效的核心基础设施。Agent 如果能准确预测行动后果，就能在探索时做出更明智的选择，避免在显然错误的路径上浪费计算。

四、编排层的进化：从静态调度到反事实学习

4.1 编排问题：被忽视的核心变量

上述三项工作聚焦于单体 Agent 的自进化能力。但在多 Agent 系统中，还有一个同样关键的问题：谁来编排 Agent，编排策略如何进化？

当前的多 Agent 编排——无论是 Kimi Agent Swarm 的路由分发、OpenAI Codex 的并行子任务、还是 Claude Code 的 Agent View——本质上仍是人类预设的静态编排。编排策略（谁来做什么、什么时候并行、什么时候串行）是工程师写死的，不是系统学来的。

4.2 LEMON：反事实编排学习

LEMON（Learning Executable Multi-agent Orchestration via Counterfactual Reinforcement Learning，NeurIPS 2026 投稿）试图改变这一点。它的核心创新是将反事实推理引入编排层优化：

传统方法只看执行结果给奖励——「任务完成了，给正奖励」。但 LEMON 追问：如果换一个 Agent 做这个子任务，结果会不会更好？如果调整 Agent 之间的依赖关系，效率会不会更高？

具体来说，LEMON 在 GRPO（Group Relative Policy Optimization）目标函数上叠加了一个局部化的反事实信号：编辑编排规格中的角色（role）、容量（capacity）或依赖关系（dependency）字段，然后只将奖励差异施加在被编辑的片段上。

这种方法的好处是更精确的信用归因：不是简单地把任务成败归功/归咎于整个系统，而是精确到「哪个角色的配置变更导致了性能变化」。在 MMLU、GSM8K、AQuA 等 6 个基准上，LEMON 达到了当时多 Agent 编排方法的 SOTA。

4.3 Puppeteer 范式：让编排器学会「指挥」

NeurIPS 2026 收录的另一项工作——Puppeteer（OpenBMB/清华，被引用 74 次）——提供了一个互补的视角。它提出了一种「提线木偶师」范式：一个中心化编排器（Puppeteer）通过强化学习训练，动态地调度和优先排序多个 Agent（Puppets），响应不断演变的任务状态。

Puppeteer 的关键发现是：性能提升的核心来源不是更聪明的 Agent，而是更紧凑、循环的推理结构。经过 RL 训练的编排器自发地学会了减少冗余通信、增加并行度、形成更高效的协作拓扑——这种「涌现的精简」是人工设计很难预见的。

4.4 与 Orchestrator Trace RL 的统一视角

2026 年 5 月的综述论文（arXiv:2605.02801）进一步将编排问题系统化，提出了 Orchestration Traces 的概念：将多 Agent 交互建模为时序图，事件包括子 Agent 生成、委托、通信、工具使用、返回、聚合和停止决策。

该综述识别了编排学习的五个子决策：何时生成子 Agent、委托给谁、如何通信、如何聚合、何时停止。一个引人注目的发现是：在截至 2026 年 5 月的公开文献中，没有任何显式的 RL 训练方法用于「何时停止」这一决策——而这恰恰是影响系统效率和安全性的关键变量。

五、行业影响：自进化架构改变什么？

5.1 从「部署即固化」到「部署即进化」

当前 Agent 系统的典型生命周期是：设计 → 开发 → 测试 → 部署 → 监控 → 人工修复 → 重新部署。每个环节都需要人类介入，迭代周期以天甚至周计。

自进化架构将这个循环压缩到分钟级：Agent 在执行过程中发现问题 → 自动生成修改提案 → 沙箱验证 → 提交生效。从「部署即固化」变成「部署即进化」——但前提是有 AGP 这样的协议保障安全边界。

5.2 对训练数据工程的重新定义

EvolveR 和 RWML 的共同启示是：Agent 训练数据的来源正在从「人类标注」扩展到「Agent 自身经验」。这不是取消人类监督，而是改变人类介入的方式——从逐条标注数据，到设计经验蒸馏和质量控制的规则。数据工程师的角色从「数据生产者」转变为「经验治理者」。

5.3 多 Agent 系统的成本结构变化

LEMON 和 Puppeteer 的研究表明，优化编排策略可以显著降低多 Agent 系统的 token 消耗和延迟。在企业级部署中，AgentMode AI 的分析显示 73% 的企业 Agent 项目未能达到财务目标，平均成本超支 3.3 倍。而自进化编排——特别是更精确的信用归因和停止决策——可能成为扭转这一局面的关键技术。

5.4 安全与对齐的新维度

自进化架构引入了一个全新的对齐维度：不仅要对齐 Agent 的行为，还要对齐 Agent 的进化方向。如果 Agent 可以修改自己的 Prompt、工具和策略，那么「进化出逃避监督的策略」就不再只是理论风险——RWML 论文已经证明，自监督的语义对齐比 LLM-as-a-Judge 更难被欺骗，但这只是第一步。

六、未来展望：自适应层的三重挑战

6.1 稳定性-适应性权衡

自进化的核心矛盾是：越强的适应能力意味着越高的不稳定风险。一次错误的自我修改可能导致级联失败。AGP 的沙箱验证和版本回滚部分解决了这个问题，但在开放环境中，如何保证进化的「单调性」——即每次修改至少不比修改前更差——仍是一个开放问题。

6.2 跨 Agent 经验迁移

EvolveR 的经验库是单个 Agent 的私有知识。但在多 Agent 系统中，一个 Agent 的失败经验能否安全地迁移给另一个 Agent？这涉及经验泛化性、隐私边界和对抗性经验注入等复杂问题。当前的共识是：高层策略原则可以共享，低层执行细节不宜共享——但这条线怎么画，尚无定论。

6.3 世界模型的泛化边界

RWML 在 ALFWorld 和 τ² Bench 上验证了世界模型的有效性，但这些环境的动态性相对有限。在更开放、更不确定的现实环境中——比如金融市场、社交网络、物理世界——世界模型的预测精度可能急剧下降，而过度依赖不准确的内部模拟反而会误导决策。何时信任内部模拟、何时回归环境交互，将是世界模型研究的关键方向。

结论：自适应层不是可选项，而是必然

回顾这四项工作的技术逻辑，一条清晰的脉络浮现：

• Autogenesis 解决了「怎么安全地修改自己」——协议化的资源管理和闭环进化算子；
• EvolveR 解决了「怎么从经验中学习」——经验蒸馏、维护和检索的完整闭环；
• RWML 解决了「怎么预测行动后果」——自监督的世界模型训练；
• LEMON/Puppeteer 解决了「怎么编排多个 Agent」——反事实学习和涌现式编排。

它们共同构成了 AI Agent 架构的自适应层（Adaptive Layer）——位于传统的「感知-决策-执行」栈之上，使 Agent 具备了持续自我优化的能力。

这不是锦上添花。当 Agent 从实验室走向生产环境，从单次任务走向长期运行，从单体走向多体协同，「不会变」就等于「会退化」——环境在变、需求在变、对抗策略在变，静态架构的 Agent 注定被淘汰。

自适应层是 Agent 架构演进的必然方向。而 2026 年上半年的这些工作，正是这个方向上的第一批系统性探索。它们还不完美——稳定性保证不足、跨 Agent 迁移未解决、世界模型泛化有限——但它们划定了问题空间，建立了方法论基线，指出了下一步的方向。

Agent 不只需要会做，还需要会变。而「会变」这件事本身，正在从艺术变成工程。

---

参考文献

1. Zhang, W. et al. “Autogenesis: A Self-Evolving Agent Protocol.” arXiv:2604.15034, 2026.
2. EvolveR Team. “EvolveR: Self-Evolving LLM Agents through an Experience-Driven Lifecycle.” arXiv:2510.16079, ICML 2026.
3. Yu, X. et al. “Reinforcement World Model Learning for LLM-based Agents.” arXiv:2602.05842, 2026.
4. LEMON. “Learning Executable Multi-agent Orchestration via Counterfactual Reinforcement Learning.” NeurIPS 2026 submission.
5. Dang, Y. et al. “Multi-agent collaboration via evolving orchestration.” NeurIPS 2026.
6. Zhang, C. “Reinforcement Learning for LLM-based Multi-Agent Systems through Orchestration Traces.” arXiv:2605.02801, 2026.
7. Peng, B. et al. “Orchard: An Open-Source Agentic Modeling Framework.” Microsoft Research, 2026.
8. Jiang, Z. et al. “FlexMARL: Rollout-Training Co-Design for Efficient LLM-Based Multi-Agent RL.” arXiv:2602.09578, 2026.