精读：SR²AM——自我调节的模拟推理智能体
三系统架构将规划从隐式涌现变为显式调控，8B模型匹敌120-355B，30B匹敌685B-1T，推理token减少25.8-95.3%
1 论文概览
一句话总结： 将智能体推理显式分解为响应式执行、模拟推理和自我调节三个系统，使8B模型匹敌百亿级系统、30B模型匹敌万亿级系统，同时推理token减少25.8-95.3%。
核心问题： 智能体应何时规划、以何种深度规划？当前主流范式将智能体构建为响应式策略，通过端到端训练期望规划能力从CoT中隐式涌现。但这种”涌现式规划”无法控制规划的存在性、结构和时间跨度，导致推理长度急剧膨胀而准确率提升不可靠——本质上是在用”想更多”替代”想更对”。
主要贡献：
- 三系统架构范式：首次将智能体决策明确分解为响应式执行（System I）、模拟推理（System II）和自我调节（System III），将规划从隐式涌现变为显式调控
- SR²AM 模型：实现8B和30B两种规模，分别匹敌120-355B和685B-1T参数系统，在11个基准上验证
- 极致token效率：相比同级别竞争智能体LLM，推理token减少25.8-95.3%
- RL驱动的规划行为演化：RL使规划视野增加22.8%而规划频率仅增2.0%，证明模型学会了”规划得更远”而非”规划得更频繁”
- 学习型自我调节通用原则：提出learned self-regulation作为超越规划领域的通用原则，延伸至智能体自我学习和适应的治理
2 方法详解
架构概述
SR²AM的核心洞察来自一个根本性问题：当前LLM推理范式将所有认知操作——直觉反应、深思熟虑、元认知调控——压缩在同一条CoT流中，依靠模型隐式学会何时切换。这不仅低效，而且不可靠。
论文提出的替代方案是将决策明确分解为三个功能独立的系统，每个系统在LLM的CoT中以结构化标签区分：
System I — Reactive Execution（响应式执行）
- 处理细粒度动作执行和直觉推理
- 对应Kahneman的System 1：快速、自动、低计算
- 在CoT中标记为
<think>...</think>自由推理段
System II — Simulative Reasoning（模拟推理）
- 通过世界模型进行未来状态预测，将深思熟虑建立在对未来的显式模拟之上
- 关键区别：不是在抽象空间中”思考”，而是在模拟的具体状态空间中”推演”
- 以LLM自身作为世界模型，生成结构化计划：
<plan>Step 1: [action] → [predicted state] | Step 2: ...</plan> - 跨任务统一规划，无需逐领域工程化
System III — Self-Regulation（自我调节）
- 学习到的配置器决定何时规划以及规划多深
- 输出配置决策：
<config>mode=plan|act, depth=0|1|2|...</config> - 确保规划器仅在需要时被调用——这是效率的根源
“Simulative reasoning provides unified planning across diverse tasks without per-domain engineering, while self-regulation ensures the planner is invoked only when needed.” ——原文摘要
关键创新点
1. 世界模型即LLM自身
不同于需要训练独立世界模型的经典规划方法，SR²AM让LLM同时扮演推理器和世界模型。模拟推理阶段，LLM预测自身行动后的未来状态，形成”如果我做X，那么状态会变成Y”的内部模拟。这种设计消除了世界模型训练的开销，同时利用LLM已有的丰富世界知识。
2. 结构化计划的两种来源
- v0.1：从提示式多模块系统（含显式configurator和planner模块）记录决策，构造训练数据
- v1.0：从预训练推理LLM（如o4-mini、Qwen3-Coder-480B）的CoT轨迹中重构结构化计划——这是一个关键的工程创新，因为它不需要设计专用教师系统，而是从现有推理模型的”原始CoT”中提取结构
3. 两阶段训练流程
- 阶段1：监督学习（SFT） ——学习三系统结构和规划格式
- 阶段2：强化学习（RL） ——基于结果奖励优化规划行为
RL阶段的关键发现：模型并非简单地增加规划频率，而是学会了在关键决策点规划得更深。
4. 规划深度控制
System III的depth参数允许控制模拟推理的步数（0步=直接行动，1步=看一步，2步=看两步…）。这种显式的深度控制使得token消耗与规划深度之间建立了可预测的关系。
与基线方法的区别
| 维度 | 标准CoT推理 | ReAct/Tool-use | Tree-of-Thought | SR²AM |
|---|---|---|---|---|
| 规划控制 | 无（隐式涌现） | 无（每步反应式） | 固定深度搜索 | 学习型自适应深度 |
| 规划触发 | 不可控 | 每步必做 | 全局固定 | 按需触发（System III） |
| 世界模型 | 无 | 无 | 无 | LLM自身 |
| Token效率 | 不可控 | 高消耗 | 极高消耗 | 显式优化 |
| 跨任务泛化 | 依赖SFT数据 | 任务特定 | 任务特定 | 统一框架 |
3 实验结果
主要指标
评估覆盖4大领域11个基准：数学（AIME-24/25、MATH-500）、科学（GPQA-Diamond、SuperGPQA、HLE）、表格分析（FinQA、MultiHier）、网页信息搜索（BrowseComp、GAIA-103、XBench-DeepSearch）。
与SOTA对比
Overall Pass@1 汇总：
| 模型 | 参数量 | Overall Pass@1 | 备注 |
|---|---|---|---|
| SR²AM-v0.1-8B | 8B | 57.0 | 匹敌120-355B系统 |
| SR²AM-v1.0-30B | 30B | 71.3 | 匹敌685B-1T系统 |
| DeepSeek-V3.2（工具） | 685B | 73.2 | 工具配置一致 |
| Kimi-K2.5（工具） | 1.0T | 70.9 | 工具配置一致 |
| GPT-5.4-xhigh（工具） | — | 78.3 | 工具配置一致 |
| MiroThinker-v1.5-30B | 30B | 74.2 | 同级别最强基线 |
推理Token效率对比：
| 模型 | 平均推理Tokens/轨迹 | Token节省 |
|---|---|---|
| SR²AM-v1.0-30B | 5,518 | — |
| MiroThinker-v1.5-30B | 11,295 | SR²AM少用51.2% |
| 同级竞争者范围 | 7,424–113,527 | SR²AM少用25.8-95.3% |
核心结论：SR²AM-v1.0-30B以51.2%的token消耗达到MiroThinker-30B 96.1%的性能，效率增益极为显著。
消融实验关键发现
对SR²AM-v1.0-30B（SFT阶段）的消融：
| 配置 | Pass@1 | Pass@3 | 推理Tokens |
|---|---|---|---|
| 完整三系统 | 66.6 | 79.4 | 4,925 |
| − System I（自由推理） | 46.8 | 66.1 | 1,188 |
| − System II（模拟规划） | 65.2 | 78.5 | 4,602 |
| − System III（选择性规划） | 65.2 | 78.8 | 5,451 |
| − System III（规划视野控制） | 65.3 | 77.3 | 4,829 |
| 原始教师CoT | 65.3 | 78.5 | 3,844 |
| SFT + RL | 72.8 | 82.4 | 5,414 |
三个关键发现：
- System I（自由推理）是性能基础：移除后Pass@1暴跌19.8点（66.6→46.8），说明模型的直觉推理能力是不可或缺的地基，纯规划无法替代
- System III（选择性规划）是效率关键：移除后token消耗增加526个，而性能持平，说明自我调节的核心价值是”不做不该做的规划”
- RL是最终性能跃升的驱动力：SFT→RL带来+6.2点Pass@1提升，同时规划行为发生质变
RL对规划行为的结构性影响：
| 指标 | SFT | SFT+RL | 变化 |
|---|---|---|---|
| 平均规划视野 | — | — | +22.8% |
| 规划频率 | — | — | 仅+2.0pp |
| ≥2步规划占比 | 5.3% | 14.9% | +9.6% |
| 无规划轮次占比 | 15.6% | 13.6% | -2.0% |
这组数据揭示了一个深刻洞见：RL教会模型的不是”更多规划”，而是”更深规划”。2步及以上规划占比从5.3%跃升至14.9%，而规划频率几乎不变——模型学会了在关键决策点进行更深层次的模拟推演，而非盲目增加规划次数。
RL训练动态对比（v0.1-8B）：
| 模型 | 推理Tokens | Pass@1 | 上下文溢出率 |
|---|---|---|---|
| SR²AM-v0.1-8B | ~3,600 | 56.2 | 极低 |
| Qwen3-8B（无调节） | ~5,460+ | 47.6 | 22.4% |
无调节基线在训练过程中token消耗持续增长，且Pass@1在Step 200后开始下降——这正是”过度推理”的典型症状。
4 个人分析
亮点
1. 从”涌现”到”工程”的范式转换
这是本文最大的思想贡献。当前LLM推理研究的主流范式是”给模型更多计算，期望好行为涌现”。SR²AM明确否定了这条路径：不是涌现不可靠，而是涌现不可控。通过将规划从隐式涌现变为显式工程，三系统架构建立了一条从”行为规格”到”训练目标”的可控路径。
这与认知科学的双系统理论（Kahneman的System 1/2）形成呼应，但增加了关键的第三层——元认知调控。人类也不是一直在深思熟虑，而是有一套元认知机制决定何时启动深度思考。SR²AM将这种元认知机制显式化、可学习化。
2. 规划行为演化的反直觉发现
RL增加规划视野22.8%但规划频率仅增2.0%，这个发现直接挑战了”更多推理=更好推理”的隐式假设。它与本系列之前精读的Overthinking论文（2604.10739）形成精确的实证呼应：过度推理有害的根源不是推理本身，而是缺乏对推理的调控。
3. 轨迹重构的工程洞察
v1.0从预训练推理LLM的CoT轨迹中重构结构化计划，而非依赖专用教师系统。这是一个工程上极其实用的设计——任何有推理模型的团队都可以从现有CoT中提取结构，而不需要训练额外的教师模型。使用Qwen3-Coder-480B-A35B-Instruct时，1600→3200 examples使Pass@1从60.9跃升至72.9，表明数据质量远比数量重要。
4. 效率叙事的完整性
SR²AM不是只追求效率而牺牲性能。30B模型达到71.3 Pass@1（仅比685B的DeepSeek-V3.2低1.9点），同时token消耗减少51.2%。这种”效率-性能帕累托前沿”的推进，比单纯追求某一维度的优化更具实践价值。
局限性
1. 性能天花板未突破
SR²AM-v1.0-30B的71.3 Pass@1低于同级别MiroThinker-v1.5-30B的74.2，也低于685B的DeepSeek-V3.2的73.2。三系统架构的效率优势明确，但绝对性能仍有gap。这暗示显式结构化可能引入了信息瓶颈——模型的”自由推理”空间被压缩了。
2. v0.1到v1.0的跳跃缺乏连续性
v0.1使用提示式多模块系统记录决策，v1.0使用轨迹重构。两种数据来源的差异巨大，但论文未充分分析这种差异对最终性能的影响。特别是，轨迹重构是否丢失了某些教师系统的关键能力？
3. 规划深度的实际范围有限
当前实验中规划深度主要集中在0-2步（≥2步规划占比仅14.9%）。对于需要多步推理的复杂任务（如SWE-bench级别的代码生成），这种规划深度是否足够？论文未涉及更长规划深度的扩展性分析。
4. 世界模型准确性的盲区
LLM自身作为世界模型的假设在数学和科学推理中相对合理（因为这些领域的状态转移有客观规律），但在开放域网页搜索中，“如果我做X，搜索结果会变成Y”的预测准确性存疑。论文未分析世界模型预测准确率与规划效果的关系。
5. 与CoT泛化性悖论的关系未讨论
近期有论文发现更低的训练损失并不意味着更好的泛化性。SR²AM的结构化训练是否也面临类似风险？特别是在RL阶段，规划视野的增长是否以牺牲某些泛化能力为代价？
对大模型领域的影响
短期（3-6个月）：
- 智能体推理框架设计的主流范式可能从”端到端涌现”转向”显式系统分解”
- 自我调节模块可能成为Agent框架的标准组件
- 训练数据从”原始CoT”中重构结构化计划的方法可能被广泛复用
中期（6-18个月）：
- 三系统架构可能扩展到多模态智能体（视觉推理同样面临”何时深思”的问题）
- 学习型自我调节原则可能从规划扩展到工具使用、记忆检索等其他认知操作
- 可能催生”规划效率”作为新的评估维度，与”推理准确率”并列
长期影响：
- 如果”学习型自我调节”确实是通用原则，它可能成为AGI系统设计的核心组件——任何超越人类能力的系统都需要一套元认知机制来调控自身的认知资源分配
- 从”涌现”到”工程”的范式转换可能重塑整个LLM训练方法论的走向
5 实践启示
可以借鉴的技术
1. 轨迹重构数据工程
v1.0从预训练推理LLM的CoT中重构结构化计划的方法论，可以直接应用于任何有推理模型产出的团队：
- 收集教师模型（如Qwen3、DeepSeek-R1）的CoT轨迹
- 使用LLM将原始CoT标注为System I/II/III结构
- 过滤低质量重构（如规划与行动不一致的样本）
- 用重构数据SFT学生模型
这种方法的关键优势是不需要设计专用教师系统，极大降低了数据门槛。
2. 自我调节模块的独立训练
System III可以作为独立模块训练和评估：
- 先训练System I+II的SFT模型
- 冻结I+II，单独训练System III的配置器
- 评估指标：规划触发准确率（是否在需要规划时触发）× token节省率
这种解耦训练方式使得自我调节模块可以即插即用地加入任何推理框架。
3. RL驱动的规划行为优化
论文证明RL可以改变模型的规划行为模式（更深而非更频繁）。这个方法论可以推广到：
- 工具使用优化：RL让模型学会在关键决策点调用工具，而非频繁无效调用
- 搜索策略优化：RL让模型学会在关键分支深入搜索，而非广撒网
- 记忆检索优化：RL让模型学会在知识缺口处检索，而非机械性检索
潜在应用场景
1. 代码Agent的规划效率优化
当前代码Agent（如SWE-bench上的系统）面临严重的token膨胀问题。SR²AM的三系统架构可以直接应用：
- System I：快速直觉式代码修改
- System II：修改前的执行路径模拟（“如果改这行，测试会怎样？”）
- System III：判断当前修改是否需要模拟验证
这与TACT论文（2605.05980）发现的overthinking/overacting漂移轴直接对应——System III正是控制漂移的元认知机制。
2. 大规模推理的成本控制
在API部署场景中，推理token直接关联成本。SR²AM的25.8-95.3% token节省意味着同等的推理预算可以服务5-20倍的用户。对于GPT-5.4级别的推理服务，这种效率增益的经济价值极为显著。
3. 嵌入式AI的推理适配
在计算资源受限的嵌入式场景（手机、IoT设备），“何时深思”是生存问题而非优化问题。SR²AM的自我调节机制可以适配到设备资源状态：电池低时减少规划深度，充电时增加。
4. 多智能体协作中的资源分配
在多智能体系统中，不同智能体可能需要不同的规划深度。SR²AM的自我调节机制可以扩展为全局资源分配器：将规划算力分配给最需要深思的智能体，而非均等分配。
与前期论文的呼应链条：
| 前期论文 | 核心发现 | SR²AM的呼应 |
|---|---|---|
| Overthinking (2604.10739) | 过度推理有害 | 自我调节显式控制”何时推理” |
| Illusion of Thinking (2506.06941) | 推理有精确崩塌点 | 模拟推理绕过纯CoT崩塌 |
| Sparse Policy Selection (2605.06241) | RL仅校正1-3%高熵决策点 | 规划频率仅增2.0%但视野增22.8%——稀疏但深层 |
| TACT (2605.05980) | 激活漂移有线性可分轴 | System III是行为级漂移控制器 |
| RELEX (2605.21468) | RLVR权重轨迹极低秩 | 规划行为演化也极低秩（2.0%频率变化→22.8%视野变化） |
总结： SR²AM的贡献不仅是”又一个高效推理框架”，而是对”智能体应如何管理自身认知资源”这一根本性问题的回答。三系统架构将规划从不可控的涌现现象变为可设计、可训练、可调控的工程对象。RL驱动的规划行为演化——更深而非更频繁——为”推理效率”提供了比”token数量”更深层的度量维度。learned self-regulation作为通用原则的提出，标志着智能体设计从”能力堆叠”到”认知治理”的范式转换。