研究提案 已修订

面向智能体RL的反思预算感知训练数据工程：从等Token成本自检失效到诊断性反思的定向提取与预算最优策展

基于 Sample More Reflect Less 揭示的自检失效现象，将反思诊断价值与反思Token成本解耦，通过群体对比验证提取诊断信号并构造预算最优训练数据

反思预算 自检失效 RLVR 智能体RL 训练数据工程 群体对比蒸馏 Token效率

背景与动机

2026 年 7 月 30 日，arXiv:2607.28576（“Sample More, Reflect Less”）以严格的配对实验揭示了一个令人震惊的事实：在等 Token 预算下，所有自反思方法（Self-Refine、Reflexion、Best-of-N with Model Selection、辩论式推理）均不如简单的重复采样（Repeated Sampling）。36 组比较中无一胜出，18 组自检比较方向全部为负。

这一发现对当前智能体训练数据工程范式构成根本性挑战：

  1. 训练数据中的反思Token可能是净负资产：若模型在训练中习得”反思”模式，推理时将按训练分布生成反思Token，而这些Token在等成本比较中已被证明不如直接多采样。换言之，包含反思步骤的训练轨迹可能在教模型做一件事——浪费Token。

  2. 但反思并非全无价值：同日发表的 GRSD（arXiv:2607.28076）表明，通过对验证过的成功/失败轨迹组进行群体对比反思，可以构建能力对齐的特权指导信号，显著改善多轮智能体 RL 训练。CAST（arXiv:2607.25308）也证明外部求解器状态值变化可转化为回合级信用信号。

  3. 核心张力：反思的诊断价值（识别失败模式、提取纠正知识）与反思的Token成本（自检生成的冗余Token）之间存在根本性冲突。当前方法要么将反思Token全部保留在训练数据中（代价高昂且可能有害），要么完全放弃反思（丢失诊断价值），缺乏将两者解耦的系统性方案。

为什么现有方案不够好：

  • Self-Refine/Reflexion：将反思Token直接嵌入训练数据，模型学习到”先做后检”的行为模式，但在等Token成本下不如多采样
  • GRSD：使用群体对比提取反思指导信号，但仅作为算法级中间变量（特权指导），未解决训练数据本身的反思Token预算问题
  • CAST：依赖外部求解器提供信用信号，不适用于无求解器的开放域任务
  • ECON-REASON（我们的前期工作）：关注推理冗余压缩，但未触及”反思Token本身是否应存在于训练数据中”的根本问题

核心思路

提出 REFL-BUDGET（Reflection Budget-Aware Training Data Engineering）框架，核心主张：反思应作为数据工程工具而非训练数据。

具体而言：

  1. 诊断性反思提取：利用 GRSD 的群体对比机制，从验证过的成功/失败轨迹组中提取反思诊断信号，但将其定位为数据工程中间产物而非训练语料

  2. 反思-Token 解耦：将训练轨迹中的反思Token分为三类——诊断性Token（携带因果归因信息，如”第 k 步的 API 调用参数错误导致后续状态不可恢复”）、确认性Token（仅确认已有信息，如”这一步看起来正确”）、探索性Token（无明确归因的泛化反思，如”让我重新审视这个问题”）。仅保留诊断性Token，移除确认性和探索性Token

  3. Token-高效诊断摘要：将提取的诊断性反思压缩为极简诊断锚点（diagnostic anchors）——结构化的因果断言而非自由文本反思。例如，将”我注意到在第 3 步调用 search API 时使用了错误的查询关键词，因为任务要求搜索最新论文但我用了综述关键词”压缩为 DIAG(step=3, type=param_error, cause=keyword_mismatch, fix=use_recent_keyword)

  4. 反思预算最优策展：定义反思Token预算效率（Reflection Token Budget Efficiency, RTBE）作为训练数据质量一等信号，在固定总Token预算下优化诊断信息密度

与现有工作的关键区别：

维度Self-Refine/ReflexionGRSDREFL-BUDGET
反思定位训练数据算法中间变量数据工程工具
反思Token全部保留不在训练语料中仅保留诊断性压缩摘要
预算意识无无RTBE 驱动
诊断价值隐含（可能被冗余淹没）通过群体对比显式提取通过因果断言显式编码
Token效率低（自检18组全负）中（反射作为中间计算）高（压缩至诊断锚点）

技术路线

阶段一：反思Token预算画像

  1. 反思Token分类器：在验证过的轨迹数据上，训练轻量级分类器将每个反思Token标注为诊断性/确认性/探索性三类

    • 特征：因果归因显式性（是否指向具体步骤/决策）、信息增量（是否提供超越观测的新知识）、可操作性（是否蕴含具体修正建议）
    • 标注来源：利用 GRSD 的群体对比信号作为弱监督——仅在对成功/失败结果具有判别力的反思Token被标注为诊断性

  2. RTBE 度量定义：

    • RTBE(τ)=∑t∈DτIdiag(t)∣τ∣\text{RTBE}(\tau) = \frac{\sum_{t \in D_\tau} I_{\text{diag}}(t)}{|\tau|}，其中 DτD_\tau 为诊断性Token集合，∣τ∣|\tau| 为轨迹总Token数
    • 扩展定义：RTBE+(τ)=∑t∈DτIdiag(t)⋅CausalStrength(t)∣τ∣\text{RTBE}^+(\tau) = \frac{\sum_{t \in D_\tau} I_{\text{diag}}(t) \cdot \text{CausalStrength}(t)}{|\tau|}，引入因果强度加权

  3. 预算画像：对训练语料中所有轨迹计算 RTBE/RTBE⁺，建立反思预算分布图，识别低效反思密集区域

阶段二：反思-Token 解耦策展

  1. 诊断性反思提取：

    • 对每组验证过的成功/失败轨迹，运行群体对比反思（GRSD 机制）
    • 但不直接使用反思文本，而是从中提取因果断言：{step, failure_type, cause, fix_pattern}
    • 因果断言提取使用结构化提示，约束输出为固定Schema而非自由文本

  2. 非诊断性Token移除：

    • 确认性反思Token：直接删除，不影响轨迹语义完整性
    • 探索性反思Token：用”观察摘要”替代（如将”让我重新审视这个问题”替换为 OBS(current_step=k, state=stuck) ）
    • 诊断性反思Token：压缩为诊断锚点（如上述 DIAG(...) 格式）

  3. 预算最优策展：

    • 给定总Token预算 BB，选择轨迹子集 T∗=arg⁡max⁡T∑τ∈TRTBE+(τ)⋅Coverage(T)\mathcal{T}^* = \arg\max_{\mathcal{T}} \sum_{\tau \in \mathcal{T}} \text{RTBE}^+(\tau) \cdot \text{Coverage}(\mathcal{T})
    • 约束：∑τ∈T∣τcompressed∣≤B\sum_{\tau \in \mathcal{T}} |\tau_{\text{compressed}}| \leq B
    • 这是一个带覆盖约束的背包问题，可用贪心+局部搜索近似求解

阶段三：Token-高效诊断增强合成

  1. 诊断锚点锚定的轨迹合成：

    • 从已有诊断锚点出发，合成包含该诊断模式的新轨迹
    • 关键约束：合成的轨迹必须不包含自由文本反思，仅包含结构化诊断锚点
    • 这样模型学习的是”遇到此模式时执行修正动作”而非”先反思再行动”

  2. 近失败诊断增强：

    • 对”近成功”轨迹（仅因1-2个关键步骤失败），注入针对性诊断锚点
    • 利用 CAST 的求解器信号（若可用）或 GRSD 的群体对比信号定位关键失败步骤
    • 合成修正后的轨迹，其中关键步骤直接包含修正动作（而非”反思→修正”两步）

  3. RTBE 课程：

    • 训练初期使用高RTBE轨迹（诊断信息密度高），模型快速学习因果归因模式
    • 训练后期逐步降低RTBE（减少诊断锚点密度），迫使模型内化诊断能力
    • 最终阶段完全移除诊断锚点，模型应已习得”无需显式反思即可避开已知失败模式”的能力

阶段四：反思预算-能力共进化闭环

  1. 在线RTBE监控：训练过程中持续监控模型生成的反思Token比例与诊断价值
  2. 预算阈值自适应：若模型在推理时自发产生高诊断价值的反思，则允许适当增加训练数据中的反思Token预算；若反思Token价值低于阈值，则收紧预算
  3. 进化检测：定期评估模型在等Token成本下”带反思 vs 纯采样”的比较，若反思开始胜出，说明诊断性反思已被有效内化

关键技术挑战

  1. 反思Token分类的准确性：诊断性/确认性/探索性的边界模糊，需要细粒度的因果归因检测，可能需要借助 SAE（稀疏自编码器）特征
  2. 诊断锚点的表达能力：结构化Schema可能无法捕捉所有类型的诊断知识，需要设计可扩展的Schema
  3. RTBE 与任务性能的关系：高RTBE不一定导致高性能，可能存在最优RTBE区间（过高→模型依赖外部诊断、过低→丢失关键纠正知识）
  4. 从诊断锚点到训练信号的映射：诊断锚点需要转化为具体的训练损失调制信号，而非简单拼接在轨迹中

预期成果

定量目标

  1. RTBE 提升：将训练语料的平均 RTBE 从现有自反思轨迹的 ~0.05 提升至 ~0.30 以上（6x 诊断信息密度提升）
  2. 等Token成本胜率：在 ALFWorld/WebShop/SWE-Bench 等智能体基准上，REFL-BUDGET 训练的模型在等Token预算下 vs 重复采样的胜率 > 50%（突破”Sample More, Reflect Less”的基线）
  3. Token 效率：相比原始自反思轨迹，压缩后轨迹Token数减少 40-60%，但任务成功率不降反升
  4. 泛化性：在 OOD 环境中，诊断性反思内化后的模型相比纯采样基线提升 5-10%

定性目标

  1. 建立反思Token预算理论：形式化反思诊断价值与Token成本之间的权衡，推导最优RTBE条件
  2. 证明”反思作为数据工程工具”范式的有效性：反思的最大价值不在训练数据中，而在数据工程流水线中
  3. 为”Sample More, Reflect Less”的负面结论提供正面解释：自检失效≠反思无价值，关键在于反思的Token效率

可能的影响

  1. 范式转移：从”训练数据包含反思”转向”数据工程使用反思、训练数据排除反思”
  2. Token预算意识：将Token预算从推理时考虑扩展至训练数据设计时考虑
  3. RSI 启示：为 RSIBench-Data（arXiv:2607.25886）和 Frontis-MA1（arXiv:2607.28568）等递归自改进系统提供数据层面的Token效率保障
  4. 实用价值：在固定GPU算力下，更高效的训练数据意味着更强的模型——这直接转化为工程收益

相关工作

  1. Sample More, Reflect Less: Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost (arXiv:2607.28576) — 核心触发论文。严格实验证明等Token预算下所有自检方法不如重复采样，揭示反思Token的效率陷阱

  2. Group-Reflective Self-Distillation for Agentic Reinforcement Learning (arXiv:2607.28076) — GRSD 框架。利用验证轨迹组的群体对比反思构建特权指导信号，为反思的诊断价值提取提供方法论基础

  3. CAST: Game Solvers as Turn-Level Teachers for LLM Agents (arXiv:2607.25308) — 将求解器状态值变化转化为回合级信用信号，证明外部结构化信号可替代自由文本反思

  4. RSIBench-Data: Benchmarking Data-Centric Research for Recursive Self-Improvement (arXiv:2607.25886) — 为递归自改进提供数据层面基准，定义了数据质量评估维度

  5. Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering (arXiv:2607.28568) — 35B 模型通过执行反馈内化进化算子，在 MLE-Bench 上超越 GPT-5.5+Codex。展示了RL内化进化操作比纯搜索更高效，但其训练数据中反思Token的效率尚未优化

关联内容

研究 🔗 相关
精读：Procedural Memory Distillation——让模型从自身训练历史中学习
将跨回合过程性信号转化为可复用记忆并蒸馏进策略权重，打破 RLVR 的回合局部性盲区
研究 🔗 相关
精读：MaR——元认知作为奖励信号
将认知心理学的元认知理论引入LLM强化学习奖励设计，通过知识覆盖度和调节保真度两个维度为推理轨迹提供过程级引导
研究 🔗 相关
研究提案：信息增量驱动的自适应蒸馏数据合成框架
当前蒸馏和 SFT 数据合成普遍采用「先大量生成、再事后过滤」的两阶段范式，浪费 60-80% 的合成算力在对目标模型无增量价值的样本上。本提案设计一套在线信息增量度量机制，将目标模型的实时能力画像反馈到合成策略中，实现「只合成模型确实不会的数据」的自适应闭环，目标是在相同合成预算下将下游性能提升 15-25%。