研究提案 已修订

面向Agent训练数据合成的教师可靠性景观感知数据工程：从前缀陷阱到可靠性-信息价值联合优化

将ReOPD揭示的前缀陷阱现象从蒸馏阶段重构为数据合成阶段的一等质量信号，通过教师可靠性景观估计驱动需求优先数据合成的采样策略优化

智能体训练数据 教师可靠性 同策略蒸馏 分布匹配 数据合成 前缀陷阱 RLVR

背景与动机

问题：教师可靠性在数据合成中的隐含假设

需求优先数据合成（Requirement-First Synthesis）正在成为 Agent 训练数据构建的新范式。NexForge（arXiv:2607.14186）证明，从自由格式的能力需求出发编译可执行训练数据，可在无需领域特定基础设施的前提下将 Terminal-Bench 2.0 从 22.5% 提升至 52.0%（3.6K 终端任务 + 2K 办公任务），规模化至 43.2K 终端任务后进一步达到 58.4%——注意 58.4% 的官方口径是”与配备 Claude Code 的 Claude Opus 4.6 持平（on par with）“，而非超越。其核心流水线为：需求发现 → 分布感知任务编译 → 教师 Rollout 采集 → 轨迹蒸馏。

然而，这一流水线隐含了一个未经检验的假设：教师在所有任务上下文中同等可靠。 教师 Rollout 采集步骤采用标准采样（贪心或温度采样），隐式假设教师输出的轨迹在所有任务上下文中都是可信的训练信号。最近的多项研究表明，这一假设严重不成立。

前缀陷阱：教师可靠性是上下文依赖的

ReOPD（arXiv:2607.04763）在多轮 On-Policy Distillation 中发现了前缀陷阱（Prefix Trap）：当历史上下文更接近学生的实际访问分布时，教师的相关性提升，但其目标的可靠性下降。这创造了一个双侧分布偏移——学生占据的上下文与教师可靠性分布之间存在结构性错位。

将这一发现从蒸馏阶段推广至数据合成阶段，我们观察到：需求优先合成的任务分布天然跨越了教师的可靠性梯度——简单任务在教师的”舒适区”内（高可靠性），而复杂或边缘任务则处于教师的”前沿区”（低可靠性）。当前的数据合成流程对这两类任务一视同仁，导致：

  1. 低可靠性轨迹污染：前沿任务的教师 Rollout 可能包含看似合理但实际错误的推理路径，成为训练数据中的”毒样本”
  2. 模式坍缩：标准采样天然偏向奖励最大的推理模式（mode-seeking），在教师可靠性低的区域尤其严重——因为教师对”正确答案”的信心不足时，更容易坍缩到某个局部最优
  3. 可靠性-信息价值悖论：最困难的任务（教师最不可靠的区域）恰恰是信息价值最高的训练数据来源——它们位于学生能力前沿

现有方案的不足

方法解决的问题未解决的问题
RG-OPD（2607.04037）用验证器反馈门控教师信号仅在蒸馏阶段在线使用，不适用于离线数据合成
ReOPD（2607.04763）识别前缀陷阱并提出前缀衰减调度仅优化蒸馏过程，未触及数据合成源头
GFlowRL（2607.13394）用分布匹配替代奖励最大化，保持推理多样性设计用于 RL 训练，未考虑数据合成的学习价值目标
Few Teacher Steps（2607.04574）教师预算分配优化假设教师信号一致可靠，未区分可靠性差异
STEER（2510.10150）熵坍缩干预从算法层面缓解熵坍缩，未从数据合成层面预防

核心缺口：没有工作将教师可靠性从”蒸馏时的门控信号”提升为”数据合成时的一等质量维度”，并在需求优先合成的完整流水线中系统性地估计和利用可靠性景观。

核心思路

可靠性景观的形式化

我们提出教师可靠性景观（Teacher Reliability Landscape, TRL）的概念：给定任务分布 T 和教师模型 π_teacher，TRL(t) = P(π_teacher 在任务 t 上产生可靠输出)，其中”可靠”定义为教师的输出与外部验证器（测试用例/形式化验证器/执行环境）一致的概率。

TRL 的关键性质：

  • 非均匀性：TRL 在任务空间中呈现显著变异，教师的”舒适区”（高 TRL）和”前沿区”（低 TRL）交替出现
  • 与信息价值的负相关：高信息价值的训练数据往往来自低 TRL 区域（可靠性-信息价值悖论）
  • 动态性：TRL 随教师模型的版本更新和学生的进化而变化

RELI-SCAPE 框架

RELI-SCAPE（RELIability SCenario-Aware data Purification and Engineering）框架将 TRL 建模为数据合成的一等质量信号，通过三阶段流水线实现可靠性-信息价值的联合优化：

阶段一：可靠性景观估计（TRL Estimation）

  • 无需运行完整 Rollout 即可估计 TRL
  • 三重代理指标：(a) 教师内部不确定性（logit 熵/方差）；(b) 多次采样一致性（N 次采样的解空间收敛度）；(c) 前缀偏移度（任务上下文与教师训练分布的 KL 散度估计）
  • 对 NexForge 合成的任务进行 TRL 标注，构建可靠性景观图

阶段二：可靠性-感知数据合成（Reliability-Aware Synthesis）

  • 高 TRL 区域（TRL > θ_high）：标准教师 Rollout + 结果过滤，高效采集
  • 中 TRL 区域（θ_low < TRL ≤ θ_high）：GFlowRL 风格的分布匹配采样，确保推理路径多样性覆盖
  • 低 TRL 区域（TRL ≤ θ_low）：双策略合成——(a) 过程验证器引导的采样，逐步验证推理链；(b) 反事实数据增强，从教师的错误轨迹中提取失败知识

阶段三：可靠性-信息价值联合优化（RI-Joint Optimization）

  • 定义数据点 d 的综合质量分数：Q(d) = α · Information_Value(d) + β · Reliability(d) - γ · Redundancy(d)
  • Information_Value：衡量 d 对学生能力前沿的信息增益（类似主动学习的采集函数）
  • Reliability：d 的 TRL 估计
  • Redundancy：d 与已有训练数据的相似度
  • 用 Q(d) 驱动数据策展：采样、过滤、加权

与现有工作的关键区别

  1. 从蒸馏门控到合成引导：RG-OPD 在蒸馏时门控不可靠教师信号（在线），RELI-SCAPE 在合成时即识别并处理不可靠区域（离线上游），从源头预防而非事后补救
  2. 从任务覆盖到轨迹信息密度：NexForge 优化任务级分布匹配（“合成什么任务”），RELI-SCAPE 进一步优化轨迹级信息密度（“对每个任务合成什么样的轨迹”），将数据质量粒度从任务级下推至轨迹级
  3. 从奖励匹配到学习价值匹配：GFlowRL 的分布匹配目标是最优奖励分布，RELI-SCAPE 的分布匹配目标是学习价值分布——轨迹的采样概率与其对下游学生训练的信息贡献成正比，而非与其奖励成正比

技术路线

Step 1：教师可靠性景观估计器

1.1 Logit 熵代理

对每个合成任务 t，运行教师模型进行单次前向传播，收集关键决策点的 logit 分布。定义局部不确定性分数：

US(t) = (1/K) Σ_k H(π_teacher(·|t, s_<k))

其中 K 为关键决策点数量，H 为熵函数。高 US 意味着教师在该任务上的内部表示不稳定，TRL 低的先验概率更大。

1.2 多采样一致性代理

对每个任务运行 N 次温度采样（N=5~10），提取推理路径的结构特征（工具调用序列/关键步骤类型），计算采样间的结构距离矩阵，定义一致性分数：

CS(t) = 1 - (2/(N(N-1))) Σ_{i<j} d_struct(τ_i, τ_j)

低 CS 意味着教师在不同采样间给出差异较大的推理路径，TRL 低的先验概率更大。

1.3 前缀偏移度代理

估计任务 t 的上下文与教师训练分布的偏移度。利用教师的预训练/后训练数据元信息（如果可获取），或使用教师自身的困惑度作为代理：

PS(t) = -log π_teacher(context_t) / |context_t|

高 PS 意味着任务上下文远离教师的训练分布，TRL 低的先验概率更大（对应 ReOPD 的前缀偏移分析）。

1.4 TRL 融合估计

TRL(t) = σ(w₁ · (1-US(t)) + w₂ · CS(t) + w₃ · (1-normalize(PS(t))) + b)

参数 w₁, w₂, w₃, b 通过在带验证器的验证集上校准（用验证器通过率作为 TRL 的 ground truth）。

Step 2：可靠性-感知轨迹合成

2.1 高 TRL 区域：高效标准采样

TRL > θ_high 时，教师可靠性高，标准温度采样即可产生高质量轨迹。仅需结果过滤（测试通过率），无需额外干预。

2.2 中 TRL 区域：分布匹配采样

借鉴 GFlowRL 的核心思想——用 in-batch Monte Carlo 估计替代学习式配分函数——但将目标从”奖励分布匹配”改为”学习价值分布匹配”。

具体地，对任务 t 的 K 次采样 {τ_1, …, τ_K}，计算每个轨迹的学习价值：

LV(τ_k) = (1) · Novelty(τ_k) + (2) · Correctness(τ_k) + (3) · Difficulty_Match(τ_k)

其中：

  • Novelty(τ_k)：轨迹中的推理模式与已有训练数据的差异度（WMD 或嵌入距离）
  • Correctness(τ_k)：外部验证器通过率
  • Difficulty_Match(τ_k)：轨迹难度与学生能力前沿的匹配度（接近 0.5 通过率的任务最有信息量）

采样权重正比于 LV(τ_k)，实现学习价值分布匹配。

2.3 低 TRL 区域：双策略合成

策略 A：过程验证引导采样

将任务分解为子目标序列，在每个子目标处用过程验证器（单元测试/断言/类型检查）逐步验证。仅在验证通过的子目标处继续采样，生成”验证锚定的部分轨迹”。

策略 B：失败知识增强

从教师的失败轨迹中提取失败模式（与 FAIL-DATA 框架的失败轨迹挖掘思路一致），显式合成”错误-纠正”配对数据。这类数据在低 TRL 区域尤其有价值：当教师不可靠时，“知道为什么错”比”知道怎么对”的信息量更大。

Step 3：可靠性-信息价值联合优化与共进化

3.1 综合质量评分与数据策展

对合成数据池中的每个轨迹 d，计算综合质量分数：

Q(d) = α · LV(d) · TRL(d)^β + (1-α) · LV(d) · (1-TRL(d))^γ - δ · Redundancy(d)

  • 第一项：可靠性加权的信息价值（高 TRL + 高 LV = 最优）
  • 第二项：可靠性-信息价值悖论补偿（低 TRL + 高 LV = 悖论区域，仍需保留但需谨慎处理）
  • 第三项：冗余惩罚

参数 α, β, γ, δ 通过在验证集上的网格搜索确定。

3.2 可靠性-能力共进化闭环

随着学生的训练进展：

  1. 学生能力分布变化 → 信息价值 LV(d) 的定义更新（能力前沿移动）
  2. 教师可靠性 TRL(d) 需要重新估计（学生对新区域的掌握改变了”前沿”定义）
  3. 重新运行 TRL 估计 + 数据合成 → 新一轮训练数据
  4. 迭代直至收敛

3.3 与 Non-vacuous RLVR Bounds 的理论连接

Zhu et al.（arXiv:2607.14506）首次建立了 RLVR 微调的非空泛化界。我们期望证明：RELI-SCAPE 的可靠性-加权数据策展可以收紧 PAC-Bayes 压缩界——因为过滤不可靠数据减少了有效假设空间的大小，从而降低 KL 散度项，收紧泛化界。

关键技术挑战

  1. TRL 估计的准确性：三个代理指标（US/CS/PS）是否足以准确估计 TRL？可能需要额外的校准数据集
  2. 学习价值分布的定义：LV(τ) 的三个分量（新颖性/正确性/难度匹配）的权重如何确定？是否需要任务类型依赖的自适应权重
  3. 计算开销：中/低 TRL 区域的分布匹配采样和过程验证显著增加计算成本，需要与高 TRL 区域的高效采样之间进行预算分配优化
  4. 可靠性-信息价值悖论的量化：α, β, γ 参数的选择直接影响悖论区域数据的保留比例，需要系统性消融实验

预期成果

定量目标

  1. TRL 估计准确率：在带验证器的 Agent 基准（Terminal-Bench / SWE-Bench-Verified）上，TRL 估计与实际教师通过率的 Pearson 相关系数 ≥ 0.75
  2. 数据质量提升：与 NexForge 原始流水线相比，在相同数据量（3.6K 终端任务）下：
    • Terminal-Bench 2.0 通过率提升 ≥ 3 个百分点
    • 训练数据中的”毒样本率”（教师输出与验证器不一致的比例）降低 ≥ 40%
  3. 泛化性改善：在 Non-vacuous RLVR Bounds 框架下，RELI-SCAPE 策展的数据应产生更紧的泛化界（KL 散度项降低 ≥ 20%）
  4. 效率-质量权衡：中/低 TRL 区域的计算开销控制在标准采样的 3× 以内

定性目标

  1. 建立教师可靠性景观作为 Agent 数据合成的一等质量维度的理论框架
  2. 形式化可靠性-信息价值悖论，为”何时信任教师”提供原则性回答
  3. 打通 ReOPD 前缀陷阱理论 → 数据合成实践的理论-工程闭环
  4. 为 Agent 训练数据合成提供可靠性审计工具（TRL 热力图可视化）

可能的影响

  1. 对 Agent 训练范式的修正：当前需求优先合成流水线（NexForge/daVinci-Dev 等）均假设教师处处可靠，RELI-SCAPE 提供了修正这一假设的具体方案
  2. 对 On-Policy Distillation 的上游优化：RG-OPD/ReOPD/TurnOPD 均在蒸馏阶段处理教师不可靠性，RELI-SCAPE 将问题前移至数据合成阶段，可能显著降低下游蒸馏的纠错成本
  3. 对 RLVR 理论的贡献：若可靠性-加权策展确实收紧泛化界，将为”数据质量如何影响泛化”提供新的理论工具

相关工作

  1. NexForge: Scaling Agent Capabilities through Requirement-Driven Task Synthesis for LLMs（arXiv:2607.14186, 2026-07-15） 需求优先 Agent 训练数据合成框架，从自由格式需求编译可执行任务，通过教师 Rollout + 蒸馏构建训练数据。本文直接在 NexForge 流水线上扩展，将教师可靠性引入数据合成决策。

  2. ReOPD: Multi-Turn On-Policy Distillation with Prefix Replay（arXiv:2607.04763, 2026-07-06） 首次识别多轮 OPD 中的前缀陷阱——教师可靠性随上下文偏移而下降。本文将前缀陷阱从蒸馏阶段推广至数据合成阶段，作为 TRL 估计的理论基础。

  3. GFlowRL: Scaling Distribution-Matching RL to Large Language Models（arXiv:2607.13394, 2026-07-15） 用 in-batch Monte Carlo 估计替代学习式配分函数，实现可扩展的分布匹配 RL。本文借鉴其分布匹配机制，但将目标从奖励分布改为学习价值分布。

  4. RG-OPD: Reward-Gated On-Policy Distillation（arXiv:2607.04037, 2026-07-06） 用验证器反馈门控教师信号，仅在高奖励区域信任教师。本文的可靠性感知合成可视为 RG-OPD 门控思想在数据合成阶段的前移部署。

  5. Non-vacuous Generalization Bounds for Reinforcement Learning with Verifiable Rewards（arXiv:2607.14506, 2026-07-16） 首次建立 RLVR 微调的非空 PAC-Bayes 泛化界。本文期望证明可靠性-加权数据策展可以收紧这些泛化界，建立数据质量与泛化保证之间的理论连接。

关联内容

研究 🔍 深入
教师不再是常量：自外推在线蒸馏中的接地比感知数据选择
数据选择准则在教师固定的设定下导出，而 RISE 类方法让教师成为训练流的函数；本提案提出 GRADE，用每提示的接地质量与蒸馏负载之比重新标定选择，并给出三臂对照与三条可证伪预测。
研究 🔗 相关
面向潜在同策略自蒸馏的行为诱发保真训练数据工程：从经验检索到行为模式感知的上下文组合
针对LOPD可学习潜在上下文中的行为模式质量盲区，提出行为诱发保真感知的训练数据工程框架（BEHAV-ELICIT），从数据层面系统性消除潜在上下文组合中的行为模式坍缩、失配与漂移
研究 🔗 相关
面向多教师智能体蒸馏的行为杠杆感知训练数据工程：从聚合损失盲区到杠杆锚定的数据策展
针对多教师在线蒸馏中token级行为杠杆失衡导致的隐性过调用问题，提出LEVER-DATA框架，将行为杠杆分布建模为一等训练数据质量信号