面向智能体后训练信号带宽扩展的体验信号保真感知数据工程：从标量奖励到体验知识的信号保真驱动策展

背景与动机

2026 年 7 月，微软研究院 Ye 等人发表的 LLM-as-a-Coach（arXiv:2607.18110）标志着后训练信号范式的根本性转变：将 LLM-as-Judge 的评估从压缩为标量奖励（rubric-based RL）重构为生成可迁移的体验知识（Experiential Knowledge, EK），通过在策上下文蒸馏将 EK 内化至策略模型。这一”信号带宽扩展”——从标量到结构化文本——在不可验证任务（开放式对话、创意写作、复杂规划）上显著超越了基于标量奖励的 RL，且缓解了奖励黑客问题。

同一周内，多项工作从不同角度验证了”丰富中间信号优于稀疏结果信号”的结论：

• SEED（arXiv:2607.14777）将完成轨迹转化为后视技能（hindsight skills），将技能诱导的概率偏移转化为密集 token 级蒸馏信号；
• CPO（arXiv:2607.14614）利用参考引导与原始生成分布间的 token 级对比分歧替代熵作为正确性感知优势塑形信号；
• Reward-Free Evolving Agents（arXiv:2607.14408）用成对验证器（pairwise validator）替代标量奖励，在自进化循环中实现零标注成本。

这些工作共同揭示了一个范式迁移：后训练信号正从”稀疏标量”走向”密集结构化”。然而，当前训练数据工程管线完全围绕标量奖励设计，无法适应这一信号带宽扩展带来的新挑战：

1. 体验过时（Experience Staleness）：EK 在策略 θ_t 下生成，但被策略 θ_{t+k} 消费。随着策略演化，早期 EK 的指导可能已不适用甚至有害——SEED 的自进化机制缓解了此问题但未显式建模过时性；
2. 体验冲突（Experience Conflict）：相似响应可能获得矛盾的 EK（不同 Coach 评估、不同 rubric 维度），导致训练信号不一致；标量奖励通过压缩消除了冲突但也丢失了细粒度信息；
3. 体验稀释（Experience Dilution）：高带宽 EK 中有效信号与冗余描述混杂，策略模型可能难以从冗长文本中提取核心学习信号，导致”读得多、学得少”。

这三类退化在标量奖励范式下不存在（标量不存在过时/冲突/稀释问题），是信号带宽扩展引入的全新数据质量问题。

核心思路

提出 EXP-FIDELITY 框架，将体验知识的保真度建模为一等训练数据质量信号。核心主张：信号带宽扩展带来的收益受限于信号保真度——当 EK 保真度低于阈值时，更丰富的信号反而不如简洁的标量奖励。

与现有工作的关键区别：

维度	LLM-as-a-Coach	SEED	CPO	EXP-FIDELITY（本提案）
信号来源	外部 Coach 评估	策略自身后视分析	参考分布对比	统一建模 EK/后视技能/对比信号
保真建模	无	隐含（自进化）	无	显式保真度度量与门控
冲突处理	无	无	无	多源 EK 一致性验证
过时处理	无	隐含（同步更新）	无	策略距离感知过时评分
数据策展	无	无	无	保真驱动采样/合成/组织

核心创新：将 EK 保真度从”隐含假设”提升为”显式信号”，建立 F(EK, θ) ∈ [0, 1] 形式的保真度函数，用于驱动训练数据的策展决策。

技术路线

第一阶段：体验信号保真诊断

1.1 体验过时诊断

定义策略距离感知的过时评分：

$S_{\text{stale}}(\text{EK}_i, \theta_{\text{gen}}, \theta_{\text{consume}}) = 1 - \exp\left(-\alpha \cdot D_{\text{KL}}(\pi_{\theta_{\text{gen}}} \| \pi_{\theta_{\text{consume}}})\right)$

其中 $\theta_{\text{gen}}$ 是生成 EK 时的策略参数，$\theta_{\text{consume}}$ 是消费 EK 时的策略参数，$\alpha$ 是温度参数。通过在策采样估计 KL 散度，避免存储历史策略模型。

过时模式分类：

• 温和过时（S_stale < τ_low）：EK 的指导方向仍正确，仅细节需更新
• 中度过时（τ_low ≤ S_stale < τ_high）：EK 的部分建议已不适用，需选择性采纳
• 严重过时（S_stale ≥ τ_high）：EK 的建议方向已偏离当前策略需要，应降权或丢弃

1.2 体验冲突诊断

对同一响应 x 的多源 EK 集合 {EK_1, …, EK_n}，定义冲突评分：

$S_{\text{conflict}}(\{EK_i\}) = 1 - \frac{1}{\binom{n}{2}} \sum_{i<j} \text{Sim}(\text{dir}(EK_i), \text{dir}(EK_j))$

其中 dir(EK) 提取 EK 的指导方向向量（通过 Coach 评估中”应改进/应保持”的二分类提取），Sim 为余弦相似度。

冲突模式分类：

• 维度冲突：不同 Coach 关注不同质量维度（如流畅性 vs. 信息性），建议方向正交但不矛盾
• 方向冲突：同一维度上给出相反建议，需仲裁
• 粒度冲突：一个 Coach 给出宏观建议，另一个给出微观修改，需对齐

1.3 体验稀释诊断

定义 EK 的有效信息密度：

$S_{\text{dilute}}(EK_i) = 1 - \frac{I_{\text{actionable}}(EK_i)}{|EK_i|}$

其中 I_actionable 是可操作指令的数量（通过”应做/不应做”模式匹配提取），|EK_i| 是 EK 的 token 长度。

稀释模式分类：

• 冗余稀释：同一建议反复表述
• 背景稀释：过多背景解释压缩了可操作信号
• 抽象稀释：建议过于抽象无法转化为具体行动

第二阶段：保真驱动体验数据策展

2.1 保真门控采样

综合三维保真画像构建联合保真评分：

$F(EK_i, \theta) = w_1 \cdot (1 - S_{\text{stale}}) + w_2 \cdot (1 - S_{\text{conflict}}) + w_3 \cdot (1 - S_{\text{dilute}})$

采样策略：

• 高保真区（F > τ_H）：标准采样权重，EK 作为主要训练信号
• 中保真区（τ_M < F ≤ τ_H）：降权采样，EK 与标量奖励联合使用
• 低保真区（F ≤ τ_M）：回退至标量奖励，EK 不参与训练

2.2 保真增强合成

针对诊断出的三类退化模式，设计定向合成策略：

• 过时刷新合成：对 S_stale > τ_low 的 EK，用当前策略 θ 重新生成 EK’，保留原始方向但更新细节，成本远低于从零生成
• 冲突仲裁合成：对维度冲突，保留各维度最优建议组合为多维度 EK；对方向冲突，引入策略偏好仲裁（基于策略在对应维度的当前表现选择更需要的方向）；对粒度冲突，从粗到细构建层级化 EK
• 浓缩合成：对稀释 EK，用策略模型自身作为”信号提取器”：输入原始 EK，输出浓缩后的可操作指令列表，保留与当前策略改进最相关的部分

2.3 保真感知批次构建

构建训练批次时，确保：

• 每个批次的保真度分布均衡（高/中/低保真样本的混合比由保真-学习效率曲线决定）
• 冲突 EK 不在同一批次中（避免梯度冲突）
• 过时 EK 与刷新 EK 配对出现（提供对比学习信号）

第三阶段：体验-策略共进化闭环

3.1 保真监控仪表盘

在训练过程中实时追踪：

• 全局平均保真度 F̄(t) 的演化轨迹
• 三维退化模式的分布变化
• 保真度-训练效率关联（保真度下降时学习效率是否同步下降）

3.2 自适应保真阈值

阈值 τ_H、τ_M 不固定，随训练阶段动态调整：

• 训练早期：高阈值（保守策略，只用最高保真 EK）
• 训练中期：逐步降低阈值（随着策略能力提升，可以消化更多中等保真 EK）
• 训练后期：回升阈值（策略接近饱和，低保真 EK 可能导致退化）

3.3 保真-效率帕累托优化

建立保真度 F 与训练效率 E 的帕累托前沿，识别最优操作点。关键发现假设：存在保真度拐点 F*，低于此点时 EK 的边际贡献为负——此时应回退到标量奖励而非强行使用低保真 EK。

关键技术挑战

1. EK 保真度的因果归因：当策略性能下降时，难以区分是 EK 保真度不足还是策略容量不足——需反事实消融实验分离因果
2. 多源 EK 的统一表示：LLM-as-a-Coach 的文本 EK、SEED 的后视技能、CPO 的对比分歧具有异构结构，需设计统一保真度量框架
3. 保真度估计的计算开销：完整保真诊断需多次前向推理（策略距离估计、冲突检测），需研究轻量级近似方法
4. 混合可验证性场景的信号路由：智能体任务中部分子任务可验证、部分不可验证，需设计标量奖励与 EK 的自适应混合策略

预期成果

定量目标

1. 保真诊断准确率：在人工标注的 EK 保真度数据集上，三维诊断（过时/冲突/稀释）的 F1 ≥ 0.80
2. 不可验证任务提升：在 LLM-as-a-Coach 原始实验的开放式任务上，EXP-FIDELITY 相比原始 EL 进一步提升 3-5 个百分点
3. 混合可验证性任务提升：在含可验证+不可验证子任务的智能体基准（如 τ²-Bench）上，保真驱动混合策略相比纯标量 RL 或纯 EK 提升 5-8 个百分点
4. 训练效率：通过保真门控避免低效 EK 消费，减少 20-30% 的 Coach 调用次数

定性目标

1. 保真拐点发现：实证确定 EK 保真度低于何种阈值时回退到标量奖励更优，为后训练信号选择提供理论指导
2. 信号带宽-保真权衡理论：建立形式化的信号带宽-保真度-训练效率三角关系，为后训练信号设计提供原则性框架
3. 跨范式迁移：验证 EXP-FIDELITY 框架对 SEED 后视技能、CPO 对比信号等其他丰富信号类型的适用性

可能的影响

1. 方法论影响：将训练数据工程从”标量奖励范式”扩展至”结构化信号范式”，为后训练数据工程开辟新方向
2. 工程影响：为 LLM-as-a-Coach 类方法提供生产级数据质量保障，加速其在实际产品中的部署
3. 理论影响：揭示信号带宽扩展的隐性成本（保真退化），为”更丰富信号是否总是更好”这一根本问题提供量化答案

相关工作

1. LLM-as-a-Coach: Experiential Learning for Non-Verifiable Tasks（Ye et al., 2026）

   • 核心贡献：将 LLM-as-Judge 重构为 LLM-as-Coach，生成体验知识替代标量奖励
   • 关键发现：EL 在不可验证任务上持续优于基于 rubric 的 RL，且泛化更好、缓解奖励黑客
   • 与本提案关系：EK 是 EXP-FIDELITY 的核心信号源，本提案解决 EK 作为训练数据的保真退化问题
   • 链接：https://arxiv.org/abs/2607.18110

2. SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning（Wu et al., 2026）

   • 核心贡献：将完成轨迹转化为后视技能，将技能诱导概率偏移转化为密集 token 级蒸馏信号
   • 关键发现：自进化机制使后视监督随策略同步演化，在文本/视觉智能体任务上一致提升
   • 与本提案关系：后视技能是 EK 的一种形式，SEED 的自进化缓解过时性但未建模冲突与稀释
   • 链接：https://arxiv.org/abs/2607.14777

3. Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization（Xu et al., 2026）

   • 核心贡献：利用 token 级对比分歧替代熵作为正确性感知优势塑形信号，解决熵无法区分有用不确定性与有害混乱的问题
   • 关键发现：正确与错误响应自然支持探索与利用，平衡两者效果最优；在策蒸馏是 CPO 的特例
   • 与本提案关系：对比分歧是另一种丰富信号，其保真度同样受策略距离影响
   • 链接：https://arxiv.org/abs/2607.14614

4. Reward-Free Evolving Agents via Pairwise Validator（Liu et al., 2026）

   • 核心贡献：用冻结 LLM 的成对判断替代标量奖励，在自进化循环中实现零标注成本
   • 关键发现：成对判断因对比性质更稳定，可跨验证器家族替换，在提示/代码两种基材上匹配或超越全奖励基线
   • 与本提案关系：成对判断是一种隐式的体验信号，其保真度受限于验证器能力与候选对的选择偏差
   • 链接：https://arxiv.org/abs/2607.14408

5. DSWorld: A Data Science World Model for Efficient Autonomous Agents（Yang et al., 2026）

   • 核心贡献：构建数据科学世界模型，预测环境状态转换，通过反思性世界模型优化提升预测精度
   • 关键发现：14× RL 训练加速、3-6× 推理加速，但预测错误在复杂操作上仍有显著比例
   • 与本提案关系：世界模型的转换预测也是一种丰富信号，其保真度直接受模型预测精度制约，是 EXP-FIDELITY 框架可扩展的信号类型
   • 链接：https://arxiv.org/abs/2607.15901