研究提案 已修订

面向潜在同策略自蒸馏的行为诱发保真训练数据工程：从经验检索到行为模式感知的上下文组合

针对LOPD可学习潜在上下文中的行为模式质量盲区，提出行为诱发保真感知的训练数据工程框架（BEHAV-ELICIT），从数据层面系统性消除潜在上下文组合中的行为模式坍缩、失配与漂移

同策略自蒸馏 行为诱发保真 潜在上下文 训练数据工程 智能体自进化 OPSD RLVR 代码生成

背景与动机

同策略自蒸馏（On-Policy Self-Distillation, OPSD）已成为自进化智能体训练的核心范式。其基本机制是：使用一个拥有特权上下文（privileged context，如验证答案、成功轨迹、技能描述）的自教师（self-teacher）对学生自身生成的轨迹前缀提供密集 token 级监督。近期一系列工作将这一范式推向了新的前沿：

  • LOPD（arXiv:2608.13040）将教师的特权上下文本身从人工指定的特权制品（答案/反馈/技能/轨迹）升级为从经验中端到端学习的连续潜在 token，在工具使用和代码生成任务上以不到 30% 的 rollout 预算超越 GRPO 和 Skill-SD。
  • PAST（arXiv:2608.08726）将学生的完整轨迹（含失败轨迹）作为额外特权信息注入教师，利用后见之明（hindsight）适配教师朝向可验证成功方向。
  • CrEST（arXiv:2608.13179）将多轮智能体 RL 中的信用分配分解为回合级验证优势（方向）和 token 级教师调制（幅度），证明教师的角色可以从”决定更新方向”降维为”调制更新幅度”。
  • SMRC-SD（arXiv:2608.05219）识别了多轮交互中的状态-参考失配（state-reference mismatch）问题，通过状态匹配路由确保特权指导仅在状态兼容时施加。

然而，一项颠覆性发现——OP2SD（arXiv:2608.09228，“Privileged Solutions or Context-Induced Teacher Behavior? Dissecting On-Policy Self-Distillation”）——从根本上改变了我们对 OPSD 增益来源的理解：OPSD 的性能提升并非来自目标特定特权信息的传递，而是来自上下文诱导的教师行为模式（context-induced teacher behavior），即推理风格、结构和记号约定。实验表明，用完全不相关问题的解答替换目标解答（OP2SD 设定），在三个 Qwen3 模型 × 三个数学基准上仍保持竞争力甚至超越标准 OPSD。

这一发现揭示了一个被现有工作集体忽视的根本问题：如果 OPSD 的增益本质上来自上下文诱导的教师行为模式，那么决定这些行为模式质量的不是特权信息的内容，而是上下文的行为诱发属性（behavior-eliciting properties）。OP2SD 进一步识别了三个关键行为诱发属性：领域特异性（domain specificity）、简洁性（conciseness）、结构聚焦性（structural focus）。

⚠️ 严重事实错误：OP2SD 并未识别本文所列的三个行为诱发属性

审阅时回源 arXiv:2608.09228v1 全文（HTML 正文 86,820 字符，已剥离 SVG 后检索），结果如下：

检索词命中次数
domain specificity / domain-specific / domain specific0
conciseness0
structural focus / structural0
eliciting0
attributes0

论文通篇未提出”三个行为诱发属性”这一框架，也从未使用上述任一术语。更关键的是，论文在讨论跨主题（数学 vs 物理）消融时明确声明自己没有分离出任何属性：

“This result does not isolate which property of the physics context causes the decline. The mathematics and physics pools differ in source, subject matter, notation, units, solution style, context length, and subject-specific prompt wording. […] Accordingly, we treat this as a descriptive cross-subject ablation rather than evidence that mathematical semantics alone explain OP²SD.”

论文中真正与”简洁性”沾边的是附录 J 的 Table 3——一组上下文冗长度的消融（Concise Correct Solution 204 tokens vs Verbose Correct Solution 742 tokens，另有 Locally Corrupted 与 Trivial 两个对照）。这是针对单个固定数学上下文的冗长度对照实验，不是被命名为”行为诱发属性”的理论构件。

对本文的影响：本提案的阶段一（行为模式空间的三个维度 bdomb_{\text{dom}} / bstructb_{\text{struct}} / bconcb_{\text{conc}}）、三条诊断（BPC/BPI/BPD）以及阶段二的合成模板设计，全部直接建立在这”三个属性”之上。该前提既然不成立，三维度目前应视为本提案自行提出的假设，而非对 OP2SD 发现的继承。引用时必须改述为”本提案假设”或另行寻找支持三个维度的实证来源（例如跨主题消融与冗长度消融只能部分支撑”领域”与”简洁”两个维度，且论文自身对前者的因果性持保留态度）。

OP2SD 真正站得住的结论只有两条，本提案的核心动机仍然成立：（1）用其他问题的解答替换配对参考解后，增益大部分保留；（2）增益来自上下文诱导的教师行为，而非目标特定信息。问题不在动机，在属性清单。

当前 LOPD 虽然将特权上下文从手工制品升级为可学习的潜在 token，但其经验检索和潜在上下文组合过程完全忽略了行为诱发属性的质量保障。具体存在三个未被填补的盲区：

  1. 行为模式坍缩（Behavioral Pattern Collapse, BPC）：随着训练推进，可学习潜在 token 可能收敛到单一行为模式，丧失跨任务类型的教师行为多样性。OP2SD 证明领域特异性是行为诱发的关键条件——若潜在上下文对所有任务诱导相似行为，增益将急剧衰减。

  2. 行为模式失配（Behavioral Pattern Irrelevance, BPI）：LOPD 的经验检索基于任务级语义相似度，但不考虑学生当前轨迹的实际失败模式。PAST 证明失败轨迹包含宝贵的后见之明，但 LOPD 的经验库检索未与学生的失败模式对齐——检索到的经验可能诱导与当前困难完全无关的教师行为。

  3. 行为模式漂移（Behavioral Pattern Drift, BPD）：随着潜在 token 的端到端学习，其组成可能逐渐偏离 OP2SD 识别的行为诱发属性（领域特异性、简洁性、结构聚焦性），退化到冗长、跨域、无结构的通用行为模式，导致教师信号质量隐性下降。

此外，CrEST 的方向-幅度分解表明：当教师的角色被降维为”调制更新幅度”时，幅度调制的质量完全取决于教师行为模式的保真度——行为模式坍缩意味着幅度调制缺乏区分性，行为模式失配意味着幅度调制方向错误，行为模式漂移意味着幅度调制信号退化。因此，行为模式保真度（Behavioral Pattern Fidelity, BPF）是 OPSD 训练数据质量的被遗漏的一等信号。

核心思路

我们提出 BEHAV-ELICIT（Behavioral Elicitation Fidelity-Aware Training Data Engineering）框架，将行为模式保真度（BPF）建模为 OPSD 训练数据的一等质量信号，从经验检索到潜在上下文组合的全流程保障行为诱发属性的质量。

核心主张

OPSD 训练数据工程应从”内容正确性策展”转向”行为诱发属性策展”。当 OP2SD 证明增益来自上下文诱导的行为模式而非目标特定信息时，训练数据的质量标准必须从”特权信息是否正确”重构为”上下文是否诱导高质量教师行为模式”。

与现有工作的关键区别

维度LOPDPASTCrESTSMRC-SDBEHAV-ELICIT
关注焦点特权上下文可学习化学生轨迹作为特权信息方向-幅度信用分解状态-参考匹配路由行为诱发属性质量
质量信号经验检索语义相似度后见之明适配验证优势+熵门控状态签名匹配行为模式保真度(BPF)
诊断维度无无信用稀释状态失配BPC/BPI/BPD 三维
数据工程经验库构建失败轨迹利用回合分段状态匹配过滤行为诱发属性感知策展
坍缩防护privileged-margin 目标学生邻近正则熵门控状态路由BPF 门控+多样性保持

BEHAV-ELICIT 不替代 LOPD 的可学习潜在上下文机制，而是在其外围构建行为模式保真度感知的数据工程层，确保可学习潜在 token 的训练数据始终满足行为诱发属性的质量标准。

框架三阶段

阶段一：行为模式画像与诊断

定义教师行为模式空间 B\mathcal{B}，从 OPSD 训练轨迹中提取教师行为模式向量 b∈Bb \in \mathcal{B}，包括三个行为诱发属性维度：

  • 领域特异性向量 bdomb_{\text{dom}}：教师行为模式在领域知识空间中的定位（数学推理 vs 代码生成 vs 工具使用）
  • 结构聚焦向量 bstructb_{\text{struct}}：推理链的结构特征（分解深度、步骤连贯性、验证密度）
  • 简洁性标量 bconcb_{\text{conc}}：行为模式的冗余程度（token 效率、推导直接性）

基于行为模式空间定义三类退化诊断：

  • BPC 诊断：行为模式多样性指数 D(B)=Entropy({bi})/Entropymax⁡D(\mathcal{B}) = \text{Entropy}(\{b_i\}) / \text{Entropy}_{\max}，当 D<τBPCD < \tau_{\text{BPC}} 时触发坍缩预警
  • BPI 诊断：行为模式-失败模式对齐度 A(b,f)=cos⁡(bstruct,ffail)A(b, f) = \cos(b_{\text{struct}}, f_{\text{fail}})，其中 ffailf_{\text{fail}} 为学生当前轨迹的失败模式特征向量
  • BPD 诊断：行为诱发属性漂移度 Δdrift(t)=∥b(t)−b(0)∥B\Delta_{\text{drift}}(t) = \|b(t) - b(0)\|_{\mathcal{B}}，追踪行为模式随训练步数的漂移轨迹

阶段二：行为诱发属性感知数据策展

将诊断信号转化为三类数据工程操作：

  • BPC 驱动的多样性保持采样：当 BPC 触发时，从经验库中优先检索行为模式空间中低密度区域的经验，确保潜在上下文组合覆盖多样化的教师行为模式。具体实现为行为模式感知的核采样（behavior-pattern-aware nucleus sampling）：以行为模式向量 bb 为采样空间，在低密度区域施加温度提升。

  • BPI 驱动的失败模式定向检索：将 PAST 的后见之明适配机制从教师适配层面提升至经验检索层面。对每条学生失败轨迹提取失败模式特征 ffailf_{\text{fail}}（包括失败位置、失败类型、推理断裂点），在经验库中检索行为模式与失败模式对齐度 A(b,ffail)A(b, f_{\text{fail}}) 最高的经验。关键创新是将 OP2SD 的领域特异性约束与失败模式对齐联合优化：检索经验必须同时满足（1）领域特异性匹配（2）行为模式能诱导解决当前失败类型的推理结构。

  • BPD 驱动的行为诱发属性锚定合成：当 BPD 检测到行为诱发属性漂移时，合成具有强行为诱发属性的经验作为锚点。基于 OP2SD 的三个发现设计合成模板：（1）领域特异性强——合成经验必须包含领域专属推理模式（2）简洁性高——合成经验遵循简洁聚焦准则，去除冗余推导（3）结构聚焦——合成经验具有清晰的分解-验证结构。

阶段三：行为模式保真-能力共进化闭环

建立 BPF 监控→诊断→策展→验证的闭环：

  1. BPF 监控器：在每轮训练后计算 D(B)D(\mathcal{B})、Aˉ\bar{A}、Δdrift\Delta_{\text{drift}} 三项指标，形成行为模式保真度画像
  2. 退化预测器：基于历史 BPF 轨迹预测下一轮训练的退化风险，实现预防性策展而非被动修复
  3. 行为模式-能力帕累托追踪：联合追踪 BPF 指标与任务性能指标，识别”BPF 下降但性能上升”的危险区（表明性能提升来自行为模式坍缩的捷径）和”BPF 上升但性能下降”的保守区（表明过度多样性约束阻碍学习），寻找帕累托最优点
  4. 自适应策展强度：根据退化风险动态调整数据策展强度——低风险时保持标准 LOPD 流程，高风险时注入行为诱发属性锚定数据

技术路线

步骤一：行为模式空间构建

输入：OPSD 训练轨迹集合 {(xi,y^i,cim,yi⋆)}\{(x_i, \hat{y}_i, c_i^{m}, y_i^{\star})\}，其中 cimc_i^{m} 为教师特权上下文

行为模式提取：

  1. 对每条轨迹的教师分布 pT(⋅∣xi,cim,y^i,<t)p_T(\cdot | x_i, c_i^{m}, \hat{y}_{i,<t}) 提取 token 级行为特征
  2. 领域特异性：计算教师分布在领域关键词空间中的注意力分布 αdom(t)\alpha_{\text{dom}}(t)，聚合为 bdom=mean-pool({αdom(t)}t=1∣y^∣)b_{\text{dom}} = \text{mean-pool}(\{\alpha_{\text{dom}}(t)\}_{t=1}^{|\hat{y}|})
  3. 结构聚焦：提取推理链的依存树深度序列 {d(t)}\{d(t)\}，计算结构聚焦向量 bstruct=histogram({d(t)})b_{\text{struct}} = \text{histogram}(\{d(t)\})
  4. 简洁性：计算有效信息密度 bconc=∣unique-info-tokens∣/∣total-tokens∣b_{\text{conc}} = |\text{unique-info-tokens}| / |\text{total-tokens}|

行为模式空间参数化：使用变分自编码器（VAE）将行为特征向量编码为低维潜空间 B⊂Rd\mathcal{B} \subset \mathbb{R}^d，支持行为模式距离计算和密度估计

步骤二：退化诊断探针设计

BPC 探针：

  • 在行为模式空间 B\mathcal{B} 上使用核密度估计（KDE）计算行为模式分布 P(b)P(b)
  • 多样性指数 D(B)=−∫P(b)log⁡P(b)db/log⁡∣B∣D(\mathcal{B}) = -\int P(b) \log P(b) db / \log |\mathcal{B}|
  • 坍缩检测：当 D(B)<τBPCD(\mathcal{B}) < \tau_{\text{BPC}}（默认 τBPC=0.3\tau_{\text{BPC}} = 0.3）时触发

BPI 探针：

  • 失败模式提取：对每条失败轨迹使用教师模型标注失败位置 tfailt_{\text{fail}} 和失败类型 typefail∈{推理断裂, 工具误用, 验证缺失, ...}\text{type}_{\text{fail}} \in \{\text{推理断裂, 工具误用, 验证缺失, ...\}}
  • 失败模式特征 ffail=embed(tfail,typefail)f_{\text{fail}} = \text{embed}(t_{\text{fail}}, \text{type}_{\text{fail}})
  • 对齐度 A(b,f)=cos⁡(bstruct,ffail)A(b, f) = \cos(b_{\text{struct}}, f_{\text{fail}})
  • 失配检测：当批次平均对齐度 Aˉ<τBPI\bar{A} < \tau_{\text{BPI}}（默认 τBPI=0.5\tau_{\text{BPI}} = 0.5）时触发

BPD 探针：

  • 记录初始行为模式分布 P0(b)P_0(b) 和当前分布 Pt(b)P_t(b)
  • 漂移度 Δdrift(t)=KL(Pt∥P0)\Delta_{\text{drift}}(t) = \text{KL}(P_t \| P_0)
  • 漂移检测：当 Δdrift>τBPD\Delta_{\text{drift}} > \tau_{\text{BPD}}（默认 τBPD=0.5\tau_{\text{BPD}} = 0.5）时触发

步骤三：行为诱发属性感知策展引擎

BPC 驱动多样性保持采样：

Input: 经验库 E, 行为模式空间 B, 当前分布 P(b)
For each task x_i:
  1. 计算经验库中每条经验的行为模式 b_j
  2. 计算采样权重 w_j ∝ 1/P(b_j)  # 低密度区域高权重
  3. 核采样：从经验库按 w_j 采样 top-k 经验
  4. 将采样经验组合为潜在 token 输入 LOPD

BPI 驱动失败模式定向检索：

Input: 失败轨迹 {(x_i, ŷ_i^fail)}, 经验库 E
For each failed trajectory:
  1. 提取失败模式特征 f_fail
  2. 计算经验库中每条经验的对齐度 A(b_j, f_fail)
  3. 领域特异性过滤：保留 b_dom 与任务领域匹配的经验
  4. 对齐度排序：选择 top-k 对齐经验
  5. 注入 LOPD 经验检索模块

BPD 驱动行为诱发属性锚定合成：

  • 模板库设计：基于 OP2SD 的三个行为诱发属性设计合成模板
    • 领域特异性模板：注入领域专属推理模式（数学：符号推导；代码：类型安全推理；工具：参数验证）
    • 简洁性模板：去除冗余推导步骤，保留关键决策点
    • 结构聚焦模板：强制分解-验证结构
  • 锚定数据注入：当 BPD 触发时，按比例 ρanchor\rho_{\text{anchor}}（默认 10%）注入锚定合成数据

步骤四：BPF-能力共进化闭环

闭环协议：

  1. 每轮训练后运行退化诊断探针（BPC/BPI/BPD）
  2. 根据诊断结果选择策展策略（多样性保持/失败定向/属性锚定）
  3. 策展强度自适应：退化风险越高，策展强度越大
  4. 帕累托追踪：联合记录 BPF 指标和任务性能，识别最优操作点
  5. 退化预测：基于历史 BPF 序列训练轻量预测器，实现预防性策展

关键技术挑战

  1. 行为模式空间的跨任务泛化性：行为模式 VAE 需要在不同任务类型（数学/代码/工具使用）间共享行为模式空间，但不同任务的教师行为模式可能有本质差异。解决方案：使用层次化 VAE，顶层共享跨域行为模式，底层任务特定。

  2. 失败模式特征提取的准确性：失败模式标注依赖教师模型的判断能力，而教师模型本身可能存在盲区。解决方案：使用 CrEST 的验证优势信号作为失败模式的客观锚点，结合教师模型的主观标注形成双源验证。

  3. 行为诱发属性合成模板的覆盖性：手工设计的合成模板可能无法覆盖所有有效的行为诱发模式。解决方案：从成功轨迹中自动挖掘行为诱发属性模式（使用对比学习：成功轨迹 vs 失败轨迹的教师行为差异），形成自适应模板库。

  4. 策展强度与学习效率的平衡：过强的行为模式约束可能阻碍模型发现新的有效行为模式。解决方案：帕累托追踪机制自动识别约束过强区域，动态放松约束。

预期成果

定量目标

  • 性能提升：在 BFCL V3、WildToolBench、LiveCodeBench 上相比 LOPD 基线提升 15-25%，相比 GRPO 基线提升 30-40%
  • 学习效率：在保持性能的前提下进一步减少 rollout 预算 20-30%（基于 LOPD 已有 70% 节省基础上的额外改进）
  • 行为模式多样性维持：训练全程行为模式多样性指数 D(B)>0.6D(\mathcal{B}) > 0.6（LOPD 基线预计降至 0.2-0.3）
  • 失败模式定向精度：行为模式-失败模式对齐度 Aˉ>0.7\bar{A} > 0.7（LOPD 基线预计 0.3-0.4）
  • 行为诱发属性漂移控制：训练全程 Δdrift<0.3\Delta_{\text{drift}} < 0.3（LOPD 基线预计 > 1.0）

定性目标

  • 首次将 OP2SD 的理论发现（行为诱发属性）转化为可操作的训练数据工程实践
  • 建立行为模式保真度作为 OPSD 训练数据质量的一等信号的理论框架
  • 提供 BPC/BPI/BPD 三类退化的可复现诊断协议
  • 验证”行为模式策展 > 内容正确性策展”的范式转换假设

可能的影响

  1. 对 OPSD 理论的贡献：将 OP2SD 的行为诱发属性发现从”诊断性观察”提升为”预防性数据工程准则”，弥合理论发现与实践应用之间的鸿沟

  2. 对自进化智能体的贡献：行为模式保真度闭环使自进化智能体在持续训练中主动维护教师行为模式质量，防止”越训练越退化”的行为模式坍缩现象

  3. 对 CrEST 方向-幅度分解的补充：当教师的角色被降维为幅度调制时，BEHAV-ELICIT 提供了幅度调制质量的数据层保障——行为模式保真度直接决定幅度调制的区分性和正确性

  4. 对代码生成 Agent 的实践意义：SpecPath（arXiv:2608.09799）揭示的规范路径敏感性表明，同一规范的不同对话路径产生不同代码——行为模式保真度可解释为何某些路径诱导了更稳定的教师行为模式，为代码 Agent 的对话路径优化提供数据工程视角

相关工作

  1. LOPD: Latent On-Policy Self-Distillation（arXiv:2608.13040, 2026-08-13）

    • 将 OPSD 教师的特权上下文从人工指定升级为从经验中端到端学习的连续潜在 token
    • 以不到 30% 的 rollout 预算超越 GRPO 和 Skill-SD
    • 与本提案的关系：BEHAV-ELICIT 的直接基线，本提案在其可学习潜在上下文机制外围构建行为模式保真度感知层

  2. OP2SD: Privileged Solutions or Context-Induced Teacher Behavior?（arXiv:2608.09228, 2026-08-10）

    • 证明 OPSD 增益来自上下文诱导的教师行为模式而非目标特定特权信息
    • 识别三个行为诱发属性：领域特异性、简洁性、结构聚焦性
    • 与本提案的关系：提供核心理论依据——行为诱发属性是 OPSD 数据质量的本质维度，BEHAV-ELICIT 将其转化为可操作的数据工程准则

  3. CrEST: Teach the Magnitude, Not the Direction（arXiv:2608.13179, 2026-08-13）

    • 将多轮 Agent RL 信用分配分解为回合级验证优势（方向）和 token 级教师调制（幅度）
    • 证明教师角色可从”决定方向”降维为”调制幅度”
    • 与本提案的关系：CrEST 的方向-幅度分解使行为模式保真度成为幅度调制质量的直接决定因素，BEHAV-ELICIT 为 CrEST 的幅度调制提供数据层保障

  4. PAST: Privileged Adaptation from Complete Student Trajectories（arXiv:2608.08726, 2026-08-09）

    • 将学生完整轨迹（含失败轨迹）作为额外特权信息注入教师
    • 利用后见之明适配教师朝向可验证成功
    • 与本提案的关系：PAST 的后见之明机制在教师适配层面操作，BEHAV-ELICIT 将其提升至经验检索层面——失败轨迹的失败模式直接驱动经验检索策略

  5. SMRC-SD: State-Matched Routing and Contextualized Self-Distillation（arXiv:2608.05219, 2026-08-05）

    • 识别多轮交互中的状态-参考失配问题
    • 通过状态匹配路由确保特权指导仅在状态兼容时施加
    • 与本提案的关系：SMRC-SD 解决”何时施加特权指导”的问题，BEHAV-ELICIT 解决”特权指导的行为模式质量”问题——两者正交互补，可联合部署

  6. SpecPath: Testing Coding Agents Across Contract-Equivalent Specification Histories（arXiv:2608.09799, 2026-08-10）

    • 揭示规范路径敏感性：合同等价的规范历史导致行为不同的程序
    • 35/100 成功案例在等价路径上失败
    • 与本提案的关系：SpecPath 的发现表明对话路径结构影响 Agent 行为——BEHAV-ELICIT 的行为模式保真度视角可解释为何某些路径诱导了更稳定的教师行为模式

引用核查记录

引用ID / 作者数日期核查结论
LOPD（2608.13040）✅ 7 人2026-08-13「不到 30% rollout 预算超越 GRPO 与 Skill-SD」经摘要原文证实（“surpassing GRPO and Skill-SD with less than 30% of their rollout budget”）
OP2SD（2608.09228）✅ 4 人2026-08-10（原稿写 08-12，已更正）ID 与核心结论属实；「甚至超越 OPSD」属实但限于 Qwen3-4B/8B，已细化。三个行为诱发属性经全文检索零命中，已在上文标注严重错误
CrEST（2608.13179）✅ 6 人2026-08-13方向-幅度分解、熵门控调制、BFCL V3 / WildToolBench 评测均经摘要证实
PAST（2608.08726）✅ 3 人2026-08-09后见之明适配 + student-proximity 正则，经摘要证实
SMRC-SD（2608.05219）✅ 4 人2026-08-05state–reference mismatch 与状态匹配路由，经摘要证实
SpecPath（2608.09799）✅ 5 人2026-08-10（原稿写 08-11，已更正）「35/100」经摘要原文证实（“35 of 100 complete blocks that succeed on the direct specification fail on at least one equivalent history”）；原文为 5 个软件任务 × 14 种 agent 配置

⚠️ 本文最需要读者注意的一点：本提案的立论动机（OPSD 增益来自上下文诱导的教师行为）由 OP2SD 扎实支撑；但支撑其三维行为模式空间的「三个行为诱发属性」在 OP2SD 中并不存在。推进本提案前，建议先补上对这三个维度自身的实证依据，或明确将其降级为待检验假设。

关联内容

研究 🔗 相关
精读：DART-SD——用状态拓扑定位断点，只修补该修补的那一段
把多轮工具调用从线性轨迹重述为菱形状态图，只在学生首次偏离可达区域的断点上施加局部监督，避免有效探索被全轨迹监督抹除
研究 🔗 相关
精读：CSCR——反事实敏感性揭示特权蒸馏的信用分配盲区
通过反事实重评分实验揭示OPSD特权偏移不承载答案对齐信息，提出敏感性信用重分配框架
研究 🔗 相关
面向多轮智能体RL的方向-幅度解耦感知训练数据工程：从教师方向劫持到因果锚定的方向-幅度边界自适应数据策展
将多轮智能体RL自蒸馏中的方向-幅度解耦兼容性建模为一等训练数据质量信号，诊断三类解耦失败（方向模糊/幅度污染/方向-幅度冲突），通过因果锚定的方向-幅度边界自适应数据策展系统性消除教师方向劫持与信息不对称偏差