研究提案已修订

面向多教师智能体蒸馏的行为杠杆感知训练数据工程：从聚合损失盲区到杠杆锚定的数据策展

针对多教师在线蒸馏中token级行为杠杆失衡导致的隐性过调用问题，提出LEVER-DATA框架，将行为杠杆分布建模为一等训练数据质量信号

2026年7月10日多教师蒸馏行为杠杆失衡智能体训练数据工具调用决策在线策略蒸馏数据工程 token级信号 RL后训练

背景与动机

多教师蒸馏成为通才智能体训练的主流范式

大语言模型智能体需要同时掌握多种能力——工具调用、直接回答、代码生成、科学推理等——而这些能力通常由独立的领域专家教师分别训练获得。多教师在线策略蒸馏（MOPD, Multi-Teacher On-Policy Distillation）已成为融合多种能力的主流后训练范式 [1]：首先并行训练各领域教师，然后在学生自身生成的轨迹上，通过逐token反向KL散度将各教师的知识蒸馏到单一学生模型中。该范式在小米 MiMo-V2-Flash、上海AI实验室 Agents-A1 等工业级前沿模型中已获验证，消除了曝光偏差，提供了密集的逐token监督信号。

行为杠杆失衡：聚合损失不可见的隐性失败模式

然而，最新的研究揭示了一个令人警惕的现象。Shen 等 [2] 在双教师工具使用设置中发现：vanilla 广义知识蒸馏（GKD）虽然提升了工具调用召回率，但同时使学生模型向过调用（over-calling）偏移——在应该直接回答的样本上调用了工具。更关键的是，这一行为偏移从聚合损失中完全不可见：

工具调用样本并未获得更多的token曝光量
全序列逐token散度对工具调用教师并未更大
聚合指标无法区分”正确提升了工具调用召回率”与”错误地对直接回答样本触发工具调用”

根因在于行为杠杆失衡（Behavior Leverage Imbalance）：在模式进入位置（如 <|tool_call|> token、函数名）和结构位置上的局部token级信号，对全局生成模式拥有不成比例的控制力。这些”杠杆点”上的微小散度偏移，被级联放大为全局行为模式的系统性偏移。

现有方案的不足

算法级修复的局限：Shen 等提出的 Soft Clamp 方法 [2] 通过动态压缩极端 token 级 JSD 进行逐token散度校准，将过调用率从 13.7% 降至 9.0%。但这仅是对症治疗——它压缩了杠杆点上的信号强度，却未从数据层面消除杠杆失衡的根源。
轨迹级数据工程的盲区：当前训练数据工程（CurateEvo [3]、OpenThoughts-Agent [4]）将轨迹视为原子策展单位，在轨迹级进行采样、过滤和增强。但行为杠杆失衡是token级结构属性——同一轨迹内的不同token位置拥有截然不同的杠杆权重，轨迹级操作无法感知这一异质性。
多任务熵交叉的加剧效应：EPPO [5] 揭示多任务智能体RL中不同任务的探索-利用节奏失配：简单任务过早收敛到低熵策略，反过来阻碍困难任务的学习。在多教师蒸馏中，这种跨任务熵动态交互与行为杠杆失衡耦合——工具调用教师主导的杠杆点可能人为压制直接回答教师的学习信号。

核心矛盾

多教师蒸馏的训练数据工程面临一个根本矛盾：聚合损失的平衡≠行为杠杆的平衡。 当前所有数据策展方法都在优化轨迹级的均衡性（各领域数据比例、通过率均衡、难度分布），但真正决定学生行为模式的是token级行为杠杆的分布——而这正是现有方法完全忽视的维度。

核心思路

提出 LEVER-DATA 框架

我们提出行为杠杆感知训练数据工程（LEVER-DATA, Leverage-Aware Data Engineering）框架，将训练轨迹的行为杠杆分布建模为一等训练数据质量信号。核心主张：

不是”教师信号有多强”决定蒸馏质量，而是”教师信号在哪里起作用”决定蒸馏质量。

与现有工作的关键区别：

维度	现有方法	LEVER-DATA
质量信号	轨迹级（通过率、奖励、困惑度）	Token级杠杆分布
策展粒度	轨迹原子单位	Token级杠杆锚定点
失衡诊断	聚合损失/跨域性能差距	模式进入位置的JSD杠杆比
矫正策略	数据比例调整/Soft Clamp	杠杆感知的数据策展+合成
与EPPO关系	忽视跨任务熵动态	杠杆-熵联合调控

三类杠杆失衡模式

基于 [2] 的发现，我们形式化多教师蒸馏中的三类行为杠杆失衡模式：

模式进入杠杆失衡（Mode-Entry Leverage Imbalance, MELI）：在行为模式切换的token位置（如 <|tool_call|> → 工具调用模式，<|direct_answer|> → 直接回答模式），不同教师的JSD信号对模式选择拥有不成比例的影响力。工具调用教师在模式进入点的JSD尖峰可能导致学生过度倾向工具调用模式。
结构位置杠杆失衡（Structural Position Leverage Imbalance, SPLI）：在函数名、参数结构等结构token位置，教师的JSD信号通过级联效应影响后续所有生成。即使后续token的JSD较低，结构位置的高JSD已”锁定”了生成路径。
跨教师杠杆干扰（Cross-Teacher Leverage Interference, CTLI）：在共享上下文区域（如用户指令理解阶段），多个教师的JSD信号可能在杠杆点相互冲突——工具调用教师倾向于在该区域引入工具调用准备信号，而直接回答教师倾向于抑制此类信号，导致学生在共享区域的表示学习出现系统性混乱。

技术路线

阶段一：杠杆诊断（Leverage Diagnostics）

1.1 Token级行为杠杆画像

对每条训练轨迹 $\tau = (x, y_1, \ldots, y_T)$ ，在学生模型 $\pi_\theta$ 和分派教师 $\pi_{\phi_d}$ 之间计算逐token Jensen-Shannon散度：

$\text{JSD}_t = \text{JSD}(\pi_\theta(\cdot|x, y_{<t}) \| \pi_{\phi_d}(\cdot|x, y_{<t}))$

识别杠杆点：JSD 显著高于轨迹中位数的token位置（ $\text{JSD}_t > \mu_{\text{JSD}} + k\sigma_{\text{JSD}}$ ， $k$ 为阈值参数）。

进一步将杠杆点分类：

MELI 杠杆点：位于模式进入token（<|tool_call|>、<|direct_answer|>等）的杠杆点
SPLI 杠杆点：位于函数名、参数结构等结构token的杠杆点
CTLI 杠杆点：位于多教师共享上下文区域的杠杆点

1.2 轨迹级杠杆画像

基于token级杠杆点分布，为每条轨迹构建杠杆画像向量：

$\mathbf{L}(\tau) = [f_{\text{MELI}}(\tau), f_{\text{SPLI}}(\tau), f_{\text{CTLI}}(\tau), r_{\text{MELI/SPLI}}(\tau), r_{\text{tool/direct}}(\tau)]$

其中 $f_{\text{MELI}}$ 为MELI杠杆点频率， $r_{\text{MELI/SPLI}}$ 为MELI与SPLI杠杆点比例， $r_{\text{tool/direct}}$ 为工具调用vs直接回答模式进入的杠杆比。

1.3 数据集级杠杆失衡诊断

计算训练数据集 $D$ 的全局杠杆失衡指标：

模式进入杠杆比（MELR）： $\text{MELR}(D) = \frac{\sum_{\tau \in D} f_{\text{MELI}}^{\text{tool}}(\tau)}{\sum_{\tau \in D} f_{\text{MELI}}^{\text{direct}}(\tau)}$ ，衡量工具调用模式进入杠杆与直接回答模式进入杠杆的比率
结构杠杆集中度（SLC）：杠杆点在结构token上的Gini系数，衡量杠杆分布的集中程度
跨教师杠杆冲突度（CTLCD）：共享上下文区域中多教师JSD信号方向的方差

关键技术挑战：杠杆点识别需要学生在每个训练步的实时前向传播，计算开销大。我们提出杠杆预估器（Leverage Predictor）：轻量级探针网络，基于轨迹的结构特征（token类型序列、模式切换位置）预估杠杆分布，避免完整前向传播。

阶段二：杠杆感知数据策展（Leverage-Aware Data Curation）

2.1 杠杆平衡采样（Leverage-Balanced Sampling）

替代均匀或比例采样，使用杠杆画像向量 $\mathbf{L}(\tau)$ 构建采样权重：

$w(\tau) \propto \exp\left(-\alpha \cdot \text{MELR\_dev}(\tau) - \beta \cdot \text{SLC}(\tau) - \gamma \cdot \text{CTLCD}(\tau)\right)$

其中 $\text{MELR\_dev}(\tau)$ 为轨迹杠杆比与目标杠杆比的偏差， $\alpha, \beta, \gamma$ 为平衡超参数。目标杠杆比根据验证集上的最优行为分布动态设定。

2.2 反事实模式转换合成（Counterfactual Mode-Transition Synthesis）

针对杠杆失衡最严重的模式转换区域，合成反事实转换轨迹：

从高杠杆失衡轨迹中提取模式转换片段
生成反事实变体：将工具调用模式进入替换为直接回答模式进入（或反之），保持上下文语义不变
用对应教师验证反事实轨迹的正确性
将通过验证的反事实轨迹注入训练集，增加杠杆平衡样本的密度

这类似于数据增强中的对比样本构造，但增强维度不是语义内容，而是行为模式转换方向。

2.3 杠杆感知批次构建（Leverage-Aware Batch Construction）

传统批次构建按领域或难度分组。我们提出杠杆均衡批次：每个批次内，MELI/SPLI/CTLI三类杠杆点的分布与目标分布对齐，避免单一批次内杠杆信号的系统性偏移。

具体实现：将轨迹按杠杆画像聚类，从每个聚类中等比例采样构建批次，确保每个训练步的梯度更新不偏向任何一类杠杆模式。

2.4 杠杆-熵联合调控（Leverage-Entropy Joint Regulation）

整合 EPPO [5] 的熵节奏控制思想，将杠杆感知与熵感知统一：

对高杠杆-高熵交叉区域（行为决策关键且不确定性大的token），同时应用杠杆校准和熵节奏控制
对高杠杆-低熵区域（杠杆失衡已固化的token），优先进行杠杆平衡数据增强
对低杠杆-高熵区域（不确定性大但杠杆失衡不严重的token），采用EPPO的熵节奏裁剪

阶段三：杠杆-能力共进化闭环（Leverage-Capability Co-evolution Loop）

3.1 周期性杠杆审计

每 $K$ 个训练步，在验证集上进行完整的杠杆诊断，计算 MELR、SLC、CTLCD 指标，监控杠杆失衡的演化趋势。

3.2 杠杆驱动数据再策展

当杠杆失衡指标超过阈值时，触发数据再策展：

调整采样权重 $w(\tau)$ 中的平衡超参数
增加反事实模式转换合成比例
调整批次构建的杠杆均衡约束

3.3 杠杆-效用帕累托监控

杠杆平衡可能牺牲部分教师信号的利用效率。通过帕累托前沿监控确保杠杆校准不导致整体性能退化：同时跟踪杠杆失衡指标和各领域任务性能，当两者冲突时，选择帕累托最优的数据策展策略。

预期成果

定量目标

过调用率降低：在 APIGen-MT 基准上，将多教师蒸馏的过调用率从 Soft Clamp 的 9.0% 进一步降至 5.0% 以下，同时保持决策准确率不退化
杠杆平衡度提升：MELR 指标从当前方法的 >2.0 降至 1.2-1.5 范围（接近理想的 1.0 均衡比）
跨领域性能一致性：在 BFCL-V4 多轮诊断中，工具调用和直接回答两类决策的性能差距从当前的 >8pp 缩小至 <4pp
可扩展性：从双教师扩展至 6+ 教师（参考 Agents-A1 的六教师设置）时，杠杆失衡增长速率低于线性

定性目标

杠杆诊断的可解释性：提供可视化工具，展示训练数据集的杠杆分布热图，帮助研究者直观理解”教师信号在哪里起作用”
框架通用性：LEVER-DATA 应兼容不同的多教师蒸馏实现（MOPD 的策略梯度形式和 Top-k 蒸馏形式）
与算法级修复的互补性：LEVER-DATA 与 Soft Clamp 应能叠加使用，数据级杠杆平衡为算法级校准提供更好的起点

可能的影响

范式级影响：将多教师蒸馏的训练数据质量评估从”聚合损失是否平衡”转向”行为杠杆是否平衡”，建立新的数据质量维度
实践影响：为 MiMo-V2-Flash、Agents-A1 等采用多教师蒸馏的工业级模型提供训练数据优化指南
跨领域迁移：行为杠杆失衡不仅存在于工具调用决策，也可能存在于代码生成中的API调用决策、科学推理中的实验设计决策等场景