研究提案已修订

研究提案：信息增量驱动的自适应蒸馏数据合成框架

当前蒸馏和 SFT 数据合成普遍采用「先大量生成、再事后过滤」的两阶段范式，浪费 60-80% 的合成算力在对目标模型无增量价值的样本上。本提案设计一套在线信息增量度量机制，将目标模型的实时能力画像反馈到合成策略中，实现「只合成模型确实不会的数据」的自适应闭环，目标是在相同合成预算下将下游性能提升 15-25%。

2026年4月18日 distillation synthetic-data information-gain adaptive-synthesis on-policy-distillation data-efficiency closed-loop

触发动机

三条独立的研究线索在本周交汇，指向一个被普遍忽视但影响巨大的效率问题。

线索一：蒸馏的成败由信息增量决定，而非教师强度。 2026-04-14，清华 THUNLP 发布了迄今最系统的在策略蒸馏（On-Policy Distillation, OPD）机制分析（arXiv:2604.13016）。核心发现颠覆了直觉：蒸馏成功的条件不是”教师模型越强越好”，而是教师必须在学生确实不会的维度上提供新知识。更具体地，成功的蒸馏表现为关键决策点上高概率 token 的渐进对齐——一个很小的共享 token 集合集中了 97%-99% 的概率质量。这意味着蒸馏的信息传递是高度稀疏的：有效信号只存在于学生和教师概率分布差异最大的那些 token 上。

线索二：三家公司的 RL agentic 训练揭示数据效率瓶颈。 Kimi K2.5、Cursor Composer 2、Chroma Context-1 各自用 RL 训练 agentic 模型（Philipp Schmid 技术拆解）。三者都强调了一个共同约束：RL rollout 的基础设施成本极高，每条 trajectory 的生成成本是普通 SFT 样本的 10-100 倍。在这种高成本场景下，每条合成数据的信息增量直接决定了训练的 ROI——但目前没有系统性方法来度量和优化这个增量。

线索三：闭环数据合成的可行性已被验证。 DALL 框架（arXiv:2602.14102，CHI 2026）用数据编程 + 主动学习 + LLM 构建了标注的闭环系统，证明了”根据模型当前状态动态调整数据策略”的工程可行性。DataFlow（北大 DCAI，arXiv:2512.16676）则证明了 10K 高信息密度样本可以超越 1M 无差别样本——100 倍的数据效率差异，本质上就是信息增量的差异。

交汇点：当前蒸馏和合成数据的生产范式是”先生成一大批、再用质量分类器过滤”。这是一种开环（open-loop）流程——合成策略不知道目标模型当前的能力边界在哪里，只能盲目生成。THUNLP 的发现告诉我们，蒸馏的信息传递是稀疏的；DALL 和 DataFlow 告诉我们，闭环策略远优于开环策略。我们需要的是一套在线信息增量度量机制，让合成策略在生成每个样本之前就知道”这个样本对目标模型有没有用”，从而把合成算力集中在真正有增量价值的区域。

战略判断：为什么现在做

行业趋势

蒸馏和合成数据已经成为后训练的标配操作，但效率问题正在快速暴露：

合成成本攀升：Agent trajectory 的单条生成成本是纯文本 SFT 样本的 10-100 倍（工具调用、环境交互、多轮验证）。Cursor 直接在生产流量上做 RL 训练，每条有效 trajectory 的成本更高
过滤浪费惊人：Nemotron-CC 管线保留约 30% 合成回收数据，FineWeb-Edu 过滤掉 90%+ 数据。在蒸馏场景中，按 THUNLP 的分析，大部分合成样本在学生和教师分布已对齐的区域，对训练无增量贡献
DCLM 竞赛的启示：DataComp/DCLM 证明数据选择可以在固定计算预算下带来巨大性能差异，但其选择发生在已有数据上；对于合成数据，选择应该前移到生成阶段

现有方案的缺口

现有方案	做法	缺陷
静态蒸馏	教师在全 prompt 集上生成，学生学全部	大量样本对学生无增量价值
质量过滤	先生成后用分类器筛选	已生成的算力浪费了；过滤标准与目标模型无关
课程学习	按难度排序训练	难度 ≠ 信息增量；简单但学生不会的样本被排后
THUNLP 的教师对齐提示选择	只在教师有优势的 prompt 上蒸馏	方向正确但粒度粗（prompt 级），未延伸到合成策略调整
Rho-1 token 级选择	训练时跳过”已学会”的 token	在训练侧优化，未影响数据生成侧

缺口清晰：没有方案将信息增量度量前移到合成/生成阶段，用它来驱动合成策略的实时调整。

重要性评估

这不是一个锦上添花的优化。在 agent trajectory 合成场景中，单条数据的生成成本可达 $0.5-5（多轮工具调用 + 环境交互 + 验证），一轮 10 万条 trajectory 的合成成本是 $50K-500K。如果 60% 的 trajectory 对目标模型无增量价值（基于 THUNLP 的发现，这是保守估计），相当于每轮浪费 $30K-300K。一套有效的信息增量驱动合成框架，在 5 轮迭代中可以节省 $150K-1.5M。

核心洞察

本提案的关键 idea 可以用一句话概括：把数据合成从”生成-过滤”的开环范式，转变为”度量-合成-验证”的闭环范式，用目标模型的实时信息增量画像驱动合成策略的动态调整。

具体而言，三个技术洞察：

信息增量可以被廉价近似度量。THUNLP 发现蒸馏的信息传递集中在学生-教师概率分布差异最大的 token 上。这意味着我们不需要完整训练就能评估一个样本的增量价值——只需要在样本上做一次前向传播，计算学生模型的 token 级困惑度（perplexity）分布，高困惑度区域就是信息增量的代理指标
信息增量画像可以指导合成策略。学生模型在不同能力维度上的困惑度分布形成一个”能力地图”——高困惑度区域是”不会的”，低困惑度区域是”已会的”。合成策略应该集中生成落在高困惑度区域的样本
闭环反馈可以防止合成漂移。随着训练推进，学生模型的能力边界不断移动。开环合成策略无法感知这种变化，导致后期样本与早期样本高度冗余。闭环机制通过周期性更新能力画像，让合成策略始终瞄准当前的能力前沿

技术方案

整体架构

信息增量驱动的自适应蒸馏数据合成框架（IGADS）

┌─────────────────────────────────────────────────┐
│                  闭环控制器                       │
│  输入：学生模型能力画像 + 合成预算约束            │
│  输出：合成策略参数（主题/难度/格式/工具组合）    │
└───────┬─────────────────────────────┬───────────┘
        │                             │
        ▼                             │
┌───────────────┐              ┌──────┴──────────┐
│ 合成引擎       │              │ 增量度量引擎    │
│ （教师模型）   │──── 样本 ───→│ （学生模型前向） │
│                │              │                 │
│ 接收策略参数   │              │ 计算 token 级   │
│ 生成候选样本   │              │ 信息增量分数    │
│ 支持多种格式   │              │                 │
└───────────────┘              └────────┬────────┘
                                        │
                               信息增量分数
                                        │
                                        ▼
                               ┌────────────────┐
                               │ 样本路由器      │
                               │                │
                               │ 高增量 → 训练集 │
                               │ 中增量 → 改写池 │
                               │ 低增量 → 丢弃   │
                               └───────┬────────┘
                                       │
                              训练集 + 增量统计
                                       │
                                       ▼
                               ┌───────────────┐
                               │ 画像更新器     │
                               │               │
                               │ 每 N 步更新   │
                               │ 学生能力画像   │
                               │ 反馈给控制器   │
                               └───────────────┘

关键步骤

Step 1：构建初始能力画像

在合成开始前，用一组种子 prompt（覆盖目标能力维度）探测学生模型的当前状态：

对每个种子 prompt，记录学生模型的 token 级 logit 分布
如果有教师模型，同时记录教师模型的 logit 分布，计算 KL 散度
将 prompt 空间按 KL 散度聚类，形成”能力维度 × 掌握程度”的二维画像
高 KL 散度聚类 = 学生与教师差距大 = 高增量区域
低 KL 散度聚类 = 学生已对齐教师 = 低增量区域

画像的计算成本约等于学生模型在种子集上的一次前向传播，不需要梯度，可以在数分钟内完成。

Step 2：增量感知的合成策略生成

闭环控制器根据能力画像生成合成策略参数：

# 伪代码：合成策略生成
def generate_synthesis_strategy(capability_profile, budget):
    # 按信息增量排序能力维度
    dimensions = sort_by_kl_divergence(capability_profile, descending=True)
    
    # 分配合成预算：高增量维度获得更多预算
    allocation = allocate_budget_proportional_to_kl(dimensions, budget)
    
    # 对每个维度生成具体的合成指令
    for dim, dim_budget in allocation.items():
        # 高 KL → 需要更多样本、更高难度
        # 中 KL → 适量样本、中等难度
        strategy[dim] = {
            "topic_distribution": dim.topic_weights,
            "difficulty_range": calibrate_difficulty(dim.kl_score),
            "format_mix": select_formats(dim.weak_formats),
            "num_samples": dim_budget,
        }
    
    return strategy

Step 3：带增量评估的合成-过滤循环

教师模型根据策略参数生成候选样本，但每个样本在进入训练集之前要经过增量度量引擎的评估：

快速筛选（~10ms/样本）：用学生模型的 embedding 层计算样本与已有训练集的最近邻距离。如果样本落在已有样本的高密度区域，大概率增量低，直接跳过
精确度量（~50ms/样本）：对通过快速筛选的样本，做一次学生模型前向传播，计算 token 级困惑度。将困惑度分布与能力画像对比，输出信息增量分数
三路路由：
- 增量分数 > 阈值_高 → 直接加入训练集
- 阈值_低 < 增量分数 < 阈值_高 → 进入改写池，由教师模型增加难度后重新评估
- 增量分数 < 阈值_低 → 丢弃

Step 4：周期性画像更新

每训练 N 步（N 的选择取决于学习率和数据量，推荐每消耗 5-10% 的合成预算更新一次），重新在种子集上探测学生模型状态，更新能力画像。画像变化超过阈值时，触发合成策略的重新生成。

这个机制确保：

学生在某个维度上进步后，该维度的合成预算自动降低
新暴露的弱点区域自动获得更多合成资源
避免了开环合成中后期样本大量冗余的问题

质量控制

三层质量保障机制：

合成质量门控：教师模型生成的每个样本都经过格式校验 + 教师自评分（self-consistency check）。不通过的直接重新生成，不计入增量评估
增量分数校准：每 1000 个样本抽样 50 个做人工标注，校准增量分数的阈值。如果高增量样本中有 > 20% 被人工判定为噪音，降低高增量阈值
下游验证：每个画像更新周期结束后，在 held-out 验证集上评估学生模型的性能变化。如果某个能力维度的性能下降（说明合成数据引入了有害信号），立即暂停该维度的合成并回滚

成本与可行性评估

计算成本拆分

组件	操作	成本估算（10 万样本规模）
初始能力画像	学生模型前向 × 1000 种子 prompt	~$5（7B 模型）
合成生成	教师模型推理 × 10 万 prompt	~$200-2000（取决于教师规模）
快速筛选	embedding 最近邻 × 10 万	~$2（纯 CPU）
精确度量	学生模型前向 × ~6 万（通过快速筛选的）	~$30（7B 模型）
画像更新	学生模型前向 × 1000 × ~10 次	~$50
总额外成本		~$87
占合成总成本比例		~4-40%

额外成本占比约 4-40%（取决于教师模型的调用成本），但如果能将有效样本比例从 40% 提升到 80%，等效于合成成本减半。净收益显著为正。

工程可行性

学生模型前向传播是完全成熟的操作，vLLM/TGI 均可高效执行
embedding 最近邻用 FAISS 实现，10 万级规模的检索在毫秒级完成
能力画像的维护等价于一个小型 feature store，工程复杂度可控
闭环控制器的策略生成可以用规则引擎实现，不需要额外训练

主要工程挑战在于：增量度量引擎与合成引擎的并发调度——两者需要共享 GPU 资源，需要设计合理的批处理和时分复用策略。

与现有方法的对比

维度	静态蒸馏	质量过滤	IGADS（本方案）
合成策略	固定	固定	动态自适应
信息增量感知	无	无	样本级
无用样本占比	~60%	~30%（过滤后）	~15%（预期）
合成算力浪费	高	高（先生成后丢弃）	低（避免生成无用样本）
适应训练进度	否	否	是（周期性更新）

风险与缓解

风险	概率	影响	缓解策略
能力画像的噪音导致合成策略偏移	中	合成数据在错误方向集中	保留 20% 预算做无偏随机合成，作为”探索”项
增量度量的近似误差（困惑度 ≠ 真实信息增量）	中	误判样本价值	用 KL 散度 + 困惑度 + 梯度范数三重度量取交集
闭环控制可能导致能力偏科（过度聚焦弱项）	中	已有能力退化	画像更新时检查”已会”维度的性能保持，设退化阈值
计算开销在大规模场景下不可忽视	低	成本收益比下降	快速筛选层过滤 40%+ 样本，减少精确度量的调用量

预期产出

IGADS 框架的完整实现：开源代码，支持 HuggingFace Transformers 生态
消融实验报告：在 3 个蒸馏场景（通用 SFT、数学推理、Agent trajectory）上对比静态蒸馏 vs IGADS
信息增量度量的校准研究：比较困惑度、KL 散度、梯度范数、EL2N score 四种近似度量的预测准确性
工程最佳实践文档：增量度量引擎与合成引擎的 GPU 时分复用策略、画像更新频率的调优指南

核心指标预期：

在相同合成预算下，下游性能提升 15-25%
或在相同下游性能目标下，合成预算降低 40-60%
合成样本的有效利用率从 ~40% 提升到 ~80%

参考文献

Yaxuan Li et al., “On-Policy Distillation: A Systematic Study”, THUNLP, arXiv:2604.13016, 2026
Guozheng Li et al., “DALL: Data Labeling with LLM”, CHI 2026, arXiv:2602.14102
Philipp Schmid, “How Kimi, Cursor, and Chroma Train Agentic Models with RL”, Blog Post, 2026
Ziteng Sun et al., “Rho-1: Not All Tokens Are What You Need”, arXiv:2404.07965, 2024
DataFlow Team, “DataFlow: An LLM-Driven Framework for Unified Data Preparation”, arXiv:2512.16676, 2025
NVIDIA, “Data, Data Everywhere: A Guide for Pretraining Dataset Construction”, EMNLP 2024, arXiv:2407.06380