面向测试时推理子结构蒸馏的行为模式感知训练数据工程：从推理日志挖掘到模块化训练数据组合

背景与动机

测试时计算扩展（test-time compute scaling）已成为提升大语言模型推理能力的重要范式。近期工作从多个维度推进了这一方向：LAG [1] 通过缓存历史推理的 KV 值实现推理计算的直接复用；TMAS [2] 引入层次化记忆（经验库 + 策略库）实现跨轨迹协同推理；CAST [3] 将历史执行轨迹结构化为案例，提取复杂度画像与失败画像指导自适应推理。这些方法在推理时取得了显著效果，但存在一个根本性局限：测试时发现的推理结构是短暂的（ephemeral）——推理会话结束后，这些宝贵的推理知识随即消散，无法惠及后续训练。

与此同时，训练数据工程领域也在快速演进：CoEvolve [4] 通过遗忘与不确定性信号驱动任务合成实现智能体-数据共进化；AcquisitionSynthesis [5] 利用主动学习采集函数作为奖励模型指导数据生成。然而，这些方法均从零开始生成训练数据，未能利用测试时推理过程中已发现的可复用推理结构。

更严峻的是，Behavioral Mode Discovery [6] 揭示了一个关键问题：RL 微调会将生成策略的多模态行为分布坍缩为单一奖励最大化模式。这意味着即使我们将测试时发现的推理结构蒸馏回训练数据，简单的蒸馏过程本身就可能破坏推理策略的行为多样性。

核心矛盾：测试时计算扩展不断发现丰富的可复用推理结构，但这些发现无法持久化回训练数据；训练数据工程可以生成新数据，但无法利用已有的推理发现；而蒸馏过程本身又面临行为模式坍缩的风险。三者之间缺乏系统性桥接，形成”测试-训练数据鸿沟”。

核心思路

提出 TRACE-DISTILL（Test-time Reasoning Substructure Distillation with Behavioral Mode Preservation）框架，将测试时推理日志中挖掘的可复用推理子结构，通过行为模式感知策展蒸馏为模块化训练数据单元，弥合测试时推理发现与训练数据工程之间的鸿沟。

核心创新点：

1. 推理子结构挖掘：不同于 LAG 仅在 KV 缓存层面复用推理，TRACE-DISTILL 在推理轨迹层面识别可复用子结构——即跨多个任务反复出现的推理片段（如共享的中间推理步骤、可迁移的验证逻辑、通用的错误修正模式）。这些子结构比完整轨迹更细粒度，比 KV 缓存更具语义可解释性。

2. 行为模式感知策展：受 Behavioral Mode Discovery 启发，在蒸馏过程中显式识别并保持训练数据的行为模式多样性。通过无监督模式发现对推理子结构进行行为模式聚类，并基于互信息内在奖励确保蒸馏后的训练数据覆盖多种推理策略，防止模式坍缩。

3. 模块化组合与验证：将蒸馏后的推理子结构组织为可组合的模块化训练数据单元，支持通过验证的程序化组合生成新训练样本。组合过程受 TMAS 层次化记忆结构启发：底层经验片段提供具体推理步骤，高层策略片段提供推理方向指导。

与现有工作的关键区别：

方法	操作时机	数据粒度	行为多样性	复用机制
LAG [1]	测试时	KV 缓存	无显式保持	检索增强
CoEvolve [4]	训练时	完整任务	隐式（任务多样性）	任务合成
TMAS [2]	测试时	层次化记忆	无显式保持	跨轨迹协同
TRACE-DISTILL	测试→训练桥接	推理子结构	显式模式保持	模块化组合

技术路线

阶段一：推理子结构挖掘（Reasoning Substructure Mining）

1. 子结构定义与提取：

   • 将智能体执行日志中的推理轨迹分解为子结构单元（substructure unit），定义为具有明确语义边界的推理片段：一个子结构包含输入状态、推理步骤序列、输出状态及环境反馈
   • 借鉴 LAG 的核心观察——单个 token 的 KV 值编码了远超 token 本身的上下文语义——我们将子结构边界定位在推理意图转换点（intent transition point），即推理策略发生变更的决策节点
   • 使用注意力头差异检测（attention-head divergence detection）自动识别意图转换点：当连续 token 间的注意力分布 KL 散度超过阈值时标记为子结构边界

2. 跨任务可复用性识别：

   • 构建子结构索引图（Substructure Index Graph），节点为子结构单元，边为子结构间的时序与语义依赖
   • 基于语义嵌入相似度与执行等价性检测（execution equivalence testing）识别跨任务可复用子结构
   • 引入可复用性评分（Reusability Score）：$R(s) = \alpha \cdot \text{Freq}(s) + \beta \cdot \text{Transfer}(s) - \gamma \cdot \text{ContextDep}(s)$，其中 $\text{Freq}$ 为跨任务出现频率，$\text{Transfer}$ 为迁移增益，$\text{ContextDep}$ 为上下文依赖度

3. 层次化组织：

   • 低层：原子推理步骤（atomic reasoning step）——单步推理动作
   • 中层：推理模式（reasoning pattern）——解决特定子问题的步骤序列
   • 高层：策略模板（strategy template）——指导整体推理方向的抽象策略

阶段二：行为模式感知策展（Behavioral Mode-Aware Curation）

1. 无监督行为模式发现：

   • 对挖掘的推理子结构进行行为模式聚类：在推理动作序列的嵌入空间中，使用变分高斯混合模型（Variational GMM）识别潜在行为模式
   • 每个模式对应一种推理策略风格（如：保守验证型、大胆假设型、迭代精化型、回溯修正型）
   • 计算模式间互信息 $I(M; S)$ 作为行为多样性的信息论度量

2. 模式感知蒸馏目标：

   • 设计蒸馏目标函数，同时优化推理效用与行为多样性： $\mathcal{L}_{\text{distill}} = \mathbb{E}_{s \sim \mathcal{D}_{\text{test}}}[\text{Utility}(s)] + \lambda \cdot I(M; S) - \mu \cdot \text{Redundancy}(\mathcal{D}_{\text{train}})$
   • 其中 $\text{Utility}(s)$ 评估子结构 $s$ 对下游任务的效用，$I(M; S)$ 为行为模式与子结构间的互信息，$\text{Redundancy}$ 惩罚训练数据中的冗余

3. 模式平衡采样：

   • 基于模式隶属度后验概率 $p(m|s)$ 进行平衡采样，确保每个行为模式在蒸馏后的训练数据中有充分代表
   • 引入温度参数 $\tau$ 控制模式多样性-效用权衡：低温偏向高效用子结构，高温偏向稀有行为模式

阶段三：模块化组合与验证（Modular Composition & Verification）

1. 可组合训练数据单元：

   • 将蒸馏后的推理子结构封装为可组合模块，每个模块包含：输入规约、推理步骤、输出规约、前置条件、后置条件
   • 模块间的组合通过规约匹配（specification matching）实现：前置条件与后置条件的语义兼容性检查

2. 程序化组合生成：

   • 给定新训练任务，从模块库中检索语义相关且规约兼容的子结构模块
   • 使用约束求解器（constraint solver）验证组合的执行可行性
   • 对组合后的轨迹进行端到端执行验证，确保逻辑一致性

3. 行为模式覆盖验证：

   • 对组合生成的训练数据集执行模式覆盖分析（mode coverage analysis）
   • 使用最小覆盖集（minimum covering set）算法确保训练数据覆盖所有已识别的行为模式
   • 对覆盖不足的模式触发定向增强合成（targeted augmentation synthesis）

阶段四：闭环蒸馏-训练循环（Closed-Loop Distill-Train Loop）

1. 训练反馈驱动蒸馏优化：

   • 将蒸馏后的训练数据用于 RL 训练，收集训练过程中的遗忘信号与不确定性信号
   • 反馈至蒸馏模块，调整可复用性评分权重与模式平衡参数

2. 测试-训练共进化：

   • 随着模型能力提升，测试时推理日志中不断出现新的推理子结构
   • 增量式蒸馏新发现的子结构，同时保持与已有训练数据的行为模式一致性

3. 模式漂移检测：

   • 监控行为模式分布随训练进度变化的情况
   • 当模式分布偏移超过阈值时，触发再平衡采样

关键技术挑战

1. 子结构粒度选择：过细的子结构丧失推理语义，过粗的子结构丧失组合灵活性。需通过实验确定最优粒度，可能需要自适应粒度调整机制。

2. 行为模式崩缩的早期检测：模式崩缩往往在训练后期才显现，需要设计高效的模式健康度监控指标，在崩缩发生前预警。

3. 跨域迁移的子结构泛化：从一个领域挖掘的推理子结构能否泛化到另一领域？需要研究子结构的领域不变性与领域特异性的分离机制。

4. 组合验证的计算开销：约束求解与端到端执行验证的计算开销可能成为瓶颈，需要研究轻量级近似验证方法。

预期成果

定量目标

1. 推理效用提升：在 Agent 训练基准（AppWorld、BFCL）上，使用 TRACE-DISTILL 蒸馏数据训练的模型相比 CoEvolve 基线，任务成功率绝对提升 3-5 个百分点
2. 行为模式保持：蒸馏后训练数据的行为模式覆盖度 ≥ 90%（相比原始测试日志），互信息保持率 ≥ 80%
3. 数据效率：使用 TRACE-DISTILL 蒸馏数据仅需 CoEvolve 50% 的数据量即可达到同等性能
4. 跨任务迁移：蒸馏的推理子结构在未见任务类型上的零样本迁移成功率 ≥ 60%

定性目标

1. 建立测试时推理发现与训练数据工程之间的系统性桥接方法论
2. 提供推理子结构可复用性的形式化定义与量化评估框架
3. 揭示 RL 训练中行为模式崩缩的早期预警信号与预防机制
4. 为”测试时计算扩展如何回馈训练”这一开放问题提供工程化答案

可能的影响

1. 范式转变：推动从”训练-推理分离”到”测试时发现-训练时蒸馏闭环”的范式转变，使测试时计算投入产生持久性回报
2. 数据飞轮效应：推理越多的模型产生越丰富的可复用子结构，蒸馏后产生越高质量的训练数据，形成正向数据飞轮
3. 行为多样性保障：为 Agent RL 训练中的模式崩缩问题提供数据工程层面的预防性解决方案
4. AI for Science 加速：科学推理中可复用子结构的蒸馏可显著降低新科学任务的推理成本

相关工作

1. Log-Augmented Generation (LAG) — Chen et al., 2025. 通过 KV 缓存直接复用历史推理计算，在测试时实现推理结构的高效重用。本文在此基础上从 KV 缓存层面提升至推理子结构层面，并从纯推理时复用扩展至训练时蒸馏。arXiv:2505.14398

2. Behavioral Mode Discovery for Fine-tuning Multimodal Generative Policies — Longhini et al., 2026. 揭示 RL 微调导致行为多模态坍缩的问题，提出互信息内在奖励保持行为多样性。本文将其从 RL 微调阶段前置到数据工程阶段，实现预防性模式保持。arXiv:2605.11387

3. TMAS: Scaling Test-Time Compute via Multi-Agent Synergy — Wu et al., 2026. 引入层次化记忆（经验库+策略库）实现跨轨迹协同推理。本文借鉴其层次化组织思想，但将其从测试时推理扩展至训练数据组织。arXiv:2605.10344

4. CAST: Case-Based Calibration of Adaptive Reasoning and Execution for LLM Tool Use — Pang et al., 2026. 将历史执行轨迹结构化为案例，提取复杂度画像与失败画像。本文扩展其案例结构化思想，从单一任务级画像提升至可组合子结构级画像。arXiv:2605.15041

5. CoEvolve: Training LLM Agents via Agent-Data Mutual Evolution — Yang et al., 2026. 通过遗忘与不确定性信号驱动智能体-数据共进化。本文与其互补：CoEvolve 从零合成新任务，TRACE-DISTILL 从测试时推理日志蒸馏可复用子结构，两者可组合为更完整的数据工程流水线。arXiv:2604.15840

relatedContent:

• collection: research slug: “drift-diversity-joint-calibration-training-data-engineering” relation: “相关”
• collection: research slug: “failure-aware-hypothesis-data-engineering-scientific-discovery” relation: “相关”
• collection: research slug: “entropy-polarity-gated-decision-point-data-engineering” relation: “相关”