研究提案已修订

面向智能体技能内化的条件保真训练数据工程：从外部技能库到参数化能力的条件结构保持迁移

将技能内化过程中的条件保真退化建模为一等训练数据质量信号，通过条件边界保持、版本冲突消解和组合接口维护三阶段的条件锚定数据策展，系统性消除外部技能向参数化能力迁移中的条件侵蚀、版本干扰和组合失真

2026年6月6日技能内化条件保真训练数据工程自进化智能体经验蒸馏持续学习 RLVR 条件-能力共进化

背景与动机

自进化智能体通过从交互经验中蒸馏可复用技能来持续提升能力，但技能的存储和使用方式正在经历一场根本性的范式转变：从外部技能库（以自然语言或结构化文档形式存储在上下文中，推理时通过检索激活）到内部参数化能力（通过训练将技能直接嵌入模型参数，推理时无需外部依赖）。这一转变被称为技能内化（Skill Internalization）。

近期五项突破性工作从不同角度揭示了技能内化的关键挑战：

SIRI（arXiv:2606.02355）首次实现了无需外部技能生成器和推理时技能库的三阶段内化框架（GiGPO 热身 → 自挖掘验证 → 蒸馏内化），在 WebShop 上将 Qwen2.5-7B 从 0.728 提升至 0.813。但 SIRI 的蒸馏过程仅使用轨迹级效用和动作级优势作为筛选信号，技能的条件触发结构在蒸馏中被完全丢弃——内化后的策略无法精确判断”何时使用何种技能”。
ReSkill（arXiv:2606.01619）揭示了技能必须与策略共进化的关键洞见：技能创建与策略优化的解耦会导致技能与演化中的策略冲突。ReSkill 利用 GRPO 的分组结构实现了技能版本的受控比较和 Thompson Sampling 选择。然而，ReSkill 的技能始终是外部技能，内化时如何保持版本信息完全未被讨论——多版本技能蒸馏到同一参数空间将导致灾难性版本干扰。
Rethinking Continual Experience Internalization（arXiv:2606.04703）系统诊断了多轮经验内化中的渐进能力退化现象，从三个维度给出解释：经验粒度（原则级 > 实例级）、注入模式（逐步 > 全局）、内化范式（离策略 > 在策略）。但该工作仅从蒸馏算法层面提出修复方案，未从训练数据层面分析条件结构丢失的根因——为什么原则级经验更持久？正是因为原则级经验保留了条件边界，而实例级经验将条件与具体情境绑定。
MMG2Skill（arXiv:2606.01993）将互联网上的多模态指南蒸馏为可编辑的结构化技能，通过轨迹驱动的根因反馈持续修订技能。关键发现：直接用原始指南提示智能体反而降低性能——结构化技能构建和轨迹驱动修订缺一不可。这暗示技能的条件结构不是自然存在的，而是需要精心构建的。内化时如果跳过条件结构的显式构建，将导致条件侵蚀。
SkillAdaptor（arXiv:2606.01311）提出了步骤级技能适配框架，通过显式故障归因将技能修订锚定到首个可操作故障步骤。这表明技能维护的粒度应该是步骤级而非轨迹级。然而，SkillAdaptor 的步骤级归因仅在外部技能空间中操作，内化后的参数化技能如何实现步骤级的条件维护仍是空白。

上述三项退化可以统一理解为技能的结构信息在参数化过程中的损失：外部技能库中，技能的条件结构（触发条件、版本标记、组合接口）以符号形式显式存储，访问复杂度 O(1)；内化后，这些结构信息需要由模型参数隐式编码，访问依赖推理时的特征激活——从确定性符号访问到概率性特征激活的转变，是条件保真退化的根本来源。

综合来看，现有方案不够好的根本原因在于：技能内化被单纯视为蒸馏算法问题，而未被建模为训练数据工程问题。这导致了三类系统性的条件保真退化：

条件侵蚀（Condition Erosion）：外部技能具有显式的触发条件（“当遇到 X 类情况时，执行 Y 策略”），内化后条件-动作边界模糊，智能体在不应触发技能的场景中过度触发、在应触发时又无法精确触发
版本干扰（Version Interference）：外部技能库支持版本管理和增量更新（ReSkill 的技能生命周期），内化后多版本技能在参数空间中发生灾难性干扰，旧版本的修改与新版本的蒸馏信号冲突
组合失真（Composition Distortion）：外部技能通过上下文拼接自然组合，内化后技能间的组合接口丧失，多技能协同执行时出现”能力断裂带”——每个单独技能可用但组合后性能骤降

核心思路

我们提出 COND-INTERNALIZE 框架，将技能内化过程中的条件保真建模为一等训练数据质量信号，通过条件锚定的数据策展系统性消除条件侵蚀、版本干扰和组合失真。

核心创新点在于将技能内化从”蒸馏算法优化”重构为”条件保真数据工程”：

从无条件蒸馏到条件感知内化数据：现有内化方法（如 SIRI 的蒸馏阶段）将技能引导轨迹视为无差别训练数据，忽略轨迹中哪些决策步由技能触发、哪些是策略自主行为。COND-INTERNALIZE 为每条内化训练数据附加条件标注——标记触发条件、技能-策略决策边界和条件满足度，使训练数据成为条件结构的载体而非仅是行为模仿的样本。
从版本盲蒸馏到版本协调内化数据：现有内化方法将不同版本的技能引导轨迹混合蒸馏，导致版本信号冲突。COND-INTERNALIZE 设计版本协调数据组织——利用 ReSkill 的技能生命周期信号识别版本变更点，在训练数据中显式标记版本边界并构建版本过渡数据，使参数空间能容纳版本演化而非相互覆盖。
从组合忽略到组合接口内化数据：现有内化方法将多技能轨迹扁平化处理，丢失技能间的组合接口。COND-INTERNALIZE 构建组合接口数据——在训练数据中显式标注技能衔接点、接口参数和数据流，使参数化技能保留可组合的”插槽式”结构。

与现有工作的关键区别：

维度	SIRI	ReSkill	Rethinking	MMG2Skill	SkillAdaptor	COND-INTERNALIZE
内化视角	蒸馏算法	技能-策略共进化	经验粒度/注入/范式	指南→技能构建	步骤级技能适配	训练数据工程
条件结构处理	丢弃	仅外部保留	隐式（粒度差异）	隐式（结构化构建）	步骤级归因	显式建模+保持
版本管理	无	外部生命周期	无	无	无	内化数据协调
组合维护	无	无	无	无	无	组合接口数据
保真度量	轨迹级效用	技能版本比较	多轮性能曲线	修订有效性	步骤级改进	条件保真度 CFD

技术路线

阶段一：条件保真诊断（Condition Fidelity Diagnosis）

目标：量化技能内化后的条件保真退化，建立三类退化的可测量指标。

1.1 条件侵蚀诊断

定义条件触发保真度（Condition Trigger Fidelity, CTF）：

对每条外部技能 s_i，其触发条件记为 c_i（一个谓词函数）
内化前：策略 π 在满足 c_i 的状态上的技能触发率为 CTF_ext = P(a ∈ s_i | c_i = true)
内化后：参数化策略 π_θ 的对应触发率为 CTF_int
条件侵蚀度 = |CTF_ext - CTF_int|，进一步分解为：
- 过度触发（Over-triggering）：P(a ∈ s_i | c_i = false) 的增量
- 触发遗漏（Under-triggering）：P(a ∉ s_i | c_i = true) 的增量

诊断方法：构建条件探针数据集——对每个技能，合成满足/不满足其触发条件的对抗性状态对，比较内化前后的触发行为差异。

1.2 版本干扰诊断

定义版本冲突度（Version Conflict Degree, VCD）：

设技能 s_i 经历了版本演化 v_1 → v_2 → … → v_k
对每个版本 v_j，提取其关键决策模式 D_j
版本干扰度 = Σ_{j≠j’} overlap(D_j, D_j’) × |Δ_reward(v_j, v_j’)|
其中 overlap 衡量参数空间中的决策模式重叠，Δ_reward 衡量版本间的奖励差异

诊断方法：对已内化的策略进行版本回溯探针——在仅适用 v_j 版本的任务上测试内化策略，测量跨版本性能退化。

1.3 组合失真诊断

定义组合连贯度（Composition Coherence, CC）：

设技能组合 (s_i, s_j) 在外部库中的组合执行成功率为 CC_ext
内化后的组合成功率为 CC_int
组合失真度 = CC_ext - CC_int
进一步分解为：
- 接口丢失：技能 s_i 的输出无法被 s_j 正确解读
- 时序错位：技能 s_j 在 s_i 未完成时提前触发
- 上下文断裂：s_j 无法获取 s_i 执行中产生的关键中间状态

诊断方法：构建组合探针数据集——系统枚举技能对组合，测量内化前后的组合执行成功率变化。

阶段二：条件锚定数据策展（Condition-Anchored Data Curation）

目标：基于诊断结果，设计保持条件保真的训练数据。

2.1 条件边界保持数据

针对条件侵蚀，设计条件增强训练数据：

条件标注注入：对每条技能引导轨迹，显式标注：(1) 触发条件满足的状态步（condition-active steps），(2) 技能执行的关键决策步（skill-critical steps），(3) 条件-动作映射边界（condition-action boundary）
条件对比数据合成：对每个 condition-active step，合成对应的条件不满足变体（condition-inactive variant），形成对比训练对，使参数化策略学习条件边界而非仅学习技能行为
条件边界课程：从易到难安排条件辨别难度——先训练清晰的二元条件（如”搜索结果为空时使用备选策略”），再训练模糊的连续条件（如”当置信度低于阈值时启动验证”）

2.2 版本协调内化数据

针对版本干扰，设计版本感知训练数据：

版本边界标记：利用 ReSkill 的技能生命周期信号，在训练数据中标记版本变更点，每个版本段的轨迹附加版本标签
版本过渡数据合成：在 v_j → v_{j+1} 变更点，合成过渡轨迹——前半段适用 v_j 策略、后半段适用 v_{j+1} 策略的混合场景，使参数空间学习版本适配而非版本覆盖
版本隔离批次构建：将同一版本的技能引导轨迹分配到同一训练批次，不同版本的轨迹通过正交梯度投影隔离，避免跨版本梯度干扰

2.3 组合接口内化数据

针对组合失真，设计组合接口训练数据：

接口参数标注：在技能衔接点，显式标注接口数据——s_i 的输出类型、s_j 的输入期望、数据流方向
组合桥接数据合成：对每个技能对 (s_i, s_j)，合成 s_i → s_j 的桥接轨迹，确保参数化策略学习到”如何从 s_i 的输出转换到 s_j 的输入”
组合压力测试数据：合成需要 3+ 技能级联的复杂任务，专门训练组合接口的鲁棒性

阶段三：条件-能力共进化闭环（Condition-Capability Co-evolution）

目标：建立条件保真度量与数据策展之间的动态闭环。

3.1 条件保真驱动的数据重加权

在每轮内化训练后，运行条件保真诊断
对条件侵蚀度高的技能，提高其条件对比数据的采样权重
对版本干扰度高的技能对，加强版本隔离批次构建
对组合失真度高的技能组合，增加组合桥接数据的比例

3.2 条件保真感知的内化终止准则

传统内化以任务通过率为终止信号
COND-INTERNALIZE 引入条件保真约束：仅当 CTF > τ_ctf ∧ VCD < τ_vcd ∧ CC > τ_cc 时才接受内化结果
防止”表面通过率提升但条件结构已崩溃”的虚假内化

3.3 条件结构的外部-内部一致性验证

设计影子测试（Shadow Testing）：在相同任务集上，分别用外部技能库和内化策略执行，对比条件触发模式的一致性
当一致性低于阈值时，触发条件增强数据的增量合成

关键技术挑战

条件标注的成本-精度权衡：精确的条件标注需要理解技能的语义意图，如何在不依赖大量人工标注的条件下实现高质量条件标注是一个核心挑战。我们的策略是利用技能创建时（ReSkill 的 assertion-driven creator）已有的条件断言作为种子，通过 LLM 辅助扩展。
版本空间的容量有限性：参数空间对技能版本的容量有限，当技能演化代数过多时，版本隔离可能不可行。需要研究版本蒸馏的时机——何时将多版本压缩为单一当前版本，以及压缩过程中如何保持条件保真。
组合接口的开放性：技能组合的可能数量是组合爆炸的，不可能为所有组合预先生成桥接数据。需要设计组合接口的通用表示，使少量桥接数据能泛化到未见过的组合模式。
条件保真与任务性能的潜在冲突：严格保持条件结构可能限制策略的灵活性——某些情况下”违反”原始条件触发技能反而能获得更高奖励。需要设计条件保真的弹性约束而非硬约束。

预期成果

定量目标

条件触发保真度 CTF：在 ALFWorld 和 WebShop 基准上，内化后 CTF 相比 SIRI 基线提升 ≥ 15%，过度触发率和触发遗漏率各降低 ≥ 10 个百分点
版本干扰度 VCD：在 3+ 轮技能演化的场景中，VCD 相比朴素内化降低 ≥ 40%，跨版本性能退化从平均 8-12% 降低至 ≤ 3%
组合连贯度 CC：在 2-技能组合和 3-技能级联场景中，CC 相比 SIRI 分别提升 ≥ 12% 和 ≥ 20%
任务性能：在保持条件保真的同时，最终任务通过率不低于 SIRI 基线（即条件保真不以牺牲任务性能为代价）

定性目标

建立条件保真退化的标准化诊断协议，为技能内化研究提供统一的评估维度
揭示条件粒度（原则级 vs. 实例级条件）与内化稳定性之间的因果机制，为”Rethinking Continual Experience Internalization”中观察到的原则级经验持久性提供数据层面的解释
设计条件感知的内化数据规格（Condition-Aware Internalization Data Spec），作为技能内化训练数据的质量标准

可能的影响

理论层面：将技能内化从”行为模仿”范式推进到”结构保持”范式，为理解参数化知识与外部知识之间的鸿沟提供新视角
工程层面：使自进化智能体能够在保持技能结构完整性的前提下消除外部依赖，显著降低推理延迟和上下文长度
生态层面：条件感知的内化数据规格可成为技能市场（如 COLLEAGUE.SKILL 生态）与模型训练之间的标准接口，使技能共享→内化的流程标准化