研究提案 已修订

面向自进化智能体技能-检索对齐的对抗性训练数据工程：从技能作者+0.0pp质量鸿沟到检索锚定的技能质量保障

针对自进化智能体技能库中LLM撰写技能+0.0pp vs人工策划+16.2pp的质量鸿沟，提出技能-检索对齐的对抗性训练数据工程框架SKILL-ALIGN，通过检索失败证据锚定、作者-检索者对抗博弈和质量门控共进化闭环，从训练数据层面系统性消除技能撰写与检索使用之间的对齐鸿沟

自进化智能体 技能库 训练数据工程 技能-检索对齐 对抗性训练 信用分配 能力侵蚀 RLVR

背景与动机

自进化智能体技能库（以 Voyager 为代表）允许冻结的 LLM 在不更新权重的情况下积累可复用技能知识，被视为实现 Agent 持续学习的关键范式。然而，Ratchet（2605.22148）揭示了一个令人震惊的事实：LLM 自行撰写的技能相比无技能基线仅提升 +0.0pp，而人工策划的技能则能提升 +16.2pp——技能库的瓶颈不在于技能撰写，而在于技能的生命周期管理质量。

这一质量鸿沟的根源在于技能撰写与检索使用的系统性脱节：

  1. 检索语境盲区：技能在孤立状态下撰写，作者不了解该技能将在何种任务语境中被检索、如何与其他技能组合。Ratchet 的消融实验表明，元技能编写先验（meta-skill authoring guidance）是负载关键组件之一，说明技能撰写需要上下文引导，但当前的引导信号来自静态元技能而非动态检索反馈。

  2. 信用分配失效：Memory-R2（2605.21768）指出，记忆增强 Agent 的多会话 RL 训练中，不同 rollout 写入不同记忆导致中间状态不一致，使 GRPO 等组相对比较方法的信用分配从根本上失真。类似地，技能库中的技能使用效果也受”记忆-技能”交互的影响——同一技能在不同记忆状态下表现截然不同，但当前的技能质量评估忽略了这种状态依赖性。

  3. 能力侵蚀传导：“Do Self-Evolving Agents Forget?”（2605.09315）系统性表明，自进化智能体在四个维度（工作流、技能、模型、记忆）均出现能力侵蚀。技能层面的侵蚀尤为隐蔽：新技能的引入可能通过检索干扰（检索到新技能而非旧技能）间接退化旧技能的效用，但当前系统无法检测这种间接侵蚀。

现有方案的三重不足：

  • Ratchet 提供技能卫生机制（淘汰 + 元技能），但仅是被动事后修复，不提升技能撰写本身的质量
  • SKILL-VERIFY（前期提案）验证技能规约保真，但不保证技能在检索语境下的可用性
  • META-EVOLVE（前期提案）演化数据工程流水线，但未针对技能-检索对齐这一特定质量维度

核心思路

提出 SKILL-ALIGN 框架，将技能-检索对齐建模为一等训练数据质量信号，通过检索失败证据锚定、作者-检索者对抗博弈和质量门控共进化闭环三阶段，从训练数据层面系统性消除技能撰写与检索使用之间的对齐鸿沟。

核心洞察：技能质量不是一个静态属性，而是一个关系属性——技能的质量取决于它能否在正确的时机被正确的任务检索到并正确使用。因此，技能训练数据工程的目标不是生产”看起来好”的技能，而是生产”检索时好用”的技能。

与现有工作的关键区别：

维度RatchetSKILL-VERIFYSKILL-ALIGN（本文）
质量信号来源技能使用结果技能规约一致性检索失败证据
优化目标技能生命周期管理规约保真技能-检索对齐
技能撰写方式孤立撰写 + 事后淘汰规约驱动撰写检索锚定撰写
反馈机制二元成功/失败规约违背检测对抗性检索博弈
侵蚀检测无规约侵蚀检索语境侵蚀

技术路线

阶段一：检索失败证据锚定（Retrieval Failure Evidence Anchoring）

目标：将检索失败显式建模为一等训练数据对象，为技能撰写提供锚定信号。

  1. 检索失败分类学：定义三类检索失败模式

    • 检索缺失（Retrieval Miss）：任务需要某类技能但库中不存在，导致 fallback 到零样本推理
    • 检索错位（Retrieval Misalignment）：检索到技能但与当前任务语境不匹配，技能执行后无效或有害
    • 检索干扰（Retrieval Interference）：新技能的引入改变了检索分布，导致原本可检索的旧技能被遮蔽

  2. 检索失败证据挖掘：

    • 对每个 Agent 执行轨迹，识别技能检索点（skill retrieval point）
    • 在每个检索点注入探针：对比有技能 vs 无技能的执行效果
    • 使用 Memory-R2 的局部重推演（Local Rerollout）思想，在相同记忆状态下对比不同技能检索结果
    • 构建 <检索语境, 检索结果, 执行效果, 失败模式> 四元组作为检索失败证据

  3. 检索失败严重度量化：

    • 检索缺失严重度 = 任务零样本失败概率 × 任务频率
    • 检索错位严重度 = 技能执行后性能退化量 × 检索频率
    • 检索干扰严重度 = 旧技能被遮蔽后的性能损失 × 遮蔽概率

阶段二：作者-检索者对抗博弈（Author-Retriever Adversarial Game）

目标：通过对抗博弈使技能作者学会撰写”检索友好”的技能。

  1. 博弈设计：

    • 技能作者（Skill Author）：给定检索失败证据，生成候选技能
    • 技能检索者（Skill Retriever）：给定任务语境，从技能库中检索并使用技能
    • 博弈目标：作者最大化技能被正确检索并成功执行的概率；检索者尝试找到最能区分”好技能”与”坏技能”的检索语境

  2. 检索锚定技能撰写：

    • 作者不再孤立撰写技能，而是以检索失败证据为锚点
    • 输入：<失败模式, 失败语境, 期望行为>
    • 输出：<技能名称, 技能描述, 技能实现, 检索关键词, 适用语境标记>
    • 关键创新：技能描述和检索关键词与技能实现联合优化，而非事后手工编写

  3. 对抗性检索探针：

    • 检索者生成对抗性检索语境：看似应该检索到技能 A，但实际上应检索到技能 B
    • 这迫使作者撰写的技能具有区分性描述——不仅描述技能做什么，还描述技能在什么情况下不适用
    • 借鉴 Ratchet 元技能先验，但将其从静态模板升级为动态对抗信号

  4. 记忆状态感知评估：

    • 使用 Memory-R2 的局部重推演机制，在不同记忆状态下评估技能检索效果
    • 确保技能在多种记忆状态下均可被正确检索，而非仅在特定记忆配置下有效
    • 检测能力侵蚀传导：新技能是否通过检索干扰间接退化旧技能

阶段三：质量门控共进化闭环（Quality-Gated Co-Evolution Loop）

目标：建立技能质量门控与 Agent 能力演化的共进化机制，防止能力侵蚀并持续提升技能-检索对齐。

  1. 检索保真质量门：

    • 每个候选技能在进入库之前必须通过检索保真测试
    • 测试内容：在 K 个检索语境中，技能是否被正确检索并成功执行
    • 门控阈值随 Agent 能力演化动态调整（能力越强，阈值越高）
    • 对标 Ratchet 的非发散命题，确保质量门控不会拒绝所有技能导致系统退化

  2. 检索干扰检测器：

    • 新技能入库时，检测是否对现有技能的检索分布产生干扰
    • 使用”Do Self-Evolving Agents Forget?”的能力保持进化（CPE）原则
    • 若检测到干扰超过阈值，触发技能重组（重写描述/关键词以消除干扰）

  3. 作者-检索者共进化：

    • 检索者随 Agent 能力提升而进化（能处理更复杂的检索语境）
    • 作者随检索者进化而进化（必须生成更精确的技能以通过更严格的检索测试）
    • 共进化节奏由检索失败率驱动：失败率上升时加速进化，失败率下降时减速

  4. 能力侵蚀回溯：

    • 当检测到旧技能检索率下降时，启动侵蚀根因分析
    • 区分三类侵蚀源：检索分布漂移（新技能遮蔽旧技能）、记忆状态变迁（记忆内容改变检索行为）、任务分布偏移（任务类型变化导致旧技能不再需要）
    • 对不同侵蚀源施加不同修复策略：检索分布修复、记忆状态补偿、技能自然退役

关键技术挑战

  1. 检索语境的形式化：如何将模糊的任务上下文编码为可计算的检索语境表示，使得对抗博弈可以在离散的技能空间中有效进行？
  2. 记忆状态空间的可控性：Memory-R2 揭示记忆写入导致状态发散，如何在不穷举所有可能记忆状态的情况下评估技能的检索鲁棒性？
  3. 对抗博弈的纳什均衡：作者-检索者博弈是否存在稳定的纳什均衡？还是会在策略空间中振荡？需要借鉴 GAN 训练稳定性技术。
  4. 质量门控的校准：门控阈值过严导致技能库无法增长，过松导致低质量技能积累。如何在动态环境中自适应校准？

预期成果

定量目标

  1. 技能质量鸿沟收窄：在 MBPP+ hard-100 上，将 LLM 撰写技能的性能从 Ratchet 的 +0.328 滚动均值增益提升至 ≥ +0.450，收窄与人工策划 +16.2pp 的鸿沟至少 30%
  2. 检索保真率：定义检索保真率 = 正确检索并成功执行的次数 / 总检索次数，目标 ≥ 0.75（对比 Ratchet 无技能基线 ≈ 0.258）
  3. 检索干扰率：定义检索干扰率 = 新技能引入导致旧技能检索退化的比例，目标 ≤ 5%
  4. 能力侵蚀缓解：在工作流进化维度，将保留简单任务性能从 CPE 的 52.8% 提升至 ≥ 58%

定性目标

  1. 建立”技能-检索对齐”作为自进化智能体训练数据质量的新维度，与现有技能规约保真、技能生命周期管理形成互补
  2. 证明检索失败证据作为训练数据锚定信号的有效性，为”关系型数据质量”（数据质量取决于使用语境）提供实证支撑
  3. 揭示技能-检索对齐鸿沟的结构性来源，为未来自进化智能体技能库设计提供理论指导

可能的影响

  • 实践层面：若技能质量鸿沟可被系统性收窄，自进化智能体技能库将从”概念验证”走向”生产可用”，直接赋能 Agent 训练数据工程实践
  • 理论层面：将数据质量从”内在属性”扩展为”关系属性”，为训练数据质量评估提供新范式
  • 工程层面：检索保真质量门可作为现有技能库系统（Voyager、Ratchet、SkillOS）的即插即用组件

相关工作

  1. Ratchet: A Minimal Hygiene Recipe for Self-Evolving LLM Agents (arXiv:2605.22148) — 揭示 LLM 撰写技能 +0.0pp 质量鸿沟，提出最小卫生配方（淘汰 + 元技能先验），是本提案最直接的前置工作
  2. Memory-R2: Fair Credit Assignment for Long-Horizon Memory-Augmented LLM Agents (arXiv:2605.21768) — 揭示记忆增强 Agent 的信用分配失真问题，其局部重推演机制为本提案的记忆状态感知评估提供方法论基础
  3. Do Self-Evolving Agents Forget? Capability Degradation and Preservation in Lifelong LLM Agent Adaptation (arXiv:2605.09315) — 系统性揭示四维能力侵蚀现象，其能力保持进化（CPE）原则为本提案的侵蚀回溯机制提供理论指导
  4. MOSS: Self-Evolution through Source-Level Rewriting in Autonomous Agent Systems (arXiv:2605.22794) — 证明生产故障证据锚定的源码级演化优于文本层演化，其”故障证据→演化锚点”的思想为本提案的检索失败证据锚定提供类比
  5. SCRL: From Reasoning Chains to Verifiable Subproblems (arXiv:2605.22074) — 将硬问题分解为可验证子问题以实现细粒度信用分配，其子问题级归一化思想为本提案的检索语境级质量门控提供方法论借鉴