研究提案已修订

面向自进化智能体的技能拓扑感知训练数据工程：从扁平技能池到依赖拓扑锚定的数据策展

将技能依赖拓扑（层级整合、类型化依赖边、组合可复用性）建模为一等训练数据质量信号，通过拓扑感知的数据策展解决自进化智能体训练数据中的技能学习顺序违反、增强关系丢失、层级整合空白与冗余积累问题

2026年6月5日技能拓扑自进化智能体训练数据工程持续学习技能依赖图组合可复用性层级技能整合 RLVR

背景与动机

自进化智能体（Self-Evolving Agents）通过从交互经验中蒸馏可复用技能来持续提升能力，代表了 LLM Agent 研究的前沿方向。然而，当前自进化智能体的训练数据工程存在一个根本性的结构盲区：技能被当作扁平、独立的实体处理，技能间的拓扑关系完全被忽略。

具体而言，最近的三项突破性工作从不同角度揭示了这一问题：

SkillPyramid（arXiv:2606.03692）揭示了技能的层级整合结构：低级技能可被整合为高级技能，这种层级结构使技能从”静态资源池”变为”动态演化系统”，实验中平均奖励提升 38.0%、执行步数减少 27.7%。然而，当前训练数据工程未考虑层级整合的先后依赖——低级技能尚未稳定时就尝试训练高级技能，导致整合空洞。
SkillDAG（arXiv:2606.03056）揭示了技能间的类型化依赖关系：技能之间存在 depends_on（前置依赖）、specializes（特化）、composes_with（协同组合）、similar_to（功能相似/冗余）、conflicts_with（冲突）五类有向边。SkillDAG 在 ALFWorld 和 SkillsBench 上超越 Graph-of-Skills 基线 +12.8 成功率点（67.1% vs 54.3%）。然而，当前训练数据工程将这些关系视为检索时问题，而非训练时数据质量信号——协同组合的技能在训练中被拆散、冲突对技能被同时训练、前置依赖被违反。

值得注意的是，SkillDAG 与同期 SkillGraph（arXiv:2605.12039，中科大/阿里）虽然都建模技能依赖图，但定位不同：SkillGraph 的图在训练循环中演化（图感知检索 + RL 梯度驱动进化），SkillDAG 的图在推理时作为结构化检索接口（提议-提交协议允许智能体注册边）。SKILL-TOPO 关注的是将两者的拓扑约束下沉为训练时数据质量的先验。

AGENTCL（arXiv:2606.02461）揭示了训练数据组合可复用性的关键作用：朴素任务流（naive streams）几乎无法区分不同记忆设计的持续学习能力，而组合式任务流（compositional streams）——其中早期子解可被后续任务复用——才能有效评估迁移增益。这意味着训练数据必须尊重技能间的组合依赖结构，否则智能体将遭受”记忆引发的退化”（memory-induced degradation）。

综合来看，现有方案不够好的根本原因在于：训练数据工程将技能拓扑视为推理时优化问题，而非训练时数据质量问题。这导致了四类系统性训练数据缺陷：

学习顺序违反：违反前置依赖关系的技能被同时或逆序训练，智能体在缺乏基础时被迫学习高级技能
增强关系丢失：本应协同训练的增强对技能被分散到不同训练批次，丧失了协同效应
层级整合空白：训练数据未覆盖低级→高级技能的整合路径，智能体无法自主发现整合机会
冗余与冲突积累：重复技能被冗余训练、冲突技能被同时训练，造成参数干扰

核心思路

我们提出 SKILL-TOPO 框架，将技能依赖拓扑建模为一等训练数据质量信号，通过拓扑感知的数据策展系统性解决上述四类缺陷。

核心创新点在于将技能拓扑从推理时检索接口（SkillDAG 的定位）提升为训练时数据质量的先验约束：

从扁平技能池到拓扑锚定数据策展：不再将技能视为独立实体，而是将其嵌入到类型化有向技能图（Typed Skill Graph）中，图的拓扑结构直接约束训练数据的组织方式——任务流必须尊重前置依赖边、训练批次应保持增强对共现、采样策略应覆盖层级整合路径。
从朴素任务流到组合可复用任务流：受 AGENTCL 启发，将任务流构建从”同类任务排列”升级为”子解可复用的组合式流”，使训练数据本身承载技能间的组合依赖结构，为持续学习提供正确的迁移梯度。
从静态技能库到层级整合感知采样：受 SkillPyramid 启发，在训练数据中显式纳入低级技能→高级技能的整合轨迹，使智能体在训练时就能学习”如何整合”而非仅在推理时尝试组合。

与现有工作的关键区别：

维度	SkillDAG	SkillPyramid	AGENTCL	SKILL-TOPO
技能拓扑角色	推理时检索接口	推理时整合框架	评估时任务流设计	训练时数据质量信号
拓扑影响阶段	推理	推理	评估	训练
拓扑类型	依赖/冲突/特化/重复	层级（低→高）	组合可复用性	统一：层级+依赖+组合
目标	技能选择准确性	技能整合效率	持续学习评估	训练数据拓扑正确性

技术路线

第一阶段：技能拓扑发现与形式化

1.1 类型化技能依赖图构建

从智能体历史交互轨迹中自动发现技能间的类型化依赖关系：

前置依赖边（depends_on）：若技能 B 的成功执行在统计上依赖于技能 A 的先验掌握（条件概率 P(success_B | mastered_A) >> P(success_B | ¬mastered_A)），则建立 A →_dep B 边
协同组合边（composes_with）：若技能 A 和 B 联合使用时效果优于单独使用（协同增益 Δ = joint_gain - (gain_A + gain_B) > θ_compose），则建立 A ↔_comp B 双向边
冲突边（conflicts_with）：若技能 A 和 B 同时存在训练数据中导致性能下降（负迁移 Δ < θ_conflict），则建立 A ⊗_conflict B 边
特化边（specializes）：若技能 B 是技能 A 在特定子领域的特化版本（语义包含 + 性能包含），则建立 A →_spec B 边
整合边（consolidation）：若技能 {A_1, …, A_k} 可被整合为更高层技能 A_high（SkillPyramid 的组合-验证-纳入），则建立 {A_i} →_consol A_high 超边

1.2 拓扑正确性形式化

定义训练数据的拓扑正确性度量 TopoCorrect(D)：

前置依赖遵守率：P(prereq_respected) = 所有前置依赖边被训练顺序遵守的比例
增强对共现率：P(enhance_cooccur) = 增强对技能在同一训练窗口内共现的比例
冲突避免率：P(conflict_avoided) = 冲突对技能不在同一批次中的比例
整合路径覆盖度：P(consol_covered) = 整合超边对应的训练轨迹被覆盖的比例

TopoCorrect(D) = α·P(prereq) + β·P(enhance) + γ·P(conflict_avoid) + δ·P(consol_cover)

第二阶段：拓扑感知训练数据策展

2.1 前置依赖约束的任务流构建

将 AGENTCL 的组合式流思想与 SkillDAG 的前置依赖边结合：

对技能图进行拓扑排序，生成满足前置依赖的任务序列
在拓扑排序基础上，注入组合可复用性约束：若技能 C 的子解包含技能 A 的输出，则 A 必须在 C 之前出现，且 A 的执行结果作为 C 的训练上下文
支持并行路径：无依赖关系的技能分支可并行训练

2.2 增强感知批次构建

识别所有增强对 (A, B)，在批次构建时保证：
- 增强对在同一训练窗口内共现
- 增强对的训练数据混合比接近 1:1（避免一方主导梯度）
- 引入增强对联合损失：L_enhance = L_task + λ_enhance · sim(z_A, z_B)，鼓励增强对的表示空间对齐

2.3 冲突感知批次隔离

识别所有冲突对 (A, B)，在批次构建时保证：
- 冲突对不在同一批次中出现
- 冲突对之间设置最小间隔窗口（梯度解耦）
- 引入冲突对正交损失：L_conflict = L_task - λ_conflict · |cos(z_A, z_B)|，鼓励冲突技能的表示空间分离

2.4 层级整合感知轨迹合成

受 SkillPyramid 的组合-验证-纳入三阶段启发，显式合成整合轨迹：

组合阶段：从已掌握的低级技能 {A_1, …, A_k} 出发，合成将其组合为高级技能 A_high 的推理轨迹
验证阶段：生成验证 A_high 正确性的测试场景，作为训练数据中的验证信号
纳入阶段：将验证通过的整合轨迹纳入训练数据，标记为”整合轨迹”类型

整合轨迹的关键价值：不仅教智能体”技能是什么”，还教智能体”如何从已有技能构建新技能”。

第三阶段：拓扑-能力共进化闭环

3.1 拓扑验证驱动的数据迭代

每轮训练后，重新评估技能依赖图的拓扑正确性：

若 P(prereq) 下降，说明新训练数据违反了前置依赖→需要插入前置技能的补充训练数据
若 P(enhance_cooccur) 下降，说明增强对被拆散→需要调整批次构建策略
若 P(consol_covered) 下降，说明整合路径出现空白→需要合成新的整合轨迹

3.2 拓扑演化

技能依赖图本身随训练进展而演化：

新技能被训练后，自动检测其与已有技能的依赖关系（通过条件成功率分析）
拓扑结构变化触发数据策展策略的动态调整
维护拓扑版本链，记录每次拓扑变化及对应的数据策展调整

3.3 拓扑感知的困难度校准

将技能拓扑距离作为困难度校准信号：

拓扑深度越深的技能越困难（依赖链越长）
整合涉及的低级技能越多，整合轨迹越困难
据此构建拓扑感知的课程学习策略

关键技术挑战

技能依赖发现的噪声问题：从有限轨迹中估计条件概率 P(success_B | mastered_A) 可能产生虚假依赖边。需要引入贝叶斯置信区间和因果发现方法（如 PC 算法）来区分相关与因果。
增强/冲突的动态性：技能间的增强和冲突关系可能随训练阶段变化——早期冲突的技能对在后期可能变为增强对。需要动态重新评估拓扑边类型。
整合轨迹合成的质量保障：自动合成的整合轨迹可能引入错误的技能组合方式。需要引入执行验证和专家轨迹对比作为质量门控。
拓扑正确性与数据效率的权衡：严格遵守拓扑约束可能导致训练数据利用率降低（为满足依赖顺序而跳过部分数据）。需要设计柔性约束机制，在拓扑正确性与数据效率之间取得平衡。
大规模技能图的可扩展性：当技能库规模达到数千级别时，拓扑发现和约束满足的计算成本将显著增加。需要引入近似算法和增量更新机制。

拓扑约束与 RLVR 目标函数的兼容性：GRPO 等主流 Agent RL 算法以任务成功率为唯一奖励信号，而 TopoCorrect(D) 引入了额外的拓扑正确性约束。如何将拓扑约束融入 RL 奖励函数（例如作为正则项或课程学习的阶段信号）而不干扰主任务的梯度优化，是一个需要仔细调参的工程问题。

预期成果

定量目标

拓扑正确性：TopoCorrect(D) 从基线的 ~0.3（随机任务流）提升至 >0.85
持续学习迁移增益：在 AGENTCL 的组合式流评估中，迁移增益相比朴素任务流提升 >40%
技能冗余率：训练数据中重复/冲突技能对的比例从 ~25% 降至 <5%
整合成功率：低级→高级技能整合轨迹的验证通过率从 SkillPyramid 的隐式整合提升 >15 个百分点
端到端性能：在 ALFWorld、WebShop、ScienceWorld 上，相比无拓扑感知的数据工程基线，平均奖励提升 >20%

定性目标

训练数据可解释性：通过拓扑可视化，研究者可以直观理解”为什么这条训练数据被放在这个位置”
技能演化可追溯性：维护拓扑版本链，使技能依赖关系的演化过程完全可审计
框架通用性：SKILL-TOPO 框架可适配不同类型的环境（代码生成、科学推理、Web 交互）

可能的影响

方法论层面：将技能拓扑从推理时优化问题重新定义为训练时数据质量问题，为自进化智能体的训练数据工程提供新的理论视角
实践层面：为自进化智能体的训练数据策展提供可操作的拓扑约束规范，解决当前”技能越多越好”的朴素策略带来的边际效益递减问题
生态层面：推动技能库管理和训练数据工程的标准化，使技能依赖拓扑成为训练数据质量评估的标准维度