研究提案已修订

分支感知在策数据演化：面向树结构搜索智能体的训练数据工程

针对自主数据工程等树结构搜索任务智能体，提出分支感知在策数据演化框架，将线性轨迹在策演化扩展至分支依赖、延迟验证的树结构搜索场景

2026年5月14日在策数据演化树结构搜索自主数据工程分支依赖智能体训练数据延迟验证数据工程智能体

背景与动机

自主数据工程智能体（如 DataMaster）正在成为大模型数据工程范式的核心载体：通过树结构搜索、共享数据池和全局记忆，DataMaster 在 MLE-Bench Lite 上实现了 32.27% 的奖牌率提升，在 GPQA 上甚至超越了指令模型。然而，这类智能体自身的训练数据仍依赖静态策展——其数据工程决策（发现哪些外部数据源、如何组合与变换、何时验证）的训练信号并未随策略能力的演进而自适应调整。

与此同时，在策数据演化（On-Policy Data Evolution, ODE）已在简单线性轨迹场景中展现了强大效果：通过闭环数据生成器利用当前策略的 rollout 反馈迭代优化训练数据，ODE 将 Qwen3-VL-8B 的多模态搜索能力从 24.9% 提升至 39.0%，超越了 Gemini-2.5 Pro。SEIF 证明了指令难度与模型能力可形成自我进化闭环，FATE 则展示了失败轨迹修复在安全对齐中的价值。

核心矛盾：现有在策数据演化方法均假设训练轨迹为线性序列且反馈即时可获取，但自主数据工程等树结构搜索任务天然具有三个独特属性：

分支依赖性（Branch Dependency）：一个分支的数据工程决策质量取决于其他分支的执行结果——例如，分支 A 发现的数据源可能被分支 B 复用，分支 B 的失败可能源于分支 A 的错误选择，而非自身决策缺陷。
延迟验证（Delayed Validation）：数据工程决策的质量只能通过下游训练效果来验证，而非在轨迹执行时即时评判，这使得传统的逐轮反馈修正无法直接适用。
跨分支知识迁移（Cross-Branch Knowledge Transfer）：不同分支中的成功和失败经验应指导后续分支的数据生成，但现有方法缺乏分支间的结构化记忆机制。

这一矛盾导致：直接将 ODE 等线性在策演化方法应用于树结构搜索智能体时，会产生分支级归因错误——将上游分支的决策缺陷误归因于下游分支，或因延迟验证而生成大量低质量的”伪成功”训练样本。

核心思路

提出 BRANCH-EVOLVE 框架——首个面向树结构搜索智能体的分支感知在策数据演化训练数据工程框架。核心创新在于将数据演化过程从线性轨迹扩展为分支感知的树结构搜索，通过三个关键机制解决上述矛盾：

1. 分支因果归因（Branch Causal Attribution）

不同于线性轨迹的逐步归因，BRANCH-EVOLVE 将树结构搜索中的失败归因建模为分支级因果推理问题：当某个叶子节点（数据工程候选方案）验证失败时，通过反事实分析沿树回溯，识别导致失败的最小分支因果集合——即哪些祖先分支的决策组合是失败的真正原因，而非简单地将失败归咎于叶子节点本身。

2. 延迟验证锚点（Delayed Validation Anchor）

针对延迟验证问题，引入验证锚点机制：在树搜索过程中设置中间检查点（如数据质量统计指标、与已知高质量数据的分布距离），作为早期预警信号。这些锚点不替代最终验证，但提供了在等待下游训练反馈期间的分支质量先验估计，使在策数据演化能够在延迟验证约束下持续运作。

3. 跨分支经验蒸馏（Cross-Branch Experience Distillation）

借鉴 DataMaster 的共享数据池和全局记忆思想，构建分支经验图谱：将各分支的成功/失败模式结构化存储，并在新分支数据生成时通过图注意力机制检索最相关的跨分支经验。与 Ace-Skill 的聚类组织不同，BRANCH-EVOLVE 保留分支间的因果结构关系，使经验迁移不破坏分支依赖语义。

与现有工作的关键区别：

维度	ODE	FATE	DataMaster	BRANCH-EVOLVE
轨迹结构	线性	线性	树（任务层）	树（训练数据层）
反馈粒度	轮次级	轨迹级	节点级	分支因果级
验证方式	即时	即时+验证器	延迟	延迟+锚点先验
跨经验迁移	无	无	共享池（无结构）	因果图谱

技术路线

阶段一：分支因果归因模块

树结构搜索轨迹采集：在数据工程智能体的树搜索过程中，记录完整的分支决策树，包括每个节点的决策内容、执行结果和验证信号。
反事实分支分析：对于验证失败的叶子节点，沿树回溯至每个分支点，通过反事实替换（将某祖先分支的决策替换为替代方案）评估该分支对失败的因果贡献度。
最小因果集合提取：使用贪心搜索或整数线性规划，在所有祖先分支中找到最小的因果解释集合，避免归因的过度扩散。

关键技术挑战：反事实分析的计算成本随分支深度指数增长。拟采用近似因果剪枝——仅对验证信号变化显著的分支点执行完整反事实分析，其余使用基于统计差异的快速估计。

阶段二：延迟验证锚点模块

锚点指标设计：定义一组与下游训练效果高度相关但可即时计算的中间指标，包括数据分布覆盖度、特征-标签一致性、与基准数据集的 Wasserstein 距离等。
锚点-验证映射学习：在初期阶段（有充足下游验证信号时），学习锚点指标到最终验证结果的映射函数，作为后续阶段的分支质量先验。
锚点驱动的分支优先级调整：在等待延迟验证时，基于锚点先验调整各分支的数据生成优先级，将计算资源集中到锚点信号最有希望的分支。

关键技术挑战：锚点指标与最终验证之间的相关性可能随数据工程任务类型变化。拟采用任务条件化的锚点权重——根据任务描述动态调整各锚点指标的权重。

阶段三：跨分支经验蒸馏模块

分支经验图谱构建：将每个分支的决策-结果对编码为图谱节点，分支间的依赖关系编码为有向边，构建有向无环图（DAG）。
图注意力经验检索：在新分支数据生成时，使用图注意力网络从经验图谱中检索最相关的成功/失败模式，作为数据生成的上下文。
因果约束迁移：确保迁移的经验不违反分支间的因果依赖——即，若分支 B 依赖分支 A 的输出，则从 A 迁移到 B 的经验必须保持 A→B 的因果方向性。

关键技术挑战：经验图谱的规模随演化轮次增长，检索效率下降。拟采用层次化经验摘要——将低层细节压缩为高层模式，仅在需要时展开。

阶段四：闭环在策演化

策略 Rollout → 失败诊断 → 因果归因 → 锚点更新 → 经验蒸馏 → 数据生成的完整闭环。
每轮演化后，根据分支因果归因结果和锚点信号，自适应调整树搜索的分支策略和深度。
引入 Pareto 前沿策略优化（借鉴 FATE 的 PFPO），在数据工程效率与质量之间寻找最优权衡。

预期成果

定量目标

MLE-Bench Lite 奖牌率：相比使用静态训练数据的 DataMaster 基线，BRANCH-EVOLVE 训练的智能体奖牌率提升 ≥10%（相对提升）。
分支归因准确率：在合成树结构搜索任务中，分支因果归因的准确率 ≥80%（以人工标注的因果集合为金标准）。
数据利用效率：达到同等智能体性能所需的 rollout 次数减少 ≥30%（对比无分支感知的朴素在策演化）。
锚点预测相关性：延迟验证锚点与最终验证结果的 Spearman 相关系数 ≥0.7。

定性目标

首次建立树结构搜索智能体的分支级训练数据工程方法论，填补线性在策演化与树结构搜索之间的理论空白。
揭示分支依赖、延迟验证对在策数据演化的影响机制，为后续研究提供可复用的分析框架。
验证跨分支经验蒸馏在树结构搜索场景中的有效性，为多分支协同优化提供新范式。

可能的影响

数据工程智能体：直接提升自主数据工程智能体的训练效率和质量，加速数据工程自动化进程。
通用树搜索智能体：方法论可推广至算法发现（CVEvolve）、科学实验规划等树结构搜索场景。
在策数据演化理论：将在线数据演化从线性轨迹推广至一般图结构，推动训练数据工程的理论发展。