研究提案 已修订

面向自进化推理的元演化训练数据架构：从固定流水线到自改进数据工程

将训练数据工程流水线本身建模为一等演化对象，通过开放式档案维护与实证验证实现数据工程策略的自主发现与持续改进

训练数据工程 自进化系统 开放式探索 元学习 课程学习 代码生成 推理能力

背景与动机

当前自进化推理系统的研究正在经历从”人类监督”到”自主进化”的范式转移。Absolute Zero Reasoner（AZR）[1] 证明了零外部数据下的自博弈推理可以超越依赖数万人工标注样本的方法；Self-Evolving Curriculum（SEC）[2] 将课程选择建模为非平稳多臂赌博机问题，与 RL 微调过程同步学习课程策略；Darwin Gödel Machine（DGM）[3] 则进一步展示了智能体通过修改自身代码并在开放式档案中维护多样化变体，可以将 SWE-bench 性能从 20.0% 提升至 50.0%。

然而，这些工作共享一个关键盲点：训练数据工程流水线本身是固定的。无论是 AZR 的任务提议-求解-验证循环、SEC 的多臂赌博机课程调度，还是 DGM 的智能体代码修改，数据工程策略（任务生成方式、质量过滤规则、难度评分函数、课程调度策略）都由人类预设，仅在有限的参数空间内演化。这带来了三个根本性问题：

  1. 策略空间受限：人工设计的数据工程策略仅覆盖了可能的策略空间中极小的子集。例如，AZR 仅考虑代码推理任务，SEC 仅考虑问题类别的选择权重，DGM 仅修改智能体代码而非训练数据工程流程。许多潜在有效的数据工程策略——如跨域迁移式任务合成、错误模式驱动的定向反例生成、多粒度质量信号的动态加权——无法被现有固定流水线发现。

  2. 策略-能力耦合滞后：当推理智能体的能力持续进化时，最优数据工程策略也应随之变化。然而固定流水线无法自适应调整——例如，SEC 的课程策略虽与 RL 同步更新，但其搜索空间（问题类别权重）过于粗粒度，无法捕捉能力演化过程中的细粒度数据需求变化。

  3. 跨任务策略迁移缺失：DGM 通过开放式档案实现了跨智能体变体的知识积累，但这种积累仅限于智能体代码层面。数据工程策略——如在数学推理中有效的”近成功反例挖掘”——无法被系统性记录、迁移和复用到代码生成或科学推理场景。

核心思路

我们提出 META-EVOLVE（Meta-Evolving Data Architecture）框架，将训练数据工程流水线本身建模为一等演化对象，通过开放式档案维护与实证验证实现数据工程策略的自主发现与持续改进。

核心创新：META-EVOLVE 将 DGM 的”智能体代码自改进”范式提升至”数据工程流水线自改进”的元层面。具体而言，数据工程流水线被表示为参数化程序——包含任务生成器 GϕG_\phi、质量过滤器 FψF_\psi、难度评分器 DωD_\omega 和课程调度器 SθS_\theta——这些组件的配置本身成为演化对象。

与现有工作的关键区别：

维度AZRSECDGMMETA-EVOLVE
演化对象任务课程权重智能体代码数据工程流水线
策略空间代码推理任务问题类别权重代码修改流水线配置程序
知识积累无无智能体档案流水线档案
验证方式代码执行器优势估计基准评估下游性能反馈
跨域迁移不支持不支持智能体级策略级

技术路线

第一阶段：流水线即程序（Pipeline-as-Program）

将数据工程流水线形式化为可参数化、可修改的程序表示：

Π=(Gϕ,Fψ,Dω,Sθ)\Pi = (G_\phi, F_\psi, D_\omega, S_\theta)

其中 GϕG_\phi 为任务生成器配置（生成策略、种子选择、增强方式），FψF_\psi 为质量过滤器配置（过滤准则、阈值策略、多信号融合），DωD_\omega 为难度评分器配置（评分维度、校准方式），SθS_\theta 为课程调度器配置（调度策略、难度爬升速率、探索-利用平衡）。

每个组件配置以结构化 JSON 或 DSL 表示，支持基础模型的读取、理解和修改。关键设计决策：

  • 配置空间需足够表达以覆盖多样策略，但需足够约束以避免无效搜索
  • 引入策略原语库（如”近成功挖掘”、“对抗性增强”、“跨域迁移”），作为配置修改的操作符集合

第二阶段：开放式流水线档案（Open-Ended Pipeline Archive）

借鉴 DGM 的开放式档案机制，维护一个不断增长的流水线配置树：

  1. 初始化：从少量人类设计的种子流水线出发
  2. 采样：基于归一化性能分数从档案中采样一个流水线配置 Πi\Pi_i
  3. 变异：使用基础模型对 Πi\Pi_i 进行修改，生成新配置 Πj\Pi_j，修改范围包括：
    • 任务生成策略的替换或组合（如从随机采样变为难度梯度引导）
    • 质量过滤准则的增加或调整（如增加行为等价性检查）
    • 难度评分维度的扩展（如从通过率扩展到步骤级难度）
    • 课程调度策略的切换（如从线性爬升变为自适应课程）
  4. 验证：使用 Πj\Pi_j 生成训练数据，训练一个轻量级模型（如 1B-3B 参数），在验证集上评估性能
  5. 归档：若 Πj\Pi_j 产生”有趣”的结果（性能提升或在新的能力维度上有所发现），将其加入档案

“有趣性”判定采用 DGM 的开放式标准：不仅看绝对性能，还看是否开辟了新的能力方向或流水线设计空间。

第三阶段：实证验证与性能反馈（Empirical Validation Loop）

关键挑战是如何高效验证流水线修改的效果。我们设计两层验证机制：

快速验证层：使用小规模代理模型（1B-3B）和少量训练步（~100 步），快速估计流水线修改的方向性效果。这牺牲了绝对精度但大幅降低了验证成本。

精确验证层：对通过快速验证的候选流水线，使用目标规模模型和完整训练协议进行精确评估。引入早停机制：若训练曲线显示明显退化趋势则提前终止。

性能反馈信号设计为多维度：

  • 能力维度：在数学、代码、科学推理等基准上的通过率
  • 效率维度：达到目标性能所需的数据量和训练步数
  • 多样性维度：生成训练数据的语义覆盖度（基于嵌入空间的覆盖指标）
  • 鲁棒性维度：在分布外测试集上的性能保持度

第四阶段：跨域策略迁移（Cross-Domain Strategy Transfer）

从流水线档案中提取可迁移的策略模式：

  1. 策略抽象：将具体的流水线配置抽象为策略模式（如”近成功反例挖掘”可在数学和代码领域抽象为”识别接近正确但关键步骤失败的样本并定向增强”）
  2. 策略索引：构建策略-效果关联索引，记录每个策略在不同领域和模型规模下的效果
  3. 策略推荐：当进入新领域时，基于策略索引推荐候选策略，加速冷启动

关键技术挑战

  1. 验证成本与搜索效率的权衡：每次流水线修改都需要训练模型来验证，计算成本高昂。需要设计高效的代理验证机制和智能搜索策略（如贝叶斯优化引导的档案搜索）。
  2. 配置空间的约束设计：过大的配置空间导致搜索效率低下，过小的空间限制发现潜力。需要渐进式空间扩展策略。
  3. 策略-能力的共进化稳定性：流水线策略和模型能力的共进化可能导致振荡或不收敛。需要引入稳定性保障机制（如性能下界约束、回滚机制）。
  4. 策略迁移的负迁移问题：在领域 A 有效的策略可能在领域 B 有害。需要领域适配机制来识别和缓解负迁移。

预期成果

定量目标

  1. 性能提升：在数学推理（GSM8K、MATH）和代码生成（HumanEval、MBPP）基准上，相比最优固定流水线（AZR + SEC 组合基线）提升 5-10% 通过率
  2. 数据效率：达到相同性能所需的训练数据量减少 30-50%，因为元演化流水线能更精准地定位能力前沿
  3. 策略发现：在 50 轮开放式演化中，自动发现至少 3 种人类未预设的有效数据工程策略
  4. 跨域迁移：从数学推理到代码生成的策略迁移，冷启动性能提升 15% 以上

定性目标

  1. 策略可解释性：档案中每个流水线配置的效果和设计动机可被自然语言解读
  2. 开放式性验证：流水线档案的性能-多样性前沿持续扩展，不出现停滞
  3. 策略泛化：发现的策略模式在不同模型规模（1B/3B/7B）上保持有效性

可能的影响

  1. 方法论影响：开创”数据工程流水线自改进”这一新研究范式，从”设计更好的流水线”转向”设计能自我改进的流水线”
  2. 实践影响：降低高质量训练数据的工程门槛——不再需要人工调优数据工程流水线的每个超参数
  3. 理论影响：为理解”什么样的数据工程策略在什么条件下有效”提供系统性实证证据，推动数据工程从经验工艺走向理论科学

相关工作

  1. Absolute Zero Reasoner (AZR) — Zhao et al., “Absolute Zero: Reinforced Self-play Reasoning with Zero Data,” arXiv:2505.03335, 2025. 链接

    • 零外部数据自博弈推理范式，通过代码执行器验证实现自主课程设计。META-EVOLVE 将 AZR 的任务级自博弈提升至流水线级的元演化。

  2. Self-Evolving Curriculum (SEC) — Chen et al., “Self-Evolving Curriculum for LLM Reasoning,” arXiv:2505.14970, 2025. 链接

    • 将课程选择建模为非平稳 MAB 问题，利用绝对优势作为学习增益代理。META-EVOLVE 扩展了课程策略的搜索空间，从问题类别权重到完整流水线配置。

  3. Darwin Gödel Machine (DGM) — Zhang et al., “Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents,” arXiv:2505.22954, 2025. 链接

    • 开放式自改进智能体，通过档案维护和实证验证实现智能体代码的持续进化。META-EVOLVE 将 DGM 的元进化思想从智能体代码层面迁移至数据工程流水线层面。

  4. REAL — Yao et al., “Training Language Models to Generate Quality Code with Program Analysis Feedback,” arXiv:2505.22704, 2025. 链接

    • 利用程序分析反馈训练代码质量感知模型，将代码质量信号（安全性、可维护性）引入 RL 训练。META-EVOLVE 可将 REAL 的质量信号作为流水线配置的一个维度，通过元演化自动发现最优的质量-功能权衡策略。

  5. Transformer Copilot — “Transformer Copilot: Learning from the Mistake Log in LLM Fine-Tuning,” arXiv:2505.16270, 2025. 链接

    • 系统性追踪模型微调中的错误模式（Mistake Log），并设计 Copilot 模型利用错误信号进行 logits 校正。META-EVOLVE 可将 Mistake Log 信号作为流水线质量过滤器的输入，通过元演化自动发现最优的错误模式驱动数据策展策略。

关联内容

研究 🔗 相关
面向自进化智能体技能库的规约保真验证与修复：从语义漂移诊断到契约锚定校准
针对自进化智能体技能库在持续演化中的规约保真性问题，提出 SKILL-VERIFY 框架，通过技能规约契约化、对抗性探针合成与契约锚定修复实现技能语义漂移的主动诊断与修复
研究 🔗 相关
面向长程代码智能体的漂移-多样性联合校准训练数据工程
统一解决RLVR训练中智能体漂移与多样性坍缩的对抗性轨迹数据工程框架
研究 🔗 相关
Adaptive 数据配比：让训练过程本身告诉你数据该怎么混
Adaptive Training Data Synthesis 的核心思想是'根据模型当前的弱点动态调整合成数据的分布'。本方案将其系统化为一个闭环数据工程框架，适用于中训练和 SFT 阶段。