研究提案 已修订

面向自进化代码智能体的熵壳逃逸训练数据工程：从自回归采样困境到进化重组-目标分解驱动的数据生成

将BES熵壳理论引入代码智能体训练数据工程，通过进化轨迹重组与后向目标分解联合逃离模型概率质量陷阱，系统性提升训练数据有效信息密度

熵壳逃逸 训练数据工程 代码生成 进化搜索 目标分解 自进化智能体 RLVR 轨迹重组

背景与动机

当前代码智能体的训练数据生成——无论是RLVR中的拒绝采样、自博弈中的轨迹收集，还是合成数据流水线——本质上都依赖于同一范式的自回归展开(autoregressive rollout)：模型从当前策略出发，逐步采样生成候选轨迹，然后通过验证信号筛选有效样本。这一范式在提升基线性能方面成效显著，但其结构性局限正在成为进一步突破的瓶颈。

问题一：熵壳困境(Entropy Shell Confinement)。BES (Bidirectional Evolutionary Search, arXiv:2605.28814) 从理论上证明，仅通过自回归展开生成的候选解被限制在一个狭窄的”熵壳”(entropy shell)内——即模型概率质量较高的区域。这意味着：(1) 模型认为”不太可能”的路径被系统性排除，而恰恰是这些低概率路径中蕴含着关键的非平凡解；(2) 随着训练推进，策略分布日趋尖锐，熵壳进一步收缩，训练数据的多样性坍缩加速。在代码生成场景中，这直接表现为：模型反复生成相似的代码模式，对需要创造性算法设计的困难问题无法产出有效的训练信号。

问题二：稀疏验证信号。现有RLVR框架依赖结果级二元验证（测试通过/失败），无法为训练数据筛选提供过程级细粒度信号。这导致：(1) 接近正确但存在关键步骤错误的轨迹被粗暴丢弃，浪费了其中有效的局部知识；(2) 不同的失败模式被同等对待，无法区分”差之毫厘”与”南辕北辙”。

问题三：技能-数据鸿沟的熵壳根源。SkillLens (arXiv:2605.23899) 揭示了自动生成技能的25%负迁移率，SkillOpt (arXiv:2605.23904) 将技能视为可优化外部状态。但现有工作未触及一个根本问题：技能提取的源数据本身受熵壳约束——如果智能体从未走出自身的概率舒适区，其提炼的”技能”不过是对已有行为的自我确认(self-confirmation)，而非对未知能力的探索发现。

综上，当前代码智能体训练数据工程面临的核心矛盾是：数据生成方式的结构性偏差（熵壳约束）与训练数据需要覆盖完整解空间的需求之间的根本矛盾。

核心思路

提出 SHELL-ESCAPE 框架（Synthetic High-Entropy Landscape Learning via Evolutionary Search and CoarsE-to-fine goal PAtChing for data Engineering），将BES的熵壳逃逸理论系统性地引入代码智能体训练数据工程，通过进化轨迹重组（Evolutionary Trajectory Recombination）与后向目标分解（Backward Goal Decomposition）的联合机制，从数据生成层面突破自回归采样的熵壳约束。

关键区别一：从”采样-筛选”到”重组-分解-精炼”。现有方法先自回归采样再筛选，本质上是在熵壳内”碰运气”；SHELL-ESCAPE首先通过进化算子（组合、交叉、转位、删除）对已有轨迹进行重组，生成超出单次展开可达范围的候选轨迹，然后通过后向目标分解提供密集的中间验证信号，指导前向候选轨迹的定向生长。

关键区别二：从结果级筛选到子目标级精炼。BES的后向搜索将任务目标递归分解为可检查的子目标树，为每条候选轨迹提供步骤级的验证信号。SHELL-ESCAPE将此机制迁移至训练数据策展：不再是二元通过/失败，而是每个子目标上的通过/失败构成轨迹的”验证指纹”(verification fingerprint)，为数据质量评估和课程学习提供细粒度依据。

关键区别三：从静态数据到熵感知共进化。训练数据的”有效熵”（超出当前策略熵壳的轨迹比例）被显式建模和监控。当有效熵低于阈值时，自动触发更激进的进化重组策略和更深层的目标分解，形成”策略演化→熵壳收缩→逃逸加速→数据刷新”的自适应共进化循环。

技术路线

阶段一：熵壳诊断与量化

  1. 策略熵壳刻画：对于当前策略π_θ，在代码生成任务上收集N条自回归轨迹，计算每条轨迹的平均token级对数概率分布，绘制概率质量分布图，以一定百分位数（如90%）为界定义”熵壳边界”。
  2. 训练数据有效熵度量：定义 Effective Entropy Ratio (EER) = 熵壳外轨迹数 / 总轨迹数。在现有RLVR数据集上计算EER，量化熵壳约束的实际影响。
  3. 熵壳-性能耦合分析：在代码生成基准（LiveCodeBench, CodeContests）上，对比高EER和低EER数据训练的模型性能差异，建立EER→性能的定量关系。

阶段二：进化轨迹重组

  1. 轨迹表示与算子设计：
    • 将代码生成轨迹表示为（问题→推理链→代码→测试结果）四元组
    • 组合(Combination)：从不同成功轨迹中提取推理片段，拼接为新的推理链
    • 交叉(Crossover)：在两条轨迹的公共子目标处交换后续推理路径
    • 转位(Translocation)：将某条轨迹中有效的代码模式迁移至不同问题上下文
    • 删除(Deletion)：移除冗余推理步骤，生成更精简的轨迹变体
  2. 重组有效性验证：重组轨迹须通过测试用例验证；未通过但子目标部分通过的轨迹保留为”近成功”样本，进入阶段三的定向精炼。
  3. 熵壳逃逸保证：理论上，进化算子对轨迹的重组等价于在轨迹空间中进行非局部搜索，可以到达单次自回归展开概率极低但仍有价值的区域。

阶段三：后向目标分解驱动的精炼

  1. 目标分解树构建：给定代码问题，递归分解为子目标树：
    • 根节点：完整问题规约
    • 一级子目标：算法选择、数据结构确定、边界条件处理
    • 二级子目标：具体函数实现、循环/递归结构、输入输出格式
    • 叶节点：可自动验证的原子检查点
  2. 子目标验证信号：对每条轨迹（包括重组轨迹和近成功轨迹），在子目标树的每个节点上计算通过/失败信号，构成轨迹的验证指纹。
  3. 定向精炼策略：
    • 对于在子目标k处失败但k-1处成功的轨迹，定位为”近成功边界样本”
    • 针对失败子目标，生成局部替代推理路径（类似BES的前向搜索+进化重组）
    • 将修复后的轨迹重新提交验证，迭代直至通过或确认不可修复

阶段四：熵感知共进化循环

  1. EER监控与阈值触发：每轮训练后重新评估EER；当EER < θ_low时，触发更激进的进化参数（更多交叉点、更深目标分解）；当EER > θ_high时，回归标准采样以防止过度偏离策略分布。
  2. 子目标级课程学习：利用验证指纹构建训练课程：先训练子目标通过率低的轨迹类型，逐步过渡到完整轨迹。
  3. 共进化数据飞轮：策略改进→生成更高质量轨迹→进化重组源数据更丰富→逃逸能力增强→EER提升→新策略学习到更多非平凡解。

关键技术挑战

  1. 代码轨迹的可组合性：代码推理链的组合比文本推理链更受语法和语义约束，需要设计代码感知的重组算子，避免生成语法无效的中间态。
  2. 子目标分解的粒度权衡：分解过粗则信号仍稀疏，过细则验证成本爆炸。需结合代码AST结构和执行轨迹自动确定最优分解粒度。
  3. 进化重组的语义保真：交叉和组合操作可能破坏推理链的因果一致性，需设计语义一致性检查机制。
  4. 计算效率：进化重组+目标分解的计算开销显著高于标准采样，需通过并行化和近成功边界聚焦控制总成本。

预期成果

定量目标

  1. EER提升：在CodeContests和LiveCodeBench上，将训练数据的EER从基线（标准RLVR拒绝采样）的约5-10%提升至25-35%。
  2. Pass@1提升：基于SHELL-ESCAPE数据训练的7B/14B代码模型，在CodeContests上Pass@1较标准RLVR基线提升8-15个百分点。
  3. 近成功轨迹修复率：阶段三的定向精炼对近成功轨迹的修复率不低于40%，显著减少有效训练数据的浪费。
  4. 训练数据效率：达到相同Pass@1性能所需的有效训练轨迹数量减少30-50%。

定性目标

  1. 非平凡解覆盖：SHELL-ESCAPE生成的训练数据中，包含标准采样无法生成的非平凡算法解（如非贪心策略、创造性递归结构等）。
  2. 失败模式多样性：验证指纹揭示的训练数据失败模式分布更均匀，不再集中于少数高频失败模式。
  3. 泛化增益：在分布外(OOD)代码问题上，SHELL-ESCAPE训练的模型表现出更强的泛化能力。

可能的影响

  1. 理论层面：首次将熵壳理论系统性地与代码智能体训练数据工程结合，为理解训练数据多样性-性能关系提供新理论工具。
  2. 方法层面：建立”进化重组+目标分解”的双向数据生成范式，可推广至其他需要逃离策略概率陷阱的训练场景（数学推理、科学发现等）。
  3. 实践层面：为代码智能体的后训练数据工程提供可操作的工具链，显著提升现有RLVR框架的数据效率。

相关工作

  1. Self-Improving Language Models with Bidirectional Evolutionary Search (BES) — 提出双向进化搜索框架，理论证明自回归展开的熵壳约束，进化算子可逃逸熵壳，后向目标分解可指数级减少所需样本。本提案直接将BES的核心洞察从推理时搜索迁移至训练数据工程。

  2. From Raw Experience to Skill Consumption: A Systematic Study of Model-Generated Agent Skills (SkillLens) — 首次系统性研究自动生成技能的全生命周期质量，揭示25%负迁移率，发现技能质量关键取决于失败模式编码和可执行具体性。本提案将技能质量问题的根源追溯至训练数据的熵壳约束。

  3. SkillOpt: Executive Strategy for Self-Evolving Agent Skills — 将技能文档视为冻结模型的可训练外部状态，通过”优化器模型”实现技能的梯度式迭代优化。本提案将SkillOpt的”外部可训练状态”思想扩展至训练数据层面：训练数据本身也应是可优化、可演化的。

  4. DARE-bench: Evaluating Modeling and Instruction Fidelity of LLMs in Data Science — 构建6,300个可验证的数据科学任务，RL训练将Qwen3-4B准确率提升8倍以上。展示了可验证训练基础设施对智能体训练的关键价值，本提案的子目标验证机制可视为DARE-bench验证范式的步骤级推广。

  5. AlgoForge: Specializing Code Generation Agents through Collaborative Reinforcement Learning — 提出Planner+Coder双智能体协作代码生成框架，通过角色特化的监督冷启动和协作感知强化学习，在CodeContests上Pass@1提升36.5%。本提案的进化重组机制可与AlgoForge的多角色结构结合，实现跨角色轨迹重组。

关联内容

研究 🔗 相关
面向API边界代码智能体RL训练的调用段因果信用分解轨迹数据工程
将API边界代码智能体RL训练中的信用分配从轨迹级重构为调用段级，利用API调用的功能角色分类与因果依赖结构进行信用分解，解决Polar框架的奖励劫持问题与prefix_merging的信号丢失问题
研究 🔗 相关
面向自进化代码智能体的技能空白感知训练数据工程：从被动轨迹蒸馏到主动空白识别与定向填充
提出 SKILL-GAP 框架，将代码智能体技能空白建模为一等训练数据质量信号，通过空白诊断、定向轨迹合成与空白闭环校准三阶段，系统性填补自进化技能库的覆盖、难度与组合性空白
研究 🔗 相关
面向多验证环境RLVR的验证一致性训练数据工程：从环境特定捷径到跨环境一致性保障
研究多验证环境下RLVR训练中的验证一致性问题，提出跨环境一致性感知的训练数据工程框架CEVC，通过验证一致性诊断、跨环境反捷径合成和一致性驱动数据混合三阶段，系统性消除环境特定验证捷径并提升跨域推理泛化