研究提案 已修订

面向模块化代码生成的组合感知训练数据工程：从单轨迹质量到重组保真度驱动的模块级数据策展

当代码生成从单体轨迹转向模块分解+组合重组范式时，训练数据工程必须从轨迹级重构为模块级，以重组保真度作为核心数据质量信号

模块化代码生成 组合重组 训练数据工程 DecompRL RLVR 重组保真度 模块级信用分配 自进化智能体

背景与动机

DecompRL（arXiv:2607.02390）近期揭示了一条突破性路径：与其让模型在巨大搜索空间中反复采样完整解，不如将问题分解为可独立求解的子模块，再将各模块的实现组合重组（recombination），从而将 k 个实现 × n 个模块扩展为 k^n 个候选解，将瓶颈从 GPU 推理转移到廉价 CPU 评估，GPU token 成本降低约 50×。在 LiveCodeBench 和 CodeContests 上，DecompRL 解决了标准 RL 和多样性优化 RL 基线在 10^5 tokens 预算下无法触及的问题。

然而，DecompRL 的模块化范式引入了一个被忽视的训练数据工程盲区：

  1. 重组保真度真空：模块在独立验证中正确，但在特定组合上下文中可能失败。一个”有毒”模块实现会污染 k^(n-1) 个组合，但现有数据质量指标（轨迹级通过率）无法捕捉这一组合级别的正确性退化。DecompRL 的奖励信号仅在最终组合解层面给出，无法定位哪个模块实现是组合失败的根源。

  2. 分解-重组信用分配断裂：分解策略的质量只能通过下游重组结果间接度量，但正确的最终解不区分”关键模块”与”冗余模块”的贡献差异。DecompRL 将分解策略和实现策略分开训练，但两者之间的信用分配完全依赖最终结果信号，缺乏模块级信用分解。

  3. 跨问题模块迁移缺失：不同问题的分解可能暴露相似的子问题模式（如”图遍历""排序验证""边界检查”），但当前训练流程将每个问题的模块轨迹视为独立数据，未挖掘跨问题的模块级技能迁移机会。PMD（arXiv:2607.01480）展示了跨回合过程性记忆的价值（SCIKNOWEVAL +3.8-5.5%，LIVECODEBENCH +7.9-13.6%），但 PMD 在单体轨迹层面运作，无法利用模块化分解带来的结构化迁移信号。

  4. 模块级难度校准空白：DecompRL 的分解策略应产生处于实现策略能力前沿的模块，但当前缺乏模块级难度画像，无法确保分解产生的子问题恰好锚定在可学习区域。

核心问题：当代码生成从”单体轨迹→单体结果”范式转向”分解→模块实现→组合重组”范式时，训练数据工程必须从轨迹级重构为模块级，以重组保真度（recombination fidelity）——模块在组合上下文中保持正确性的概率——作为核心数据质量信号。

核心思路

提出 RECOMB-DATA（Recombination-Aware Module-level Data Engineering）框架，将模块化代码生成中的重组保真度建模为一等训练数据质量信号，通过三阶段闭环实现从单轨迹质量到模块级重组保真度的数据工程范式转换。

与现有工作的关键区别：

  • vs. DecompRL（2607.02390）：DecompRL 聚焦算法创新（分解+重组范式），将训练数据视为 RL rollout 的副产品。RECOMB-DATA 在 DecompRL 的算法框架之上引入显式数据工程层，将重组结果作为模块级数据质量信号反馈至训练数据策展。

  • vs. PMD（2607.01480）：PMD 的过程性记忆在单体轨迹层面组织（原始轨迹→策略教训→行为模式）。RECOMB-DATA 将过程性记忆的层级结构扩展至模块层面（模块轨迹→模块策略→跨问题模块模式），并引入重组保真度作为额外组织维度。

  • vs. Neuron-OPSD（2607.02460）：Neuron-OPSD 的神经元激活模式用于单体样本选择和教师上下文构建。RECOMB-DATA 将神经元激活分析扩展至模块级，利用模块级激活模式识别”组合脆弱”模块。

  • vs. ADR（2605.31058）：ADR 通过原子分解与受控重组生成新任务，但关注任务级合成。RECOMB-DATA 关注模块级训练数据质量，而非任务级合成——两者正交互补。

技术路线

阶段一：重组保真度诊断

1.1 组合执行矩阵构建

对每个问题，收集分解策略产生的 n 个模块，每个模块 k 个实现。构建 n×k 组合执行矩阵 E，其中 E[i, j] 为模块 i 的第 j 个实现。通过 CPU 执行所有 k^n 个组合，记录每个组合的通过/失败结果，形成组合结果张量 R ∈ {0,1}^{k^n}。

1.2 模块级重组保真度画像

定义模块 i 的第 j 个实现的重组保真度：

RF(i,j)=∣{(c1,...,cn)∈[k]n:ci=j∧R[c1,...,cn]=1}∣∣{(c1,...,cn)∈[k]n:ci=j}∣\text{RF}(i, j) = \frac{|\{(c_1, ..., c_n) \in [k]^n : c_i = j \land R[c_1, ..., c_n] = 1\}|}{|\{(c_1, ..., c_n) \in [k]^n : c_i = j\}|}

即”在该模块实现参与的所有组合中，正确组合的比例”。RF(i, j) = 1 表示该模块实现”组合无毒”，RF(i, j) < 1 表示存在”组合脆弱”——在某些上下文中正确但在其他上下文中失败。

1.3 三类重组失败模式诊断

  • 组合脆弱型（RF 低但独立正确率高）：模块独立验证正确，但与其他特定模块组合时失败。根因：隐式接口契约违反（如假设其他模块不会修改共享状态）。
  • 单点毒害型（RF 近零但其他模块 RF 高）：单个模块实现几乎使所有包含它的组合失败。根因：输出格式/类型不匹配或副作用泄漏。
  • 上下文依赖型（RF 在特定模块子集中高，其他子集中低）：模块仅在特定”友好”上下文中正确。根因：对其他模块行为的隐式假设。

1.4 神经元激活模式对齐分析

受 Neuron-OPSD 启发，提取每个模块实现对应的 MLP 神经元激活集合 N(i, j)。计算跨模块实现的神经元 Jaccard 距离，识别”组合脆弱”模块是否对应异常的神经元激活分散度（s(x) 过高），建立神经元级重组脆弱性预测器。

阶段二：重组保真度驱动数据策展

2.1 重组感知模块采样

替代当前 DecompRL 的均匀模块采样，引入重组保真度门控采样：

  • RF 门控：优先采样 RF > τ 的模块实现作为正样本，RF < τ 的实现作为”组合脆弱”负样本
  • 近成功组合识别：在 k^n 组合空间中，识别”仅一个模块实现替换即可翻转结果”的近成功组合，其替换模块即为最大学习信号来源
  • 组合多样性约束：确保采样覆盖不同模块间的组合交互模式，避免仅优化独立正确率

2.2 重组增强模块合成

  • 反事实模块替换：对近成功组合，将失败模块替换为正确模块，生成”正确→错误”和”错误→正确”的对比训练数据对
  • 组合边界对抗合成：针对诊断出的组合脆弱模式（隐式接口违反），合成显式测试该接口边界的模块实现
  • 模块级难度校准：利用模块独立通过率和 RF 联合画像，确保分解策略产生的模块恰好处于实现策略的重组保真度前沿（RF ≈ 0.5 区间提供最丰富的梯度信号）

2.3 重组感知训练数据组织

  • 模块级过程性记忆：将 PMD 的三层记忆结构扩展至模块层面——原始模块轨迹 → 模块策略教训（“该模块实现为何在组合中失败”） → 跨问题模块行为模式（“哪些模块接口模式反复导致组合失败”）
  • 重组图构建：以模块为节点、组合结果为边，构建问题内/跨问题的重组图，利用图结构传播模块级信用
  • 重组保真度感知批次构建：确保每个训练批次包含完整组合上下文（同一分解的所有模块实现），而非独立采样模块轨迹

阶段三：重组保真度-能力共进化闭环

3.1 分解策略的重组感知奖励

当前的分解策略奖励仅依赖最终组合通过率。引入重组保真度增强奖励：

rdecomp=α⋅rpass+β⋅RFmin+γ⋅RFspreadr_{\text{decomp}} = \alpha \cdot r_{\text{pass}} + \beta \cdot \text{RF}_{\text{min}} + \gamma \cdot \text{RF}_{\text{spread}}

其中 RF_min 为所有模块的最小重组保真度（惩罚单点毒害），RF_spread 为模块间 RF 的标准差（惩罚极度不均衡的分解）。

3.2 实现策略的模块级信用分解

对正确组合，将组合级奖励分解为模块级信用：

credit(i,j)=RF(i,j)⋅1n⋅rpass\text{credit}(i, j) = \text{RF}(i, j) \cdot \frac{1}{n} \cdot r_{\text{pass}}

对失败组合，通过反事实消融定位”责任模块”：

blame(i,j)=1−P(pass∣replace(i,j) with best alternative)P(pass∣best kn combination)\text{blame}(i, j) = 1 - \frac{P(\text{pass} | \text{replace}(i, j) \text{ with best alternative})}{P(\text{pass} | \text{best } k^n \text{ combination})}

3.3 跨问题模块迁移

通过模块级过程性记忆中的跨问题行为模式，识别不同问题间的共享模块模式（如”排序验证器”模块在多个问题中出现）。对共享模块，聚合跨问题的 RF 信号，构建模块级”接口可靠性”画像，用于：

  • 分解策略的模块检索：优先分解为已有高 RF 模式覆盖的子问题
  • 实现策略的模块复用：对已知高 RF 的模块模式，减少采样量，将计算预算分配给低 RF 的薄弱模块

3.4 共进化闭环

策略更新 → 新 rollout → 重组执行矩阵更新 → RF 画像更新 → 数据策展调整 → 策略再训练。关键：RF 画像随策略演化动态更新，而非静态计算。

预期成果

定量目标

  1. 重组保真度提升：在 DecompRL 基线上，将模块平均 RF 从基线水平提升 15-25%，显著降低”组合脆弱”和”单点毒害”型模块的比例。
  2. 组合效率提升：在相同 token 预算下，将 k^n 组合空间中的正确解密度提升 2-3×，减少无效组合评估。
  3. 解题能力前沿扩展：在 LiveCodeBench Hard 子集和 CodeContests 上，相对 DecompRL 基线提升 5-10% 的 pass@k（k > 100），特别关注基线策略接近零通过率的”超难”问题。
  4. 模块迁移效率：跨问题模块迁移使新问题的首次 RF 画像估计误差降低 30%+（相对无迁移冷启动）。

定性目标

  1. 建立模块级训练数据质量的形式化框架，填补”单体轨迹→模块化组合”数据工程的理论空白。
  2. 揭示重组保真度与独立正确率之间的系统性偏差模式，为模块化代码生成的数据策展提供可操作的质量指标。
  3. 将 PMD 的过程性记忆层级从单体轨迹扩展至模块化结构，建立”组合感知过程性记忆”的新范式。

可能的影响

  • 对模块化代码生成：为 DecompRL 类框架提供数据工程基础设施，使模块化范式从算法创新扩展为完整的训练系统工程。
  • 对自进化智能体：模块级 RF 画像和跨问题模块迁移机制可直接应用于自进化智能体的技能库管理——每个技能可视为一个”模块”，技能组合的保真度类比于模块的重组保真度。
  • 对 RLVR 数据工程：重组保真度概念可泛化至任何”组合式”推理任务（如形式化证明的引理组合、科学工作流的步骤组合），为组合式推理的数据质量提供统一度量。

相关工作

  1. DecompRL: Solving Harder Problems by Learning Modular Code Generation (arXiv:2607.02390) — FAIR at Meta, 2026-07-02. 模块化代码生成的 RL 算法创新，通过分解+重组范式突破搜索空间瓶颈。RECOMB-DATA 在其算法框架之上引入数据工程层。

  2. Procedural Memory Distillation: Online Reflection for Self-Improving Language Models (arXiv:2607.01480) — Ye Liu et al., 2026-07-01. 将跨回合过程性信号转化为可复用记忆并蒸馏入策略权重，共同进化设计。RECOMB-DATA 将其记忆层级扩展至模块层面。

  3. Neuron-Aware Data Selection for Annotation-Free LLM Self-Distillation (arXiv:2607.02460) — Zhuowei Chen & Xiang Lorraine Li, 2026-07-02. 利用神经元激活模式引导无标注自蒸馏的数据选择和教师上下文构建。RECOMB-DATA 将神经元级分析扩展至模块级组合脆弱性预测。

  4. AReaL 2.0: Next-Generation Agentic Reinforcement Learning Systems Enable Self-Evolving Agents (arXiv:2607.01120) — Ran Yan et al., 2026-07-01. 提出智能体在线 RL 系统三大支柱（轨迹数据协议、数据代理、演化控制平面）。RECOMB-DATA 的模块级数据协议可与 AReaL 2.0 的标准化轨迹协议对接。

  5. Combinatorial Synthesis: Scaling Code RLVR via Atomic Decomposition and Recombination (arXiv:2605.31058) — Jiasheng Zheng et al., 2025-05. 原子分解与受控重组生成新任务。RECOMB-DATA 与 ADR 正交互补：ADR 关注任务级合成，RECOMB-DATA 关注模块级训练数据质量。