面向代码生成的范式感知训练数据工程：从SFT退化诊断到验证课程自适应路由

背景与动机

SFT-RLVR范式鸿沟：同一数据，相反效果

arXiv:2607.08255（Compete Then Collaborate）揭示了一个反直觉的关键发现：同一份经过执行验证的教师解集，用于SFT时退化已胜任的编码学生（MBPP-test 76.7%→72.7%，竞赛题 5.9%→2.9%），而用于RLVR环境时却显著提升学生（竞赛题 5.9%→8.8%，+49%相对提升）。这不是数据质量问题——数据本身经过严格的单元测试和stdin-stdout验证——而是数据-学习范式交互问题。

这一”范式鸿沟”（Paradigm Gap）暴露了一个根本性的盲区：当前训练数据工程将数据质量视为数据的内在属性，忽视了数据质量对学习范式的依赖性。同一份”高质量验证数据”在模仿范式下是有毒的，在探索范式下是有营养的。

现有方案的不足

1. CurateEvo（arXiv:2607.06140）将数据策展策略表示为可执行代码并通过失败轨迹迭代演化，但其演化目标仅针对SFT数据质量，未建模SFT与RLVR的范式交互效应。CurateEvo的failure-driven演化可能会持续增强RLVR-beneficial但SFT-harmful的数据特性，加剧范式鸿沟。

2. Compete Then Collaborate 发现了范式鸿沟但未深入诊断其机制——为什么已胜任的学生在SFT后会退化？饱和效应和知识冲突的假设缺乏形式化刻画，也未提出数据层面的解决方案。

3. SAO（arXiv:2607.07508）解决了异步RL的off-policy稳定性问题，将单rollout采样成功部署于GLM-5.2（750B-A40B MoE），但SAO假设训练数据已预先分配至RLVR管线，未考虑数据在SFT/RLVR范式间的路由问题。

4. Selective Left-Shift（arXiv:2607.07748）将推理时计算”左移”为离线数据合成，解耦语法获取与算法推理，但其三阶段管线（SFT→RLVR）是静态串联，未考虑SFT阶段数据对后续RLVR阶段训练动力学的影响。

核心矛盾：代码生成训练数据工程需要一个统一框架来回答——给定一份验证数据集，哪些子集应路由至SFT、哪些应路由至RLVR、以及如何变换SFT-harmful数据使其成为SFT-safe？

核心思路

范式依赖性数据质量（Paradigm-Dependent Data Quality）

提出训练数据质量不是数据的内在属性，而是数据-范式对的函数：$\mathcal{Q}(\mathcal{D}, \mathcal{P})$，其中$\mathcal{D}$为数据集，$\mathcal{P} \in \{\text{SFT}, \text{RLVR}\}$为学习范式。范式鸿沟定义为：

$\text{PG}(\mathcal{D}) = \mathcal{Q}(\mathcal{D}, \text{RLVR}) - \mathcal{Q}(\mathcal{D}, \text{SFT})$

当 $\text{PG}(\mathcal{D}) > 0$ 时，数据应路由至RLVR；当 $\text{PG}(\mathcal{D}) < 0$ 时，数据应路由至SFT。

三类SFT退化机制

基于Compete Then Collaborate的发现，我们假设SFT退化的三类机制：

1. 饱和毒性（Saturation Toxicity）：简单问题上教师的完美解（99-100%通过率）提供零梯度信息，SFT强行拟合已掌握的模式导致过拟合退化。

2. 规划鸿沟毒性（Planning Gap Toxicity）：竞赛级问题的教师解包含超出门生当前规划视界的推理链组合。SFT迫使门生记忆完整推理链而非理解子目标结构，导致浅层模式匹配替代深层规划能力。

3. 验证依赖毒性（Verification Dependency Toxicity）：验证通过的解隐式编码了对测试框架的依赖假设。SFT使门生学习满足特定验证模式而非通用地解决问题，当测试分布偏移时泛化能力下降。

PARADIGM-ROUTE框架

提出PARADIGM-ROUTE（Paradigm-Routed Data Engineering with Verification-Curriculum Adaptive Allocation）框架，三阶段闭环：

阶段I：范式鸿沟诊断（Paradigm Gap Diagnosis）

• 对每个训练样本，计算范式鸿沟指标PG
• 饱和毒性评分：基于门生在样本上的基线通过率与教师解复杂度的比值
• 规划鸿沟评分：基于教师解的子目标依赖图深度与门生规划视界估计的差距
• 验证依赖评分：基于教师解与验证框架的耦合度（通过反事实测试变更估计）

阶段II：范式自适应路由与变换（Paradigm-Adaptive Routing & Transformation）

• 基于PG指标将训练数据路由至SFT路径或RLVR路径
• 对路由至SFT的RLVR-beneficial数据，应用SFT安全变换：
  • 解链分解：将完整教师解分解为子目标级解片段，SFT仅训练子目标预测而非完整解模仿
  • 验证感知脚手架：将隐式验证依赖显式化为推理步骤，使SFT学习验证感知推理而非验证捷径
  • 饱和过滤：移除门生已高通过率样本的SFT权重，避免过拟合退化

阶段III：范式-能力共进化（Paradigm-Capability Co-Evolution）

• 随着RLVR训练推进，门生能力前沿移动，之前”规划鸿沟”外的问题变为”规划鸿沟”内
• 动态调整SFT/RLVR路由边界：已通过RLVR掌握的子目标可安全地加入SFT数据
• 建立PG指标→路由决策→训练效果→PG更新的闭环

技术路线

步骤1：范式鸿沟指标的形式化与高效估计

饱和毒性评分（ST-Score）： $\text{ST}(x) = 1 - \frac{H(\pi_\theta(\cdot|x))}{H_{\max}}$ 其中$H(\pi_\theta(\cdot|x))$为门生在样本$x$上的输出熵。高通过率+低熵=高饱和毒性。

规划鸿沟评分（PG-Score）： 利用教师解的抽象语法树（AST）构建子目标依赖图$G_x = (V_x, E_x)$，定义规划鸿沟为： $\text{PG}(x) = \frac{\text{depth}(G_x)}{\hat{L}_\theta} - 1$ 其中$\hat{L}_\theta$为门生的规划视界估计（通过门生成功解的最长依赖链统计估计）。

验证依赖评分（VD-Score）： 通过测试套件扰动估计教师解对验证框架的耦合度： $\text{VD}(x) = 1 - \frac{|\{t \in T_x' : s_x \text{ passes } t\}|}{|T_x'|}$ 其中$T_x'$为扰动后的等价测试集，$s_x$为教师解。高VD评分意味着教师解过度依赖特定测试模式。

关键技术挑战：

• 规划视界$\hat{L}_\theta$的估计需要门生的成功轨迹统计，初期数据稀疏
• 验证依赖评分的测试套件扰动需保证语义等价性，避免引入虚假差异

步骤2：SFT安全变换策略

解链分解：将教师解的AST切分为$k$个子目标片段$\{s_1, \ldots, s_k\}$，每个片段包含完整的子目标输入和输出规约。SFT训练目标从$P(s_1 \cdot s_2 \cdots s_k | x)$变为$P(s_i | x, s_1, \ldots, s_{i-1})$——即在给定已完成的子目标前提下预测下一个子目标。这避免了规划鸿沟毒性，因为每个子目标预测都在门生的规划视界内。

验证感知脚手架：在教师解中插入显式的验证推理步骤：

• “为确保函数f满足性质P，需要验证条件C…”
• SFT训练这些显式验证推理步骤，而非隐式满足测试

关键技术挑战：

• AST子目标切分的粒度选择：过粗无法消除规划鸿沟毒性，过细导致子目标间依赖丢失
• 验证推理步骤的自动化生成需要领域知识

步骤3：范式自适应路由算法

设计基于PG指标的软路由机制： $\alpha(x) = \sigma\left(\beta \cdot (\text{PG-composite}(x) - \tau)\right)$ 其中$\alpha(x)$为样本$x$路由至RLVR的概率，$\tau$为路由阈值，$\beta$为路由锐度，$\text{PG-composite}$为三类毒性评分的加权组合。

训练损失： $\mathcal{L} = \alpha(x) \cdot \mathcal{L}_{\text{RLVR}}(x) + (1 - \alpha(x)) \cdot \mathcal{L}_{\text{SFT}}(\text{transform}(x))$

关键技术挑战：

• 路由阈值$\tau$的初始化：过高导致RLVR数据不足，过低导致SFT退化重现
• 路由锐度$\beta$的训练稳定性：过锐导致硬路由和梯度消失，过钝导致范式混淆

步骤4：范式-能力共进化闭环

每$N$个训练步重新评估PG指标：

1. 更新门生规划视界估计$\hat{L}_\theta$
2. 重新计算所有训练样本的PG-Score
3. 调整路由参数$\tau, \beta$
4. 将新通过RLVR掌握的子目标加入SFT候选集

关键技术挑战：

• 共进化的稳定性：避免路由振荡（样本在SFT/RLVR间反复切换）
• 计算开销：PG指标的全量重估代价高，需设计增量更新机制

预期成果

定量目标

1. 范式鸿沟闭合：在Compete Then Collaborate的实验设置上（Qwen2.5-Coder 7B/32B + 四教师验证课程），使SFT路径不再退化（MBPP-test ≥ 76.7%保持，竞赛题 ≥ 5.9%保持），同时RLVR路径保持提升效果（竞赛题 ≥ 8.8%）。

2. SFT安全变换增益：对路由至SFT的RLVR-beneficial数据，经过解链分解+验证脚手架变换后，SFT不再退化且提供正向增益（预期+1-3%在竞赛题上）。

3. 端到端联合训练增益：PARADIGM-ROUTE的SFT+RLVR联合训练优于纯RLVR训练（预期在竞赛题上+2-5%），证明SFT路径在经过范式感知变换后的互补价值。

4. 路由准确性：PG指标对SFT退化/RLVR提升的预测准确率 ≥ 85%（通过留出集验证）。

定性目标

1. 揭示SFT-RLVR范式鸿沟的机制：饱和毒性、规划鸿沟毒性、验证依赖毒性三类退化模式的形式化刻画与实验验证。

2. 建立”范式依赖性数据质量”理论框架：数据质量不是内在属性而是数据-范式对的函数，为训练数据工程提供新的理论基础。

3. 产出可复用的范式路由工具：开源PG指标计算器和SFT安全变换管线，与CurateEvo/SAO等框架兼容。

可能的影响

1. 对代码生成训练范式的直接影响：Compete Then Collaborate的发现正在改变社区对多教师蒸馏的认知——从”合并答案”转向”构建验证环境”。PARADIGM-ROUTE将这一认知进一步提升：同一验证环境的不同组件应根据范式依赖性路由至不同学习管线。

2. 对Agentic RL训练数据的间接影响：SAO已证明异步单rollout RL在长程agent任务上的有效性。PARADIGM-ROUTE的路由机制可与SAO的异步管线集成，在rollout完成后根据PG指标动态决定该轨迹用于SFT更新还是RLVR更新。

3. 对训练数据质量评估范式的根本性影响：从”数据质量=数据内在属性”到”数据质量=数据-范式交互属性”的范式转换，将影响从预训练到后训练的全链路数据工程实践。

相关工作

1. Compete Then Collaborate: Frontier AI Teachers Build a Verifiable Curriculum to Improve a Coding Student Beyond Imitation（arXiv:2607.08255, 2026-07-09） — 本提案的直接出发点。揭示了SFT-RLVR范式鸿沟现象，提出验证课程构建优于答案池模仿。未诊断鸿沟机制，未提出数据层面解决方案。

2. CurateEvo: Data-Curation Evolving for Agentic Post-Training（arXiv:2607.06140, 2026-07-07） — 将数据策展策略表示为可演化代码，通过失败轨迹驱动策展策略迭代重写。PARADIGM-ROUTE的失败驱动思想受其启发，但将演化目标从SFT数据质量扩展至范式依赖性数据质量。

3. Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning（arXiv:2607.07508, 2026-07-08） — 提出SAO框架解决异步RL的off-policy稳定性问题，成功部署于GLM-5.2。PARADIGM-ROUTE的路由机制可与SAO的异步管线互补：SAO解决”如何稳定训练”，PARADIGM-ROUTE解决”训练什么数据”。

4. Selective Left-Shift: Turning Test-Time Compute and Difficulty-based Curation into Training Data for Low-Resource Code Generation（arXiv:2607.07748, 2026-07-08） — 将推理时计算”左移”为离线数据合成，解耦语法获取与算法推理。其SFT→RLVR串联范式是PARADIGM-ROUTE路由机制的特例：固定串联 vs. 自适应路由。

5. DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment（arXiv:2607.07820, 2026-07-08） — 在确定性可验证环境中实现搜索智能体的自蒸馏，420K多跳QA任务支持进度验证、基于事实的反思和失败恢复。验证环境驱动的自进化与PARADIGM-ROUTE的验证课程路由互补：前者关注环境设计，后者关注数据路由。