研究提案 已修订

面向代码生成语义坍缩的欠规范感知训练数据工程：从推理时多样性幻觉到训练时坍缩预防

针对代码LLM在欠规范提示下坍缩至单一错误解释而非产生多样输出的反直觉现象，提出欠规范感知训练数据工程框架，从训练数据层面系统性消除语义坍缩偏差

语义坍缩 代码生成 欠规范 训练数据工程 规格化修复 子目标批判 RLVR 自进化智能体

背景与动机

语义坍缩：一个反直觉的根本性失效模式

Richter & Papadakis（arXiv:2607.01953）揭示了一个令人警醒的现象：当代码生成任务的描述存在欠规范（underspecification）时，LLM 并非如直觉预期那样产生多样的语义解释——而是坍缩至单一错误解释，持续生成内部连贯但行为偏移的代码。这一失效模式被称为有害语义坍缩（detrimental semantic collapse）。

其反直觉性体现在三个方面：

  1. 多样性幻觉：研究界普遍假设欠规范→输出不连贯（incoherence），即多次采样应产生语义不同的实现。然而语义坍缩意味着低方差不等于低不确定性——模型可能在 25 次采样中全部收敛至同一个错误解释。
  2. 规模惊人：即便在”被认为良好规范”的基准中，语义坍缩已影响 MBPP 的 10%+ 任务、HumanEval 的 3% 任务、LiveCodeBench 的 32% 任务。注入欠规范后比例上升 5 倍以上。
  3. 检测不可行：要把「漏掉某种解释」的风险压到 1% 以下（置信水平 δ=95%），需要约 300 次采样；按原文口径，用 Claude Sonnet 4.5 把 378 道 MBPP 题整体跑一遍（per benchmark run）的成本约 $1.30（k=1）、$32.60（k=25），k=300 时超过 $391。也就是说 $391 是整个 MBPP 基准跑一轮的成本，摊到单题约 $1，而非单题成本。即便如此，语义聚类要在成千上万个函数上铺开，这笔开销在大规模部署中仍不可承受。

现有方案的不足

当前应对欠规范代码生成的方案存在系统性盲区：

  • 推理时消歧（self-consistency、semantic entropy）依赖于”欠规范→多样性”假设，恰好被语义坍缩打破。
  • 执行反馈修复（Self-Fix、Reflexion）修复实现级错误，但 DualFix（arXiv:2607.05121）报告 10-19% 的失败在三轮基于执行反馈的修复后仍不通过；原文据此推测其中至少一部分源于规格措辞而非实现缺陷（“suggesting that at least some of these failures may stem from how the specification is worded rather than from the implementation itself”）。这是论文提出的假说，不是已证实的归因。
  • 子目标批判（SCOPE, arXiv:2607.05810）通过 Lean 导向的证明器分解子目标，但批判发生在推理时，未触及坍缩的训练根源。
  • RLVR 训练（SAO, arXiv:2607.07508）优化通过率，但通过率信号无法区分”正确解释下的正确代码”与”错误解释下的内部自洽代码”——后者恰好是语义坍缩的产物。

核心问题：语义坍缩是训练时习得的偏差，但所有现有方案均在推理时修补。我们需要从训练数据层面根除坍缩倾向。

核心思路

从”推理时检测坍缩”到”训练时预防坍缩”

提出SPEC-AWARE（Specification-Aware Training Data Engineering）框架，将欠规范-坍缩关系建模为一等训练数据质量信号，通过三阶段闭环从训练数据层面系统性消除语义坍缩偏差。

核心洞察：语义坍缩的根源在于训练数据中存在欠规范-单一解释配对——即训练样本中的模糊规格总是与某一个特定正确实现配对，模型学到的不是”欠规范时保持不确定性”，而是”欠规范时选择最可能的解释”。这是一种隐性监督偏差，而非模型能力不足。

与现有工作的关键区别

维度DualFixSCOPESelf-ConsistencySPEC-AWARE
干预阶段推理时推理时推理时训练时
目标规格修复子目标批判不确定性估计坍缩预防
对坍缩假设间接缓解不涉及假设多样性存在显式建模
数据层面不涉及不涉及不涉及核心贡献
可扩展性每次推理额外计算需证明器300+ 采样一次性训练

技术路线

第一阶段：坍缩-欠规范联合诊断

目标：量化训练数据中的坍缩偏差浓度，识别坍缩热点。

  1. 欠规范度标注：对训练数据中的每个（规格, 实现）对，使用 LLM-as-Judge 标注规格的欠规范维度（遗漏约束、歧义谓词、隐含假设、矛盾陈述），形成欠规范度向量 u ∈ [0,1]^d。

  2. 坍缩倾向探测：对每个欠规范训练样本，执行 k 次采样（k=25），计算语义等价类分布。若 >80% 采样落入同一语义等价类且该类不匹配人类意图，标记为坍缩样本。坍缩倾向 = P(坍缩 | 欠规范维度 d_i)。

  3. 坍缩偏差浓度（CBC）：定义训练集 D 的坍缩偏差浓度为 CBC(D) = E_{(spec, impl) ∈ D}[1(spec is underspecified) × 1(only one interpretation in D matches spec)] 高 CBC 意味着训练数据系统性鼓励”欠规范→单一解释”映射。

  4. 坍缩热点识别：按任务类型、欠规范维度、代码模式聚类，识别坍缩偏差最严重的训练数据区域。

关键挑战：语义等价类的自动划分。借鉴 semantic entropy（Kuhn et al., 2023）的蕴含聚类方法，但需要针对代码语义（功能等价而非文本等价）设计专门的等价判据——使用测试套件行为等价作为代码语义等价的标准。

第二阶段：欠规范感知数据策展

目标：构建反坍缩训练数据，打破”欠规范→单一解释”映射。

  1. 欠规范-多解释配对合成（SPEC-MULTI）：

    • 对每个欠规范规格，生成 ≥3 个语义不同但均合法的候选实现
    • 关键约束：候选实现必须在功能上不等价（测试行为不同），但均满足规格的字面描述
    • 训练信号不再是”这个实现正确”，而是”这些实现都合法，但对应不同意图”——显式教授模型欠规范下的多解释意识

  2. 坍缩-揭示数据合成（COLLAPSE-REVEAL）：

    • 借鉴 DualFix 的规格变换规则思路，但不用于推理时修复，而是用于训练数据增强
    • 对训练数据中的良好规范规格，系统性注入欠规范变换（删除约束、替换歧义谓词、省略边界条件），形成 (原始规格, 欠规范规格, 多个合法实现) 三元组
    • 模型学习目标：在欠规范输入下输出”需要澄清”或列举多种可能解释，而非坍缩至单一解释

  3. 坍缩对抗性合成（COLLAPSE-ADV）：

    • 专门合成模型最可能坍缩的场景：利用第一阶段的坍缩热点信息，在坍缩倾向最高的维度上密集注入欠规范-多解释样本
    • 对 SCOPE 子目标批判范式进行训练时适配：将子目标分解作为欠规范检测的中间监督信号——如果子目标间存在未约束的自由度，则标记为欠规范

  4. 坍缩感知批次构建：

    • 确保每个训练批次包含坍缩揭示样本和正常样本的均衡混合
    • 使用坍缩倾向作为采样权重，优先采样坍缩热点区域的训练数据

第三阶段：坍缩-能力共进化闭环

目标：建立训练数据与模型坍缩抵抗力的共进化机制。

  1. 坍缩抵抗力评估：每个训练 epoch 后，在坍缩探测集上评估模型的坍缩率（CR）和坍缩检测率（CDR）：

    • CR = P(坍缩 | 欠规范输入)——越低越好
    • CDR = P(模型主动标记欠规范 | 欠规范输入)——越高越好

  2. 坍缩-能力帕累托优化：坍缩预防不应牺牲正常规范输入下的代码质量。引入双目标：

    • O₁ = 正常规范输入的 pass@1（能力保持）
    • O₂ = 1 - CR（坍缩预防）
    • 使用加权和 + 动态权重调整确保帕累托改进

  3. 在线坍缩-揭示数据扩展：

    • 部署模型后，收集实际欠规范→坍缩的案例（利用 SAO 异步 RL 框架的在线学习闭环）
    • 将坍缩案例自动转化为训练数据（欠规范规格 + 多解释标注），增量注入训练循环
    • 借鉴 DeepSearch-World（arXiv:2607.07820）的自蒸馏框架，实现坍缩经验的持续积累

  4. 坍缩-难度课程：按坍缩倾向从低到高逐步引入欠规范训练样本，避免训练初期坍缩信号过强导致模型拒绝所有欠规范输入（过度保守）。

预期成果

定量目标

  1. 坍缩率降低：在 LiveCodeBench 上将有害语义坍缩率从 32% 降低至 <10%，MBPP 从 10% 降低至 <3%。
  2. 坍缩检测率：模型在欠规范输入下的主动澄清率（CDR）达到 >60%，即模型能在多数欠规范场景下主动识别歧义而非盲目坍缩。
  3. 能力保持：在良好规范输入下的 pass@1 下降不超过 2%，确保坍缩预防不以牺牲正常性能为代价。
  4. RLVR 兼容性：在 SAO 异步 RL 框架下，SPEC-AWARE 训练数据与 RLVR 训练的兼容性——坍缩预防信号不应与通过率奖励冲突。

定性目标

  1. 理论贡献：建立”坍缩偏差浓度”（CBC）作为训练数据质量的新维度，补全现有数据质量理论（判别性、纯度、保真度等）未覆盖的欠规范-坍缩轴。
  2. 范式转变：从”推理时检测与修复坍缩”转向”训练时预防坍缩”，将欠规范处理能力内化为模型能力的一部分。
  3. 评估方法论：提出标准化的坍缩率评估协议，补全当前代码生成基准（HumanEval/MBPP/LiveCodeBench）的评估盲区。

可能的影响

  • 对代码智能体训练的影响：当前代码智能体（SWE-Agent、OpenHands 等）在真实部署中频繁面对欠规范用户请求，语义坍缩是实际部署的关键风险。SPEC-AWARE 从训练数据层面解决这一问题，具有根本性。
  • 对 RLVR 训练的影响：通过率奖励无法区分”正确解释下的正确代码”与”错误解释下的自洽代码”——后者是语义坍缩的产物。SPEC-AWARE 通过引入多解释训练信号，使 RLVR 的奖励信号更加纯净。
  • 对自进化智能体的影响：自进化过程中，智能体可能从自身坍缩输出中蒸馏训练数据，形成坍缩自强化循环。SPEC-AWARE 的坍缩感知策展可在蒸馏环节打破此循环。

局限性与失效模式

  1. 坍缩的训练时成因尚未被证实。 本提案把坍缩归因为训练数据中的「欠规范—单一解释配对」，并称之为一种隐性监督偏差。但触发论文（Richter & Papadakis）只识别并量化了现象本身，既未定位训练数据层面的成因，也未做任何训练干预实验。这一归因是本提案的核心假设而非既有结论；若坍缩主要来自预训练分布或解码策略而非 SFT 数据的配对结构，则第二阶段整条数据合成路线的依据即被抽掉。这是本提案最需要优先证伪的一条。

  2. 证据链中两处上游表述被本方案读得过强。 其一，DualFix 的 10-19% 在原文中是推测语气，不是已证实的规格层归因（见上文修正）；其二，触发论文指出的「检测不可扩展」成本是 per benchmark run 而非 per task（见上文修正）。本提案以「推理时消歧不可行」为立论前提，该前提依然成立，但支撑它的成本量级需要按修正后的口径重新表述。

  3. 语义等价判据的地基依赖测试套件。 第一阶段以「测试套件行为等价」作为代码语义等价的标准，CBC 与坍缩倾向都由它导出。但测试套件本身可能不充分或有偏：两个实现被判为「功能不等价」，可能只是现有测试恰好区分了它们，而非它们在意图层面真的不同。判据不可靠会让坍缩率的系统性偏差无法与度量噪声分离。

  4. SPEC-MULTI 的两条约束存在内在张力。 候选实现必须「功能上不等价但均满足规格字面描述」——规格约束一强，多解释空间就被压没；约束一弱，合成出的「合法实现」容易退化成无意义的变体。两者之间没有客观的最优落点，合成数据的合法性边界缺乏外部判据，需要人工抽检标定。

  5. CDR 与 pass@1 的冲突在逐样本层面无约束。 第三阶段的双目标只在聚合指标上做帕累托权衡，不约束逐样本行为。模型一旦学会「欠规范时说需要澄清」，最省力的最优解就是把所有略微模糊的输入都判为欠规范，此时 CDR 达标而整体可用性崩塌。需要额外设置「正常规范输入下不得触发澄清」的硬约束。

  6. CR 的标注依赖人类意图，而欠规范场景下意图本身是多值的。 坍缩率定义为「采样落入同一语义等价类且该类不匹配人类意图」，后半句需要人类意图标注。欠规范恰恰意味着意图不唯一，标注者之间的一致性难以保证，这会直接影响 CR 这一主指标的可复现性。

  7. 第一阶段自身的采样开销被低估。 要求对训练数据中每个欠规范样本做 k=25 采样以探测坍缩倾向，这与触发论文指出的「基于推理时多样性的检测不可扩展」是同一问题的缩小版，只是把开销从部署期挪到了数据准备期。方案未估算这部分的成本。

相关工作

  1. Richter & Papadakis, “Underspecification does not imply Incoherence: The Risks of Semantic Collapse in Coding Models”（arXiv:2607.01953, 2026-07） 本提案的核心触发论文，首次识别并量化有害语义坍缩现象，揭示 LiveCodeBench 32% 任务受影响。提出坍缩率作为评估指标，但未提供训练时解决方案。

  2. Akli et al., “From Failing to Passing: Evolving Natural Language Prompt Optimization Rules for LLM Code Generation (DualFix)“（arXiv:2607.05121, 2026-07） 提出通过演化自然语言变换规则修复规格层面的失败，报告 10-19% 的失败抵制三轮执行反馈修复，并推测其中至少一部分源于规格措辞而非实现缺陷。DualFix 在推理时修复规格，SPEC-AWARE 在训练时预防坍缩——两者互补。

  3. Zhang et al., “SCOPE: Leveraging Subgoal Critiques for Code Generation”（arXiv:2607.05810, 2026-07） 将 Lean 导向证明器适配为代码生成的子目标批判器，通过结构化反馈（子目标、差距分析、鲁棒性检查清单）提升代码质量。SCOPE 的子目标分解思路可被 SPEC-AWARE 借鉴：子目标间的未约束自由度即为欠规范信号。

  4. Hou et al., “Single-Rollout Asynchronous Optimization for Agentic RL (SAO)“（arXiv:2607.07508, 2026-07） 提出单次展开异步优化替代 GRPO 的组采样，在 GLM-5.2 的 agentic RL 训练中证明稳定性。SAO 的异步 RL 框架为 SPEC-AWARE 的在线坍缩经验收集提供了工程基础设施。

  5. Geng et al., “DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment”（arXiv:2607.07820, 2026-07） 在可验证环境中实现搜索智能体的自蒸馏自进化，420K 多跳 QA 任务。DeepSearch-World 的”可验证环境→自进化”范式为 SPEC-AWARE 的坍缩-能力共进化闭环提供了参考架构——将坍缩检测视为一种可验证的环境反馈信号。

关联内容

研究 🔗 相关
面向优化代码生成RLVR的程序结构覆盖感知训练数据工程：从结构盲奖励到程序结构覆盖驱动的数据策展
针对CUDAPerf揭示的RLVR结构盲问题，将程序结构覆盖度建模为一等训练数据质量信号，通过结构特征自动发现→结构覆盖诊断→结构覆盖驱动数据策展三阶段，系统性消除优化代码生成训练数据中的结构覆盖空白
研究 🔗 相关
面向 AI-科学代码生成的验证景观感知训练数据工程：从二元验证悬崖到连续验证梯度驱动的数据策展
将训练数据工程从二元验证假设扩展至连续验证景观，利用验证梯度结构驱动训练数据策展，系统性消除二元验证造成的训练信号失真
研究 🔗 相关
面向自进化代码智能体的熵壳逃逸训练数据工程：从自回归采样困境到进化重组-目标分解驱动的数据生成
将BES熵壳理论引入代码智能体训练数据工程，通过进化轨迹重组与后向目标分解联合逃离模型概率质量陷阱，系统性提升训练数据有效信息密度