研究提案已修订

面向 AI-科学代码生成的验证景观感知训练数据工程：从二元验证悬崖到连续验证梯度驱动的数据策展

将训练数据工程从二元验证假设扩展至连续验证景观，利用验证梯度结构驱动训练数据策展，系统性消除二元验证造成的训练信号失真

2026年7月15日连续验证 AI for Science 代码生成 RLVR 训练数据工程 PDE求解科学计算奖励设计

背景与动机

二元验证的根本性限制

当前 RLVR（Reinforcement Learning with Verifiable Rewards）范式在代码生成和数学推理领域取得了显著进展，但其验证信号几乎全部基于二元判定——编译是否通过、测试是否通过、答案是否正确。这种二元验证在传统软件工程场景中尚可接受，但在 AI-科学代码生成场景中暴露出根本性不足。

RLVP（arXiv:2607.10474）首次系统性地揭示了这一问题：在 PDE 求解器代码生成中，两个求解器可能都通过编译和测试，但解的精度可以相差数个数量级（如 10^-2 vs 10^-6 的误差）。二元验证将它们视为同等”正确”，完全丢弃了科学正确性的梯度结构。RLVP 通过引入连续物理奖励（函数空间精度 + PDE 残差一致性）解决了这一验证鸿沟，使较小的 LLM 经 RLVP 后训练后能超越前沿模型的提示效果。

然而，RLVP 及其后续工作仅关注算法层面的奖励设计，完全忽略了训练数据工程层面的深远影响。

验证悬崖：二元验证对训练数据质量的系统性扭曲

当验证信号从连续梯度坍缩为二元阶梯时，训练数据质量评估发生三类系统性失真：

1. 精度悬崖（Accuracy Cliff）：两个科学上精度差异极大的解被二元验证标记为同等”通过”，训练数据的”质量”信号被截断。这意味着在训练数据策展中，一个误差 10^-2 的解和一个误差 10^-8 的解获得相同的质量评分，导致训练数据的有效信息密度被稀释。

2. 边界悬崖（Boundary Cliff）：二元验证在通过/失败边界处产生最大梯度跳跃（0→1），而远离边界的解（无论是高精度通过还是明显失败）获得极小的梯度信号。这导致训练数据策展偏向”近边界”样本，忽视验证景观中的平滑梯度区域——恰恰是这些区域蕴含了最丰富的科学正确性信息。

3. 组合悬崖（Composition Cliff）：科学代码通常由多个数值原语（差分格式、时间步进方案、边界处理）组合而成。二元验证在整体解层面判定通过/失败，丢失了各原语的贡献梯度。RLVP 展示了训练后的策略具有”数值原语组合性”——将训练中学习的差分格式、时间步进方案和边界处理原语重新组合以解决未见 PDE——但当前训练数据工程完全未利用这种组合结构。

为什么现有方案不够好

现有 RLVR 训练数据工程方案（包括我们此前提出的 REWARD-PURE、CODE-DUAL、RANK-DISC 等框架）均建立在二元验证假设之上，无法处理以下问题：

连续验证景观下的数据质量度量：现有度量（通过率、奖励信号纯度、秩判别性）均为二元验证设计，无法捕捉连续验证景观的结构特征
验证梯度作为数据质量信号：连续验证提供了比二元信号丰富得多的训练信号，但如何将其转化为训练数据策展标准是未解决的
数值原语组合性作为数据组织原则：RLVP 揭示的数值原语组合性暗示了一种新的训练数据组织方式——按原语组合结构而非按问题领域组织

核心思路

从”通过率驱动策展”到”验证景观驱动策展”

我们提出 LANDSCAPE-AWARE 框架，将验证景观的结构特征建模为一等训练数据质量信号。核心思想：当验证信号从二元阶梯变为连续梯度时，训练数据策展应从”通过率最大化”转向”验证景观梯度质量最优化”。

与现有工作的关键区别

vs. RLVP：RLVP 在算法层面引入连续奖励，我们在数据工程层面利用验证景观结构策展训练数据。RLVP 回答”如何设计连续奖励”，我们回答”连续验证下如何工程化训练数据”。
vs. REWARD-PURE：REWARD-PURE 诊断二元奖励中的信号纯度问题（噪声/捷径），我们诊断二元验证本身造成的信号截断问题（精度/边界/组合悬崖），本质上不同。
vs. CODE-DUAL：CODE-DUAL 引入示范维度作为验证维度的补充，我们在验证维度内部扩展——从二元到连续——而非添加新维度。
vs. CompactionRL：CompactionRL 关注长程轨迹的上下文压缩对 RL 训练的影响，我们关注连续验证景观对训练数据质量的影响。两者正交，但可以组合——在压缩轨迹中保留验证梯度关键信息是未来方向。

技术路线

第一阶段：验证悬崖诊断

目标：量化二元验证对训练数据质量信号的系统性扭曲程度。

精度悬崖量化：在 PDE 求解器、分子动力学模拟、电路仿真三类 AI-科学代码生成场景中，对每个二元”通过”的解计算连续精度指标（L2 误差、PDE 残差、能量守恒偏差等），绘制精度分布直方图，量化精度悬崖造成的信息损失——定义为”二元通过”样本中连续精度分布的熵减。
边界悬崖量化：对每个训练样本计算”验证边界距离”（距离通过/失败阈值的最小扰动量），绘制验证边界距离分布。量化边界悬崖造成的数据策展偏差——定义为近边界样本与远边界样本在连续验证梯度上的信噪比差异。
组合悬崖量化：借鉴 RLVP 的数值原语分解，将每个科学代码解分解为差分格式原语、时间步进原语、边界处理原语等组件，计算各原语的独立验证信号。量化组合悬崖造成的信息损失——定义为整体二元信号与组件级连续信号之间的互信息差。

输出：三类验证悬崖的形式化度量（AC-Loss、BC-Bias、CC-MI-Gap），以及对应的训练数据质量退化画像。

第二阶段：验证景观驱动数据策展

目标：利用连续验证景观的梯度结构驱动训练数据策展，系统性消除验证悬崖效应。

景观梯度标注：对训练数据中每个样本，计算其在连续验证景观中的梯度向量——即在解空间中沿各维度微小扰动导致的验证信号变化率。这给出了每个样本的”验证梯度方向”和”验证梯度强度”。
梯度密度感知采样：替代通过率驱动采样，采用验证梯度密度驱动采样：
- 高梯度区优先：验证梯度强度高的样本携带更丰富的训练信号，优先采样
- 梯度方向均衡：确保采样在验证梯度方向空间中均匀覆盖，避免方向坍缩
- 精度层采样：在连续精度维度上分层采样，确保各精度层均有充分训练信号
数值原语感知合成：利用 RLVP 揭示的数值原语组合性，按原语组合结构合成训练数据：
- 原语独立验证：为每个数值原语（差分格式/时间步进/边界处理）建立独立的连续验证函数
- 组合空间探索：在原语组合空间中进行受控探索，合成覆盖多样组合的训练样本
- 组合冲突检测：检测原语间的数值兼容性冲突（如 CFL 条件违反、守恒量不一致），生成针对性训练样本
景观结构感知批次构建：在训练批次中保持验证景观的结构多样性：
- 避免同一批次内验证梯度方向过度集中
- 确保每个批次包含各精度层和各原语组合类型的代表
- 引入景观曲率感知——曲率大的区域（验证信号快速变化）需要更密集的批次采样

第三阶段：验证景观-能力共进化闭环

目标：建立训练数据策展与模型能力演化的动态闭环，实现验证景观感知的自适应数据工程。

景观前沿追踪：随着模型能力提升，其在验证景观中的”可解区域”不断扩展。追踪模型当前能力前沿在验证景观中的位置，将数据策展聚焦于前沿附近的高梯度区域。
原语库演化：随着训练进行，模型掌握的数值原语库不断扩展。动态更新原语组合空间，探索新原语与已有原语的组合可能，生成覆盖新组合区域的训练样本。
景观坍缩预警：监控验证景观中模型性能坍缩的区域（如特定精度层或特定原语组合的性能退化），触发定向数据补充。
零样本迁移验证：利用 RLVP 展示的零样本改进迁移特性，在训练数据策展中引入跨 PDE 族的迁移信号，确保训练数据的验证景观覆盖不仅限于训练域内。

关键技术挑战

连续验证函数的设计成本：为不同科学领域设计连续验证函数需要领域专业知识。需要开发半自动化的验证函数生成方法，如利用符号回归从数值结果中学习 PDE 残差函数。
验证梯度计算的数值稳定性：高维解空间中的验证梯度计算可能不稳定，需要结合伴随方法（adjoint methods）和自动微分确保梯度精度。
数值原语分解的规范性：不同科学领域的原语分解方式不同，需要建立领域适配的原语分解规范和对应的连续验证函数库。
景观-能力共进化的收敛性：验证景观随数据策展而变化，模型能力随训练而变化，两者耦合可能导致振荡。需要设计阻尼机制确保共进化收敛。

预期成果

定量目标

精度悬崖消除：在 PDE 求解器生成场景中，训练数据的有效信息密度（以连续验证信号的熵衡量）提升 3-5 倍，相比二元验证策展基线。
边界悬崖消除：近边界样本与远边界样本的训练信号信噪比差距缩小至 1.5 倍以内（当前二元验证下约为 5-10 倍）。
组合性提升：数值原语组合空间的覆盖度提升 2 倍以上，在未见 PDE 上的零样本迁移性能提升 15-20%。
模型性能：在 PDE 求解器基准（RLVP benchmark）、分子动力学模拟和电路仿真三类任务上，LANDSCAPE-AWARE 策展的训练数据使模型性能较二元验证策展基线提升 10-15%（以连续精度指标衡量）。

定性目标

建立从二元验证到连续验证的训练数据工程范式转换理论框架，形式化验证悬崖的三类失真度量。
提出验证景观驱动的训练数据策展方法论，为 AI-科学代码生成的 RLVR 训练提供新的数据工程范式。
开源数值原语分解工具和连续验证函数库，降低 AI-科学代码生成训练数据工程的领域门槛。

可能的影响

范式转换：从”通过率驱动”到”验证景观驱动”的策展范式转换，不仅适用于 PDE 求解，也适用于分子模拟、材料设计、气候建模等所有科学正确性具有连续结构的领域。
小模型突破：结合 RLVP 的发现，LANDSCAPE-AWARE 可能进一步缩小小模型与前沿模型在科学代码生成上的差距，使 8B 级模型在特定科学领域接近甚至匹配闭源前沿模型。
科学验证民主化：连续验证函数库的开源可以降低科学代码生成训练的领域门槛，使更多团队能够参与 AI-科学代码生成的训练数据工程。