面向优化代码生成RLVR的程序结构覆盖感知训练数据工程：从结构盲奖励到程序结构覆盖驱动的数据策展

背景与动机

当前问题：RLVR 对优化代码生成是”结构盲”的

Reinforcement Learning with Verifiable Rewards (RLVR) 已成为提升 LLM 推理与代码生成能力的关键后训练范式。然而，当前 RLVR 在优化代码生成中存在根本性盲区：奖励信号仅依赖执行结果（二元正确性 + 标量加速比），丢弃了决定程序性能的结构性信息。

CUDAPerf（arXiv:2607.20908）首次系统性地揭示这一问题：专家 GPU 程序员不仅依赖执行反馈，还依赖结构化程序特征（内存合并访问模式、线程占用率、算术强度、同步模式）来指导优化决策。仅使用执行奖励的 RLVR 无法习得这些结构-性能的因果关系，导致模型”知道什么跑得快”但”不知道为什么跑得快”。

类似问题在多个域中独立出现：

• 科学计算代码：RLVP（arXiv:2607.10474）指出二元验证丢弃 PDE 解的精度梯度结构
• 通用代码生成：Right in the Right Way（arXiv:2607.01181）指出测试通过率不等于代码质量
• CUDA 优化：CUDAPerf 手动添加 4 类结构奖励后实现 5X 加速比提升

现有方案的不足

1. CUDAPerf 的结构奖励是手工设计的：内存合并、占用率、算术强度、同步模式——这些特征仅适用于 CUDA 域，且需要领域专家逐一工程化
2. RLVP 的连续物理奖励也是域特定的：PDE 残差一致性、函数空间精度——仅适用于科学计算
3. 缺乏训练数据层面的结构覆盖保障：即使有了结构感知奖励，如果训练数据本身在结构特征空间上覆盖不足，模型也无法习得结构-性能映射
4. 结构特征随策略进化而漂移：策略更新改变生成程序的结构分布，静态结构特征集可能失效

核心思路

提出框架：STRUCT-COVER（Structure Coverage-Aware Data Engineering for Optimized Code Generation RLVR）

将程序结构覆盖度建模为一等训练数据质量信号，从三个层面解决结构盲问题：

1. 结构特征自动发现：从训练轨迹中自动挖掘与性能相关的程序结构特征，替代手工特征工程
2. 结构覆盖诊断：识别训练数据在结构特征空间中的覆盖空白（未覆盖的结构模式、结构-奖励失配区域、结构多样性坍缩区域）
3. 结构覆盖驱动数据策展：合成定向填充结构覆盖空白的训练数据，建立结构覆盖-能力共进化闭环

与现有工作的关键区别

维度	CUDAPerf	RLVP	本提案 STRUCT-COVER
结构特征来源	手工设计（4 类 CUDA 特征）	手工设计（PDE 残差）	自动发现（程序分析 + 性能关联挖掘）
适用域	CUDA 仅	PDE 仅	域无关（自动适配任意代码优化域）
关注层面	奖励设计	奖励设计	训练数据工程（结构覆盖保障）
进化能力	静态特征集	静态特征集	结构-策略共进化（特征随策略更新）

技术路线

阶段一：程序结构特征自动发现

目标：从训练轨迹中自动提取与性能相关的程序结构特征，构建结构特征画像 $S(x)$。

1. 多层程序结构提取：

   • AST 模式挖掘：从生成程序中提取频繁/稀有 AST 子树模式（如嵌套循环深度、条件分支模式、函数调用图结构）
   • 数据流图分析：构建数据依赖图 $G_D = (V, E_D)$，提取数据流模式（读写模式、数据重用距离、依赖链长度）
   • 并行化特征提取：识别并行化机会与模式（可并行循环、归约模式、流水线机会、同步粒度）
   • 内存访问模式分析：提取内存访问足迹（连续/跨步/随机访问、共享内存利用、全局内存合并度）

2. 结构-性能关联挖掘：

   • 对每条训练轨迹 $(x, y, r)$，提取结构特征向量 $\mathbf{s} = S(y)$ 和性能指标 $r_{\text{perf}}$
   • 计算结构特征与性能的互信息 $I(S_i; R_{\text{perf}})$，识别高信息量结构特征（对性能最具区分力的特征子集）
   • 通过偏相关性分析消除冗余特征，构建最小充分结构特征集 $\mathcal{F}^*$

3. 结构特征层级化：

   • 将 $\mathcal{F}^*$ 按影响力度分层：$\mathcal{F}^* = \mathcal{F}_{\text{critical}} \cup \mathcal{F}_{\text{moderate}} \cup \mathcal{F}_{\text{marginal}}$
   • 关键层（$\mathcal{F}_{\text{critical}}$）：$I(S_i; R_{\text{perf}}) > \tau_{\text{high}}$ 的特征，缺失则性能显著下降
   • 中等层（$\mathcal{F}_{\text{moderate}}$）：$\tau_{\text{low}} < I(S_i; R_{\text{perf}}) \leq \tau_{\text{high}}$
   • 边际层（$\mathcal{F}_{\text{marginal}}$）：$I(S_i; R_{\text{perf}}) \leq \tau_{\text{low}}$，影响有限但可能与其他特征交互

阶段二：结构覆盖诊断

目标：识别训练数据 $D$ 在结构特征空间 $\mathcal{F}^*$ 上的覆盖缺陷。

1. 结构覆盖空白检测：

   • 定义结构覆盖度 $\text{SCov}(D, \mathcal{F}^*) = \frac{|\{\mathbf{s} \in \mathcal{B}(\mathcal{F}^*) : \exists (x,y,r) \in D, S(y) \in \mathbf{s}\}|}{|\mathcal{B}(\mathcal{F}^*)|}$，其中 $\mathcal{B}(\mathcal{F}^*)$ 为结构特征空间的分箱划分
   • 识别零覆盖箱（$\text{count}(\mathbf{s}) = 0$）和低覆盖箱（$\text{count}(\mathbf{s}) < \tau_{\text{low}}$）
   • 对 CUDA 域：检查内存合并模式 × 算理强度 × 同步模式的组合覆盖

2. 结构-奖励失配诊断：

   • 定义结构-奖励失配度 $\text{SRMis}(D) = \mathbb{E}_{(x,y,r) \in D}[\|\text{rank}(S(y)) - \text{rank}(r)\|]$，衡量结构特征预测的性能排序与实际奖励排序的一致性
   • 高失配区域指示：结构特征与奖励信号不一致，可能存在结构捷径（结构看起来优化但实际性能差）或隐性优化（结构看似未优化但实际性能好）

3. 结构多样性坍缩检测：

   • 计算训练数据中结构特征分布的熵 $H(S(D)) = -\sum_{\mathbf{s}} p(\mathbf{s}) \log p(\mathbf{s})$
   • 监控结构熵随训练步数的演化 $H(S(D_t))$，检测坍缩点（$H(S(D_{t+1})) / H(S(D_t)) < \rho_{\text{collapse}}$）
   • 坍缩模式分析：关键特征坍缩（$H(S_i)$ 下降）vs 特征交互坍缩（$H(S_i | S_j)$ 下降但边际熵不变）

阶段三：结构覆盖驱动数据策展

目标：合成定向填充结构覆盖空白的训练数据，建立结构覆盖-能力共进化闭环。

1. 结构覆盖门控采样：

   • 对现有训练数据 $D$，按结构覆盖度加权采样：$w(x,y,r) \propto 1 / (\text{count}(S(y)) + \epsilon)$
   • 上采样低覆盖结构区域的轨迹，下采样高覆盖区域，实现结构特征空间的均匀覆盖

2. 结构覆盖定向合成：

   • 对零覆盖箱 $\mathbf{s}_{\text{gap}}$，生成结构约束提示：$\text{prompt} = \text{task} + \text{struct\_constraint}(\mathbf{s}_{\text{gap}})$
   • 结构约束指定目标程序应包含的结构模式（如”使用 shared memory + tiling + cooperative groups”）
   • 对合成程序执行验证 + 性能评估，保留通过验证且结构匹配的轨迹

3. 结构-奖励对齐合成：

   • 对高 SRMis 区域，合成结构-奖励对偶样本：(结构优化但性能差的程序, 结构朴素但性能好的程序)
   • 对偶样本帮助模型区分结构必要条件与结构充分条件，避免结构捷径

4. 结构多样性保持合成：

   • 对坍缩的特征 $S_i$，通过结构变异算子（循环展开/融合、内存层级提升、同步粒度调整、并行策略替换）生成结构变体
   • 变体程序保留功能等价性但改变结构特征，增加 $H(S_i)$

5. 结构覆盖-能力共进化闭环：

   • 每轮训练后更新结构特征发现（$\mathcal{F}^* \leftarrow \text{Discover}(\pi_\theta, D_{\text{new}})$）
   • 重新诊断结构覆盖空白
   • 合成定向填充数据
   • 监控结构覆盖度 $\text{SCov}(D_t, \mathcal{F}^*_t)$ 与性能指标的相关性

关键技术挑战

1. 结构特征的可迁移性：自动发现的特征在新域中是否仍然有效？需要设计域适应性机制
2. 结构约束的满足性：指定结构约束的程序是否可合成？可能需要约束松弛
3. 结构-性能因果性的区分：相关性 $I(S_i; R)$ 不等于因果性——某些结构特征可能与性能 spuriously correlated
4. 结构特征空间的维度诅咒：高维结构特征空间的覆盖保证需要大量样本，需要设计智能覆盖策略（如主动学习）
5. 计算开销：程序结构分析（AST + 数据流 + 内存模式）对每个生成程序都需要，需要高效的增量分析

预期成果

定量目标

1. 结构覆盖度提升：在 CUDA kernel 生成任务上，将关键结构特征覆盖度 SCov 从基线的 <30% 提升至 >85%
2. 性能提升：在 CUDAPerf 基准上，结构覆盖驱动策展 + CUDAPerf 结构奖励的组合相比仅 CUDAPerf 进一步提升加速比 1.5-2X
3. 域迁移性：自动发现的 CUDA 结构特征中 >60% 可迁移至 OpenCL/HIP 等异构计算域
4. 结构多样性保持：训练过程中结构熵 $H(S(D_t))$ 下降幅度 <20%（vs 基线 >50%）

定性目标

1. 替代手工特征工程：自动发现的结构特征集 $\mathcal{F}^*$ 在性能预测力上与 CUDAPerf 手工特征相当或更优
2. 结构-性能可解释性：为模型的优化决策提供结构层面的解释（“因为使用了内存合并 + tiling，所以快”）
3. 泛化到新代码域：框架可迁移到非 CUDA 优化场景（如数据库查询优化、编译器 pass 选择、网络配置优化）

可能的影响

1. 统一结构感知 RLVR 范式：将 CUDAPerf（CUDA 特定）和 RLVP（PDE 特定）统一为域无关的结构覆盖驱动数据工程
2. 降低优化代码生成的数据工程成本：从”每域手工设计结构特征”转向”自动发现 + 结构覆盖驱动合成”
3. 揭示结构-性能因果图谱：为理解程序结构如何决定性能提供数据驱动的新视角

相关工作

1. CUDAPerf: Multi-turn RL with Structural and Performance Aware Rewards for CUDA Kernel Generation（arXiv:2607.20908，2026-07-23）

   • 首次将结构化程序特征（内存合并、占用率、算术强度、同步模式）引入 CUDA kernel 生成的 RLVR 奖励
   • 在 C→CUDA 和 PyTorch→CUDA 任务上分别实现 5X 和 3.32X 加速比提升
   • 局限：结构特征手工设计、仅限 CUDA 域、无训练数据层面保障

2. RLVP: Reinforcement Learning with Verifiable Physics（arXiv:2607.10474，2026-07）

   • 将二元验证扩展为连续物理奖励（PDE 残差一致性 + 函数空间精度），用于多 PDE 求解器代码生成
   • 展示数值基元的组合性迁移（stencil + time-stepping + boundary primitives 跨 PDE 迁移）
   • 局限：物理奖励域特定、无自动特征发现

3. SciCodePile: A 128GB Corpus and Executable Benchmark for Scientific Code Generation（arXiv:2607.19104，2026-07-21）

   • 大规模科学代码语料库 + 沙箱验证基准，为科学代码生成提供可执行评测
   • 与本提案互补：提供结构覆盖诊断的语料基础，但无结构感知数据策展

4. ISO: An RLVR-Native Optimization Stack（arXiv:2607.19331，2026-07-21）

   • 研究 RLVR 优化机制，揭示谱继承约束（RLVR 仅修改奇异帧而保持谱固定）
   • 与本提案正交：ISO 关注 RLVR 的信息几何结构，本提案关注训练数据的结构覆盖

5. Right in the Right Way: LM Training with Verifiable Rewards and Human Demonstrations（arXiv:2607.01181，2026-07-01）

   • 揭示测试通过率不等于代码质量，提出代码质量的多维评估
   • 与本提案互补但方向不同：关注非可验证质量（风格、可维护性），本提案关注可验证的结构优化特征