研究提案已修订

面向代码智能体自进化的验证-示范双维门控轨迹数据工程：从测试通过率陷阱到代码质量双维保障

针对RLVR仅优化测试通过率而忽视代码非可验证质量（风格、可维护性、项目规范遵循）的盲区，提出验证-示范双维门控轨迹数据工程框架CODE-DUAL，利用项目代码库作为演化示范分布，通过双维质量门控、双维信用分解和双维-能力共进化闭环，系统性消除代码智能体自进化中的测试通过率陷阱

2026年7月3日 RLVR 代码生成自进化智能体训练数据工程验证性奖励非可验证质量双维门控 AReaL VARL

背景与动机

代码生成智能体的训练正在经历从离线监督微调向在线强化学习（RLVR）的范式转移。RLVR 利用测试用例的确定性验证信号作为奖励，已成为训练代码推理能力的主导方法。然而，近期研究揭示了一个日益尖锐的矛盾：RLVR 仅优化可验证维度（测试通过率），系统性地忽视非可验证维度（代码风格、可维护性、项目规范遵循、边界鲁棒性），导致”测试通过率陷阱”——代码通过所有测试却不可维护、不遵循规范、甚至包含奖励黑客行为。

arXiv:2607.01181（“Right in the Right Way”，Mehul Damani/Isha Puri/Idan Shenfeld/Jacob Andreas，MIT EECS，2026-07-01；提出 VARL：Verifiable and Adversarial Reinforcement Learning）首次形式化刻画了这一盲区：RLVR 的多样性坍缩、不自然输出和奖励黑客等失败模式，根源在于奖励信号仅覆盖可客观评分的维度。该工作提出对抗性生成器-判别器框架，用人类示范训练的判别器提供非可验证质量信号。在三组关键实验中：bug 修复上将准确率从 50% 提升至 65% 并保持最低编辑距离；故事生成上显著提升 win rate 并保持多样性；奖励黑客基准上几乎消除模型错误行为。MIT 论文亦明确三项限制：对抗训练不稳定性、特征空间选择敏感性、依赖中等数量人类示范。然而，该方法面临三个根本局限：

依赖人类示范：需要人工编写的高质量代码作为判别器训练数据，这在生产环境中往往不可得或成本极高
单轮任务假设：仅针对单轮代码生成设计，未考虑多轮代码智能体的轨迹级信用分配
静态参考分布：判别器基于固定的人类示范训练，无法随项目代码库演化而适应

与此同时，arXiv:2607.01120（Ran Yan/Wei Fu/Jiale Li/Shusheng Xu/Zhiyu Mei 等 24 作者，蚂蚁集团 + 香港科技大学 + 清华大学 AReaL 团队，2026-07-01 v1，2026-07-02 v2）即 AReaL 2.0 揭示了自进化智能体的系统瓶颈：生产环境中数百万次交互产生的轨迹包含极高价值的学习信号，但当前系统无法将这些信号稳定、安全地转化为训练数据。该论文明确三大基础设施缺口：① 缺乏可跨异构智能体范式携带步级 RL 学习信号的标准化 Agent Trajectory Data Protocol (ATDP)；② 缺乏将真实工作负载转化为受治理学习底物的企业级 Agentic Data Proxy；③ 缺乏基于轨迹统计自动决定何时更新策略权重或演化 in-context harness 的统一 Agent Evolution Control Plane。AReaL 2.0 通过将原服务于 Rollout 和训练的计算单元重组为可部署、可接入、可替换的 Agent-compute 微服务组件，未定义轨迹的学习质量标准——哪些轨迹段对训练有价值、哪些包含噪声或有害信号，仍是一个开放问题。

这两个问题的交汇点正是本提案的核心：在自进化代码智能体的生产轨迹学习闭环中，如何同时保障训练数据的可验证质量和非可验证质量，避免测试通过率陷阱导致代码智能体”越练越偏”？

核心思路

本提案提出 CODE-DUAL（COde-generation Dual-Uality Adaptive Learning）框架，核心创新为三点：

1. 项目代码库作为演化示范分布：摒弃”Right in the Right Way”对人工示范的依赖，将项目代码库本身作为非可验证质量的参考分布。项目代码库天然编码了团队编码风格、架构规范、命名约定和设计模式，且随项目演进而持续更新。通过项目代码库的风格/结构/约定提取，构建项目自适应的示范性质量信号源，解决人类示范不可得和参考分布静态化两个根本局限。

2. 验证-示范双维门控：为每条生产轨迹同时计算两个质量维度的评分：验证性评分（V-score：测试通过率、类型检查、lint 合规性等可确定性验证的信号）和示范性评分（D-score：与项目代码库的风格一致性、架构模式遵循度、命名规范符合度等非可验证但可比较的信号）。只有双维评分均超过阈值的轨迹段才被纳入训练数据，构建双维门控机制。

3. 双维信用分解：将多轮代码智能体轨迹的信用分配从单一结果奖励分解为验证性信用和示范性信用两个正交分量。验证性信用通过测试结果回溯归因；示范性信用通过项目代码库风格相似度逐步骤计算。两个信用分量独立调制梯度贡献，避免可验证维度的梯度信号主导非可验证维度。

与现有工作的关键区别：

维度	Right in the Right Way	CODE-DUAL（本提案）
参考分布来源	人工编写示范	项目代码库（自动提取，持续演化）
适用场景	单轮代码生成	多轮代码智能体轨迹
信用分配	输出级门控奖励	轨迹级双维信用分解
参考分布更新	静态	随项目代码库共进化
与生产系统集成	无	与 ATDP/Agentic Data Proxy 对接

技术路线

阶段一：项目代码库示范性分布建模

目标：从项目代码库中提取非可验证质量的结构化表征，作为示范性评分的参考分布。

风格指纹提取：对项目代码库进行多粒度风格分析——命名模式（驼峰/蛇形/匈牙利等）、注释密度与风格、缩进与格式化约定、导入组织模式、异常处理模式。使用代码 AST + 统计风格模型构建项目风格指纹 $\mathcal{F}_P$ 。
架构模式挖掘：通过调用图和数据流分析提取项目的架构模式——分层模式、依赖注入模式、接口抽象模式。构建项目架构模式库 $\mathcal{A}_P$ ，作为架构规范遵循度的评估基准。
演化感知更新：利用 Git 历史追踪代码库风格和架构的演化轨迹。当项目代码库发生重大风格变更（如重构、框架迁移）时， $\mathcal{F}_P$ 和 $\mathcal{A}_P$ 自动更新，避免示范性参考分布过时。

关键技术挑战：如何从代码库中分离”风格约定”与”领域特定实现”，避免将领域特定的代码模式误判为通用风格规范。

阶段二：验证-示范双维质量门控

目标：为每条生产轨迹段计算双维质量评分，构建门控机制。

验证性评分（V-score）计算：
- 测试通过率（TAROT 的四级测试套件架构，arXiv:2602.15449）
- 静态分析合规性（类型检查、lint 规则、安全扫描）
- 功能正确性验证（输入-输出规格匹配）
- V-score = 加权综合 $\in [0, 1]$
示范性评分（D-score）计算：
- 风格一致性：生成代码与 $\mathcal{F}_P$ 的风格距离
- 架构遵循度：生成代码的架构模式与 $\mathcal{A}_P$ 的匹配度
- 命名规范符合度：变量/函数/类命名与项目约定的一致性
- 代码-上下文连贯性：新代码与既有代码的接口风格一致性
- D-score = 加权综合 $\in [0, 1]$
双维门控策略：
- 严格门控：V-score > $\tau_V$ 且 D-score > $\tau_D$
- 软门控：根据双维评分的联合分布自适应调整采样权重
- 门控阈值 $\tau_V, \tau_D$ 随模型能力演化动态调整（参考 Active-GRPO 的主动模仿-强化切换机制，arXiv:2607.00531）

关键技术挑战：示范性评分的校准——如何确保 D-score 真实反映代码质量而非项目代码库本身的缺陷（如项目代码本身就不规范的情况）。

阶段三：双维信用分解与训练

目标：在 RLVR 训练中同时优化验证性和示范性两个维度。

验证性信用归因：沿轨迹回溯，通过测试结果与步骤的因果依赖（参考 CALL-CREDIT 的 API 调用段信用分解思路）分配验证性信用 $C_V(s_t)$ 。
示范性信用计算：逐步骤计算生成代码与项目示范分布的风格/架构距离，将距离变化转化为示范性信用 $C_D(s_t)$ 。
双维梯度调制： $\nabla_\theta \mathcal{L} = \alpha_V \cdot \mathbb{E}[C_V(s_t) \cdot \nabla_\theta \log \pi_\theta(a_t|s_t)] + \alpha_D \cdot \mathbb{E}[C_D(s_t) \cdot \nabla_\theta \log \pi_\theta(a_t|s_t)]$
- $\alpha_V, \alpha_D$ 为双维权重系数，初始阶段 $\alpha_V$ 较大（先确保功能正确），随训练进展逐步提升 $\alpha_D$
- 权重切换阈值参考 Active-GRPO 的主动模仿-强化转换点
抗奖励黑客机制：引入对抗性探针检测仅通过 V-score 门控但 D-score 低下的”伪高质量”轨迹——这些轨迹可能通过硬编码、全局变量滥用等反模式通过测试。当检测到 V-D 评分严重不对称时，触发降权或剔除。

关键技术挑战：双维权重的动态平衡——过早引入示范性信号可能干扰功能正确性的学习，过晚引入则难以纠正已固化的风格偏差。

阶段四：双维-能力共进化闭环

目标：建立验证性质量、示范性质量与模型能力的三方正反馈循环。

能力-门控共进化：随着模型功能正确性提升，逐步收紧 $\tau_D$ （提高示范性门槛），驱动模型向更高代码质量演化。当模型在 D-score 上达到瓶颈时，暂时降低 $\tau_D$ 扩大探索空间。
示范分布-策略共进化：随着模型生成的代码被采纳并合入项目代码库， $\mathcal{F}_P$ 和 $\mathcal{A}_P$ 逐步吸收模型的高质量风格特征，实现参考分布与策略的协同演化（类似 SEA 的 anytime-valid 证书机制，arXiv:2607.00871，但应用于数据质量而非策略修改）。
ATDP 扩展：将 V-score 和 D-score 作为扩展字段纳入 AReaL 2.0 的 Agent Trajectory Data Protocol，使双维质量信号成为轨迹数据协议的一等公民，支持跨范式、跨项目的轨迹质量比较和治理。

关键技术挑战：共进化的稳定性保障——参考分布的更新可能引入”风格漂移”（模型影响代码库→代码库反过来训练模型→循环放大偏差），需要锚定机制防止漂移发散。

预期成果

定量目标

代码质量双维提升：在 LiveCodeBench 和 SWE-bench 上，相比纯 RLVR 基线：
- Pass@1 保持或提升（验证性维度不低于基线）
- 代码风格一致性提升 15-25%（以项目代码库风格指纹为基准）
- 代码审查通过率提升 10-20%（以人工评估为金标准）
奖励黑客抑制：在奖励黑客检测基准上，伪高质量轨迹检出率提升 30%+，V-D 不对称轨迹的比例下降 40%+
长期自进化稳定性：在 5 轮自进化迭代后，纯 RLVR 基线出现可观测的代码质量退化（风格漂移、反模式固化），CODE-DUAL 保持稳定

定性目标

建立代码智能体训练数据的”可验证-非可验证”双维质量标准，填补 RLVR 质量保障的理论空白
证明项目代码库作为演化示范分布的可行性，为”Right in the Right Way”提供无人工示范的替代路径
将双维门控机制与 AReaL 2.0 的 ATDP 协议集成，推动自进化智能体基础设施从”数据记录”到”质量治理”的升级

可能的影响

本提案的研究成果可扩展至代码生成之外的多种智能体训练场景：任何具有可验证目标但同时也需要隐式质量标准（风格、规范、用户体验）的智能体训练场景，均可应用双维门控范式。具体包括：文档生成智能体（事实准确性 + 写作风格）、对话智能体（任务完成率 + 对话自然度）、科学推理智能体（推理正确性 + 假设可解释性）。这为 RLVR 从”单维优化”走向”多维质量保障”提供了通用方法论。