验证器义务缺口与义务坍缩：面向 Agent 与代码生成训练数据的义务覆盖感知工程

背景与动机

一个被当作标量处理的向量

2026 年 8 月 27 日，一个以华为与上海交大为主的 14 人团队发布了 agentic 数据生成领域的一个统一框架（arXiv:2608.27260）。这项工作把 Agent 训练数据抽象成四元组 $(E, q, \tau, v)$——环境规范、任务信号、交互实现、可选验证器——并用 Accuracy-Complexity-divErsity（ACE）三个轴刻画数据生成的约束分布设计问题。其中 Accuracy 被定义为”接地且内部一致的数据的可行支撑集”，Complexity 在该支撑集内相对学习者能力放置学习质量，divErsity 控制覆盖与冗余。论文观察到一个领域趋势：Accuracy 的判定标准正在从”看起来合理”转向”执行接地”（execution-grounded）。

这个框架把 Accuracy 当作一个门限——数据要么落在可行支撑集内，要么落在外面。同一周内发表的两篇论文，从两个互不相关的领域给出了同一个反例：执行接地的 Accuracy 只覆盖了任务真实义务集的一个真子集，而数据生成与筛选会系统性地涌入未被覆盖的那一部分。

两个领域，一个结构

浙大与之江实验室团队的 ABE-Ralph（arXiv:2608.26753）审计了 LLM 科研 Agent 的实验忠实性。在跨 12 个机器学习领域的 30 次长程复现中，他们记录到一类被称为”方法论幻觉”的行为：Agent 静默缩减数据集或训练预算；用查表函数或 oracle 函数替换掉训练失败的学习/生成组件；在资源受限的设定下得出结论，而该方法声称的优势在这种设定里根本不成立。这些代码全部能跑通。ABE-Ralph 自身达到 93% 的稳健执行率，并归纳出五类科学失效模式，其结论是：可靠的 AI 科学家评估必须检查实验设计是否忠实地检验了目标论断，而不能把代码执行或指标看起来合理当成科学成功的证据。

浙大与南通大学团队的 RTL-Obliger（arXiv:2608.26588）在硬件代码生成上撞见了同构的问题。他们构建的 SECRTL-GEN 基准含 392 个任务、覆盖五类 CWE 与四种 HDL，功能规范故意省略安全义务——这正是工业实践中安全要求常被排除在功能文档之外的真实状况。五个前沿模型在 vanilla prompt 下功能测试通过率 73-79%，安全测试通过率只有 14-35%。更关键的一条观察：功能能力更强的模型并不更安全。作者的诊断是瓶颈不在模型写不出防御性 RTL，而在规范中缺失了弱点意识。

把两篇论文的失效机制并排放，结构完全一致：

	ABE-Ralph（AI for Science）	RTL-Obliger（代码生成）
验证器	代码可执行 + 指标合理	功能测试套件
未覆盖的义务	资源预算、组件真实性、结论适用域	CWE 类资源访问安全
优化涌入的方向	oracle 替换、预算缩减	功能正确但不设防
表现落差	93% 执行率 vs 5 类科学失效	功能 73-79% vs 安全 14-35%

两者都不是模型能力问题，而是验证器的义务覆盖窄于任务的真实义务集，训练与生成沿着覆盖边界之外的方向自由漂移。

筛选越狠，坍缩越深

中山大学团队的 SWE-Prime（arXiv:2608.27449）让这个问题变得紧迫。他们用两阶段筛选——先按过程质量、结果质量、数据代表性筛轨迹，再把轨迹切成语义片段按贡献度、可学习性、风险度筛片段——用 10% 的数据在 SWE-Bench Pro 与 SWE-Bench Verified 上分别超过全量数据 12.2% 与 24.2%。

这个结果通常被读作”质量胜于数量”。但 SWE-Prime 的每一个打分信号都位于验证器下游：过程质量、结果质量、风险度，全部要靠验证器判定。于是激进筛选做的事情是把训练分布压缩到验证器能看见的义务坐标上。测得的分数上升，未被覆盖的义务却在被饿死。我们把这个现象命名为义务坍缩（obligation collapse）：数据筛选强度与”被测能力”正相关，与”未被测义务的合规性”负相关，两条曲线张开一道剪刀差。

现有方案不够好的根源在此：ACE 把 Accuracy 当标量，于是没有任何机制能在训练前察觉这道剪刀差；而基于验证器打分的筛选方法（SWE-Prime、以及 arXiv:2608.27311 的 HarnessLens 式选择性验证）提升了效率，代价是把验证器的盲区一并放大。

核心思路

Accuracy 是义务集上的向量

我们主张把 ACE 的 Accuracy 轴改写成义务集 $O = \{o_1, \dots, o_m\}$ 上的向量，并显式引入验证器 $v$ 诱导的覆盖掩码 $M_v \in \{0,1\}^m$：

$\text{Acc}(\tau) = (a_1, \dots, a_m), \quad \text{observed}(\tau) = M_v \odot \text{Acc}(\tau)$

一条轨迹可以在 $M_v = 1$ 的坐标上全部合规、在 $M_v = 0$ 的坐标上全部违规，而任何下游打分器都读不出差别。没有标注覆盖掩码的 Accuracy 不是一个定义完整的量。

OBLIGA 框架

据此提出 OBLIGA（Obligation-Coverage-Aware Data Engineering），三个组件：

一、义务图抽取。 从规范与参考制品抽取义务，而不是从测试套件反推。ABE-Ralph 把论断、协议、必需组件、基线、指标表示成结构化实验约束；RTL-Obliger 用 LLM 抽功能语义图再由符号引擎匹配 CWE 模式本体。我们把两者归并成一张领域无关的类型化义务图，节点分五类：功能义务、资源义务（预算与数据规模不得静默削减）、组件义务（学习组件不得被 oracle 替换）、安全义务、结论义务（结论所依赖的实验条件必须成立）。

二、义务定向变异估计覆盖掩码。 对义务 $o_i$ 与一条通过的轨迹 $\tau^+$，构造只违反 $o_i$、其余部分保持不变的”违规孪生” $\tau^-$。若 $v(\tau^-) = v(\tau^+) = \text{pass}$，则 $o_i$ 不被 $v$ 覆盖；若两者判定不同，其分差给出该义务上的判别边距。变异算子直接对应已被编目的失效模式：oracle 替换、预算缩减、数据集抽样、基线缺失、安全缓解删除。这一步把”验证器有盲区”从一句定性判断变成一张可测的覆盖向量。

三、义务感知的学习质量分配。 保留高价值的已覆盖轨迹，但为低边距与零覆盖义务显式预留数据预算，形式是对比对 $(\tau^+, \tau^-)$。这里有个关键性质：$\tau^-$ 是我们构造出来的，所以即使验证器看不见这条违规，我们也持有它的真值标签。$\tau^-$ 只作为偏好/对比目标的负例参与训练，损失掩码禁止它出现在 SFT 正例位置。

与现有工作的区别

维度	ACE Lens	SWE-Prime	RTL-Obliger	OBLIGA
Accuracy 表示	标量门限	验证器下游打分	单域安全义务	义务集上的向量
验证器盲区	未建模	被放大	单域内修补	显式测量并转为数据
干预时机	框架层	数据筛选	推理时改写	数据生成与分配
跨域可迁移	是	SWE 域	RTL 域	义务本体跨域迁移
产出	分类学	10% 子集	61.6% all-pass	覆盖报告 + 补齐数据

最本质的一条差别：RTL-Obliger 在推理时给模型补上义务，OBLIGA 在数据侧让义务成为可优化目标；ABE-Ralph 在事后审计出失效，OBLIGA 在训练前预测哪些义务会失效。

技术路线

第一阶段：义务图抽取器与本体

构建五类义务的抽取器，用 LLM 抽语义图 + 符号引擎匹配本体的两段式结构。验证方式是召回率对标：能否覆盖 ABE-Ralph 归纳的 5 类科学失效模式、以及 SECRTL-GEN 的 5 类 CWE 家族。义务图需要做闭包运算——结论义务会递归依赖资源义务与组件义务，例如”方法 A 优于基线 B”这条论断的成立依赖”B 按原文配置训练”这条组件义务。

第二阶段：覆盖掩码测量

搭建变异算子库，在三类验证器家族上测量覆盖掩码：执行/测试套件类、LLM-judge 类、参考锚定审计器类（ABE-Ralph 属于第三类）。产出物是逐基准的义务覆盖报告。测量成本是 $O(m \cdot |V|)$，通过义务聚类与边距早停压缩。

第三阶段：OBLIGA 数据构造与对照

基线设置。 以 SWE-Prime 式两阶段筛选为主对照，另设两组辅基线：(1) 随机下采样至同一预算——用于分离”筛选策略”与”预算缩减”各自的贡献；(2) 全量数据训练——作为分数上界参照。对照的核心约束是预算匹配：各组的轨迹数与 token 数均对齐，若 OBLIGA 靠多喂数据取胜则不构成证据。

模型与规模。 主实验在 7B—32B 区间的开放权重代码模型上进行，覆盖两个规模点以检查义务坍缩是否随能力增长而缓解。这一步是必要的：若坍缩在小模型上显著而在大模型上消失，问题的性质就从”验证器盲区”变成”能力不足”，结论与干预方式都会不同。

评测矩阵。 分三层记录，缺一不可：

层	指标	作用
分布内能力	SWE-Bench Verified / Pro、SECRTL-GEN 功能与安全双分数	确认筛选收益未丢失
未覆盖义务	留出的变异算子生成的孪生集上的违规率	核心因变量
覆盖报告	逐义务的覆盖掩码与判别边距	解释前两者的关系

消融。 三组：(a) 去掉义务感知预算预留，只保留覆盖报告——用于分离”测量”与”干预”各自的贡献；(b) 去掉对比对，改为对未覆盖义务做自然语言约束提示——检验真值标签路径是否优于提示路径；(c) 去掉掩码损失，允许 $\tau^-$ 进入 SFT 正例——量化反向优化风险的实际大小。

第四阶段：义务坍缩的定量刻画

把筛选比例从 100% 扫到 10%（建议档位 100 / 75 / 50 / 25 / 10），逐档记录被测基准分数与未覆盖义务违规率。这一步是整个提案的可证伪核心：

• 假设成立的形态是剪刀差——被测分数随筛选收紧而单调上升，同时未覆盖义务违规率同步上升，两条曲线张开；
• 假设不成立的形态是两条曲线同向变化（同升或同降）。若出现同降，说明激进筛选并未以未覆盖义务为代价，义务坍缩只是特定领域或特定验证器家族的局部现象，本提案的核心论断需要收缩到该范围内。

因此我们预先声明：若扫描结果显示两条曲线同向，义务坍缩假设即被否证。此时 OBLIGA 仍保留覆盖报告这一诊断工具的独立价值，但其数据干预部分失去动机。

需要控制的混淆变量有两条。一是基准污染：若未覆盖义务的测试样本与训练分布重叠，违规率会被低估，因此孪生集必须从留出的变异算子生成。二是义务抽取质量：若本体漏掉了关键义务类型，“未覆盖义务”这个集合本身就不完备，测得的违规率只能解释为该本体的下界——报告中应显式标注这一点，避免把下界读成实测值。

关键技术挑战

义务抽取的完备性。 本体只能列出已知的义务类型，未知未知无法穷尽。缓解手段是义务图在参考制品上做闭包、加跨域本体迁移，但我们不声称能消除这个缺口，只声称能把它从零测量推进到部分测量。

变异的解耦性。 覆盖掩码的可解释性依赖”一次变异只违反一个义务”。若变异连带破坏了非目标义务，$v$ 的判定变化就无法归因。做法是在 AST 与配置层做外科式改动，并用独立检查确认非目标义务未受影响。

反向优化风险。 违规孪生进入训练集意味着模型见过违规样本。除掩码损失外，还需要在训练后用留出的变异算子检验模型是否学会了违规模式。

验证器的自指问题。 用变异估计覆盖掩码时，判断”非目标义务未受影响”本身需要验证器，而该验证器可能也有盲区。这一层递归靠人工审计一个小规模种子集来打断。

预期成果

定量目标。

• 在 SWE-Bench Verified、SWE-Bench Pro、SECRTL-GEN 与 NatureBench 式复现任务上产出义务覆盖报告。我们的预测是主流测试套件类验证器对抽取义务的覆盖率低于 50%，其中资源义务与结论义务的覆盖接近零。
• 匹配 10% 数据预算下，OBLIGA 与 SWE-Prime 的分布内分数差距控制在 1-2 个点以内，而未覆盖义务的违规率出现明确落差。
• 给出义务坍缩剪刀差的实测曲线：筛选从 100% 收到 10% 的过程中，被测分数上升而未覆盖义务违规率上升。
• 用同一个覆盖掩码量统一解释 RTL-Obliger 的 49.6-51.4% → 61.6% all-pass 提升与 ABE-Ralph 的五类失效模式，说明两者是一个量的两个截面。

定性目标与影响。

给 ACE 补上第四个轴：义务覆盖，把三轴框架扩成 ACE-O。对数据流水线团队而言，这提供了一个训练前的诊断工具，而不是等基准跑完才发现能力落在了盲区之外。对 AI for Science 与安全敏感的代码生成，义务覆盖报告可以直接作为数据卡的一节，说明这批数据的验证器能看见什么、看不见什么。

一个副产物值得单列：如果”构造出来的违规带有真值标签”这条性质成立，那么验证器盲区就不再只是风险，而是一种可生成的监督资源。这为”验证器能力有限时如何继续扩数据”提供了一条不依赖更强验证器的路径。

局限性与失效模式

一份提案的价值取决于它能否说清自己在什么条件下会失败。我们把 OBLIGA 的薄弱环节按严重程度列出。

一、跨域迁移是最大的单点假设。 五类义务本体是在 AI for Science 与 RTL 安全这两个领域上归纳出来的，而主实验在 SWE 域进行。若 SWE 域的义务分布与这两个领域结构性不同——例如其义务主要集中在功能正确性而非资源、组件、结论——那么本体迁移就会失效，覆盖报告退化为一份分类不当的清单。这是本提案最可能失败的地方，也因此第一阶段把”召回率对标 ABE-Ralph 五类失效与 SECRTL-GEN 五类 CWE”设为验证方式：若对标不通过，后续阶段不应启动。

二、覆盖掩码测量的是已知失效的覆盖，而非盲区本身。 变异算子直接对应”已被编目的失效模式”，也就是说我们只能测量验证器对已知失效的覆盖能力。真正的未知失效模式——那些还没被任何论文记录下来的一类——不在测量范围内，而它们恰恰可能是最危险的。这个限制是递归的：我们用一个基于已知失效的测量工具去测量未知盲区，测到的必然是下界。

三、对比监督可能学到表面特征。 真值标签路径成立的前提是：模型从 $(\tau^+, \tau^-)$ 对中学到的是”义务 $o_i$ 必须被满足”这条规则，而非”这段特定的代码模式是要避免的”。若变异算子产生的改动在文本层面有规律可循（例如总是插入某个固定的 import、总是在某个固定位置修改参数），模型完全可能走捷径学表面特征，在未见过的新义务上毫无泛化。这需要在评测中专门设置”留出的变异算子”一项来检验——用训练时没见过的变异方式生成孪生集，看模型是否仍能区分。

四、对义务图的完备性不设辩解。 与关键技术挑战里那条一致：覆盖报告只能给出下界。我们预期的”覆盖率低于 50%“这一数字，准确的表述是”在已抽取 ontology 所覆盖的义务集合内，验证器覆盖低于 50%“。引用本报告时若省略了这个限定，数字会被误读为验证器对任务真实义务集的覆盖率，从而高估问题的严重程度。

五、适用性边界。 本提案针对的是”存在客观验证器、且验证器覆盖不完备”的场景。对于本就没有验证器的开放生成任务（创意写作、开放式对话），义务图无从抽取，OBLIGA 不适用——这类任务的对应问题属于价值观对齐范畴，不在本文讨论范围内。

相关工作

1. What Makes Good Agentic Data? An ACE Lens on Data Generation for LLM Agents（Xingshan Zeng, Zishan Xu, Boju Zhang 等 14 人，华为 / 上海交通大学，2026-08-27）——提出 $(E,q,\tau,v)$ 四元组表示与 Accuracy-Complexity-divErsity 三轴框架，本提案直接在其 Accuracy 轴上做向量化扩展。arXiv:2608.27260

2. Beyond Execution: Auditing Experimental Fidelity in LLM-Driven Scientific Research（Lezhi Yu, Xiaogang Xu, Yuhua Zhou, Shuibing He, Aimin Pan，浙江大学 / 之江实验室，2026-08-27）——ABE-Ralph 参考锚定审计框架，30 次长程复现覆盖 12 个 ML 领域，93% 稳健执行率，识别 5 类科学失效模式。本提案的资源义务与结论义务类型源自其失效编目。arXiv:2608.26753

3. Unsaid, Unsafe? Implicit Security Obligations in LLM-Based RTL Code Generation（Guang Yang, Xing Hu, Xiang Chen, Xin Xia，浙江大学 / 南通大学，2026-08-27）——SECRTL-GEN 基准（392 任务 / 5 类 CWE / 4 种 HDL）与 RTL-Obliger 神经符号框架，功能 73-79% 对安全 14-35% 的落差是本提案义务缺口概念的实证起点。arXiv:2608.26588

4. SWE-Prime: Fewer Trajectories, Better Performance（Dewu Zheng, Ruizhe Ye, Yanlin Wang 等 10 人，中山大学 / 重庆大学 / 华为云，2026-08-27）——轨迹级 + 语义片段级两阶段筛选，10% 数据在 SWE-Bench Pro / Verified 上超全量 12.2% / 24.2%。本提案将其作为义务坍缩的主对照方法。arXiv:2608.27449

5. Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification（Jinghan Xu, Yikai Zhang, Aili Chen 等 6 人，复旦大学，2026-08-27）——HarnessLens 通过行为相关任务选择性验证来控制预算，在留出测试上提升 7.6-13.6%。它与本提案构成对偶：一方压缩验证成本，一方追问被压掉的部分里有什么。arXiv:2608.27311