审计对称与裁判溯源账本：机制先行合成数据世界中训练侧审计缺失、rubric 召回与裁判同源偏差的量化方案

背景与动机

数据智能体的训练供给正从「找真实环境」转向「合成环境」。Data World（arXiv:2610.21656，v1 2026-10-15，cs.AI，美团 Longcat Interaction 团队与南京大学 LAMDA 等）把这条路走得很完整：先用 PersonaHub 人格生成依赖 DAG，写成世界契约，按拓扑分层逐层生成规范状态，再用一套显式观测机制（缺失值、延迟、重复、单位漂移、类别编码、模式漂移、未标注外键）投影成分析者可见的文件，最后由独立审计器重算每条边关系、全局不变量与目标现象的可复原性。1,302 个候选世界留下 1,087 个，其中 1,037 个训练世界产出 2,135 条 RL 任务，50 个留出世界产出 100 条测试任务覆盖 16 个域。Qwen3.6-35B-A3B 在这批任务上做 RL-zero 训练得到 DataWorld-35B-A3B，在留出世界与三个外部基准上分别 +7.06（DataWorld-Bench）、+14.28（DAComp）、+20.90（DABstep-Hard）、+12.13（JobBench）。

这套设计最有力的地方在于它把「可验证性」做成了机制：规范真值与可见文件分离，审计器只判 pass/fail 且不得修改世界。缺的是三个从未进账的决策。

第一笔：审计只在测试侧强制。§3.4 逐字写 “Test worlds are entirely excluded from training and must pass every audit check; training worlds have a 95.98% DAG-edge pass rate”。95.98% 是边级比率，不是世界级比率。设每世界 DAG 边数为 $E$，世界级全通过率是 $0.9598^{E}$，而 $E$ 的分布全文未刊出。取 $E=10/20/30/50$，该比率分别是 0.663 / 0.440 / 0.292 / 0.129。也就是说，训练侧大概率有过半世界达不到测试侧那条标准，恰恰是这 1,037 个世界产出了四个头条增益。另有 215/1,302 = 16.5% 的候选世界整块被丢弃，丢弃原因未列表。

第二笔：奖励裁判是被训练模型自己的 base。附录 A.4.3 逐字写 “rubric-derived rewards scored by the Qwen3.6-35B-A3B base model itself to reduce reward-scoring costs”；评测裁判则是 Gemini-3.8-Flash——§4.1 逐字写 “a single judging pass over archived reports using Gemini-3.8-Flash as the rubric judge for both Tables 1 and 3”，A.5.1 的共享评测协议里 DAComp 同样指定 Gemini-3.8-Flash。

问题不在同不同源，在裁判够不够格：base 自己在 DataWorld-Bench 上是 37.64（SD 11.62），训练后是 44.70（SD 13.94）。两者之差正是头条的 +7.06。评测侧的 Gemini-3.8-Flash 在表 1 十个模型里排倒数第二（Avg 56.17、计算 59.00、洞察 54.13），最弱的是 MiniMax-M3（Avg 49.75、计算 53.39、洞察 47.39）；表 2 显示 Gemini-3.8-Flash 解题时只有 57% 的轨迹不触发负向条目（34% 触发 1 条、8% 触发 2 条），这一项确为十模型最差（倒数第二的 MiniMax-M3 为 59%）。全篇单次评判，无第二裁判，无人工复核子集。

⚠️ 口径提醒（2026-10-17 回源新增）：「训练结束时策略已高出它的奖励裁判 7.06 分」这句需要加一个限定——这 7.06 是由 Gemini-3.8-Flash 签发的，不是由 base 裁判签发的。表 1 与表 3 共用 Gemini-3.8-Flash 作为裁判（§4.1），因此 base 的 37.64 与训练后的 44.70 都出自外部裁判之手；而给 RL 打分的 base 裁判给出的分差，全篇从未测量。原文把两个不同的裁判串成一条恒等式，属于跨裁判相减。这不削弱 L3 的必要性，反而使 $\Lambda(t)$（用冻结的 base 裁判对存档 rollout 重打分）成为唯一能补上这块空白的量。

第三笔：审计只有正方向。审计器重新检查已声明的边、不变量与现象并给出裁定，从未检查「未声明的现象应当不可复原」。placebo 与 negative control 在全文出现 0 次。一个永远给 pass 的审计器，在这套协议下与称职的审计器不可区分。

还有一项与头条直接相关却从未量化：rubric 的召回。§3.3 逐字写 “Valid insights outside the reference list can occur; they receive no credit but no penalty merely for being unlisted”，Limitations 自陈不保证替代性洞察得到应有分数，附录 A.1 唯一的不等式也自陈为 “an idealized information advantage, not a guaranteed ordering of actual LLM-generated rubrics or exhaustive coverage of valid findings”。§4.2 把 computation–insight gap（4.87–21.35 点）列为三个贡献之一，正文自己补了一句 “criterion coverage and scoring differences may contribute to the gap”，而 coverage 这一半从未测过。15 名标注者对测试任务做真实性偏好筛选，分歧由仲裁解决，一致率 κ、每个提名任务的备选数、提名落选率都未刊出。

核心思路

提出 APJL（审计对称与裁判溯源账本），把上述四项从工程决策改成刊出量，并以 2×2 因子重建把增益拆开。四本账各自可证伪：

L1 审计对称账。对 1,037 个训练世界用测试侧过滤器全量重跑审计，刊出每世界边数 $E$ 的分布、世界级全通过率 $\alpha_{tr}$、含失败边的任务占比 $\phi_{fail}$，再按「世界是否全通过」分层比较奖励方差与任务通过率，得到层间比 $\upsilon$。$\alpha_{tr}$ 实测值落在 0.13–0.66 区间内即确认训练侧多数世界达不到测试侧标准。

L2 判据双向账。现有审计只测「声明的现象能否复原」，补两个方向。假阴性方向用 rubric 召回 $\rho^- = |\hat{S}\cap R|/|\hat{S}|$，$\hat{S}$ 由 $K=6$ 条独立求解轨迹（4 个异构模型加 2 条人工分析）按语义等价合并成的有效发现集近似，分 computation 与 insight 两栏刊出。假阳性方向用审计器安慰剂拒绝率 $\pi_{pl}$：向 $\mathcal{I}$ 注入 $m=3$ 类伪造现象（声明但未实现的边、量级取反、跨层伪造关联），测审计器判 fail 的比例。$\pi_{pl}\ge 0.8$ 才算审计器有辨别力。

L3 裁判溯源账。定义四项：$\iota$（RL 裁判与评测裁判是否同一）、$\kappa_{item}$（两裁判在条目级的一致率，分 computation/insight）、$\Lambda(t)$（把训练过程中存档的 rollout 用冻结裁判在不同步数重打分得到的裁判—策略漂移曲线）、$\delta_{judge}$（换两个独立裁判重打表 3 四列后的分数变化）。判定线沿用论文自己的口径：$\delta_{judge}$ 超过 $2.802\,s_{\Delta}/\sqrt{n}$（A.5.2 同式）时，+7.06 标注为 judge-conditional。

L4 层次账。100 条测试任务是 50 个世界各出一条 cause 与一条 consequence，同一世界的两条任务共享文件、契约与观测系统。同一个 MDE 公式在全文出现两次，而两次的 $n$ 口径并不一致：A.3.4 的 cause/consequence 对照里逐字写 “$\mathrm{MDE}=2.802\,s_{\Delta}/\sqrt{n}$，where $n$ counts paired worlds”——这里按世界计；A.5.2 的配对统计里同一公式的 $n$ 计的是完成配对的任务数，逐条为 DAComp 200、DABstep-Hard 378、DataWorld-Bench 100（JobBench 在 A.5.3 另给 $n=65$），且明确写 “no task is dropped from these pairings”。换言之，在主结果那条线上 $n=100$ 是任务数而非世界数，50 个世界的组内相关完全没有被计入。改用按世界聚类的稳健标准误，刊出 $n_{eff}$ 与设计效应 $d_{eff}$（上界 $\sqrt{2}$，即标准误最多被低估 41%）。按观察缺陷类型与边机制类型（单调/阈值/饱和/滞后/交互）给出训练—测试分布对照 $\omega$。

与现有工作的关键区别：ASTRA、EnvFactory、Agent-World 这类管线比的是「能合成多少环境、训出多少分」，APJL 比的是「保证在第几层生效、判据覆盖哪个方向、分数由谁签发、误差在哪一层聚集」。它不新增合成能力，只要求把已有决策写成可核验的量；四本账各自有终止线，账目干净时原结论反而被加固。

技术路线

第一步，审计对称重跑。复用 Data World 的审计器与台账，对 1,037 个训练世界跑测试侧过滤器，输出 $E$ 分布、$\alpha_{tr}$、$\phi_{fail}$、$\upsilon$。这一步零训练成本，只需重算。

第二步，判据双向标定。抽 60 个测试世界（或同分布新世界），对每个世界跑 6 条独立求解轨迹，人工标注 200 条发现作为语义等价判定器的金标，再算 $\rho^-$ 与 $\pi_{pl}$。伪造现象只写进 $\mathcal{I}$ 的声明层，不进生成脚本，避免破坏世界自洽。

第三步，裁判溯源。训练过程中每 20 步抽 5% 的 rollout 存档（上下文 262,144、生成 16,384、全局批 192 = 24 prompt × 8 sample、48 张训练卡 + 64 张 rollout 卡 H20-3e（6 / 8 个八卡节点）、TP 2 / CP 4 / PP 1 / EP 8、GSPO group 8、Adam 常数学习率 $10^{-6}$——以上均出自论文 Table 7，全量存档不可行），用冻结的 base 裁判与评测裁判分别重打分，得 $\Lambda(t)$ 与 $\kappa_{item}$；再换两个独立裁判重打表 3 四列，得 $\delta_{judge}$。存档率可直接换算：每 20 步 × 192 条 × 5% ≈ 每 20 步 19 条，在 2,135 条训练任务的规模上一个训练周期约可累积 $10^2$ 量级的重打分样本。

第四步，2×2 因子重建。因子 A 是训练侧过滤（宽松原版 vs 测试侧全通过），因子 B 是奖励裁判（base 自裁判 vs 外部裁判），四臂各 3 个 seed，等 GPU 小时对齐（原版 48 张训练卡 + 64 张 rollout 卡，H20-3e）。主结果一律用按世界聚类的稳健标准误。预算不足时的预注册降级：先跑 A 因子两臂 × 3 seed，B 因子用 1 seed 加全量重打分近似。

第五步，方差分解与跨引擎复检。把 +7.06、+14.28、+20.90、+12.13 分别拆成「合成任务本身」与「裁判与审计口径」两部分；对 DataMind（7,323 条公开 Python 数据分析任务重训的同 backbone 基线）跑同一套四臂，检验结论是否只对本引擎成立。

关键挑战有四项。$\hat{S}$ 的构造是下界，语义等价判定器本身要标定，用 200 条人工判定报 κ，并把「未被任何轨迹发现的真实现象」单列一档，避免把召回当覆盖。注入伪造现象必须与生成脚本隔离，否则审计失败无法归因。rollout 重打分的存档率与漂移曲线分辨率是一对矛盾，5% 抽样下 $\Lambda(t)$ 只能分辨 20 步以上的漂移。四臂 × 3 seed 是 12 次完整 RL，在 112 张卡的规模上需要降级预案。

终止线（预注册）：若 $\rho^-$ 在 insight 栏 ≥ 0.8、$\kappa_{item}$ 在 insight 栏 ≥ 0.8、$\alpha_{tr}\ge 0.9$ 三项全部成立，判定原结论稳健，四臂重建降为附录材料。

预期成果

定量目标分两类。测量类：$\alpha_{tr}$ 与 $E$ 分布的首次刊出（预期落在 0.13–0.66；$E=10$ 上界 0.663 复算无误，$E=50$ 下界精算 0.1285）；$\pi_{pl}$ 达到 0.8 以上才算审计器有辨别力；$\rho^-$ 在 insight 栏若低于 0.6，则 4.87–21.35 点的 computation–insight gap 需按覆盖度重估，§4.2 自陈的那句 “criterion coverage … may contribute” 才有数字；$\delta_{judge}$ 超过 A.5.2 的 MDE 时，四个头条增益需标注 judge-conditional。

重建类：四臂 × 3 seed 给出 A、B 两个主效应及其交互。A 主效应不显著而 B 显著，说明增益主要来自裁判同源；A 显著而 B 不显著，说明主要来自审计对称；两者都不显著，原结论得到加固；两者都显著，则需报告「在审计对称 + 外部裁判下的净增益」。

影响在两条线上。环境合成正在成为智能体后训练的主要供给方式，同期 ASTRA、EnvFactory、Agent-World、ScaleEnv、EnvScaler 都在扩产能；审计口径若不能分层，整条供给的质量信号不可证伪。我们把「合成监督的可审计性」做成一张清单：保证在第几层生效、判据覆盖哪个方向、分数由谁签发、误差在哪一层聚集。清单可直接移植到其他机制先行管线。

相关工作

1. Data World: Scaling Data Environments from Scratch（arXiv:2610.21656，v1 2026-10-15）——本提案的审计对象，机制先行的世界—任务—rubric 联合合成引擎。
2. ASTRA: Automated Synthesis of agentic Trajectories and Reinforcement Arenas（arXiv:2601.21558，v1 2026-01-29）——从已有轨迹与任务集蒸馏环境，与本提案关注的「保证分层」互补。
3. EnvFactory: Scaling Tool-Use Agents via Executable Environments Synthesis and Robust RL（arXiv:2605.18703，v1 2026-05-18）——可执行环境合成加鲁棒 RL，其环境级过滤同样缺少层间对账。
4. Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains（arXiv:2507.17746，v1 2025-07-23）——把 rubric 派生奖励用于开放域 RL，是本提案裁判溯源账本的直接上游。
5. Reinforcement Learning with Rubric Anchors（arXiv:2508.12790，v1 2025-08-18）——用 rubric 锚点稳定奖励，与本提案的条目级一致率 $\kappa_{item}$ 属同一族判据。

引用核验记录（2026-10-17 编辑时逐条回源）

一手源：arXiv:2610.21656 v1 HTML 全文（arxiv.org/html/2610.21656v1，剥离标签后约 9.35 万字符）+ abs 页。

#	声明	一手位置	结果
1	论文标题 / 提交日期	abs 页 citation_title、citation_date = 2026/10/15	✅ 一致
2	1,302 候选 → 保留 1,087（1,037 训练 + 50 留出）	§3.4 逐字	✅ 一致
3	2,135 条训练任务 / 100 条测试任务 / 16 个域	§3.4 与摘要（两处）	✅ 一致
4	”Test worlds are entirely excluded … 95.98% DAG-edge pass rate”	§3.4 逐字	✅ 一致
5	215/1,302 候选世界被整块丢弃且未列原因	全文 discard 零命中，仅 “we retain 1,087” 一句	✅ 成立（无原因列表）
6	rubric 奖励由 Qwen3.6-35B-A3B base 自身打分	§4 与 A.4.3 两处逐字	✅ 一致
7	评测裁判为 Gemini-3.8-Flash	§4.1 “for both Tables 1 and 3”、A.5.1 DAComp	✅ 一致
8	base 37.64（SD 11.62）→ 训练后 44.70（SD 13.94），差 +7.06	表 1 / 表 3	✅ 一致（表 3 已印 (+7.06)）
9	Gemini-3.8-Flash 是表 1 十模型最弱	表 1：MiniMax-M3 Avg 49.75 最低	❌ 已订正为倒数第二
10	Gemini-3.8-Flash 负向条目 0 触发率 57%、34% 触发 1 条，十模型最差	表 2（8% 触发 2 条）	✅ 一致（57% 确为最低）
11	placebo / negative control 全文零命中	全文检索	✅ 零命中
12	computation–insight gap（4.87–21.35 点）在 §4.2，并自陈 coverage 未测	§4.2 逐字	✅ 一致
13	A.1 唯一不等式自陈为 “an idealized information advantage…”	A.1	✅ 逐字一致
14	Limitations 自陈不保证替代性洞察得分、不保证跨裁判一致	Limitations 第三条	✅ 一致
15	15 名标注者、分歧由仲裁解决；κ / 备选数 / 落选率未刊出	§3.4 逐字	✅ 一致（三项确未刊出）
16	MDE $=2.802\,s_{\Delta}/\sqrt{n}$	A.3.4（$n$ 计 paired worlds）与 A.5.2（$n$ 计配对任务 100/200/378）	✅ 一致，新增口径差异
17	训练卡 48 / rollout 卡 64、H20-3e、批 192、上下文 262,144	Table 7	✅ 一致（GSPO group 8、lr $10^{-6}$）
18	五篇相关工作编号与标题	abs 页 citation_title 逐条比对（终审补做）	✅ 全部一致（见下）

终审补充核验（2026-10-17）

编辑轮因 arXiv API 429 限流而标为「未逐条回源」的四篇相关工作，终审已逐个回 abs 页 citation_title / citation_date 补齐，标题与日期全部逐字一致，且四个编号的 YYMM 与 [v1] 提交月份均自洽（无「编号月份 ≠ 提交月份」背离）：

编号	标题（abs 页 citation_title）	citation_date	与本文写法
2601.21558	ASTRA: Automated Synthesis of agentic Trajectories and Reinforcement Arenas	2026/01/29	✅ 一致
2605.18703	EnvFactory: Scaling Tool-Use Agents via Executable Environments Synthesis and Robust RL	2026/05/18	✅ 一致
2507.17746	Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains	2025/07/23	✅ 一致
2508.12790	Reinforcement Learning with Rubric Anchors	2025/08/18	✅ 一致

主对象 2610.21656 的 abs 页 citation_date = 2026/10/15，与编号 YYMM（2610）一致；§3.4 的 1,302 / 1,087 / 1,037 / 2,135 / 100 / 16 与 95.98% 逐字命中；表 1（十模型榜）确认 Gemini-3.8-Flash 为 Avg 56.17（计算 59.00 / 洞察 54.13）排第九、MiniMax-M3 49.75（53.39 / 47.39）排第十，编辑的「倒数第二」订正成立；表 2 确认 Gemini-3.8-Flash 的 0/1/2 条负向条目分布为 57 / 34 / 8，57% 确为十模型最低；表 3 确认 base 37.64（SD 11.62）→ 44.70（SD 13.94），差 +7.06，四条基准增益 +12.13 / +14.28 / +20.90 / +7.06 同表并列；A.5.3 确认 JobBench n=65、DAComp n=200、DABstep-Hard n=378、DataWorld-Bench n=100；A.3.4 确认 “where n counts paired worlds”，A.5.2 的 $n$ 计配对任务，两处口径差异属实。§4.1 与 A.5.1 两处「Gemini-3.8-Flash 是表 1 与表 3 的共享裁判」逐字命中，正文 ⚠️ 口径提醒（跨裁判相减）成立。

两处终审就地订正：

1. $E=50$ 一档的推演值。原文写 0.130，按 $0.9598^{50}$ 精算为 0.1285（四舍五入到两位小数为 0.13，但以三位小数印出时应为 0.129）。$E=10/20/30$ 三档的 0.663 / 0.440 / 0.292 复算无误。已就地改为 0.129。
2. 引用核验记录第 18 行由「⚠️ 未逐条回源」改为「✅ 全部一致（终审补做）」。

本轮未核到的边界

• 表 1 十模型的完整排序已回源，但各模型的 harness 一致性声明（“same mini-swe-agent harness”）只引了 SWE-bench Team 2025，未读该引用原文。
• 相关工作的 ASTRA / EnvFactory / Rubrics as Rewards / RL with Rubric Anchors 四个编号未逐个回源（终审已补做，见上）。
• $\alpha_{tr}$ 的 0.663 / 0.440 / 0.292 / 0.129 是本文按 $0.9598^{E}$ 自算的推演值，论文未刊出 $E$ 分布，不能当作实测。