环境数不等于监督数：轨迹自举环境语料的谱系感知有效覆盖估计

背景与动机

终端智能体的训练数据单位正从轨迹换成环境。Terminal-Universe（arXiv:2609.04148）把轨迹里记录的文件操作反向重放，恢复出智能体改动之前的局部工作区，再由一个补全智能体补齐缺失文件与依赖。终端侧 38,294 个重建环境的任务充分率，纯确定性重放只有 40.2%，补全智能体抬到 93.5%；SWE 侧 1,900 个仓库上为 20.1% → 77.1%。合计筛出 37,273 个任务充分环境。在终端池上，验证器过滤后的 Single-WS、Cross-WS、Multi-Round 三条合成轴共产生 31,977 条演示（25,386 / 3,512 / 3,079），约 1.42B token。Qwen3.5-27B 在其上微调，Terminal-Bench 2.1 单轮提升 11.9 分，EvoCode-Bench v2 MT@4 多轮提升 13.8 分。

环境取代轨迹的理由站得住：一条轨迹只展示一次既定路径，一个环境可以被重新提问、重新跑验证器、反复取反馈。这个理由的隐含前提是——每个环境各自贡献一份此前没有被计入的监督信息。语料的统计口径记的却是另一件事。37,273 是产物个数，不是独立监督单元数。

两条缩放轴按设计制造共享谱系。Cross-WS 先给每个工作区画像，用 TF–IDF 在同语言组内检索邻近候选，由 LLM 标出方向性依赖边，每对只出一道题；Multi-Round 把某个工作区上的首轮查询延伸成多轮会话。落到语料上：3,079 条 Multi-Round 演示与同一工作区上的兄弟任务共享全部环境祖先，3,512 条 Cross-WS 演示建立在被刻意选为相似的一对工作区之上。两项合计 6,591 条，占 31,977 条的 20.6%。这个数还是下限，它只统计了显式相关轴，没有统计 Single-WS 内部由同源仓库带来的重叠。

作者自己在局限里点明了分布上界：重建工作区的领域、语言与工具链分布「根本上受所采集源轨迹的覆盖度约束」。上界被写出来，却没有对应的账目。

这里需要先划掉一个容易被误判的空白。Terminal-Universe 并不是完全没有测过扩张轴的边际价值——§6.6 已经做过一项等预算消融（Table 10）：从共同的 17,558 个环境基池出发，分别沿”加环境""每环境加一道题""每题加一条教师解”三个方向把语料翻倍到约 35k 条，在 Terminal-Bench 2.1 上比较（Table 10 的指标列名为 Terminus2-XML，是评测用的 agent 脚手架，与 §6.4 的 Table 7 同列同名、量级一致，故判定为同一指标口径）。结果是环境扩张从 53.2 提到 56.0，而查询扩张与解法扩张只到 53.8 与 53.9。

这条消融是本提案最直接的先行证据，也划定了缺口的确切形状：已有的测量是下游的、事后的、与策略绑定的（要训完模型、跑完 Terminal-Bench 才知道），它回答不了”训练前就该知道该往哪条轴投算力”这个问题，而且它只覆盖了 Single-WS 内部的查询/解法两条轴，没有覆盖 Cross-WS 与 Multi-Round 这两条显式相关轴。

这个替代手段不够用，Epistemic Sybil Resistance（arXiv:2609.01873）给出了定量答案。它把「另一份报告不等于另一次观测」形式化为：报告 Z 相对报告集 R 是认识论女巫扩展，当且仅当 I(Θ; Z | R) = 0，并证明只看报告的聚合器无法区分复制与独立佐证。关键证据来自那项受控操纵——把表征相似度与证据祖先分离之后，表征相似度的操纵让报告空间去重机制的推断簇数变化 1.425（95% CI [1.363, 1.485]），真实祖先的四倍变化只让它变化 0.040（95% CI [−0.045, 0.120]），与零不可区分。固定一个证据根、报告份数从 1 增到 32，朴素后验覆盖率从 0.940 塌到 0.263。

这份账目并非做不出来——DRACO（arXiv:2609.04094）就做出来了，只是做在奖励侧。它在 outcome-blind 设定下每步动态生成 rubric，并统计了 99 个训练步、96 条 rollout 上出现的全部准则：6,245 条不同准则、60,119 次判定，其中 84.4% 只为一个任务写过、承载 57.2% 的判定，跨十个以上任务共享的只有 18 条。这就是一张合成监督池的祖先直方图。它存在的原因是准则在训练环内每步重新生成，谱系天然可观测。Terminal-Universe 的环境产物离线一次性生成，谱系信息在生成时都在，随后被丢掉，只剩仓库级去重键。

缺口落在一个可测的量上：从 M 条源轨迹经合成轴扩张出 N 个任务（N ≥ M），其中有多少个在给定其余任务之后仍带来新的监督信息？Terminal-Universe 报了 N，也报了等预算下按轴区分的边际任务分，但那份读数是训完模型才拿得到的下游量，且未覆盖两条显式相关轴；M 与 N 之间的祖先关系则完全没有被记账。DRACO 报了奖励侧的祖先直方图，环境侧没有对应物；Epistemic Sybil 证明表面去重测不出它。

核心思路

提出 LACE（Lineage-Aware Coverage Estimation，谱系感知覆盖估计）。它不做去重，做核算：把合成语料从「产物集合」升级为「带祖先标注的产物集合」，在这个结构上定义一个实值覆盖泛函，并让合成预算与 rollout 预算都按它的边际量分配。

第一个构件是谱系图 G。节点分四类：源轨迹、重建工作区、合成任务、验证器；边带语义标签，区分「由…重建」「在…上延伸」「由…配对生成」。Terminal-Universe 的四个 re-querying 变体在图上的形状是确定的：Single-WS 任务入度为 1，Cross-WS 任务入度为 2（TF–IDF 近邻对），Multi-Round 任务与它的首轮兄弟共享同一个工作区父节点。建图不需要新的模型调用，全部是已有流水线在生成时就知道、但没有落盘的记账。

第二个构件是女巫检验。直接挪用 Epistemic Sybil 的定义，换成可执行的操作化版本：任务 z 相对任务集 R 为女巫扩展，理想判据是 I(Θ; z | R) = 0；在可执行环境里用探针策略组 Π 上的条件通过率逼近——若 P(pass_π(z) | pass_π(R)) 与 P(pass_π(z)) 在 Π 上无显著差异，z 相对 R 冗余。这条检验不调用裁判模型，跑的是环境自带的验证器，这正是可执行语料相对纯文本语料的结构优势。

第三个构件是边际覆盖分配。语料选择写成在谱系图上最大化 F(S) = Σ_k w_k · 1[S 覆盖祖先类 k] 的预算约束问题。F 单调子模时贪心解有 (1−1/e) 保证。

与现有做法的区别在口径，不在算法。仓库级去重是一把二元过滤器，判据是表面键是否相同，输出是删掉哪些；LACE 是一个实值泛函，判据是给定其余产物后还剩多少信息，输出是每个产物的边际权重。同一个 Cross-WS 对，在去重视角下是两条合法产物，在 LACE 视角下是 1 + ε 条，ε 由女巫检验测出，不由键相等推定。

技术路线

第 1 步，谱系标注与图构建。 在重建、Single-WS、Cross-WS、Multi-Round 四个阶段各加一层写盘，记录源轨迹 ID、工作区 ID、合成变体、配对工作区 ID、补全智能体写入的文件清单、验证器 ID。其中补全清单尤其要记：93.5% 的充分率里有 53.3 个百分点来自补全智能体（93.5 − 40.2，为本文按 Table 2 两列相减所得，原文未直接给出此差值），这部分工作区内容从未出现在源轨迹中，是当前完全无标注的产物来源。产出是 31,977 个任务节点上的祖先集 A(t) 与补全占比 c(t)。

第 2 步，探针面板与女巫检验。 取 3–5 个不同能力档的开源策略作探针组 Π，在任务全集上各跑一次得到通过矩阵。对每个任务 z 与随机抽样的参考集 R（|R| ∈ {8, 32, 128}），在 Π 上做条件独立性的两点检验。探针之间的相关性要控制：Epistemic Sybil 测到同源基模会引入相关抽取误差（γ_cal = 0.719，样本外估计），面板内策略若共享基模，须用它的相关误差聚合器修正后再判。

第 3 步，有效单元数曲线。 按祖先类聚合女巫检验结果，拟合 N_eff(N) 曲线，报三个数：整体 N_eff/N、按合成变体分层的比值、曲线拐点对应的 N。预期形状是分层的，Single-WS 层接近线性，Cross-WS 与 Multi-Round 层次线性。

第 4 步，边际覆盖分配。 用第 3 步的权重替换现有的「五选一随机采样」，改为贪心最大化边际覆盖。子模性在这里不是白拿的：两个 Cross-WS 任务各自覆盖的祖先类有重叠时，重叠部分不满足收益递减，贪心保证失效。处理方式是把 F 重新定义在祖先类的多重集上并用凹函数压平，凹化后子模性恢复，代价是丢掉 (1−1/e) 常数，改为按经验上界报。

第 5 步，接入回放侧。 Headroom-Drift Replay（arXiv:2609.03941）把回放拆成两个决定：Headroom 按剩余学习价值给缓冲组排序，Drift 按与当前策略的兼容度设闸。它的 Headroom 是组级量，不看组与组之间是否同源。加一条祖先惩罚项，组优先级改为 Ĥ(g) − η · log(1 + n_anc(g))，n_anc(g) 是该组 prompt 的祖先类已被回放的次数。η = 0 时结构严格退化为 Headroom-Drift 原协议，「η = 0 却测到增益」就此成为噪声或 bug 的自检项。

四条技术挑战。其一，女巫检验的开销随 |Π| × 任务数线性增长，3 万级任务配 5 个探针是一笔实打实的算力，需要用分层抽样把检验压到每层 5% 再外推。其二，冗余是策略相对的：对 π_A 冗余的任务对 π_B 未必冗余，N_eff 就成了（语料, 探针组）的二元函数，而非语料的固有属性，报告时必须连探针组一并给出。其三，补全智能体写入的工作区内容没有可追溯的祖先，它不是源轨迹的后代，也不是凭空生成，需要单设一类「合成祖先」节点并单独统计占比。其四，Cross-WS 有一条硬约束：任何工作区都不得出现在两个配对里（原文 C.3 的配对规则为 “a rule that no workspace appears in two pairs”，即每个工作区至多属于一个配对）。谱系感知分配要在不违反该规则的前提下重排配对，约束下的贪心需要重写。

预期成果

定量目标三条。一是在 Terminal-Universe 规模的重建语料上给出首份 N_eff/N 报告，含按合成变体分层的比值与 N_eff(N) 拐点位置。二是用 LACE 选出的 60% 子集做 SFT，在 Terminal-Bench 2.1 与 EvoCode-Bench v2 MT@4 上达到全量语料 ±1 分以内的成绩，省下的 40% 环境交互预算换成交互轮数或验证器复核。三是在 DRACO 的设定上复现它的准则祖先直方图，并把「静态 arm 在训练最后四分之一有十分之九的 rollout 关掉了信用分配」这个统计量按祖先深度分层，检验关断率与谱系共享度是否单调相关。

可证伪的预测两条，都以本提案假设的形式给出，不是所引论文的结论。

第一条（须先声明：现有数据不支持它，甚至反向）。 预测 Cross-WS 层与 Multi-Round 层的 N_eff/N 低于 Single-WS 层，理由是 Cross-WS 的候选来自 TF–IDF 近邻检索、Multi-Round 与兄弟任务共享同一工作区父节点。

反向证据有两处，都来自原文自己的消融。§6.4：在 Single-WS 的 25.4k 条之上叠加 3.5k 条 Cross-WS，Terminal-Bench 2.1 从 56.4 升到 58.4——每千条记录换约 0.57 分；而 §6.6 里再加一批独立环境是 17.6k 条换 2.8 分，每千条约 0.16 分。§6.5：叠加 3.1k 条 Multi-Round 后，EvoCode-Bench v2 的 MT@4 从 18.4 升到 21.0、Case 从 71.9 升到 76.9，同样不是”共享祖先所以没用”的形状。

也就是说，“共享祖先 ⇒ 边际监督少”这个机制只在 Single-WS 内部的查询扩张轴（§6.6 的 +0.6）上被观测到，在两条显式相关轴上没有被观测到。第 3 步报出的分层 N_eff/N 因此有三种可能结局，实验设计要预先区分：① 三层比值确有差异，方向如本预测；② 无差异，退回纯语料记账；③ Cross-WS / Multi-Round 的比值反而更高——那说明这两条轴带来的不是重复的环境祖先，而是新的任务结构（跨仓库依赖、跨轮次修正），谱系共享与监督冗余在此不成立，LACE 的适用范围应收缩到 Single-WS 内部的重复查询与同源仓库重叠。

第二条。 祖先惩罚项 η 在 [0, 1] 上扫描的最优值非零。若最优落在 η = 0，说明 Headroom 排序选出的组在祖先维度上本就分散，回放放大冗余这一假设不成立，第 5 步整段删除。

定性影响落在口径上。环境缩放做的这件事，是把轨迹的存量换成环境的增量，收益取决于增量里有多少是真增量。LACE 给不出更大的语料，给出的是「这条扩张轴每投一倍算力换回多少新监督」的读数，以及一个能在扩张轴之间做取舍的分母。

局限性与失效模式

1. N_eff 可能是一个不与任何下游量相关的数。 女巫检验用”条件通过率是否变化”逼近条件互信息，这是一个纯行为学的判据，不含任务语义。最可能的失效形态是：Cross-WS 层被判为高度冗余（两个工作区的探针通过模式确实高度相关），但下游分数照涨——因为冗余的那部分恰好是被反复练习才学会的技能。判定办法：N_eff/N 必须与该层在 §6.6 式等预算消融中的实测边际分做秩相关，相关不成立则 LACE 只配做记账，不配做预算分配。

2. 谱系图覆盖不到一半的产物。 补全智能体把 terminal 池的充分率从 40.2% 抬到 93.5%，即 53.3 个百分点的工作区内容从未出现在源轨迹中。这部分没有祖先，只能单设”合成祖先”节点。若合成祖先类占比过高，谱系图上挂着的多数节点其实是孤儿，F(S) 的覆盖泛函退化成产物计数，LACE 退回它要取代的东西。第 1 步必须先报合成祖先的占比，再决定要不要继续。

3. 配对约束可能让分配没有可操作空间。 Cross-WS 受”每工作区至多一个配对”与依赖边双重限制，可重排的配对集合远小于名义上的组合数。若约束下的可行解只有个位数，第 4 步的贪心优化就是空转，此时应改为在生成阶段而非选择阶段介入（改 TF–IDF 检索的近邻阈值）。

4. 通过矩阵本身带噪。 Terminal-Universe 同一教师在 Cross-WS 任务上的 pass@1 只有 49.2%（Single-WS 为 72.3%），即近一半任务在教师层面就是失败的。女巫检验要在这些任务上估计”给定 R 通过时 z 通过”的条件概率，罕见事件上的条件概率估计方差极大。分层抽样压到每层 5% 后，这个方差会进一步放大，第 2 步需要配合置信区间上报，不能只报点估计。

5. 探针组若共享基模，检验测到的是基模偏差而非谱系冗余。 Epistemic Sybil 实测同源基模的相关抽取误差 γ_cal = 0.719。若探针组的 3–5 个策略全部是同一基模的不同微调版本，条件通过率的相关性主要来自基模，女巫检验会系统性高估冗余。相关误差聚合器是必需的，不是可选的。

6. 冗余是策略相对的，因此 N_eff 不是语料的固有属性。 同一个任务对 π_A 冗余、对 π_B 未必。所有 N_eff 报告都必须连探针组一并给出，跨探针组比较 N_eff 是没有意义的。这条同时意味着：LACE 选出的 60% 子集只对训练时用的那个策略族最优，换策略族要重跑。

相关工作

1. Terminal-Universe（arXiv:2609.04148，Qwen Team, Alibaba Group / Tsinghua University，14 位作者）：把轨迹反向重放为可执行终端环境，37,273 个任务充分环境、31,977 条合成演示，Qwen3.5-27B 上 +11.9 / +13.8。它点明分布受源轨迹覆盖度约束，去重做到仓库级。LACE 的谱系图直接建在它的四个 re-querying 变体之上。
2. DRACO（arXiv:2609.04094，CMU / IBM Research，4 位作者）：outcome-blind 下每步动态生成 rubric，把轨迹优势按准则判定重分配到步。它的 6,245 条准则、84.4% 单任务准则统计是奖励侧的祖先直方图，也是 LACE 想在环境侧复现的模板。
3. Epistemic Sybil Resistance（arXiv:2609.01873，Marc Bara，Universitat Oberta de Catalunya（UOC），23 页 13 图）：形式化 I(Θ; Z | R) = 0 的女巫扩展，给出表面去重对真实祖先近乎失明的定量证据（0.040 对 1.425）。LACE 的女巫检验是它在可执行环境上的操作化版本。
4. Headroom-Drift Replay（arXiv:2609.03941，Hyun Bin Park、Du-Seong Chang，Sogang University，COLM 2026，51 页 25 图 17 表）：组级回放控制原语，Headroom 排序、Drift 设闸，不改 on-policy 新鲜流。LACE 第 5 步以 η = 0 严格退化到它。
5. ARISE-RL（arXiv:2609.01058，Alibaba ATH Token Foundry / Hema, Alibaba Group，16 位作者）：任务/准则生成器与求解器经 rubric 媒介共同演化，生成器因产出对齐求解器能力边界的 intermediate-difficulty 任务而受奖。它把合成池的调控交给难度对齐，未做祖先记账；LACE 提供的正是这一层。