研究提案已修订

复现式保真分层纠偏账本：把 Agent 失败数据的重放证书从报告字段移到训练准入闸

针对大规模 Agent 失败语料的重放证据在 k=1 单次执行下签发、且从未进入训练准入的问题，提出双臂复现、保真分层与 E2 证书门控的纠偏账本 RFSCL，并给出五条可证伪预测。

2026年10月3日 Agent 训练数据失败数据复用重放保真度数据准入信用分配后训练偏好学习

背景与动机

Agent 失败轨迹是后训练监督里开采程度最低的一块原料。Agent Error Dataset（AED，2609.40111，6 位作者，v1 2026-09-30，本轮核查读 v2 2026-10-01）把它推到了 50,228 条错误-诊断对、9,961 个源任务、33 个环境、19 个 harness 族、23 个策略模型的规模，并给出一条五阶段 AET 流水线：收集自然失败、生成诊断与纠正建议、与记录证据核对、支持重放处做配对重放、再拆出诊断与 actor 恢复两个训练视图。

一条失败记录的价值取决于一个反事实——换个动作会不会过。AED 用配对重放回答它：从同一检查点出发，一臂跑纠正动作，一臂重跑原动作。3,062 对配对尝试上，首提纠正把验证器通过率从 18.4% 抬到 51.1%，+32.7pp，任务聚类 95% 区间 [28.4, 37.0]。

这套仪器跑在报告栏里，没有跑在准入闸上。断开的地方有五处。

一、k=1 与作者自己写下的门槛冲突。 附录 D.2 的证据阶梯把最高档 E2 定义为「所有处理试验通过、所有对照失败、每臂至少两次试验、两臂都完成计划次数」。附录 O.4 紧接着写明：当前构造「每臂只执行一次」，且「k=1 的生产设置只能提供单对对比，无法满足每臂至少两次执行的复现证书门槛」。三波构造队列里 507 条被诊断的尝试只有 149 条（29.4%）最终拿到证书，拿证率逐波塌陷：55.0% → 43.5% → 15.3%。头条的 32.7pp 是一个 k=1 数字。

二、对照臂的 18.4% 是一次伯努利抽取。 3,062 次尝试里有 563 次（18.4%）什么都不改、原动作重跑一遍就过了。这个数正是检查点重放保真度的直接读数，全文没有复现过它。独立旁证在附录 H.1：684 个诊断 ID 出现在多个采集单元中，其中 143 个（20.9%）在重放结论上互相矛盾，换用最后一次出现会把配对差值从 47.1 挪到 46.0。

三、训练队列与重放队列不相交，训练队列的重放次数为零。 附录 S 逐字写明 Final X 的「948 条标签没有一条被重放或认证」，47.2% → 63.6% 的 Qwen3-8B 逐步骤一致率恰好训练和评测在这个队列上。同一段给出 Final X 有 603 行的提示词含标准答案或评分材料（Pilot X 是 112/168），而 63.6% 比的是内部教师共识标签——论文自己声明这个量「度量的是对共识标注的拟合，包括共同的约定与标注错误」。

四、覆盖与需求反相关。 冻结诊断版的 15 个环境里，4 个的配对重放次数栏是「—」：Mind2Web (static) 395 行、GAIA 253 行、WideSearch 199 行、MCPMark 186 行，合计 1,033 行（23.9%）。表 37 把 MCPMark 归到「实测发散（已排除）」——同一记录前缀重放两次给出的验证器结论不一致；WideSearch 与 GAIA 归到「无确定性重放」——依赖实时网页。3,062 次尝试反倒集中在 BFCL 579、AgentBench-DB 530、τ-bench retail 497、AgentBench-OS 458、τ-bench airline 358 这些可脚本化后端上。

五、池化跨越三种恢复制度。 附录 H.1 给出：871 对跑在产生失败的原始 harness 上且状态完全恢复（+47.1pp [42.3, 51.7]），1,846 对改用替代的 ReAct (single) harness（+43.5pp），345 对只有部分恢复的多智能体状态（+50.7pp）。论文在这串数字后声明它们用的是检索选出的提案、与首提效应不同群、「不是首提效应的分层」。后果是首提队列——也就是头条那 3,062 对——在三种恢复制度下各自的对照通过率全文没有一处报告；不一致单元格分解（纠偏-only 1,094 对、重试-only 93 对、双败 1,405 对）是跨异质对照率的 Simpson 式汇总。

同一批 3,062 次尝试在附录里被报了两遍：一遍取首提提案（头条的 32.7pp），一遍取检索选出的提案（表 14）。后者给出了分制度的对照通过率——替代 ReAct 19.2%、原始 harness 完全恢复 6.1%、多智能体部分恢复 4.1%——极差 15.1pp，处理通过率则是 62.7% / 53.2% / 54.8%。这组数是分层装置的一条现成先验：制度间对照率的离散度已经远超 8pp，Simpson 式汇总的风险不是理论担忧。缺的是首提口径下的同一组对照率，它才是头条那个 32.7pp 的分母。

六、诊断侧的公域标签迁移为负。 附录 I.1 把训练出的诊断模型放到两个外部标注的基准上：TrajErrBench 的 486 个用例里，未训练基座得 18.72%，三个种子分别得 15.43%、15.43%、20.99%——两个种子低于基座；Who&When 上全诊断训练把责任智能体与逐步骤准确率两项都做掉了，换成答案格式续训才补回一部分。另有一次事后审计发现训练集与 Who&When 之间存在共享任务标识或完全相同的目标；在未标记任务重叠的 149 个用例上，步骤级增益只剩 +4.92pp 且区间跨零（[-2.24, 12.08]），而在存在重叠的 35 个用例上是 +20.95pp [5.71, 36.19]。63.6% 与 47.2% 都是内部教师共识标签上的读数，公域标签上的方向与之相反。

核心思路

RFSCL（Replicated Fidelity-Stratified Correction Ledger，复现式保真分层纠偏账本）只主张一件事：把重放仪器自己的输出从数据集的一个字段，改成损失掩码的一个输入。四个装置互相咬合。

装置一：双臂复现。 对每条尝试 $i$ ，从同一检查点跑对照（原动作） $m$ 次、处理（纠正动作） $m$ 次。记 $\hat\phi_i$ 为对照通过频率、 $\hat\psi_i$ 为处理通过频率，定义重放确定性 $\delta_i=\mathbf 1[\hat\phi_i\in\{0,1\}]$ 。二值的不一致单元格换成频率加权形式 $\hat\Delta_i=\hat\psi_i-\hat\phi_i$ 。 $\hat\phi_i$ 落在开区间内即判定该检查点不可复现，记录改道进方差缩减视图而不进因果账本——复制而非丢弃，沿用 AED 自己保留「成功重试」与「失败纠正」的做法。

装置二：保真分层分解。 把恢复制度（完全恢复 / 替代 harness / 部分恢复）提升为每条尝试的一等字段，在制度内部做不一致单元格相减。池化的 32.7pp 拆成三个各带对照率的制度内效应，并直接检验部分恢复那一档的 +50.7pp 是否站得住。

装置三：E2 门控准入。 只有满足阶梯自身 E2 条件（每臂 ≥2 次、处理全过、对照全败）的配对进入动作偏好视图。用门控后的数据重跑 actor 配方比较，检验 WebShop-lite 上 +6.67pp 的结论是否存活——它现在是一个单种子、k=1、单简化替身环境上的数字。

装置四：零覆盖环境的观察冻结重放，加一条无泄漏的诊断切分。 Mind2Web (static) / WideSearch / GAIA 缺的是一个「有效的交互式修复端点」（论文原话），冻结诊断队列已对这三个环境关闭认证。做法是冻结记录下来的观测流、在检查点之后注入 $h$ 步：验证器在 $h$ 步内触发记通过，超出记右删失。它估计的是即时修复价值，恰好是步骤级偏好数据需要的量；端到端结论明确不在量程内，不与活体重放池化。GAIA 与 WideSearch 的阻塞项是检索后端缺失，配一份冻结检索索引快照，把实时网页依赖变成确定性制品。诊断侧建一个剥掉标准答案的留出集（Pilot J 已有无真值臂，Final X 没有对应物），一致率按含真值与无真值两列分别报。

与既有工作的区别落在三处。AgentDebugX 提供归因与修复回路，证书停在报告字段。AgentHer 做 hindsight 经验回放与轨迹重标注，没有配对对照臂，重标出的成功与重跑自带的成功混在一个数里。AED 的阶梯与见证类都齐了，两臂各跑一次，证书放在训练集旁边而不是前面。RFSCL 让复现次数、逐尝试保真度与门控状态成为掩码的输入。

技术路线

分五步实施。

带复现能力的重放执行器。 检查点恢复、动作派发、验证器三段参数化为 $m$ 与种子集合，逐次记录判定结果。D.3 的血缘证明（源轨迹、动作前提示、恢复状态、试验、施加动作、actor 转录的 v1 attestation）按每次试验重算，不是按每条配对算一次。
保真度仪器化。 恢复制度写成一等字段（现在只在附录 H.1 里事后重建），逐条计算 $\hat\phi,\hat\psi,\delta$ ，按制度报 $\hat p_C$ 。
账本编译为掩码。 每条配对吐出三元组 $(\hat\Delta_i,\delta_i,\text{grade}_i)$ ，编译三个训练视图：E2 因果（进 DPO 偏好）、确定性但零效应（保留作证据，动作权重置 0、诊断权重不置 0）、非确定性（排除出偏好，进方差缩减）。
零覆盖环境的观察冻结重放。 冻结观测注入加有界视界 $h$ ；GAIA 与 WideSearch 配冻结检索索引； $h$ 步外一律标删失。
无泄漏切分与两个头条数字的重跑。 建剥真值留出集；在新准入规则下重报 32.7pp 与 63.6%。

关键技术挑战四条。复现成本从每次配对 2 次执行涨到 $2m$ 次，用自适应 $m$ 压：默认 $m=2$ ，只有 $\hat\phi_i\in(0,1)$ 时才加抽到 $m\ge4$ ，正好是额外抽样携带信息的情形，增量成本被非确定性比例封住。观察冻结重放的删失偏倚要求它的通过率只作下界单列报。E2 门控会缩偏好集：波次队列 377 条合格尝试的拿证率是 39.5%，偏好集约缩一半，用保留但不加权的诊断视图补偿。恢复制度与环境存在混淆（部分恢复集中在多智能体 harness），按制度 × 环境分格报，格内不一致对少于阈值就拒绝池化。

预期成果

六条可证伪预测，前五条不需要 GPU 即可判定，未达标即终止对应装置。

P1（复现装置）： $m=2$ 下 $\hat\phi_i\in(0,1)$ 的尝试占比 ≥10%，143/684 = 20.9% 的跨波矛盾率作上界参照。低于 3% 说明 k=1 设计已够用，装置一作废。
P2（分层装置）：三种恢复制度（871 / 1,846 / 345）的 $\hat p_C$ 极差 ≥8pp。三者落在 3pp 内则分层装置无必要。检索选出提案的口径下这组数是 19.2 / 6.1 / 4.1（极差 15.1pp），P2 检验的是首提口径下是否同向、且 $\hat\phi$ 是否仍落在 0 或 1 上。
P3（门控装置）：E2 门控后的 WebShop-lite actor 增益不低于 k=1 的 +6.67pp。低于 2pp 说明门控把信号一并砍掉，成本不成立。
P4（覆盖装置）：观察冻结重放把 1,033 条零覆盖行中的 ≥30% 回收为 E1 或删失-E2。低于 10% 则冻结视界没有扩展覆盖。
P5（诊断侧）：无真值留出集上，微调后 Qwen3-8B 相对最强提示参照（54.7%）的优势，相对 63.6% 对 54.7% 的 8.9pp 差距收窄 ≥5pp。收窄不足 2pp 说明 63.6% 不由真值污染驱动。
P6（公域迁移）：在剥真值配置下重训，TrajErrBench 三个种子的均值回到未训练基座的 18.72% 之上，且未标记任务重叠子集（149 例）的增益区间不再跨零。若两个条件都不成立，则诊断视图的失效不在真值污染，而在标注口径本身，P5 的结论不能外推到 AED 标签之外。

P1 与 P3 都成立时，直接影响是把失败语料从「更多数据」变成「审计过的数据」：证书成为一个可插拔的数据准入原语，AED、AgentDebugX、AgentHer 三条流水线都能直接接。副产品是重放保真度有了公开读数——18.4% 这类数字今后会带着置信区间与制度标签一起报，Agent 失败复现类工作的可比性由此建立。

局限性与失效模式

本提案的四个装置都建在 AED 的构造之上，AED 自身的边界会原样传下来。

重放可行性是前置条件，不是改进目标。 15 个环境里有 4 个的配对重放次数为零，GAIA 与 WideSearch 卡在实时检索依赖，MCPMark 卡在重放发散。装置四只把其中一部分转成「观察冻结」的即时读数，端到端结论仍然拿不到。若某个目标环境的重放器根本不存在，本提案不提供替代路径。
E2 门控会缩小样本，缩小多少未知。 波次队列 377 条合格尝试的拿证率是 39.5%，且逐波塌陷 55.0% → 43.5% → 15.3%。把「每臂至少两次且两臂都跑完」从报告字段提到准入门槛，偏好集大概率减半，减半后是否还有足够的事件去估类型级先验，只有跑完第一步才知道。
恢复制度与环境存在混淆。 部分恢复的 345 对集中在多智能体 harness，替代 ReAct 的 1,846 对全部来自 smolagents / Pydantic AI / AutoGen / LangGraph / planner–executor 这些重放器不支持的源 harness。按制度 × 环境分格后，多数格子会小到拒绝池化，分层装置的可用分辨率可能低于预期的三档。
$\delta_i$ 的判定依赖 $m$ 的选择。 $m=2$ 时 $\hat\phi_i\in(0,1)$ 会把记录改道，但 $m=2$ 本身也是一次伯努利抽取的两次观测。自适应加抽到 $m\ge4$ 能压掉一部分误判，代价是成本随非确定性比例上升，而这个比例正是待测量。
k=1 的构造不是错误，是资源约束下的选择。 附录 O.4 写明生产设置只能提供单对对比。本提案主张的是把「拿不到复现证书」这件事显式写进掩码，不是指责 AED 少跑了几次执行。