研究提案 已修订

重放效用的记录级可辨识性证书:把 FAER 的臂级负控下沉到逐条,并把四轮循环重放改为分段重选

针对轨迹重放选择器用臂级负控验证逐条效用量、且梯度对齐在冻结检查点算一次后被四个 pass 复用的问题,提出记录级可辨识性证书 RIC-PR,含分层收缩、单调重参数化与分段重选,并给出六条可证伪预测。

重放数据选择 数据估值 后训练 训练数据工程 可辨识性 重放过拟合 数据审计

背景与动机

轨迹缓存是后训练里复用最频繁、也最容易被当作免费原料的一层。FAER(2610.00385,8 位作者,中科院大学 + 信工所,v1 2026-09-30,cs.LG)把「从缓存里选哪些轨迹回放进 learner」形式化成一个独立问题,并给了一条关键观察:缓存层面的正确率与下游 learner 效用是两个不同的目标。它在 GSM8K / Qwen2.5-1.5B-Instruct 上给出六条固定优先级臂的双向排序——缓存正确率上 format-feedback > token-efficiency > reliability > feedback-aware > uniform > uncertainty,learner 质量上 feedback-aware > token-efficiency > format-feedback。最刺眼的一对数是:format-feedback 选中的记录正确率 0.6953,FAER-Fixed 只有 0.3594,下游质量却反过来是 0.6037 对 0.6329。

FAER 的解法是在冻结参考检查点上算一次梯度对齐 ai(−b)=⟨gi(−b),gcal(−b)⟩/(∥gi(−b)∥∥gcal(−b)∥+ϵ)a_i^{(-b)}=\langle g_i^{(-b)},g_{\mathrm{cal}}^{(-b)}\rangle/(\|g_i^{(-b)}\|\|g_{\mathrm{cal}}^{(-b)}\|+\epsilon),把它和四个观测元数据拼成 ei=wrri+wρρi+wssi−wLlog⁡(1+Li)+γai(−b)e_i=w_rr_i+w_\rho\rho_i+w_ss_i-w_L\log(1+L_i)+\gamma a_i^{(-b)},再按 pi∝exp⁡(ei/τ)p_i\propto\exp(e_i/\tau) 顺序不放回抽 32 条。完整臂(FAER-Utility)拿到 0.6624,比 FAER-Fixed 的 0.6329 高 0.0295。

这套装置有六处断开,每一处都能用论文自己报的数字定位。

一、选择-学习落差仪器只跑在六条固定臂上,从不跑在它自己提出的效用选择器上。 落差统计量 τSL=0.33\tau_{\mathrm{SL}}=0.33、ρSL=0.54\rho_{\mathrm{SL}}=0.54、15 对里 5 对逆序,全部是在六条手写优先级臂上算出来的;第 4.3 节的同种子配对表写的是「Four arms」,8 个 block。FAER-Utility 与 FAER-Utility-Meta 两行从未出现在这张表或图 5 的散点里。结论栏把「六臂描述性落差」与「Meta 达到 0.6476」并列陈述,两者之间没有交叉。

这张同种子表自身给出的读数是:四臂 / 8 个 block 上 τSL=0.1250\tau_{\mathrm{SL}}=0.1250、ρSL=0.4500\rho_{\mathrm{SL}}=0.4500、ISLnorm=0.4375I_{\mathrm{SL}}^{\mathrm{norm}}=0.4375、RSL=0.0294R_{\mathrm{SL}}=0.0294,对应的 95% block 区间为 [−0.083,+0.333][-0.083,+0.333]、[+0.180,+0.650][+0.180,+0.650]、[0.333,0.542][0.333,0.542]、[0.018,0.041][0.018,0.041]。也就是说:六臂描述性口径下的 τSL\tau_{\mathrm{SL}} 是 0.33,落到同种子配对口径只剩 0.1250,且 Kendall 秩相关区间跨过 0([−0.083,+0.333][-0.083,+0.333])——在 8 个 block 的样本量下,连「排序方向一致」这件事都还没有被显著地确立。下面 P4 借用的 [0.018,0.041][0.018,0.041] 正是这张表 RSLR_{\mathrm{SL}} 列的区间。

二、负控在臂级,而选择发生在记录级,两者的分辨率差了一个量级。 表 4 是唯一的端点级负控表,两条负控各要一次完整 learner run。它们的实际代价是 Shuffled alignment 63,171 target token、Random calibration gradient 63,263 target token;正文里常被引到的 3.48 / 4.26 GPU 小时出自表 3 的 Meta / Utility 两行,表 4 没有 GPU 小时列。打乱对齐列在构造上保持边际、破坏逐条身份,臂级对比只能检出「身份整体有没有用」,检不出「哪一条的效用估计是可辨识的」。唯一跑出来的那条负控给出了一个不好看的读数:Shuffled alignment 0.6484,高于摘要头条的 FAER-Utility-Meta 0.6476。一条把每条记录的对齐值换成别人家对齐值的选择器,不比一条完全不用对齐的选择器差。对齐通道的全部价值是 0.6624 − 0.6476 = 0.0148,打乱它只损失 0.0140 [0.004, 0.025],两者同量级。

附录 D.22 的表 41 给出一个更尖锐的对照:把「虚拟更新效用」整列打乱得到 0.6484,而论文主公式里那项归一化梯度余弦对齐(Cosine alignment)只有 0.6418,原始梯度点积是 0.6473。也就是说,打乱之后的效用排序,比论文写进 eie_i 公式的对齐项本身还要高出 0.0066。对齐项在这个预算下不是「有用但弱」,而是「相邻的两种构造互有胜负」。

三、摘要把 Meta 的区间安在了一个不同的参照上。 Meta 那行的配对区间印的是 [+0.079, +0.122],中心 0.1005,等于 0.6476 − 0.5482(uniform);同表其余五行的中心都等于各自与 FAER-Utility 0.6624 之差(FAER-Fixed −0.0295、alignment-only −0.0206、shuffled −0.0140、random gradient −0.0177)。把 0.6476 与 [+0.079, +0.122] 并置呈现时,读出来的是「相对完整臂 +0.1」;它相对完整臂的点差是 −0.0148。

四、learner-aware 增益里有一半来自一条被折叠的轴。 论文自己在第 3.2 节推过:feedback-aware 的验证器置信度因子是 g(ρ)=ρ(0.5+1−ρ)=ρ(1.5−ρ)g(\rho)=\rho(0.5+1-\rho)=\rho(1.5-\rho),g′=1.5−2ρg'=1.5-2\rho,g′′=−2g''=-2,极大值在 ρ=0.75\rho=0.75 处取 0.5625,且 g(0.5)=g(1)=0.5g(0.5)=g(1)=0.5——置信度 1.0 的记录和置信度 0.5 的记录拿到同一个权重。作者推导完这一句之后,把这条规则直接定为 FAER-Fixed。Meta 臂令 γ=0\gamma=0 但仍在 calibration block 上重拟合 wρw_\rho,等于把折叠打开;它拿走 0.0147,占 0.0295 总增益的 49.8%。也就是说,近一半的「learner-aware」增益不需要算任何梯度。

五、对齐在 θ0\theta_0 处算一次,被四个完整 pass 复用,且没有 epoch 边界读数。 实施表里逐字写着「32-record selection to 128-update schedule / reuse one complete trajectory per update / seeded cyclic order, four complete passes」,learner 侧「Replay-probability correction: none」。32 条记录循环四遍,边界落在 update 32/64/96。局限栏自己写「Gradient alignment is local」,全文没有 refresh 臂(refresh 计数 0),也没有逐 pass 的验证质量或 loss 读数(epoch 计数 0,pass 只有 2 处且都在同一句里)。同日提交的 Forking(2610.00394)恰好报告了这类构造的失败形态:在数据重放下,带 n-gram 记忆分支的模型在 epoch 边界出现训练与验证损失的尖锐分离,机制是重复更新锐化了训练中见过的续写、压低未见续写的概率,且低频上下文贡献了大部分 gap——它在短预算、高度重复的 SFT 与类 RL 设置里也观察到了。FAER 的 128 update / 32 条 / 4 pass 正落在这个设置里,而它只报 128/128 一个端点。

配套的两个条件让上面第二点更难被臂级负控检出。入选率是 32/64(family A 训练集只有 64 行),family B 是 32/256;种子间选中集合的 Jaccard 跨 28 对落在 0.1377–0.6274。浓度旋钮 τ\tau 是拟合出来的,全文三处提到 temperature 全在公式与拟合契约里,没有一处给出拟合值。温度决定这次抽样接近均匀还是接近 top-32;在 50% 入选率、成员身份又随种子大幅漂移的条件下,一个臂级身份检验能检出的东西本就不多。

有一类对照 FAER 已经做了,不能算作缺口:附录 D.21 的多样性控制用冻结 embedding 定义 D(S)=2∑i<j(1−cos⁡(hi,hj))/(∣S∣(∣S∣−1))D(S)=2\sum_{i<j}(1-\cos(h_i,h_j))/(|S|(|S|-1)),把 format-feedback 匹配到 FAER 的 embedding 多样性(0.4127 对 0.5274,重复率 0.1562 对 0.0625)。它是匹配边际的描述性对照,不是对选中集合的约束,也没有进入效用目标。

这张对照表真正有用的读数在它最后一列:多样性匹配后的 format-feedback 拿到质量 0.6174,而它未匹配时是 0.6037,固定臂是 0.6329。format-feedback 与固定臂之间 0.0292 的差距,靠把多样性从 0.4127 拉到 0.5196、把重复率从 0.1562 压到 0.0703,就补回了 0.0137,约 47%。这条数字是对上面第一点的必要折扣:六臂排序里近一半的差距可以由「选中集合长什么样」解释,而不是由「优先级规则写得好不好」解释。任何把落差全部记在效用估计头上的读法,都得先扣掉这 47%。

六、论文已经有一条零 learner 成本、逐条级的负控,但它测的是保真度,不接端点。 附录 D.22 的表 40 在不跑 learner 的条件下,把每个效用估计器与「在冻结检查点上实测到的一步校准损失改善」逐条比对,并给了打乱对照:虚拟更新加范数修正的 Spearman ρ=0.7489\rho=0.7489、Kendall τ=0.5681\tau=0.5681、符号准确率 0.8376、top-32 regret 0.0127;而 Shuffled virtual utility 掉到 ρ=0.0216\rho=0.0216、τ=0.0149\tau=0.0149、符号准确率 0.5078(约等于抛硬币)、regret 0.0946。逐条身份在「一步校准损失」这个层面高度可辨识——打乱它,Spearman 从 0.7489 塌到 0.0216;可同一份身份搬到 learner 端点上,只值 0.0140。这不是「分数是噪声」,而是「可辨识 ≠ 有用」,两者之间缺一座桥。表 40 与表 4 之间的这条接缝,正是装置一要占的位置:FAER 手里已经有一份零成本的逐条对照,但它被放在保真度栏里,从来没有与端点质量连起来,也没有被用来决定哪条记录该被信任。这条断处同时也改写了下面 P1 的预测方向。

核心思路

RIC-PR(Record-level Identifiability Certificate with Pass-wise Re-selection)只做一件事:把 FAER 的负控从「跑一条完整 learner 臂」下沉到「逐条、跨块、零 learner 成本」,并把一次冻结对齐改成逐 pass 重算。三个装置互相咬合。

装置一:记录级可辨识性证书。 FAER 已经把 calibration 数据切成 K 个互不相交的 block,第 bb 个 block 的分数 u^i(−b)\hat u_i^{(-b)} 只用其余 block 拟合。同一个 ii 在 K 个 block 上各有一个分数,这份跨块离散度就是白送的逐条不确定性。定义跨块符号一致率

κi=2K(K−1)∑b<b′1[sign(u^i(−b)−uˉ(−b))=sign(u^i(−b′)−uˉ(−b′))],\kappa_i=\frac{2}{K(K-1)}\sum_{b<b'}\mathbf 1\big[\mathrm{sign}(\hat u_i^{(-b)}-\bar u^{(-b)})=\mathrm{sign}(\hat u_i^{(-b')}-\bar u^{(-b')})\big],

再按选择器本来就能看见的观测元数据分层——producer × 验证器置信度分位 × 响应长度分位 × format status——算层内标准化偏离 ιi=(u^i−μs(i))/σ^s(i)\iota_i=(\hat u_i-\mu_{s(i)})/\hat\sigma_{s(i)}。记录 ii 拿到证书当且仅当 κi≥θ\kappa_i\ge\theta 且 ∣ιi∣>z0.975|\iota_i|>z_{0.975}。可辨识率 πid\pi_{\mathrm{id}} 与 κ\kappa 的中位数在 calibration block 上就能算完,不需要跑一次 learner。

装置二:分层收缩选择器。 对没有拿到证书的记录,把分数收缩回层均值:

u~i=μs(i)+λi(u^i−μs(i)),λi=1[κi≥θ].\tilde u_i=\mu_{s(i)}+\lambda_i(\hat u_i-\mu_{s(i)}),\qquad \lambda_i=\mathbf 1[\kappa_i\ge\theta].

θ=0\theta=0 时全部记录通过,RIC-PR 严格退化为 FAER-Utility;θ=1\theta=1 时退化为层均值选择器,只分一层时进一步退化为 uniform。这个退化链让「证书有没有用」变成一个单点可调的参数,而不是一个换方法的是非题。

装置三:分段重选与 pass 边界读数。 把 update 32/64/96 三个 pass 边界设为重选点,用当前检查点重算 aia_i,并把验证质量与训练/验证 loss 按 pass 逐段报 δfork=ℓval(tpass end)−ℓval(tpass start)\delta_{\mathrm{fork}}=\ell_{\mathrm{val}}(t_{\text{pass end}})-\ell_{\mathrm{val}}(t_{\text{pass start}})。配一条「不重选、只报边界」的臂,把「重选」与「多报」两个效应分开。冻结边界从整条轨迹的起点下沉到每个 pass 的起点,审计合约的其余部分不变。

区别落在三处。FAER 用单次冻结对齐加臂级负控,负控的代价是一次完整 learner run,全篇只跑了两条。RLEP 与各类 PER 用验证器或奖励统计决定重放资格,没有 post-freeze 的评估边界,资格判定与优化目标共用同一批训练期信号。Forking 报告了重放下 epoch 边界的尖锐分离,没有把这个现象接到选择器上——它的处方是警惕 autoresearch 代理产出的结论,不是改重放调度。RIC-PR 让逐条可辨识性、层内收缩与 pass 边界重算成为同一个选择器的三个输入。

技术路线

分五步实施。

第一步,零成本前置门禁。 只在 calibration block 上算 πid\pi_{\mathrm{id}} 与 κ\kappa 的中位数,不启动 learner。第二步之后的全部实验以这一步的读数为条件。

第二步,单调重参数化,隔离折叠轴。 把 g(ρ)=ρ(1.5−ρ)g(\rho)=\rho(1.5-\rho) 换成在 non-target calibration block 上用 PAVA 拟合的保序函数 h(ρ)h(\rho),其余系数不动、γ=0\gamma=0。定义折叠率

ϕ=1N∣{i:∃j, g(ρi)=g(ρj), ∣ρi−ρj∣>0.3}∣,\phi=\frac{1}{N}\big|\{i:\exists j,\ g(\rho_i)=g(\rho_j),\ |\rho_i-\rho_j|>0.3\}\big|,

度量「优先级被绑到一条置信度显著不同的记录上」的比例。这一步同样不跑 learner。

第三步,分层收缩加集合约束。 分层字段取 producer × 置信度三分位 × 长度中位数切分(family A 只有 64 行,层数须压到每层不少于 8 条)。在指数抽样之外加一条层覆盖下限:选中的 32 条必须覆盖不少于 mm 个层。τ\tau 改为显式网格(0.25 / 0.5 / 1 / 2 / ∞\infty)并逐格报告,不再作为拟合契约里的隐式量。

第四步,分段重选。 三个 pass 边界各重算一次对齐,对齐成本从 1 次变 4 次。用 family B(256 条训练行)测成本曲线,因为 family A 的 64 行撑不起重选带来的额外方差。

第五步,把落差仪器指回自己的选择器。 对 FAER-Fixed、FAER-Utility、RIC-PR 各自在 8 个同种子 block 上算 τSL\tau_{\mathrm{SL}}、ρSL\rho_{\mathrm{SL}}、ISLnormI_{\mathrm{SL}}^{\mathrm{norm}} 与 RSLR_{\mathrm{SL}},与六臂区间做对撞。

关键技术挑战有四条。跨块符号一致率在 K=3K=3 下方差很大,用 block bootstrap 给区间,并配一条打乱 block 标签的安慰剂臂——若安慰剂臂的 πid\pi_{\mathrm{id}} 与真实臂无差异,证书测的是拟合噪声而非稳定性。分层会让每层样本量不足,层切分随 family 自适应,并把「层内样本 < 8」的记录标记为 NA 而不是强行归层。分段重选会破坏 FAER「一次选择绑定一个 trace digest」的审计结构,改法是把每个 pass 的 digest 作为子轨迹按顺序串到同一份 lineage 记录里,冻结边界设在每个 pass 的起点。重选把对齐计算量与 GPU 小时抬上去,需要在 family B 上给出成本-增益曲线,才能判断装置三值不值。

预期成果

定量目标写成六条可证伪预测,前两条零 learner 成本。

  • P1a:family A 上 πid≤0.25\pi_{\mathrm{id}}\le0.25 且 κ\kappa 中位数 ≤0.6\le0.6。依据:打乱对齐只损失 0.0140,对齐通道的全部价值是 0.0148。⚠️ 这条预测的依据是端点层面的损失,而附录表 40 给出的是相反方向的证据:逐条效用在一步校准损失层面与实测改善的 Spearman 是 0.7489,打乱后只有 0.0216。因此 P1a 是本提案最可能被证伪的一条,且它被证伪不会让装置一作废——只会把装置一的角色从「筛掉噪声」改成「筛掉可辨识但不稳定的那些」。
  • P1b:可辨识性到端点的折价率 η=(打乱后端点损失)/(打乱后保真度损失)\eta=(\text{打乱后端点损失})/(\text{打乱后保真度损失}) 落在 [0.05,0.30][0.05,0.30] 之外即视为桥接假设失败。代入现有读数:端点侧 0.0140/0.0148 = 0.946 的「保留率」,保真度侧 0.0216/0.7489 = 0.029 的「保留率」,两者的比值本身就在提示这两个层面量纲不通。若 RIC-PR 的证书子集在端点上的增益与其 κ\kappa 排序不相关,则折价不是常数,装置一与装置二必须解耦。
  • P2:FAER-Fixed 的折叠率 ϕ≥0.15\phi\ge0.15,保序臂 ϕ=0\phi=0;保序重参数化在 γ=0\gamma=0 下的质量不低于 0.6476,且不付梯度成本。若 ϕ<0.05\phi<0.05,折叠轴不是 Meta 增益的来源,装置二的前半段作废。
  • P3:RIC-PR 在 family A 上质量 ≥0.6724\ge0.6724(FAER-Utility +0.0100)。若低于 0.6624,收缩没有带来增益,只带来了拒绝。
  • P4:FAER-Utility 自身的 RSLR_{\mathrm{SL}} 落在 [0.018, 0.041] 内,即不优于六臂同种子区间。若它显著低于 0.018,说明 learner-aware 拟合确实关掉了它定义的落差,本提案的问题陈述需要改写。
  • P5:分段重选在 pass 3 与 pass 4 上给出相对冻结对齐 ≥+0.015\ge+0.015。若逐段 δfork\delta_{\mathrm{fork}} 全部 <0.005<0.005,装置三作废。
  • P6:family B(入选率 12.5%)上 RIC-PR 的增益不低于 family A 增益的 60%。若显著低于,说明 family A 的效应主要来自 50% 入选率这一特殊条件,结论不外推。
  • P7:在 family A 的 calibration block 上,按 κi\kappa_i 由高到低取前 32 条,其表 40 口径的 top-32 regret 不高于 0.0127(虚拟更新加范数修正那一行的读数),且不低于打乱对照的 0.0946 的一半。若按 κ\kappa 排序的 regret 反而高于按 u^i\hat u_i 排序,说明 κ\kappa 测的是拟合噪声而不是保真度,装置一的证书定义要换成层内标准化偏离 ιi\iota_i 单条件。这条同样不跑 learner。

定性目标是把「learner-aware 数据选择」的举证责任挪个位置:从「多算一次梯度、看端到端分数涨没涨」,挪到「先证明这条记录的效用估计在跨块与层内两个维度上可辨识」。前者每条假设要付一次完整 learner run,后者在 calibration block 上免费。这条挪动对数据工程直接有用——缓存规模从 192 行涨到十万行量级时,臂级负控的成本随假设数线性增长,证书的成本不随假设数增长。

相关工作

  • FAER: Auditable Utility-Aligned Trajectory Replay for Language Model Post-Training(arXiv:2610.00385,v1 2026-09-30,cs.LG)——本提案直接扩展的对象;它的选择-学习落差形式化、跨块交叉拟合与审计冻结边界是被复用的三件现成装置。
  • arXiv:2610.00394 —— Forking: Sudden Overfitting Under Replay(v1 2026-09-30,cs.LG)。报告数据重放下 epoch 边界的训练/验证损失尖锐分离,机制为重复更新锐化已见续写、压低未见续写;本提案装置三的动机来源。
  • GraphForge: Training Working Agents with Graph-Anchored Workspace Synthesis(arXiv:2609.38923,v1 2026-09-30,cs.CL)——证据图把任务与 rubric 锚定到同一批真实文件,使 rubric 成为轨迹筛选信号;与本提案同属「筛选信号本身要有出处」这一支。
  • arXiv:2610.01787 —— Not All Experience Belongs in the Weights: Component Routing for Self-Improving GUI Agents(v1 2026-10-01,cs.AI)。把经验从轨迹整块拆成定位器/流程/状态事实/教训四类分别路由,主张结论随「经验的单位」而变;本提案把单位从「臂」拆到「记录」是同一动作的另一个实例。
  • arXiv:2610.01509 —— Sharpening Tax in Post-Training(v1 2026-10-01,cs.AI)。量化后训练把任务推向「恒解或恒不解」两端而损失 pass@K 覆盖的代价;本提案的层覆盖下限与 τ\tau 网格直接受它启发。

局限性与失效模式

一、装置一的证书可能被表 40 直接证伪。 上面 P1a 已经写明这是最可能被推翻的一条。论文在零 learner 成本下已经证明逐条效用打乱后 Spearman 从 0.7489 塌到 0.0216,这说明逐条身份不是噪声。若 πid\pi_{\mathrm{id}} 实测落在 0.6 以上,本提案关于「逐条不可辨识」的问题陈述要整体改写,装置二与装置三不受影响,装置一要换成「哪些可辨识的记录值得被信任」这一问法。

二、κi\kappa_i 在 KK 较小时本身就是噪声。 FAER 的 calibration block 数没有在正文给出一个明确的大 KK;K=3K=3 时两两一致率只有 3 个取值(0、1/3、2/3、1 四档),跨块符号一致率的分辨率粗到几乎只能做二值判据。block bootstrap 能给出区间,但给不出更细的分辨率;若 family A 只有 3 个 block,装置一的 θ\theta 阈值搜索实际上只有三个可行点。

三、装置三与审计合约的冲突可能不可调和。 FAER 的审计合约把「一次选择绑定一个 trace digest」当作核心不变式,分段重选把一条 lineage 拆成四条子轨迹。即便把子轨迹按序串回同一份 lineage 记录,冻结边界从「整条轨迹起点」下沉到「每个 pass 起点」之后,外部审计者要验证的边界数量从 1 变成 4,验证成本的上升量与「可审计」这个卖点直接冲突。若审计成本超过增益,装置三应当降级为「只在 pass 边界报读数、不重选」——这恰好是技术路线第四步里配的那条对照臂。

四、Forking 的失效形态未必在 FAER 的规模上复现。 Forking(2610.00394)的观察来自 NanoGPT autoresearch 与 DeepSeek-style + Engram 的设置,论文自己写明「更大的训练预算与更拥挤的表会抑制该效应」。FAER 是 128 update / 32 条 / 4 pass 的极短预算,方向上落在 Forking 报告会加剧的那一侧,但 Qwen2.5-1.5B-Instruct 上没有 n-gram 记忆分支,机制前提(过编码的 n-gram 记忆模块产生弱交互的上下文子空间)在 FAER 里并不成立。装置三的动机因此是类比而非同源,δfork\delta_{\mathrm{fork}} 若全程小于 0.005,不能反过来宣称「重放下没有过拟合风险」,只能说在这一设置下没观测到。

五、Meta 增益的一半来自折叠轴这一结论依赖一条反事实。 装置二把 g(ρ)=ρ(1.5−ρ)g(\rho)=\rho(1.5-\rho) 换成 PAVA 保序函数,并预期它能在 γ=0\gamma=0 下复现 0.6476。但附录 D.21 的表 38 里有一条更硬的对照:把拟合好的权重排列后(Permuted fitted weights)质量掉到 0.6048,区间 [−0.044,−0.014][-0.044,-0.014];而把固定臂的抽样熵匹配到 Meta(Entropy-matched fixed FAER)只拿到 0.6336,区间 [−0.010,+0.011][-0.010,+0.011],与固定臂几乎重合。这两条合起来的含义是:拟合确实学到了结构(排列会掉分),但增益不是来自抽样离散度(熵匹配不加分)。因此 0.0147 那部分增益的归属是「折叠轴被打开」这一解释下的一种解释,而不是唯一解释——它也可能是权重标定本身带来的。区分两者需要一条「保序但不允许重拟合 wρw_\rho」的臂。

六、family A 只有 64 行训练集,本提案的全部零成本读数都建立在这个量级上。 32/64 的入选率意味着选一半;跨块一致率、层内标准化偏离、Jaccard 这三个统计量在这个量级上都不稳定(论文自己报的 28 对种子 Jaccard 区间是 0.1377–0.6274,跨度接近 5 倍)。定性目标里「缓存涨到十万行量级时证书成本不随假设数增长」的推论,目前没有任何实验支撑。

引用核验记录(2026-10-06)

编号标题核验结果
arXiv:2610.00385FAER: Auditable Utility-Aligned Trajectory Replay for Language Model Post-Training✅ abs 页 citation_title 逐字一致;8 位作者(中科院大学 + 信工所),v1 2026-09-30,cs.LG
arXiv:2610.00394Forking: Sudden Overfitting Under Replay✅ 逐字一致;摘要确认 epoch 边界训练/验证损失尖锐分离、低频上下文贡献多数 gap、短预算高重复 SFT 与类 RL 设置中同样观测到
arXiv:2609.38923GraphForge: Training Working Agents with Graph-Anchored Workspace Synthesis✅ 逐字一致;rubric 由证据图导出并锚定到文件,确实被用作轨迹筛选信号
arXiv:2610.01787Not All Experience Belongs in the Weights: Component Routing for Self-Improving GUI Agents✅ 逐字一致;四类拆分确为 locators / procedures / state facts / lessons
arXiv:2610.01509Sharpening Tax in Post-Training✅ 逐字一致;确认「推向恒解或恒不解两端而损失覆盖」的机理论述

正文数字回源(arxiv.org/html/2610.00385v1 全文检索):0.6953 / 0.3594 / 0.6037 / 0.6329 / 0.6624 / 0.6476 / 0.6484 / 0.5482 / 0.4127 / 0.5274 / 0.1562 / 0.0625 全部命中;τSL=0.33\tau_{\mathrm{SL}}=0.33、ρSL=0.54\rho_{\mathrm{SL}}=0.54、ISL=5I_{\mathrm{SL}}=5 of 15、「Four arms / 8 blocks」、Jaccard 跨 28 对、family A 64 train / family B 256 train、g(ρ)=ρ(1.5−ρ)g(\rho)=\rho(1.5-\rho) 极大值在 ρ=0.75\rho=0.75、「32-record selection to 128-update schedule / reuse one complete trajectory per update / seeded cyclic order, four complete passes」逐字命中;refresh 与 epoch 全文计数为 0、pass 仅 2 处,与正文断处五的陈述一致。本轮新增引用的表 38 / 39 / 40 / 41 读数均出自附录 D.21 与 D.22。