长上下文指令数据增益的可辨识性审计：分离修复次数、训练预算与量具召回对结构质量的贡献

背景与动机

LongForge（arXiv:2610.23167，腾讯混元团队 + 中科院，v1 2026-10-16）把长上下文指令数据的质量从「生成管线里的一次性标量判断」改写为「文档—问题—答案三元对齐结构上的四个可追溯维度」：广度 $B$（用到的证据跨度数）、深度 $P$（释义压缩后证据到结论的最长路径）、正确性 $R$（有支撑的推理步占比）、完备性 $C$（被回答的信息点占比）。分析器用 DeepSeek-V4.1-Flash 把每个样本反向重建为证据—断言推理图，合成器把 $R$ 与 $C$ 用作生成期闸门，把 $B$ 与 $P$ 留到建训练集时再混合。在 Llama3.1-8B 与 Qwen3.5-4B 两个 base 上，LongForge-1 的六基准均值为 48.87 与 56.90，LongForge-N 为 50.63 与 57.87，超出最强基线 LongMagpie（45.92 与 54.74）2.16 到 4.71 分。

这套表示本身是进步：它让「答案用了文档哪几段、写下几步推理」变成可查的对象。裂口出现在从「可查」跳到「可归因」的那一步。论文用同一批实验主张三件互不分离的事，而现有设置无法把它们分开。

第一件：生成端更好。把同一道闸门套到七个基线上只有 55.5% 通过，合成器首答通过率 87.46%、重答后 99.21%，论文据此写「反映生成本身的质量」。基线只被判一次，合成数据最多被重答三次，且失败原因（哪一步无支撑、哪个信息点没答）被回喂给模型。55.5% 与 99.21% 之间隔着的不是一道闸门，而是一道闸门加三次修复。

第二件：结构分布是杠杆。混合消融在闸门与候选池都固定的前提下把 $B$、$P$ 降到基线水平，六基准均值从 56.90 掉到 55.74，落差 1.16 分。这个对照做得干净，可它之外的所有对比都不等预算：九个训练集一律取 2,048 条样本，而论文表 6 给出每样本均值 token 从 LongFaith 的 2,871 到 LongMIT 的 69,699，相差 24.3 倍；LongForge-1 的 18,248 是 LongMagpie 6,250 的 2.92 倍。

第三件：测量可信。论文给的是单向保证——图「既不能引入文档中不存在的证据，也不能造出比答案更深或更完备的链」，这是可靠性一侧。抽取环节的召回率不受任何约束，也从未被测量。350 条人工审计的两位审计员是「在已建好的推理图上自行推导数值，再与机器比对」（附录 C.5、表 10），被漏掉的证据跨度不在图上，结构性不可见。

六处可直接核验的硬证据：

1. 闸门几乎不拒绝，最宽松的一档还承载了 94.1% 的数据。 阈值 $\tau_R(k)$ 随推理步数递减：$k\le2$ 取 1.00，$3\le k\le5$ 取 0.85，$k\ge6$ 取 0.75。附录 A.2 自陈「保留答案中 94.1% 至少有 6 步推理，落在正确性阈值最宽松的一档，因此这一档决定了闸门的整体通过率」。0.75 意味着四步里允许一步无支撑，容忍的缺陷密度 25% 高于论文自己诊断的基线缺陷密度 23.3%（23.3% 的推理步无支撑）。最终失败的 162 条里 157 条只因正确性失败，完备性几乎从不绑定。

2. 修复预算是不对称的。 2,568 条首答失败中有 2,406 条（93.7%）被重答修好。按同一修复率外推，基线 44.5% 的失败样本里约 41.7% 可被修回，通过率会从 55.5% 升到约 86%，与 99.21% 的差距远小于论文呈现的 43.7 个百分点。基线从未获得重答预算，而这个外推是纯算术，跑一遍即用不着外推。

3. 量具在回路里。 生成用 DeepSeek-V4.1-Flash，逐步判定也用 DeepSeek-V4.1-Flash。合成模型消融把生成器换成 Qwen3.8-27B（57.21 分，+0.31），裁判没有换。判定者与被判定者同模型这一层从未被消融。

4. 单位在 LongForge-N 上换过。 它的 $B=95.5$ 是 4.96 轮答案证据的并集（取并集而非求和，以避免重复计数），基线一条样本只含一个 QA 对。论文把两者放进表 1 的同一行，训练侧又统一按 2,048 条样本对齐，恰好是量纲发生变化的那一级。它的输出 token 均值 3,385，是 LongForge-1 的 522 的 6.49 倍。

5. 机制与基准不同向。 文档利用率从 0.102 抬到 0.519，而最直接奖励「用满整篇文档」的 MRCR 在 Llama3.1-8B 上从 19.29±2.18 降到 15.92±1.84（差值 −3.37，差值的标准误约 1.65，$|z|\approx2.0$）；在 Qwen3.5-4B 上只涨 1.90。真正撑起增量的是 LongBench v2 与 HELMET。256k 长输入那一档只有 LongForge-1，没有 LongForge-N。

6. 长输入那一条被自身的误差棒压住。 MRCR 256k 上 LongForge-1 得 22.42±1.04，对最强基线 LongAlign 的 18.87±5.42，差 3.55，差值的标准误约 3.19，$|z|\approx1.1$。论文把这一条写成「相对提升 18.8%」。

三条叠加之后，「+2.2 到 4.7 分」无法在生成器、修复次数、训练预算与量具口径之间分配。

核心思路

提出 TIL（Triple-Identifiability Ledger，三重可辨识账本）：不新增维度、不改推理图，只把 LongForge 已有的实验拆成三组可辨识的对照，并把三本账定为数据卡片的必填字段。

第一本账是修复账，分离「生成器质量」与「重试预算」。关键量是基线修复后通过率 $p^{\rm rep}_b$ 与可归因份额 $\alpha_{\rm rep}$。

第二本账是预算与单位账，把所有对比锚到训练 token 而不是样本条数，并把结构量归一化到「每个 QA 对」这一级。关键量是等预算增益 $\Delta_{\rm eq}$ 与单位因子 $n_{\rm turn}$。

第三本账是量具账，把分析器移出回路，测它的召回与辨别力。关键量是种植证据回收率 $\rho_{\rm recall}$、跨分析仪一致度 $\kappa$、注入缺陷拒绝率 $\pi_{\rm rej}$、阈值绑定率 $\beta_{\rm bind}$。

与现有工作的区别在判据而不在方法：LongForge 问「这份数据的结构取什么值」，GATEAU 问「这条样本有没有长程依赖」，TIL 问「结构值的改善里有多少能在排除修复次数、预算差异与量具口径之后仍然成立」。

技术路线

第一步做修复对称臂。取七个基线各 2,048 条，施加与 LongForge 完全相同的闸门与最多三次重答，回喂同样的失败原因（哪一步无支撑、哪个信息点未答）。统计 $p^{\rm rep}_b$，再训出 Repaired-Baseline 臂，与 LongForge-1 在等样本与等 token 两个口径上对比。可归因份额定义为 $\alpha_{\rm rep}=(S_{\rm LF1}-S_{\rm rep\_base})/(S_{\rm LF1}-S_{\rm base})$，接近 1 表示增益来自生成与结构，接近 0 表示增益主要来自重试预算。附带一个 2×2 因子设计：是否允许重答 × 数据来源，各 3 个 seed。

第二步做闸门标定。刊出 $R$ 的条件分布 $R\mid k$（按推理步数分箱）并与 $\tau_R(k)$ 并列；定义绑定率 $\beta_{\rm bind}$ 为落在 $[\tau_R(k),\tau_R(k)+0.05]$ 区间的样本占比。做注入缺陷的拒绝率测试：把某步的输入证据换成无关段落、删掉一个信息点的答案、把结论数值取反、插入一段纯复述，四类干预各 200 条，$\pi_{\rm rej}\ge0.8$ 才算有辨别力。再做阈值扫描 $\tau\in\{0.75,0.85,0.95,1.00\}$，固定不分层与分层两版，各 3 个 seed，看下游分数是否随 $\tau$ 单调。

第三步做等预算与单位归一化。以 LongForge-1 的 37.4M 训练 token（18,248 × 2,048）为锚，把每个基线补齐到同一 token 数：LongMagpie 需 5,981 条样本，LongFaith 需 13,024 条，LongMIT 只需 536 条。并把结构量归一到每个 QA 对：$B^{\rm per}=B/n_{\rm turn}$，利用率同法处理。主表改成 2×2：单位（每样本 / 每 QA 对）× 预算（等样本 / 等 token）。这一格补上之后，LongForge-1 对 LongMagpie 的 2.95 与 2.16 分落到哪个数，是这步的直接产出。

第四步把量具移出回路。种植证据回收率：在文档中插入 $m$ 段答案确实用到的文本，或对已有答案删去一段证据后重测，取被抽回的比例 $\rho_{\rm recall}$，按 8k、32k、128k 三档文档长度分箱；若长档显著低于短档，「广度不随文档长度增长」需按落差重估，弹性 $\beta$ 一并重算。交叉分析仪：换用 Qwen3.8-27B 或另一个模型在 346 条子集上重建图，报 $\kappa_B$、$\kappa_P$、$\kappa_R$ 与 $\Delta R$。审计员改为从原始 $(D,Q,A)$ 独立建图后再与机器比对，这才是召回层面的审计，而不是图上的计数复核。

关键技术挑战有三处。成本是第一处：分析器占全部调用的 98.99%，证据抽取独占 76.49%，每条基线样本约 100 次调用，整个池 278 万次，四组对照全量跑一遍会翻倍；降本只能走「先召回再精读」的两阶段抽取，而前提是先把 $\rho_{\rm recall}$ 的基线值测出来，否则降本会直接毁掉被测量的那个量。第二处是等预算臂的长尾：LongFaith 每样本 2,871 token，补齐到 37.4M 需要 13,024 条，超出其发布规模，这一臂只能做到部分等预算并须显式标注。第三处是判定本身就不牢：两名审计员在正确性上的三档一致率只有 0.671（AC1 0.568），而闸门绑定的维度恰好是正确性，$\pi_{\rm rej}$ 与 $\kappa_R$ 会把这个下限钉死。

预期成果

定量目标是给出 $\alpha_{\rm rep}$、$\Delta_{\rm eq}$、$\rho_{\rm recall}$、$\pi_{\rm rej}$、$\beta_{\rm bind}$、$\kappa_R$ 六个数的实测值，其中 $\pi_{\rm rej}\ge0.8$ 与 $\kappa_R\ge0.8$ 是方法可用的门槛。按现有数字外推，$\alpha_{\rm rep}$ 落在 0.4 到 0.7 区间，即 LongForge 相对基线的优势里约三到六成由重答预算贡献；等预算口径下 LongForge-1 对 LongMagpie 的优势从 2.95 与 2.16 收敛到 1.5 分以内；$\rho_{\rm recall}$ 在 128k 档相对 8k 档的落差若超过 15 个百分点，弹性 $\beta$ 需上修，「广度不随文档长度增长」这条结论要改写。

定性目标是把「数据质量维度」从描述量升级为可审计的实验量：任何报告结构维度的合成工作，都要一并交出修复账、预算账与量具账。

这套账本与方法无关。凡是「生成—判定—筛选—重生成」闭环的合成管线，包括推理蒸馏轨迹、Agent 轨迹筛选、代码合成数据，都有同构的不可辨识性，且共性缺口一致：筛选器几乎不拒绝，被筛者从不获得重试，判定者与生成者同模型。

相关工作

审计对象是 LongForge，Measuring and Improving Long-Context Instruction Data via Evidence-Assertion Reasoning Graphs（arXiv:2610.23167，2026-10-16），它给出四个结构维度与生成期闸门。

训练口径沿用 LongAlign，A Recipe for Long Context Alignment of Large Language Models（arXiv:2401.18058，2024-01-31），其 packing、排序批处理与损失加权是等预算对照必须复用的设置。

最强基线是 LongMagpie，A Self-synthesis Method for Generating Large-scale Long-context Instructions（arXiv:2505.17134，2025-05-22），其训练输入均值仅 6,250 token，正好为等预算臂提供 2.92 倍的量级差。

要被替换的那一类做法以 GATEAU 为代表，Selecting Influential Samples for Long Context Alignment（arXiv:2410.15633，2024-10-21），它把长上下文数据质量压成单个长程依赖标量。

方法论来源取自 ProLong，How to Train Long-Context Language Models (Effectively)（arXiv:2410.02660，2024-10-03），它以 SFT 后评测与显式 token 预算做配方消融。