可复现增益账本：SFT 数据研究循环中种子噪声、等时程前沿与合成瞄准产出率的三层记账
针对自动化 SFT 数据研究循环只记「轮次—分数」两维的问题，把种子级复现、等墙钟前沿与合成瞄准产出率并入判据，使每个组件的增益可归因、可定价、可证伪
背景与动机
自动化 SFT 数据研究已经闭环：智能体改写数据配方、从同一个 base checkpoint 重训、用评测分数反哺下一轮。AutoSFT（arXiv:2610.22194，v1 2026-10-15，UIUC + 清华 + ModelBest + 港中文 + 北邮）是这条线上最近的完整系统，它把数据工程动作写成六族动作空间，用 executor / 四个 analysis 子代理 / synthesis 子代理逐个叠加，报告 analysis 带来 +6.5 IFEval、synthesis 带来 +3.4 IFEval 与 +2.9 IFBench、代码域 analysis 带来 +3.7 MBPP+。缺的不是”能不能搜到更好的配方”，而是”这个增益稳不稳、值多少、来自哪里”。
论文自带一次纯种子复现，却没用进任何一个头条数字。 附录 A.2 记录 R9 与 R15 是同一份配方（34,184 行、同一组稠密权重），只差 round id 与 shuffling seed，IFEval 从 67.76 掉到 66.23（−1.53 分），IFBench 从 39.96 掉到 37.49（−2.46 分）。注意论文自身在这里有 0.01 的内部不一致：39.96 − 2.46 = 37.50，而正文印的是 37.49；本提案后续一律以印值 37.49 为准（差 0.01 不影响任何结论）。作者明确写这对轮次”可用作一次重复轮次能移动多少的度量”，然后把它留在附录。对照附录 A.1 表 1 全部 32 轮——本编辑已按表 1 逐行重算：IFEval 最大 0.6776、最小 0.6036，全距 7.40 分；IFBench 最大 0.3996、最小 0.3438，全距 5.58 分——纯种子一项就占 20.7% 与 44.1%。synthesis 在 IFBench 上的增益是 51.95 − 49.02 = +2.93 分（摘要头条印的是 +2.9，2.93 为按 §5.3 两数相减的派生值），是该种子级落差（2.46）的 1.19 倍。
同一份配方在被重放时还会发生行级漂移：R24 请求复用 R9 的行选择，由于「每一轮都不继承上一轮」，实际是从同一个池重新拼装，结果 34,283 行对 R9 的 34,184 行——缺 599 行实例、多 698 行。也就是说「配方相同」在 AutoSFT 的协议下并不保证「数据相同」，种子账要记的不只是训练噪声，还有重放装配噪声。
附录 E 已经把口子挑明：每个配置只跑一次搜索，avg@10 只能压住单个 checkpoint 的评测噪声，压不住独立搜索之间的变异。表 4 用来论证”analysis 解锁了更好动作”的 new-best 率，分母只有 2 到 30。
⚠️ 口径订正（2026-10-17 回源表 4）：原稿把
33.3%（10/30）当作 “mixture 基线”，这一行其实是 with-analysis 列。表 4 的表头是Data action | With analysis | Base，Mixture 家族下Constraint type为33.3% (10/30)（with analysis）对17.2% (5/29)（base），Number of constraints为34.8% (8/23)对14.3% (1/7)（base）。分母 30 也印证了这一点——表头注明 “The run with analysis covers 30 rounds”。因此：
- 原稿的
41.7%（10/24）对 33.3%（10/30）差 0.63 个标准误是同一条 run 内部的家族比较（analysis 解锁的动作 vs 同 run 的 mixture 动作），不是跨 run 对照；- 若按论文自己的论证意图，拿 analysis 解锁的动作去比base run 的 mixture（
17.2%/5/29），则41.7% (10/24)与17.2% (5/29)相差约 1.99 个标准误——比 0.63 大三倍多。 两栏口径都保留：0.63 SE 是「同 run 内家族差异」的保守读法，1.99 SE 是「跨 run 对照」的论文原意读法。42.9%（6/14）一行同理（对 with-analysis mixture 为 0.60 SE）。“Replace answers only” 一行的分母确为 3，且比率是0.0% (0/3)。
三个组件跑在三个不同的预算上，头条不能相加。表 6 显示 analysis 消融在 3M token、只测 IFEval，synthesis 消融在 100M token、测 IFEval 与 IFBench，代码域在 100M token、seq 8,192、MBPP+ avg@3。两个”base”的 IFEval 分别是 60.60（50 轮内最优 62.35）与 78.15，相差 17.55 分。指令跟随域没有一条等预算的累积阶梯，analysis 在 100M 档的边际价值是未知的。
墙钟才是硬约束，报告却用轮次。 §5.4 在 64 小时内 Base 与 Base+Analysis 各完成 15 轮、Base+Analysis+Synthesis 只完成 6 轮，折合 4.27 与 10.67 小时/轮（2.50 倍），正文据此说”更少轮数达到可比峰值”；同在 64 小时，两条曲线的峰值是 65.8 与 64.8，差 1.0 分。附录 D 给了完整成本（每轮约 0.8 GPU 小时训练 + 0.15 GPU 小时评测、约 2.6×10^8 个 agent token、约 95 美元/轮、20 轮约 130 GPU 小时与 1,900 美元），却从未与增益对齐：按 20 轮 3.43 分算，约 554 美元/IFEval 分。更值得记的一笔是 2.6×10^8 与 10^8 之比为 2.60——决定”用哪些数据”消耗的 token，是被选中数据的 2.6 倍。这个比率从未被当作效率指标。
合成瞄准既没有产出率，也没有停止规则。odd_even_syllables 在 3 个独立轮次被瞄准、每轮 0 分，正文由此说”供给教不了模型还不会的约束”，却没统计有多少被瞄准能力从未移动。同一张图里还有正对照：repeat_prompt 在前 8 轮严格通过率停在 40% 附近，合成批次进入的 R9 当轮即升到 75.6%，此后维持在 62%–80%——被瞄准的能力里至少有一类是真的被教会的，所以问题不是”瞄准没用”，而是”瞄准的产出率从未被统计”。图 16 逐字写 “capabilities backed by fewer than ten questions are drawn faded because their differences are likely to reflect small-sample noise”，这份样本量警告没有进入聚合断言。合成行占最终配方 token 的比例 φ_syn 未刊出，+3.43 分（81.58 − 78.15）无法在”多了数据”与”换了数据”之间分配。瞄准触发条件本身有一条可挂接的阈值：图 16 说明文字写合成子代理”selects a target when the pool contains far fewer than the 1000 rows it treats as sufficient”——1000 行是它的充分性门槛，这正是产出率账需要的分母口径。
三个组件里 executor 一条分数臂都没有：§5.1 只报行为量——同等墙钟内 base run 压缩 10 次、executor run 压缩 5 次（图 7），shell 命令占记录事件的比例从 58% 降到 29%，base agent 发出 268 次状态检查、占其命令的 23.0%——附录 A.3 自陈这些构成 “do not establish that context pressure caused the scores to stop improving”。
现有数据选择工作（MIG、DELIFT、AutoSelection、DataChef、TREX）都不闭环：给定一个池与一个算子，产出一个固定数据集，下游训练结果不回到选择过程。AutoSFT 把环闭上了，记账却只到”轮次—分数”两维，缺重复维、成本维与瞄准产出维。
核心思路
RGL（Replicated Gain Ledger，可复现增益账本）：不动选择算子，动的是闭环的记账与判据。四本账加一条判定规则。
种子账——冻结配方重复探针。 每轮从训练预算里划出固定份额（建议 1/8），用 r=2 个额外 shuffling seed 复训当前 incumbent 配方，滚动估计 σ_seed(预算档, 基准)。复训结果不写入搜索历史 H_t，防止智能体把噪声读成信号。AutoSFT 的 R9/R15 是 r=1 的既有实例，证明该量可测且量级不小。搜索级方差用固定动作脚本重放近似：同一份动作序列、换随机实现、跑 m=3 次，给出 σ_search 的下界并声明是下界。
口径账是第二本：组件 × 预算阶梯。在 3M / 10M / 30M / 100M 四档上做”组件 × 档位”矩阵，同一档内跑 Base → +Analysis → +Synthesis 的累积阶梯；横轴换成墙钟，报告等时程前沿 S_π(τ)（配置 π 在 τ 小时内达到的最优分）与前沿下面积 A_π(τ₀)。
第三本账记成本，把每轮开销与前沿对齐。报告 USD/点、GPU-小时/点，以及 agent-token / 训练-token 比 ρ_tok（AutoSFT 当前 2.60）。
第四本账记瞄准产出，即产出率加冷却。每个能力记录瞄准轮次集合、合成行数、进入配方行数、占配方 token 比例 φ_syn、严格通过率轨迹；瞄准产出率 η_c = Δpass_c ÷（该能力合成行占比）。冷却规则：连续 2 轮瞄准而 Δpass_c < 2σ_seed 的能力进入冷却 3 轮，冷却按能力叶子的规范化签名匹配，不按名字匹配。
最后一条是判定规则。一个组件的增益要记为证据，须三条全部成立：Δ > 2σ̂_seed（同一预算档实测）；Δ 在等时程前沿上成立（同墙钟，不是同轮次）；单位成本不劣于”把这笔预算给基线多跑几轮”的对照臂。第三条是 AutoSFT §5.2 已经部分做过的事——base 多给 20 轮仍落后 4.75 分，这是全篇最稳健的一条，应推广为默认对照。
与现有工作的边界：AutoSFT 的”每轮从 base 重训”消除的是轮间携带，不是运行间方差，RGL 把重复度量做成预算内的常设探针；MIG / DELIFT / AutoSelection / DataChef 优化的是选择算子本身，RGL 不替换算子，只要求任何算子进环前先交四本账；合成侧现有工作只在”约束可验证”层面设门，RGL 追加产出率与冷却，并把 φ_syn 列为强制刊出量。
技术路线
第一步，复现探针标定。 在 Qwen3-1.7B-Base 与开源 ifeval-like 池上，复刻 R9/R15 这类纯种子对，在四档预算各做 r=4 的冻结配方复训，得到 σ_seed(档)。终止线：IFBench 档 σ̂_seed ≥ 2.0 分时，AutoSFT 的 +2.93 落在 1.5σ 内，头条需改写。
第二步做等预算累积阶梯。在同一 100M 档跑 Base、+Analysis、+Synthesis 三条完整搜索，代码域复用 MBPP+ 池并另起一条 30M 档压成本；每条 m=3 次独立搜索（不同的子代理起始角与 seed），输出 S_π(τ) 与 A_π(64h)。
第三步把成本账与前沿对齐。逐轮记录 GPU 小时、agent token、USD，产出 USD/点与 ρ_tok；测试”廉价分析子代理 + artifact 摘要缓存”能否把 ρ_tok 从 2.60 压到 1.5 以下而不损 S_π(64h)，非劣性边界取 1.0 分。
第四步验证瞄准产出与冷却。在合成子代理上加计数与冷却，做 A/B：有冷却对无冷却，在等预算（不是等轮次）下比较最终分与合成预算占比；并行加一条等数据量对照臂——把合成行换成等量的池内随机补足行，φ_syn 相同、内容不同。
第五步处理小样本能力层，用分层 bootstrap。给图 16 的 per-capability 差配 95% 区间，少于 10 题的能力并入”证据不足”层，重算聚合断言。
关键技术挑战有五处：复训探针会挤占搜索预算，用独立小额配额加”不写入历史”隔离，并画”探针预算占比—σ̂ 稳定性”曲线取拐点；σ_search 需要多次完整搜索，成本是单轮的 m 倍，用固定动作脚本重放只取下界；冷却规则会被智能体换个名字重新瞄准同一能力来绕过，按规范化签名匹配；ρ_tok 下降会削弱分析深度，用等时程前沿做非劣性检验而不是单点分数；跨档 σ_seed 禁止借用——本次 R9/R15 实测在 10M 档、synthesis 头条在 100M 档，直接相减属于外推，必须逐档实测。
预期成果
定量目标：四档 σ_seed 表与 σ_search 下界，判据是 IFBench σ̂_seed ≥ 2.0 分即把 +2.93 降级为”与种子噪声同量级”；等时程前沿把”6 轮对 15 轮”换成 64 小时曲线下面积差，判据是 +Synthesis 与 +Analysis 的 A(64h) 差小于 1.5 分时，“更早达到”不构成效率主张；USD/点、GPU-小时/点、ρ_tok 成为报告标配，目标 ρ_tok ≤ 1.5；瞄准产出率预期至少 1/3 的被瞄准能力在 3 轮内 Δpass 不超过噪声（由 odd_even_syllables 的 3 轮 0 分外推），冷却规则应省下至少 20% 合成预算且最终分非劣；等数据量对照若拿到合成增益的 60% 以上，机制主张就从”合成内容更对”改写成”合成扩充了被低估的尾部供给”。
定性影响：把自动化数据研究的问法从”能不能搜到更好的配方”推进到”这个增益值多少、稳不稳、来自哪里”；给 PostTrainBench 这一类审计基准补上可复现增益的判据层；对企业内 SFT 数据迭代的直接意义是，不增加一块 GPU 也能靠”先量噪声再报增益”避免把种子抖动当成成果。
相关工作
arXiv:2610.22194—— AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning（v1 2026-10-15）。本提案的直接对象，其六族数据动作空间与 from-base 重训协议被完整保留，RGL 补的是重复度量、等时程口径与瞄准产出账。arXiv:2605.12944—— From Instance Selection to Fixed-Pool Data Recipe Search for Supervised Fine-Tuning（AutoSelection，v1 2026-05-13）。把固定池上的算子程序搜索形式化，是 RGL 口径账要挂接的选择侧基线。arXiv:2602.11089—— DataChef: Cooking Up Optimal Data Recipes for LLM Adaptation via Reinforcement Learning（v1 2026-02-11）。用代理奖励训练配方策略，与 RGL 的差别在于它优化配方本身而不度量配方可复现性。arXiv:2604.14116—— TREX: Automating LLM Fine-tuning via Agent-Driven Tree-based Exploration（v1 2026-04-15）。树搜索式微调自动化，其搜索代价与 RGL 的 ρ_tok 口径可直接对比。arXiv:2603.08640—— PostTrainBench: Can LLM Agents Automate LLM Post-Training?（v1 2026-03-09）。审计 84 次智能体运行后发现几乎全部收敛到 SFT 且以数据为唯一搜索对象，是 RGL 判据层的目标审计基准。
引用核验记录（2026-10-17 编辑时逐条回源）
一手源：arXiv:2610.22194 v1 HTML 全文（arxiv.org/html/2610.22194v1，剥离标签后约 8.25 万字符）+ abs 页。
| # | 声明 | 一手位置 | 结果 |
|---|---|---|---|
| 1 | 标题 / 提交日期 | abs 页 citation_title、citation_date = 2026/10/15 | ✅ 一致 |
| 2 | 六族动作空间 + executor / 4 analysis / synthesis | 摘要与 §1 | ✅ 一致 |
| 3 | analysis +6.5 IFEval、synthesis +3.4 IFEval / +2.9 IFBench、代码域 +3.7 MBPP+ | 摘要（两处） | ✅ 一致 |
| 4 | R9：34,184 行、seed 50、IFEval 67.76、IFBench 39.96 | 附录 A.2 + 表 1 第 9 行（34,184 0.6776 0.3996） | ✅ 一致 |
| 5 | 附录 A.2 印 IFBench 37.49 (-2.46) | ❌ 已订正为 37.49（论文自身 39.96−2.46 与印值差 0.01） | |
| 6 | 表 1 32 轮 IFEval 全距 7.40 / IFBench 全距 5.58 | 按表 1 逐行重算（max−min） | ✅ 一致（本编辑自行复算） |
| 7 | 种子落差占全距 20.7% / 44.1% | 由第 6 行重算得 | ✅ 一致 |
| 8 | 附录 E “Each comparison runs one search per configuration … does not bound the variation between independent searches” | 附录 E 首段 | ✅ 逐字一致 |
| 9 | 表 4 表头 `With analysis | Base`；该行为 with-analysis | |
| 10 | Validation results 41.7%（10/24）、Edit instructions and answers 42.9%（6/14） | 表 4 | ✅ 一致 |
| 11 | ”Replace answers only” 分母为 3 | 表 4 0.0% (0/3) | ✅ 一致（比率为 0.0%） |
| 12 | 64 小时内 15 / 15 / 6 轮 | §5.4 图 9 右面板说明 | ✅ 一致 |
| 13 | 每轮 0.8 GPU 小时训练（8×H800）+ 0.15 评测、20 轮约 130 GPU 小时、2.6×10⁸ token、约 95 美元/轮、1,900 美元 | 附录 D | ✅ 一致 |
| 14 | base IFEval 60.60（50 轮最优 62.35）、分析臂 67.10@R30、多给 20 轮仍落后 4.75 | §5.2 | ✅ 一致 |
| 15 | synthesis 臂 81.58 vs base 78.15；IFBench 51.95 vs 49.02 | §5.3 | ✅ 一致（+2.93 为派生值） |
| 16 | executor：压缩 10 次 → 5 次 | §5.1 逐字 “the base run compacts ten times and the executor run five” | ✅ 一致 |
| 17 | shell 命令 58% → 29%；268 次状态检查占 23.0% | §5.1 | ✅ 一致 |
| 18 | 附录 A.3 自陈未建立上下文压力的因果 | 附录 A.3（表 2 说明） | ✅ 逐字一致 |
| 19 | odd_even_syllables 3 轮瞄准、每轮 0 分 | §5.3 与附录 C.2（图 15） | ✅ 一致 |
| 20 | 图 16 少于 10 题的能力画淡色 | 图 16 说明逐字 | ✅ 一致 |
| 21 | 机构名单 | 署名行：UIUC、清华、ModelBest、港中文、北邮 | ❌ 原稿漏两家，已补 |
| 22 | R24 重放 34,283 行 vs R9 34,184 行（−599 / +698） | 附录 A.2 | ✅ 一致（本编辑新增证据） |
| 23 | repeat_prompt 40% → 75.6%@R9 | 附录 C.2（图 15） | ✅ 一致（新增正对照） |
| 24 | 合成瞄准阈值 1000 行 | 图 16 说明文字 | ✅ 一致（新增） |
| 25 | 四篇相关工作编号与标题 | abs 页 citation_title 逐条比对（终审补做） | ✅ 全部一致（见下） |
终审补充核验（2026-10-17）
编辑轮因 arXiv API 429 限流而标为「未逐条回源」的四篇相关工作，终审已逐个回 abs 页补齐，标题全部逐字一致，且四个编号的 YYMM 与 [v1] 提交月份全部自洽。终审同时把此前缺失的提交日期补进参考文献条目：
| 编号 | 标题（abs 页 citation_title） | citation_date |
|---|---|---|
| 2605.12944 | From Instance Selection to Fixed-Pool Data Recipe Search for Supervised Fine-Tuning | 2026/05/13 |
| 2602.11089 | DataChef: Cooking Up Optimal Data Recipes for LLM Adaptation via Reinforcement Learning | 2026/02/11 |
| 2604.14116 | TREX: Automating LLM Fine-tuning via Agent-Driven Tree-based Exploration | 2026/04/15 |
| 2603.08640 | PostTrainBench: Can LLM Agents Automate LLM Post-Training? | 2026/03/09 |
主对象 2610.22194 的 abs 页 citation_date = 2026/10/15，与编号 YYMM（2610）一致。附录 C.1 表 4 已按 <tr>/<td> 结构化解析逐格复核：Mixture 家族 Constraint type = with analysis 33.3% (10/30) 对 base 17.2% (5/29)、Number of constraints 34.8% (8/23) 对 14.3% (1/7)；Pruning 家族 Validation results 41.7% (10/24) 与 Text length 42.9% (6/14) 在 base 列为 –；Resupervision / Replace answers only 0.0% (0/3)。编辑的第 9 条订正（33.3% 属 with-analysis 而非 base 基线）成立。附录 A.2 确认 R9 34,184 行 / IFEval 67.76 / IFBench 39.96 与 R15 66.23 / 37.49，37.50 全文零命中，编辑的 0.01 内部不一致判定成立。§5.1 确认 “the base run compacts ten times and the executor run five”、shell 命令 58% → 29%、268 次状态检查占 23.0%；附录 D 确认 0.8 + 0.15 GPU 小时、2.6×10^8 agent token、95 美元/轮、20 轮 130 GPU 小时与 1,900 美元；§5.2 确认 base 60.60、50 轮最优 62.35、分析臂 67.10、多给 20 轮仍落后 4.75；§5.3 确认 81.58 对 78.15、IFBench 51.95 对 49.02。
⚠️ 终审追加口径提醒（2026-10-17）：表 4 的两种读法（0.63 SE 与 1.99 SE）都不构成 analysis 因子的干净估计。论文原文写 “The base run never takes these actions, since it stays within the mixture family”，即 base run 在
Pruning / Repair / Resupervision三个家族上一格数据都没有（表 4 中为–）。因此
41.7% (10/24)vs33.3% (10/30)：同 run、跨家族，不含 run 因子；41.7% (10/24)vs17.2% (5/29)：跨 run 且跨家族，run 与家族两个因子结构性混杂，无法拆分。换言之家族与 run 在 AutoSFT 的设计里是共线的，任何 new-best 率的对撞都只能读作「with-analysis 的 pruning 动作 vs base 的 mixture 动作」这一复合对比，不能直接读作 analysis 的因果效应。RGL 若要给这条论证定标，需要在 base run 上补跑 pruning 家族（或反之），否则口径账只能记为「不可归因」。
本轮未核到的边界
- 表 1 中 IFEval/IFBench 的
avg@10评测重复次数只在 §5.2 的 setup 里出现，代码域avg@3在 §5.4，两者不可互换——本文的 σ_seed 一律按档测量，不做跨档借用。 - 摘要与正文的 +2.9 与派生值 +2.93 并存，引用时应注明来源。
相关工作的 AutoSelection / DataChef / TREX / PostTrainBench 四个编号未逐个回源（终审已补做，见上）。- 表 4 的家族 × run 混杂（见上）无法在现有刊出数据内解开，只能在 RGL 的口径账里记为不可归因项。