研究提案 已修订

摊销加权构造账本 AWCL:把「一次构造、多次摊销」从成本叙事拆成六本可证伪的账 —— 面向前瞻式语料工作区强化学习

针对 Librarian Agents 的「一次构造、多次摊销」主张,提出六本分层账本(查询分布、跨模型单价、目标—主张对齐、评估交叉、独立单元、结构贡献),把摊销收益从叙事变为可复算的交点指标 q*。

强化学习 语料工程 检索增强生成 长上下文 数据工程 Agent 评估方法

背景与动机

Librarian Agents(arXiv:2610.22273,v1 2026-10-15,cs.LG)把语料组织从「规则先行的预计算」改写成一个可优化的策略:builder agent 对原始文档执行 CreateFile / MergeFiles / Delete / Stop 四类动作,产出层级化的合成文件与溯源链接,冻结的 answering agent 在该工作区上作答;构造过程被形式化为有限视界 MDP,用 GRPO 直接优化下游作答正确率。论文给出三个设计目标(desiderata):覆盖广且导航短、保真回退、跨查询摊销。

署名机构以文末作者块为准:Singh、Zhang、Lee、Nair、Finn 五人署 Stanford University,Kumar 署 Carnegie Mellon University;「Stanford IRIS Lab」与「CMU AIRE Lab」出现在致谢(Acknowledgements)段落,是讨论来源而非署名单位。一手配置(§4 实验段 + A.2、A.7):BrowseComp-Plus 拆为 680 个语料级训练任务与 50 个留出语料级任务;builder 侧学习率 4×10−54\times10^{-5}、批大小 8、rollout 组大小 4、最大构造视界 32 个 builder turn;builder 单次生成上限 1,024 token,完整构造轨迹上限 60,000 token;每 8 个 builder turn 探一次 answerability,每条轨迹最多 4 次探针;γ=1\gamma=1。CreateFile 与 MergeFiles 的实际写入由固定的 Qwen3.5-35B-A3B 内容执行器完成,超长 builder 历史由固定的 Gemini 3.1 Flash Lite 压缩,作答者与评估器全程冻结。

头条数字很亮眼:BrowseComp-Plus 上 50 条留出任务、Qwen3.5-4B 作答者下精度 0.75,对比 Embedding 0.42 与 Reranker 0.44;BRIGHT 三域零样本迁移 pass@1 平均 52.0±2.8,对比最强检索基线 Dense 20.8±2.9,差值 31.2 个百分点。

问题在于,「一次构造、多次摊销」这个主张在论文自己的度量下并没有被度量。以下五处是逐条对出来的硬缺口。

其一,被优化的量不是被声称的量。正文写明主实验取 λtok=λread=α=0\lambda_{\rm tok}=\lambda_{\rm read}=\alpha=0,即奖励里没有导航成本项、没有合成 token 成本项、没有构造成本项,优化目标退化为纯精度 S(F)S(\mathcal{F})。而头条收益「每期望正确答案少用 33.8% token」是一个成本量。成本在目标函数中系数全为零,却在结论中被当作收益。

其二,摊销曲线在论文自己的公式下是单调变差的。附录 A.4 定义 Tm(q)=Bm/q+AmT_m(q)=B_m/q+A_m,精度归一化后为 Tm(q)/pmT_m(q)/p_m。代入主表自印的六个数(BRL=178,926B_{\rm RL}=178{,}926、ARL=9,346A_{\rm RL}=9{,}346、pRL=0.637p_{\rm RL}=0.637;Bbase=127,683B_{\rm base}=127{,}683、Abase=1,238A_{\rm base}=1{,}238、pbase=0.242p_{\rm base}=0.242),归一化比值 R(q)=BRL/(q pRL)+ARL/pRLBbase/(q pbase)+Abase/pbaseR(q)=\dfrac{B_{\rm RL}/(q\,p_{\rm RL})+A_{\rm RL}/p_{\rm RL}}{B_{\rm base}/(q\,p_{\rm base})+A_{\rm base}/p_{\rm base}} 随 qq 从 q→0q\to0 时的 0.53 单调升向 q→∞q\to\infty 时的 2.87。

⚠️ 口径订正:q→∞q\to\infty 时归一化比值的极限是 ARL/pRLAbase/pbase=14,671.95,115.7=2.87\dfrac{A_{\rm RL}/p_{\rm RL}}{A_{\rm base}/p_{\rm base}}=\dfrac{14{,}671.9}{5{,}115.7}=2.87,不是 7.55。7.55 是未经精度归一化的答案侧 token 比 ARL/Abase=9,346/1,238A_{\rm RL}/A_{\rm base}=9{,}346/1{,}238,两者不能混用——归一化后摊销劣势被精度优势抵消掉一大半,这是「摊销反转」这条论断的真实量级。

穿越 1.0 的点由下式给出:

q∗=BRL/pRL−Bbase/pbaseAbase/pbase−ARL/pRL=280,890−527,6165,115.7−14,671.9≈25.8q^\ast=\frac{B_{\rm RL}/p_{\rm RL}-B_{\rm base}/p_{\rm base}}{A_{\rm base}/p_{\rm base}-A_{\rm RL}/p_{\rm RL}}=\frac{280{,}890-527{,}616}{5{,}115.7-14{,}671.9}\approx25.8

(正文报告的点估计为 31,配对 bootstrap 区间 18–54。)

⚠️ 公式订正:分子分母的 BB 项同样要除以 pp。若按未归一化的 BB 项写作 BRL−BbaseAbase/pbase−ARL/pRL\frac{B_{\rm RL}-B_{\rm base}}{A_{\rm base}/p_{\rm base}-A_{\rm RL}/p_{\rm RL}},代入得 51,243−9,556.2=−5.36\frac{51{,}243}{-9{,}556.2}=-5.36,是负数,与 25.8 自相矛盾。上式才是与 25.8 自洽的形式。

构造成本被摊薄,答案侧成本摊不掉——RL 工作区让作答者每查询读 26.90 个文件、9,346 token,base builder 是 2.72 个文件、1,238 token,比值 9.89 与 7.55。论文实测的复用上限是每文档集 7–10 条,「31 条处归零」落在实测范围外 3 倍以上。

其三,基线对比与摊销对比发生在两个不相交的评估上。图 4 的基线臂(Embedding / Reranker / Late Interaction / GraphRAG / AutoCompaction)跑在每语料一条查询的原始 BrowseComp-Plus 上;表 2 的摊销臂只有 443 条 Gemini 3.1 Flash Lite 合成的查询、50 个文档集、7–10 条每集,对手只有自家无 RL 消融(0.637 对 0.242),五个检索基线全部缺席。同一批文件系统在原始查询上是 0.77、在合成查询上是 0.637,差 13.3 个百分点,正文未并列这两个口径。

⚠️ 口径提醒(终审追加):13.3 个百分点这个差值不能全部归因于查询分布的切换,因为两处都没有声明作答者。表 1 的 0.77 与 §4 的 Gemini 3.1 Flash Lite 档数值相同、而与同一节的 Qwen3.5-4B 档 0.75 不同;表 2 同样未标注作答者(行名 Qwen 3.5 4B Builder / Ours 指的是 builder,不是作答者)。论文自己的措辞 “the same evaluation filesystems yield an accuracy of 0.64 versus 0.24” 只锁定了文件系统相同,没有锁定作答者相同。因此这 13.3 个点应读作「查询分布切换 + 可能的作答者切换」的复合差,本提案第 4 本账(2×2 交叉评估)在设计上要显式固定作答者,才能把它拆开。

其四,零样本迁移的有效样本量是 3。BRIGHT 用 150 题、3 域各 50 题,每域一个文件系统,该文件系统服务该域全部 50 题。构造的独立单元是 3 次。更细看,31.2 个百分点的平均增益由 StackOverflow 单域的 +74.0 撑起(85.5±3.9 对 11.5±3.9);AOPS 上 Librarian 36.0±5.6 对 Hybrid 33.0±6.4、Dense 31.5±6.0,差值 3.0–4.5 个百分点,误差棒完全重叠;Biology 34.5±4.9 对 19.5±4.8,差 15.0。表 6 的九个额外域同样每域一个文件系统、每域 20 题。

表 3 的全量对照(pass@1 / pass@3,%)如下,可见三域的”最强基线”各不相同,而 Librarian 的优势高度集中在 Stack Overflow:

方法AOPS p@1AOPS p@3Biology p@1Biology p@3StackOverflow p@1StackOverflow p@3平均 p@1平均 p@3
BM2530.5±5.937.0±6.817.5±4.626.0±6.09.0±3.315.5±4.819.0±2.726.2±3.4
Dense31.5±6.038.0±6.919.5±4.829.0±6.111.5±3.917.0±5.220.8±2.928.0±3.5
Hybrid33.0±6.437.0±6.814.0±4.320.5±5.67.0±2.415.5±4.818.0±2.724.3±3.3
Rerank32.0±6.137.5±6.914.0±4.123.0±5.66.0±2.611.0±4.317.3±2.623.8±3.3
Agentic28.5±5.637.0±6.817.0±4.525.5±5.96.5±2.514.5±4.517.3±2.525.7±3.3
Late interaction28.5±5.537.5±6.918.0±4.924.5±6.07.0±2.514.5±4.817.8±2.625.5±3.4
Graph12.5±4.415.5±5.15.0±2.96.0±3.41.5±1.13.5±2.56.3±1.88.3±2.2
AutoCompaction6.0±3.46.0±3.46.0±3.46.0±3.41.5±1.52.0±2.04.5±1.74.7±1.7
Librarian36.0±5.650.0±6.934.5±4.957.0±6.585.5±3.993.5±3.452.0±2.866.8±3.4

两点补充。平均 pass@3 为 66.8±3.4 对 Dense 28.0±3.5(+38.8),比 pass@1 的 +31.2 更大——说明增益在”多抽几次”的口径下更明显,而论文头条取的是 pass@1。表 6 的九个额外域(Earth Science / Economics / Psychology / Robotics / Sustainable Living / LeetCode / Pony / TheoremQA Questions / TheoremQA Theorems)对手只有 base model,八个检索基线全部缺席,且未报误差棒;Librarian 73.8/72.5/72.5/55.0/43.8/56.2/72.5/63.7/56.2 对 base 26.3/16.3/32.5/23.7/12.5/28.7/48.7/35.0/38.8,其中 Robotics 与 Sustainable Living 的增幅(+31.3、+31.3)明显低于 Earth Science(+47.5)。

其五,结构消融显示「层级」贡献接近于零,「多写文件」才是增益来源。表 7 在 435 条查询、49 个语料上做内容保持干预:压平层级后精度 57.70±2.81,反而高于原始 55.86±2.58;打乱语义归位后降到 51.72±2.87。压平还让导航 token 从 3,635±216 涨到 5,497±356(+51%)。

打乱组的导航 token 是 3,612±221,与原始的 3,635±216 几乎相同。两组干预因此打中的是两个不同的可观测量:压平改变导航成本(+51%)却让精度略升(+1.84 个百分点,误差棒重叠);打乱几乎不动导航成本(−0.6%)却让精度掉 4.14 个百分点。「语义归位」与「层级拓扑」在这组数据里是可分离的,而论文把它们合并叙述为”filesystem organization”。

BRIGHT 的结构统计给出同向证据:训练后 builder 产出 53.4 个合成文件、45.4 个簇、8.0 次合并,base 是 4.8 / 4.2 / 0.6;文件数涨 11.1 倍,而「文件/簇」比只从 1.143 变到 1.176,涨 2.9%。层级深度基本没变,广度膨胀了。

口径需分清:53.4 这一列是 Act. Files(builder 产出的活跃合成文件系统文件数);同一张表的 Syn. Files 是作答者实际读到的合成文件数,macro avg 为 32.9 对 3.3,涨 9.97 倍。表 4/表 5 的表注写明 Syn. Files / Syn. Tok. / Tot. Tok. 度量的是作答者的检索行为,Act. Files / Clusters / Merges 才描述 builder 的产物。用哪个倍率取决于要论证的是”写得更多”还是”读得更多”。

第六处顺带记一笔:表 2 的「答案 token/查询」是 9,346±596,表 7 的「导航 token」在同源设置下是 3,635±216,同一量相差 2.57 倍;附录 A.5 又把 50 个语料中 1 个未完成构造的语料连同其 8 条查询剔除(435 / 49),正文「failure-inclusive」的分母口径在这一处不再成立。

论文自陈的 Limitations(§4)有三条:评估仅限静态语料上的问答,语料变化时如何维护前瞻式记忆仍是开放问题;builder 在大文件上下文上操作,可扩展性受限,需配合聚类或检索才能扩到更大域;任何有限的合成产物都不可能预判所有查询,压缩可能丢掉 needle-in-a-haystack 所需的细节,虽然保留了溯源链接做回退,但「何时绕过合成文件系统」仍无解。三条都指向能力与适用范围,没有一条指向摊销的度量方式。上述六处缺口因此不是论文的自我限定被本稿重复一遍,而是论文度量设计的空白区。

核心思路

提出 AWCL(Amortization-Weighted Construction Ledger,摊销加权构造账本):不新增一个模型,而是把「前瞻式构造」这一主张拆成六本缺一不可的账,并把 RL 目标与被声称的成本量接回同一个坐标。

第 1 本账是查询分布账。奖励里的 S(F)=Eq∼Q[⋅]S(\mathcal{F})=\mathbb{E}_{q\sim\mathcal{Q}}[\cdot] 在训练中用每语料几条查询估计,正文从未刊出这个数 mm;而任务定义写的是「each task consists of an independent set of raw documents and a downstream query」(单数)。若 m=1m=1,则被优化的是单查询适配,与「覆盖 Q\mathcal{Q} 的一片区域」的设计目标直接冲突。账本要求把 mm 提为一等超参,并刊出单查询过拟合度 ω1=S^1−S^m∗\omega_1=\hat S_1-\hat S_{m^\ast} 与 S^m\hat S_m 随 mm 的收敛曲线。

一手表述有两条。§2.4 写「The resulting workspace is then evaluated by the answering agent on a minibatch of queries sampled from Q\mathcal{Q}. These queries are used only for reward estimation and are not provided to the builder during construction.」;同一节另写「During training, all downstream quantities are estimated on minibatches of training queries that are hidden from the builder; evaluation queries are never used to construct a filesystem or select the reported checkpoint.」两条都只说”minibatch”,均未给出大小。A.2 补充了语料构成:「We use a mixture of evidence, gold, and negative docs for each representative task」,同样没有给每个语料配几条查询。A.7 在目录中列出但正文未展开该参数。因此 mm 在本稿写作时确实是未刊量,不是本稿的检索遗漏。

第 2 本账是跨模型单价账。构造流程用到三档模型:被训练的 4B builder 策略、固定的 Qwen3.5-35B-A3B 内容执行器(CreateFile / MergeFiles 的实际写作者)、固定的 Gemini 3.1 Flash Lite 历史压缩器。178,926 这个构造成本把三档模型的 token 等权相加。账本要求按档位分层计数 T4BT_{4B}、T35BT_{35B}、TcompT_{\rm comp},按单价向量 p\mathbf{p} 加权得 Cbuild=p⋅TC_{\rm build}=\mathbf{p}\cdot\mathbf{T},并在三组单价假设下各画一条摊销曲线。这一步顺带指向 A.4 的复算缺口:用表 1、表 2 的六个数代入 A.4 的比式,q=10q=10 得 0.739;把 pRLp_{\rm RL} 换成表 7 的 0.5586 得 0.843;两个值都不含正文的 0.662。合理的解释之一是「recorded tokens」口径漏掉了 35B 执行器那一份。

第 3 本账是目标—主张对齐账。既然结论讲的是每正确答案的 token,就把 α\alpha、λtok\lambda_{\rm tok}、λread\lambda_{\rm read} 从 0 扫到使构造预算收紧的区间,画出精度—成本前沿,把 33.8% 标成前沿上的一个点而不再是结论。附带修掉一处公式前提:式 (4) 引用势函数整形的等价性 ∑trtdense=rsparse−U(F0)\sum_t r_t^{\rm dense}=r^{\rm sparse}-U(\mathcal{F}_0),该等价性要求前后同一个势函数 UU,而实现里探针测的是 answerability、终端项用的是 correctness,两个泛函不同,恒等式在定义层面不成立。账本要求逐 rollout 刊出 Δtele=∑tr^tdense−(r^sparse−U^(F0))\Delta_{\rm tele}=\sum_t\hat r_t^{\rm dense}-(\hat r^{\rm sparse}-\hat U(\mathcal{F}_0)) 的分布。

第 4 本账是评估交叉账。补 2×2 因子:{每语料 1 条查询,每语料 7–10 条查询} × {五个检索基线,自家无 RL 消融},四臂共用同一批文件系统与同一作答协议,让图 4 与表 2 第一次落在同一张表上。

第 5 本账是独立单元账。BRIGHT 的 150 题聚在 3 个文件系统上,统计推断必须按文件系统聚类,误差棒改用聚类稳健标准误并刊出 neffn_{\rm eff} 与设计效应;设计上把每域的文件系统数从 1 提到 k≥5k\ge5,让「零样本迁移」的单元数从 3 抬到 15 以上。

第 6 本账是结构贡献账。压平与打乱两组干预要各跑两个作答者(Qwen3.5-4B 与 Gemini 3.1 Flash Lite),并新增两个可观测量:首次命中深度 ℓhit\ell_{\rm hit}(作答者读到含证据的文件前经过的层数)与层级深度 deffd_{\rm eff}。把 ℓhit\ell_{\rm hit} 接进 λread\lambda_{\rm read} 项,结构才第一次进入优化目标。

技术路线

第一步做可复算化。从已发布的 rollout 日志里按档位重数构造 token,复现 A.4 的比式并刊出 BmB_m 的逐项分解;对齐表 2 与表 7 两个「每查询 token」的定义差异;把 50 个语料里未完成构造的 1 个按 failure-inclusive 口径计入分母,重算表 7。

第二步做 mm 阶梯。固定训练预算,取 m∈{1,2,4,8,16}m\in\{1,2,4,8,16\} 各训一个 builder,测每档在留出语料上的单查询精度与多查询精度,给出 ω1\omega_1 与两条曲线的分离点。m=1m=1 与 m=16m=16 的多查询精度差即为「单查询奖励到底牺牲了多少摊销」。

第三步做 α\alpha 与 λ\lambda 阶梯。α∈{0,10−7,10−6,10−5}\alpha\in\{0,10^{-7},10^{-6},10^{-5}\}、λread∈{0,10−4,10−3}\lambda_{\rm read}\in\{0,10^{-4},10^{-3}\} 网格,每格报精度、BmB_m、AmA_m、每正确答案 token,画前沿。判定前沿上是否存在 α>0\alpha>0 的点在精度不降的前提下把 BmB_m 压到 100K 以下。

第四步做 2×2 交叉评估。四个臂共用 50 个留出语料与已构造好的文件系统;多查询臂的查询除合成查询外,再补一批人工标注的真实多查询,用来检验 0.637 与 0.77 的落差有多少来自合成查询本身的分布偏移。

第五步做多文件系统迁移。BRIGHT 每域从 1 个文件系统扩到 k=5k=5(按文档子集切分),九个额外域同法处理,把域内单元数抬到 45 以上;统计量改为按文件系统聚类的稳健标准误,刊出 neffn_{\rm eff} 与设计效应上界 50\sqrt{50}。

第六步做结构归因。在压平、打乱之外补第三组干预——保持文件数与内容不变、只重排目录归属(语义归位不变、层级重排),用来把「内容选择」「语义归位」「层级拓扑」三者的贡献分离开;三组干预各跑两个作答者。

关键技术挑战有三处。8 步探针窗口内的信用分配:视界 H=32H=32、每 8 步探一次,窗口内 8 个动作共享同一个 Δ\Delta,窗口宽度本身要进消融。内容执行器的身份泄漏:写文件的是 35B 固定执行器,被训练的 4B 只做决策,增益中属于「决策」的部分需要用「随机决策 + 同一执行器」的对照剥离。查询生成器的分布偏移:443 条合成查询由 Gemini 3.1 Flash Lite few-shot 生成,它对「文档里显眼的内容」有偏好,需要一组由人写的查询做锚。

预期成果

定量目标有四条。一,把 A.4 的比值从单点变成可复算的量:在 q=10q=10 处给出六种 (Bm,Am,pm)(B_m,A_m,p_m) 取值下的比值区间,若 0.662 无法由任何一组自印数字复现,则判定该结论不可复算。二,给出 α\alpha–λ\lambda 前沿上使 Bm<100B_m<100K 且精度不低于 0.75 的工作点,或证明不存在。三,给出 mm 阶梯下多查询精度相对 m=1m=1 的增益曲线,量化单查询奖励的摊销损失。四,给出三组结构干预在 k≥5k\ge5 文件系统上的分层结果,把「内容选择」与「层级拓扑」的贡献分开。

定性目标是把「摊销」从叙事变成一条可外推的曲线:Tm(q)/pmT_m(q)/p_m 的斜率由 Am/pmA_m/p_m 决定,凡归一化答案侧成本高于对照的方法(Aours/pours>Abase/pbaseA_{\rm ours}/p_{\rm ours}>A_{\rm base}/p_{\rm base}),其归一化摊销优势随 qq 单调消失并必然反转,交点

q∗=Bours/pours−Bbase/pbaseAbase/pbase−Aours/poursq^\ast=\frac{B_{\rm ours}/p_{\rm ours}-B_{\rm base}/p_{\rm base}}{A_{\rm base}/p_{\rm base}-A_{\rm ours}/p_{\rm ours}}

应成为该类工作的必报指标。

⚠️ 公式订正:分子的两个 BB 项同样需除以各自的 pp。按未归一化的 BB 项写,本例得 q∗≈−5.4q^\ast\approx-5.4,为负,物理上不成立。

影响面覆盖两条线。对语料工程,凡是「预计算一次、服务多次」的方法(知识图谱、层级摘要、上下文缓存)都面临同一个 q∗q^\ast,AWCL 给出统一的可比口径。对 agent 训练数据,工作区构造正在变成一种数据合成形态,把构造成本、独立单元数、结构贡献刊清楚,合成语料的可比性才谈得上。

相关工作

  1. Librarian Agents(arXiv:2610.22273,2026-10-15)——本提案的审计对象,首次把语料组织形式化为 MDP 并用下游作答正确率做奖励。
  2. Recursive Language Models(arXiv:2512.24601,2025-12-31)——论文点名的另一类作答系统,AWCL 的第 6 本账可直接换成以 RLM 为第二作答者。
  3. From Local to Global: A Graph RAG Approach to Query-Focused Summarization(arXiv:2404.16130,2024-04-24)——预计算基线的代表,在表 1 中构造 11,923 token、精度 0.36,是 q∗q^\ast 口径下最需要补齐对照的一端。
  4. RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval(arXiv:2401.18059,2024-01-31)——层级摘要树的经典构造,其「树」正是表 7 压平干预所要检验的结构主张。
  5. Learning on the Job: Test-Time Curricula for Targeted Reinforcement Learning(arXiv:2510.04786,2025-10-06)——同为「先选数据、后训练」的计算再分配范式,其自举课程与 AWCL 的第 1 本账(查询分布账)共享同一类可复算性问题。

引用核验记录

2026-10-18 编辑时逐条回源。一手源为 arXiv abs 页(标题 / 作者 / citation_date)与 arxiv.org/html/2610.22273v1 全文(表格与附录)。

#声明一手来源结果
1标题 Librarian Agents: Training LLMs to Curate…abs citation_title✅ 完全一致
2v1 2026-10-15Submission history [v1] Thu, 15 Oct 2026;citation_date 2026/10/15✅
3cs.LGabs 页主题✅
4作者 Singh / Zhang / Lee / Nair / Kumar / Finncitation_author 六条✅
5机构 Stanford ×5 + CMU ×1;IRIS / AIRE文末作者块 + Acknowledgements⚠️ 订正:IRIS/AIRE 出自致谢,署名单位是 Stanford University 与 Carnegie Mellon University
6BrowseComp-Plus 0.75(Qwen3.5-4B),Embedding 0.42、Reranker 0.44§4 正文✅
7同图 Gemini 3.1 Flash Lite 档 0.77,基线 0.30 / 0.42§4 正文✅(本稿补记)
8BRIGHT pass@1 平均 52.0±2.8 对 Dense 20.8±2.9,差 31.2表 3✅
9BRIGHT 平均 pass@3 66.8±3.4 对 Dense 28.0±3.5表 3✅(本稿补记)
10StackOverflow 85.5±3.9 对 11.5±3.9(+74.0)表 3✅ 该域最强基线即 Dense
11AOPS 36.0±5.6 对 Hybrid 33.0±6.4、Dense 31.5±6.0表 3✅ 该域最强基线是 Hybrid
12Biology 34.5±4.9 对 Dense 19.5±4.8,差 15.0表 3✅ 该域最强基线是 Dense
13BRIGHT 150 题、3 域各 50、每域一个文件系统§4 正文原句✅ 独立单元 = 3 成立
14表 6 九个额外域、每域 20 题A.3 + 表 6 表注⚠️ 补充:对手只有 base model,八个检索基线缺席,且未报误差棒
15表 1:GraphRAG 0.36 / 11,923;AutoCompaction 0.04 / 501,637;Builder (No FT) 0.28 / 127,683;ours 0.77 / 178,926表 1✅ 四项全中
16表 2:0.242±0.036 / 1,238±155 / 2.72±0.35 对 0.637±0.029 / 9,346±596 / 26.90±1.70表 2✅
17443 条合成查询 / 50 个文档集 / 每集 7–10 条;Gemini 3.1 Flash Lite few-shot + DeepDive 样例§4 正文✅
18A.4:Tm(q)=Bm/q+AmT_m(q)=B_m/q+A_m,归一化 Tm(q)/pmT_m(q)/p_mA.4✅
1933.8%、比值 0.662、95% CI [0.504, 0.836]、交点 31、区间 18–54A.4✅ 五项全中
20本稿复算 q∗≈25.8q^\ast\approx25.8由表 1/表 2 六数代入✅ 与 25.8 自洽;但本稿原写的 q∗q^\ast 公式缺 pp,已订正
21q→∞q\to\infty 的归一化极限复算 (ARL/pRL)/(Abase/pbase)(A_{\rm RL}/p_{\rm RL})/(A_{\rm base}/p_{\rm base})⚠️ 订正:2.87,原稿写的 7.55 是未归一化口径
22主实验 λtok=λread=α=0\lambda_{\rm tok}=\lambda_{\rm read}=\alpha=0§2.4 原句两处✅
23式 (4) 引 Ng et al. 1999 势函数整形§2.4✅ 引用存在;等价性前提问题为本稿推断
24表 7:Original 55.86±2.58 / 3,635±216;Flattened 57.70±2.81 / 5,497±356;Shuffled 51.72±2.87表 7✅;导航 token 3,612±221 为本稿补记
25435 题 / 49 个语料A.5 正文 + 表 7 表注✅;443−435=8 印证剔除 1 个语料
26BRIGHT 结构统计 53.4 / 45.4 / 8.0 对 4.8 / 4.2 / 0.6表 4 macro avg✅;ⓘ 属 Act. Files 列,Syn. Files 为 32.9 对 3.3
27文件数涨 11.1 倍、文件/簇比 1.143→1.176(+2.9%)复算✅
28Qwen3.5-35B-A3B 内容执行器、Gemini 3.1 Flash Lite 压缩器§4 / A.7 段✅
29H=32H=32、每 8 个 builder turn 一探、每轨迹最多 4 次探针、γ=1\gamma=1§2.4 + A.7 段✅
30680 训练 / 50 留出;LR 4×10−54\times10^{-5}、batch 8、rollout 组 4、1,024 token 生成上限、60,000 token 轨迹上限§4 + A.2✅
31任务定义「each task consists of an independent set of raw documents and a downstream query」§4 原句✅ 单数量
32mm(minibatch 大小)未刊出全文检索 minibatch / queries per✅ 只写”minibatch”,无大小
33Recursive Language Models = arXiv:2512.24601,2025-12-31abs 页✅ 作者 Zhang / Kraska / Khattab;论文引于 §1、§2.4
34GraphRAG = arXiv:2404.16130,2024-04-24abs 页✅
35RAPTOR = arXiv:2401.18059,2024-01-31abs 页✅
36Learning on the Job = arXiv:2510.04786,2025-10-06abs 页✅

本轮订正与边界

订正两处(均为本稿内部口径矛盾,非事实错误)

  1. q∗q^\ast 公式分子缺 pp 归一化。原式代入自印数字得 −5.36,与同段给出的 25.8 直接冲突;已改为四项全带 pp 的形式并补逐步验算。
  2. 归一化摊销比的 q→∞q\to\infty 极限。原稿写 ARL/Abase=7.55A_{\rm RL}/A_{\rm base}=7.55,那是未归一化口径;在「精度归一化后为 Tm(q)/pmT_m(q)/p_m」的框架下极限应为 2.87。两个数字差 2.6 倍,直接决定「摊销反转」这条论断的量级,已分列并标注。

本轮未核到、不作决策依据的三条

  1. A.7「Librarian Agents Training and Evaluation Configuration」在目录中列出,但 HTML 全文未见展开正文;mm 是否在那里给出,无法排除。本稿按”未刊出”处理。
  2. 表 2 的「Answer tokens per query」9,346±596 与表 7 的「Navigation tokens」3,635±216 的 2.57 倍差,论文未给两个量的定义式,本稿只标注差异、不推断成因(可能包含最终作答生成、可能含不同的计费口径)。
  3. 表 1 的 0.77 与图 4 中 Gemini 3.1 Flash Lite 档的 0.77 数值相同;两者是否同一口径(表 1 未标注作答者)论文未说明,本稿未据此推论。

终审补充核验(2026-10-18)

编辑轮的 36 条核验记录逐条重跑一手源(arxiv.org/abs/2610.22273 的 citation meta + arxiv.org/html/2610.22273v1 全文),0 处事实错误。终审另外确认的五项:

  1. 主实验系数确为零(§2.4 原句):“In the primary experiment, we use γ=1\gamma=1 and optimize answerability and terminal correctness without explicit navigation-cost, filesystem-structure, or construction-cost shaping; equivalently, λtok=λread=α=0\lambda_{\rm tok}=\lambda_{\rm read}=\alpha=0。” 这是「其一」整段论断的地基,逐字命中。
  2. A.4 五项全中:33.8% / 比值 0.662 / 95% CI [0.504, 0.836] / 交点 31 / 区间 18–54,全部在 A.4 正文与 §4 正文两处独立出现。
  3. BRIGHT 的独立单元确为 3:§4 原句 “we study 150 questions spanning 3 domains with 50 per domain, with one filesystem per domain (also studying amortization)“,附录另有 “it constructs one reusable filesystem per domain without observing any evaluation question, and this single shared filesystem supports all questions in that domain”。「其四」的 neff=3n_{\rm eff}=3 成立。
  4. 表 6 九个域逐格命中,且表注自陈 “using n=20n=20 questions per domain”,与「每域 20 题」一致;对手确实只有 Base Model 一行。
  5. 四篇相关工作编号与日期全部吻合:2512.24601(Recursive Language Models,2025-12-31,作者 Zhang / Kraska / Khattab)、2404.16130(GraphRAG,2024-04-24)、2401.18059(RAPTOR,2024-01-31)、2510.04786(Learning on the Job,2025-10-06)。

终审新增两处

  • 口径边界一条(见「其三」后的 ⚠️):0.77 与 0.637 的作答者未同时声明,13.3 个百分点属复合差。
  • 署名机构按一手核到文末作者块:Singh / Zhang / Lee / Nair / Finn 五人 Stanford University,Kumar 一人 Carnegie Mellon University;Stanford IRIS Lab 与 CMU AIRE Lab 只出现在 Acknowledgements 的致谢句里。与编辑的第 5 条订正一致。

复算复核:q∗=(280,890.1−527,615.7)/(5,115.7−14,671.9)=25.82q^\ast=(280{,}890.1-527{,}615.7)/(5{,}115.7-14{,}671.9)=25.82(分子分母同为负,比值为正),归一化极限 14,671.9/5,115.7=2.86814{,}671.9/5{,}115.7=2.868,q→0q\to0 极限 280,890.1/527,615.7=0.532280{,}890.1/527{,}615.7=0.532。三处与正文的 25.8 / 2.87 / 0.53 一致,编辑的两条公式订正方向正确。