任务内验证、跨任务使用:TQS 的 1,024 条 Top-K 子集里,+2.8 点有多少来自过程质量
TQS 用七个结构分量给代码智能体轨迹打分,分量准入与人工验证全部锁在任务内配对上,部署却是跨任务全局 Top-K。ECSL 用任务间方差占比、任务中心化打分、任务匹配随机臂与级联预算曲线四本账,把 +2.8 点拆成任务选择与过程质量两部分。
锚点论文是 TQS(arXiv:2610.13152,v1 于 2026-10-09,cs.AI,7 位作者)。署名单位分两处:Sida Li、Yuanxin Liu、Shicheng Li、Linli Yao、Xu Sun 五人署 National Key Laboratory for Multimedia Information Processing, Peking University;Haoli Bai、Xiao-Hui Li 两人署 Huawei Technologies Co., Ltd.。它对准的是开放代码智能体 SFT 里一处真实漏洞:结果级过滤只保留补丁通过的轨迹,通过轨迹之间的过程质量差异被整体丢掉。论文给出七个结构分量——观测熵收敛 、作用域收缩 、意图—动作一致 、工具转移熵 、解承诺点 、出错后多样性 、脏模式护栏 ——以手设权重 聚合成 上的 tqs,不需要 LLM 裁判,线性时间。语料是 CoderForge-Preview:258,134 条 OpenHands 轨迹、51,201 个任务、Qwen3-Coder-480B 教师。155,144 条通过后,按「≥3 步 + 分量覆盖 ≥4/7 + token 长 ≤32,768」筛出 38,382 条可用池,取 Top / Bottom / Random 各 1,024 条做 Qwen3-Coder-30B-A3B-Instruct 的 LoRA SFT,SWE-Bench Verified 上 Top 27.6、Random 24.8、Bottom 21.8、无 SFT 基座 24.4。
本提案不质疑「过程质量值得筛」这个判断,只追问三件论文自己没有分开的事:分是在哪个口径上被验证的、在哪个口径上被使用的、两个口径之间差了什么。
背景与动机
验证口径与部署口径不是同一个量。 §3.4 的准入把每条通过轨迹与同一任务的失败轨迹配对,按「能否把 pass 排在 fail 之上」的 concordance 筛掉反向或有强混淆的分量:六个入选分量落在 0.541–0.640(ped 0.541、tte 0.563、psn 0.585、dpi 0.591、scp 0.598、iac 0.612、oec 0.640),护栏 dpi 取 0.591,复合 tqs 0.732;被拒的一侧是 hcr 0.527(行为模式塌陷)、BUS/TGCR/DCS-file ≤0.479(concordance 过低)、DCS-Jaccard 0.729(与长度相关)。
§5.2 的直接验证同样锁在任务内:300 个「至少三条 resolved run」的任务,构造 high–low / mid–low / high–mid 共 900 对,人类与 Claude Sonnet-5 分别盲评,总体一致率 78.7% 与 75.4%。
三个一手细节值得单列。其一,900 对里有 176 对得到不一致裁决并被记为平局,实际分母是 724 而非 900——78.7% 对应 570/724,折算到 900 对上是 63.3%。其二,论文已按三档分开报:high–low 85.2%(人)/ 81.1%(Sonnet-5)、mid–low 74.2% / 77.0%、high–mid 76.8% / 67.4%,极端对确实高于相邻对,本提案技术路线第二步「把三档分开报」这一条论文已经做了(见下文修订)。其三,更严的口径差得多:完整的 high > mid > low 三元组全序吻合率只有 45.7%(137/300) 与 41.3%(124/300),Spearman 只有 0.417 与 0.402。任务内排序在逐对比较上站得住,在完整排序上只比抛硬币略好。两处都是任务内比较。部署却是跨任务的全局 Top-K:从 38,382 条里按 tqs 降序取 1,024 条(选择率 2.7%),铺开在 847 个任务上。任务内排序问的是「同一任务下哪条跑得更好」,跨任务排序问的是「哪条轨迹整体更值得学」,两者不是同一个 estimand,而 oec 的相对熵比、scp 的相对承诺时刻 、psn 的 Kendall 都是任务内归一化量,跨任务可比性没有任何一栏数据支撑。
两个子集的任务构成并不相同,而表 2 把这个差异印了出来。 Top 覆盖 847 个任务、每任务硬上限 30 条,Random 覆盖 825 个任务、每任务最高 59 条;Top 的脏模式命中率 1.0%,Random 13.6%。更均衡的任务覆盖本身就会给 SFT 带来收益,而这条路径与「过程质量」无关。论文用一句 “controlling task coverage, repository coverage, and source proportions” 带过。
逐项核对表 2 后,这句话要拆开看。做到了的:三个子集的 source mix 完全对齐,均为 Smith/Rebench/Gym = 61/20/18。没做到的:任务数 847(Top)对 847(Bottom)对 825(Random),仓库数 209 / 204 / 217,每任务上限 30 / 30 / 59。关键的一条是 Bottom 与 Top 的任务约束完全相同(847 个任务、每任务上限 30),因此 Top−Bottom 的 +5.8 点(27.6 对 21.8)不受任务覆盖差异影响;任务覆盖这条路径只能解释 Top−Random 的 +2.8 点,解释不了 Top−Bottom 的 +5.8 点。这反过来给本提案的 定了上界:任务选择贡献的上限不是 +2.8 的全部,而是其中 847/825 与 30/59 这两处不对齐能撑起的部分。
表 2 还有两栏可用作对照:平均步数 Top 34.2 / Bottom 53.0 / Random 41.0,平均 token 数 28.1K / 26.3K / 26.9K,脏模式命中率 Top 1.0% / Bottom 64.3% / Random 13.6%。Top 子集同时是步数最短的(34.2 对 Random 41.0),这一栏与下一条长度问题直接相连。
长度上限先替打分器做了一轮筛选。 155,144 条通过轨迹里只有 38,382 条进入可用池,保留率 24.7%,且按源极度不均:SWE-Smith 89,501 → 23,569(26.3%)、SWE-Rebench 44,739 → 7,821(17.5%)、R2E-Gym 20,904 → 6,992(33.4%)。附录 H 自陈被丢弃的长尾「以长轨迹为主,尤其来自 SWE-Smith」,主因是 32,768 的 token 打包上限(该上限是为了塞进 40,960 的上下文窗口并留出 chat template 与 assistant tag 的余量,属打包预算而非质量判断)。§1 却把「把有意义的编辑推迟到交互预算后段」列为低质轨迹的特征之一——被预算截掉的 116,762 条恰好与这一人群高度重叠。于是 tqs 的增量收益是在一个已经偏短的 24.7% 上测出的。
⚠️ 限定:「长度上限与结构分各自贡献多少,无人分解」这句话说过头了。表 3 已经跑了两条相关臂——B3 Shortest-K(只按长度选 1,024 条)得 24.2,低于 Random 的 24.8,说明长度本身不是收益来源;B6 Top-LM-K(按
tqs选但长度分布匹配 Random)得 27.0,比 Random +2.2、比 Top 27.6 只低 0.6。也就是说,在已进入可用池的 38,382 条内部,长度混淆最多解释 0.6 个点。真正无人分解的是被 32,768 剔除的那 116,762 条:tqs在那一段上从未跑过 Top 对 Bottom。本提案第二本账相应地只针对这一段(见下文修订)。
头条效应量落在单次抽样噪声内,全篇没有 seed 也没有误差棒。
⚠️ 定位提醒(终审追加):上句里的「全篇没有 seed 也没有误差棒」容易被读成一处论文尚未意识到的缺陷。论文 Limitations 已自陈原文:“We train each condition once because of compute cost, so the reported pass@1 differences do not include multi-seed variance estimates.”,同一段还写了 “We also restrict training trajectories to at most 32K tokens so that they fit within the 40,960-token context after template overhead. This excludes a long-trajectory tail that may contain useful recovery behavior.”。也就是说,单次训练与 32K 截断这两条都是论文自己声明过的局限。ECSL 的增量因此不是「指出论文没看到的问题」,而是「把已声明但停留在定性措辞上的局限变成可计算的量」——第 2 本账对应后一条(),第三步的 3 seed 与 McNemar 对应前一条。论证落点应始终停在量化,不停在揭短。 Top 27.6 对 Random 24.8 的 +2.8 点,在 n=500 上按两比例独立计的标准误是 2.78 点,比值恰为 1.01。论文把「越难收益越大」当作机制证据:Hard 列 Top 6.7 对 Random 2.2。Hard 桶规模论文未给出,按 100 条计标准误 2.90 点(1.55 个标准误),按 60 条计 3.74 点(1.20 个);6.7% 对 2.2% 在 100 条上只是约 4 条实例的差。表 5 的维度消融同样单点无重复,其中「去掉意图—动作对齐」一行 23.0,低于 Random 24.8。附录 I 只扰动了 、、 三个权重中的一个,且用 Top-1024 重叠率(93.1–99.6%)当稳定性指标——在 2.7% 的选择率下这是一个钝化指标,全池秩相关与扰动后重新训练的下游数值一条都没报。
附录 G 的「长度受控」证据是构造出来的。 该表把轨迹限制在众数步数带 上,报告复合 tqs 的 pair-AUC 为 1.000。可 Top-1024 的阈值是 0.7061、Bottom-1024 的阈值是 0.4696,两个子集分数范围间隔 0.2365、完全不重叠;在这个基础上算 AUC,1.000 是子集定义方式的算术后果,不是长度稳健性的证据。表里真正有信息量的一行是 掉到 0.839。
最强的基线赢了,而级联臂从未出现。 表 3 中 GPT-4o 裁判臂 28.4,高于 tqs-Top 27.6。论文的结论改由成本支撑:裁判全量判 38,382 条约 2,750 美元,判全部 258,134 条约 18.6K 美元;tqs 单机 43 ms/条(3,462 条基准批、中位 53 步、AMD EPYC 7413、149.2 秒/批、23.2 条/秒),单进程跑完全部 258,134 条约 3.1 CPU-小时,四进程 87.5 条/秒约 49 分钟,按 4 vCPU 按需价折算约 0.1–0.2 美元。工程上最自然的用法——先用 tqs 全排,再让裁判只重排头部 条——成本降到 量级,却一条臂都没跑。
核心思路
提出 ECSL(Estimand-Consistent Selection Ledger,口径一致的选择账本):把「结构分能不能筛出更好的 SFT 语料」拆成四本账,每本账一个可计算的统计量、一条预注册判定线,全部能在不重新设计打分器的前提下跑完。
第一本账处理口径错配。在可用池上按任务分组做单因素随机效应方差分析,取任务间方差占比
越大说明 tqs 编码的越是任务身份而非过程。再算全局秩与任务内秩的 pooled Kendall 。据此构造任务中心化打分:设任务 上有 条可用轨迹、均值 ,收缩强度 下
时 ECSL 严格退化为原 TQS 管线; 时同样退化。第三臂是任务匹配随机(TMR):固定 Top-K 的任务集合与每任务条数,在任务内随机抽轨迹,把「选哪些任务」与「选哪条轨迹」彻底分开,对比量记为 。
第二本账处理截断,但范围收窄。按源 × 长度带 × 任务难度的保留率表只补后两维——按源的一维论文表 12 已经给了(26.3 / 17.5 / 33.4),缺的是长度带与难度桶的交叉。核心动作是在被 32,768 上限剔除的 116,762 条内部单独跑 Top 对 Bottom,得 ——这个对比不经过长度上限,是 tqs 的独立效应。
池内那一段不必再做:B3 与 B6 已经把池内长度混淆的贡献压到 ≤0.6 个点。本账要回答的是另一个问题——tqs 在被截掉的长尾上还成不成立。条件允许时再跑一条抬升上限(改用截断或序列并行)的全池臂。
第三本账处理标签复用。把 从复合分里剔除后重算十分位 resolved 率跨度 ,与含 的 32.9 点对比;再做跨源准入—验证切分:分量准入只用 SWE-Smith,resolved 率单调性只在 R2E-Gym 上读,得 ;另报图 2 的 413,278 条记录与表 1 准入配对的重合比例 。
第四本账是预算曲线 :,级联成本 ,按论文自报的 2,750 美元反推 美元/条, 时约 293 美元。
技术路线
第一步落在零训练的诊断层,只用已发布的打分记录。算 、、按源 × 长度带 × 难度的保留率表、、、,全部不需要 GPU。判定线预注册: 或 即认定口径错配成立,进第二步; 且 则主轴作废,工作量整体转到第二、四本账。
第二步做外部锚标定。沿用 §5.2 的 300 任务 900 对协议。
「把极端对与相邻对分开报」这一条从本步删除——论文表 4 已按 high–low / mid–low / high–mid 三档分别报了 85.2% / 81.1%、74.2% / 77.0%、76.8% / 67.4%。本步只补论文没有的两项:一是跨任务对——两条轨迹来自不同任务,请评审判断「哪条更适合当学习材料」;二是把 full-order match 与 Spearman 列进主表,不用只报逐对一致率(论文只在表 4 末两行给了 45.7% / 41.3% 与 0.417 / 0.402,正文未讨论)。跨任务一致率是本方案的关键外部锚,因为它直接对上部署口径。五名学生与 Sonnet-5 双盲,200 条双人复核,目标 Cohen’s 、跨任务一致率 Precision 。
第三步补三臂对照,固定 SFT 配方不变。TMR 臂给 ,被剔除池 Top/Bottom 臂给 ,级联臂给 。三臂各 3 个 seed,主表 8 个方法单元格同样补 3 seed,评测改报 McNemar 的 discordant 对计数,而不是只报 pass@1 点值。
第四步扫选择率与权重。 各训一次,看 Top−Random 的差是单调还是先升后平;权重敏感度换成全池 Kendall 与 Top-K 集合的跨扰动 Jaccard,并对 3 组权重各重训一次下游。
第五步做跨分布迁移。iac 依赖一个固定词典解析器把 thought 映到四类意图,这个词典是按 Qwen3-Coder-480B 教师的措辞写的。换一个 scaffold(SWE-agent / mini-SWE-agent 格式)的轨迹池重算,报 的未定义率( 的轨迹占比)与 concordance 衰减,检验「无裁判、可全库打分」的迁移成本。
主要挑战有三处。任务中心化需要每任务多条轨迹,而 38,382 条可用池铺在多少个任务上论文未给出, 偏小会让 噪声主导,需要按 分层报结果并以 收缩兜底。被剔除的 116,762 条超过 32,768 token,重训需要长上下文或序列并行,成本高于主实验,可用「截断保留后 32K」的近似臂先做,再在预算允许时补完整臂。跨任务人工评审的信度天然低于任务内评审,需要预注册更宽的置信区间,并把结论限定在「方向一致」而非「逐对吻合」。
预期成果
定量目标:给出 与 的点估计与区间,把「结构分编码的是过程还是任务身份」变成可引用数字;给出 在 3 seed 下的均值与符号稳定性,把 Top−Random 的 +2.8 点拆成任务选择贡献与过程质量贡献两部分;给出 ,判定长度上限与结构分的贡献比;给出 曲线上的最小可行预算 ;给出全部主表单元格跨 seed 的标准差。
判定线一并预注册: 个标准误即认定头条增益主要来自任务选择; 个标准误即认定长度上限不是主要筛选器; 即认定护栏撑起了外部校验跨度的一半以上;存在 使 即认定级联优于纯结构分;3 seed 下 Top−Random 出现符号翻转即认定头条结论在单次抽样精度下不可复现。任何一条触发,原论文的对应结论都要改写,而不是被本方案替换。
定性影响:若口径错配成立,结构分在智能体语料策展里的用法会从「全局排序键」改回「任务内比较器」,配套的采样器要按任务分层取 Top-1 而不是全局 Top-K。若级联曲线有效,「结构分替代语义裁判」这句话会改成「结构分把语义裁判的预算压缩两个数量级」,成本—精度前沿第一次有量化形状。
相关工作
- arXiv:2605.21996 —— From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents(2026-05-21)。同为代码智能体的过程级监督,靠特权信息生成过程标签;ECSL 不碰标签生成,只审计排序口径。
- arXiv:2602.03219 —— Beyond Quantity: Trajectory Diversity Scaling for Code Agents(2026-02-03)。把多样性当作与质量并列的 scaling 轴,ECSL 的任务中心化与之互补,并为多样性—质量的冲突给出可计算判据 。
- arXiv:2602.02050 —— Rethinking the Role of Entropy in Optimizing Tool-Use Behaviors for Large Language Model Agents(2026-02-02)。工具转移熵作为行为信号的上游出处,正是 分量的来源,ECSL 的跨任务校准直接作用于这类熵分量。
- arXiv:2504.07164 —— R2E-Gym: Procedural Environments and Hybrid Verifiers for Scaling Open-Weights SWE Agents(2025-04-09)。锚点语料的三个来源之一,保留率最高(33.4%),是跨源准入—验证切分里 held-out 侧的候选。
- arXiv:2505.20411 —— SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents(2025-05-26)。保留率最低的来源(17.5%),ECSL 的按源 × 长度带 × 难度保留率表直接落在它的任务采集与去污口径上。
引用核验记录
2026-10-18 编辑时逐条回源。一手源为 arXiv abs 页(标题 / 作者 /
citation_date)与arxiv.org/html/2610.13152v1全文(表 1–13、图 2、附录 C/F/G/H/I)。
| # | 声明 | 一手来源 | 结果 |
|---|---|---|---|
| 1 | 标题 Quality, Not Just Outcome: A Structural Scoring Framework… | abs citation_title | ✅ 完全一致 |
| 2 | v1 2026-10-09 | Submission history [v1] Fri, 9 Oct 2026;citation_date 2026/10/09 | ✅ |
| 3 | cs.AI | abs 页主题 | ✅ |
| 4 | 7 位作者 | citation_author 七条(Li Sida / Liu Yuanxin / Li Shicheng / Yao Linli / Sun Xu / Bai Haoli / Li Xiaohui) | ✅ |
| 5 | 北大多媒体信息处理全国重点实验室 + 华为 | 文末作者块 | ✅;补充:前五人署北大重点实验室,Haoli Bai 与 Xiao-Hui Li 署 Huawei Technologies Co., Ltd. |
| 6 | CoderForge-Preview:258,134 条 OpenHands 轨迹 / 51,201 任务 / Qwen3-Coder-480B 教师 | §3 正文 | ✅ 三项全中 |
| 7 | 155,144 条通过轨迹,按 trajectory_id 去重 | §3 正文 | ✅ |
| 8 | 准入「≥3 步 + 分量覆盖 ≥4/7 + token 长 ≤32,768」→ 38,382 条 | §3 正文原句 | ✅ |
| 9 | 保留率 24.7%;Smith 26.3% / Rebench 17.5% / Gym 33.4% | 表 12 | ✅;补绝对数 89,501→23,569、44,739→7,821、20,904→6,992 |
| 10 | 32,768 是 SFT 打包预算(塞进 40,960 上下文) | 附录 H | ✅ |
| 11 | 七个分量名 ////// | §3 各分量定义 | ✅ |
| 12 | 权重 0.30 / 0.25 / 0.10×4 / 0.05 | §3 Aggregation 原句 | ✅;分组合计 信息聚焦 0.40 / 意图—动作 0.25 / 策略动态 0.25 / 护栏 0.10 |
| 13 | 分量 concordance 区间 | 表 1 | ⚠️ 订正:六个入选分量 0.541–0.640,护栏 dpi 0.591,复合 0.732;原稿把复合分混进了分量区间 |
| 14 | 被拒分量 hcr 0.527、BUS/TGCR/DCS-file ≤0.479、DCS-Jaccard 0.729(长度相关) | 表 1 | ✅(本稿补记) |
| 15 | §5.2:300 任务 / 900 对 / 78.7% 与 75.4% | 表 4 + 正文 | ✅;⚠️ 分母为 724(176 对不一致记为平局) |
| 16 | 三档分开报 | 表 4 | ✅ 论文已做:85.2/81.1、74.2/77.0、76.8/67.4 → 本提案原第二步该条已删除 |
| 17 | full-order match 45.7% / 41.3%,Spearman 0.417 / 0.402 | 表 4 末两行 | ✅(本稿补记) |
| 18 | 表 2:任务 847/825、每任务上限 30/59、脏模式 1.0%/13.6% | 表 2 | ✅ |
| 19 | Bottom 与 Top 任务约束相同(847 / 30) | 表 2 | ✅(本稿补记)→ 任务覆盖只能解释 Top−Random,不能解释 Top−Bottom |
| 20 | 三个子集 source mix 均 61/20/18 | 表 2 | ✅ → 源比例这一项论文控制住了 |
| 21 | Top.min 0.706 > Bottom.max 0.470 | 表 2 表注 | ✅(正文另见 0.7061 / 0.4696) |
| 22 | 表 3:Top 27.6、Random 24.8、Bottom 21.8、Base 24.4 | 表 3 | ✅ |
| 23 | GPT-4o 裁判臂 28.4 高于 Top 27.6 | 表 3 B5 | ✅ |
| 24 | Hard 列 Top 6.7 对 Random 2.2 | 表 3 | ✅;补记:裁判臂 Hard 同为 6.7,Top-LM 4.4 |
| 25 | B3 Shortest-K 24.2、B6 Top-LM-K 27.0 | 表 3 | ✅(本稿补记)→ 「长度无人分解」须限定,已加 ⚠️ |
| 26 | 表 5 消融:24.6 / 23.0 / 25.8,其中 w/o iac 低于 Random | 表 5 | ✅ |
| 27 | 附录 G:众数步数带 、复合 pair-AUC 1.000、psn 0.839 | 表 11 | ✅ |
| 28 | 附录 I:只扰动 //,Top-1024 重叠 93.1–99.6% | 表 13 | ✅ |
| 29 | 图 2:413,278 条记录、十分位 resolved 率 54.1%→86.9%、跨度 32.9 点 | 图 2 正文 | ✅;⚠️ 该记录集含 release 的 reward-1 便利分片,不全是 155,144 通过轨迹 |
| 30 | 裁判成本约 2,750 美元(38,382 条) | 附录 F | ✅;补记:全部 258,134 条约 18.6K |
| 31 | tqs 43 ms/条、四进程 87.5 条/秒、全库约 49 分钟 | 附录 C | ✅;补记:单进程全库约 3.1 CPU-小时、约 $0.1–0.2 |
| 32 | 反推 美元/条 | 2,750 / 38,382 复算 | ✅ |
| 33 | 相关工作 2605.21996 / 2602.03219 / 2602.02050 / 2504.07164 / 2505.20411 | 五个 abs 页 | ✅ 标题与日期全部吻合 |
本轮订正与边界
订正三处
- 「长度上限与结构分各自贡献多少,无人分解」说过头了。 表 3 已有 B3(纯长度选,24.2,低于 Random)与 B6(Top 但长度匹配 Random,27.0,仅比 Top 低 0.6)两条臂,池内长度混淆的贡献被压到 ≤0.6 点。已改为:池内不必再做,第二本账只针对被 32,768 剔除的 116,762 条。
- 「七个保留分量的 concordance 落在 0.541–0.732」把复合分混进了分量区间。 分量区间实为 0.541–0.640,0.732 是复合分。
- 技术路线第二步的「三档分开报」论文已做。 表 4 已按 high–low / mid–low / high–mid 分报。该条已删除,第二步改为只补跨任务对,并把 full-order match 与 Spearman 推进主表。
补记两条对 ECSL 判定线有直接影响的量
- 分母:900 对中 176 对裁决不一致被记为平局,78.7% 的实际分母是 724。折算到 900 对是 63.3%。凡引用该一致率都要写明分母。
- 上界: 的解释上限不是 +2.8 全部。Bottom 与 Top 的任务约束相同(847 / 30),故 Top−Bottom 的 +5.8 点不含任务覆盖效应;任务选择最多解释 Top−Random 的 +2.8 点中由 847/825 与 30/59 两处不对齐撑起的那部分。
本轮未核到、不作决策依据的两条
- 38,382 条可用池铺开在多少个任务上,论文未给出(表 2 只报了子集层面的 847 / 825)。ECSL 第一本账的 偏小风险因此无法预先量化。
- 表 3 六条基线臂各自的 Hard 桶规模论文未给出,本稿沿用「按 100 / 60 条反推标准误」的估计,属量级判断而非一手读数。
终审补充核验(2026-10-18)
编辑轮的 33 条核验记录逐条重跑一手源(arxiv.org/abs/2610.13152 的 citation meta + arxiv.org/html/2610.13152v1 全文),0 处事实错误。终审另外确认的六项:
- 表 4 逐格命中:85.2 (208/244) / 81.1 (198/244)、74.2 (190/256) / 77.0 (197/256)、76.8 (172/224) / 67.4 (151/224)、Overall 78.7 (570/724) / 75.4 (546/724)、Pooled concordance 73.3 (631/861) / 76.2 (656/861)、Full-order match 45.7 (137/300) / 41.3 (124/300)、Spearman 0.417 / 0.402。176 对平局、分母 724 均出自正文原句。
- 表 2 逐格命中:Tasks / repos = 847/209、847/204、825/217;Max per task = 30 / 30 / 59;Dirty flag = 1.0 / 64.3 / 13.6;Mean steps 34.2 / 53.0 / 41.0;Mean tokens (K) 28.1 / 26.3 / 26.9;Source mix 三列同为 61/20/18。Bottom 与 Top 的任务约束确实完全相同(847 / 30),编辑据此给 定上界的推理成立。
- 表 3 全量命中:B0 24.4、B1 24.8、B2 21.8、B3 24.2、B4 25.2、B5 28.4、B6 27.0、Ours 27.6;Hard 列 Random 2.2 / Top 6.7 / 裁判臂 6.7 / Top-LM 4.4 四项全部一致。
- 权重结构与分组合计:、、、,正文另给分组合计 0.40 / 0.25 / 0.25 / 0.10,与「0.30 / 0.25 / 0.10×4 / 0.05」的写法自洽。
- 附录三处:附录 D 的 Top-1024 阈值 0.7061、Bottom-1024 阈值 0.4696、间隔 0.2365;表 11 的众数步数带 、复合 pair-AUC 1.000、 0.839;表 12 的 89,501→23,569(26.3%)、44,739→7,821(17.5%)、20,904→6,992(33.4%)、155,144→38,382(24.7%)——全部一致。
- 五篇相关工作编号与日期全部吻合:2605.21996(2026-05-21)、2602.03219(2026-02-03)、2602.02050(2026-02-02)、2504.07164(2025-04-09)、2505.20411(2025-05-26),标题逐字一致。另补一条:附录 B 给出 300 个任务的来源构成——SWE-Smith 181、SWE-Rebench 85、R2E-Gym 34。
复算复核:两比例独立标准误 点,;Hard 桶 n=100 时 2.90 点(1.55 个标准误)、n=60 时 3.74 点(1.20 个);; 美元/条。四处与正文一致。
终审新增一处:定位提醒一条(见「背景与动机」后的 ⚠️)——单次训练与 32K 截断均见论文自陈的 Limitations,ECSL 的增量应定位为「把已声明的局限量化」,不是「揭论文没看到的短」。