研究提案 待审核

挑战者标定与重建回路账本：TerminalHorizon 的 1,535 个环境里，有多少真的没被合成提前做完

TerminalHorizon 用独立挑战加重建闭环修复「环境合成提前完成关键工作」，但挑战者能力从未标定、回路的三条产出从未进账、扩展代未单列、52.8 轮的长度对比处在过滤后口径上。CCL 用过程级工作覆盖度替代结果标签，配能力阶梯与三臂对照审计这个闭环。

智能体训练数据 环境合成 长视野智能体 终端智能体 数据工程 可复现性 数据审计

私有内容

此页面为私有内容，请输入密码查看

锚点论文是 TerminalHorizon（arXiv:2610.13166，中国科学技术大学、阿里巴巴高德、南方科技大学，v1 于 2026-10-09，cs.CL）。它对准的是环境合成里一个被忽略的失效模式：合成过程会把本该由智能体完成的探索、实现与验证提前做完，长轨迹里那些行为模式随之落空。解法是一条闭环——Independent Challenger 以与构造无关的身份执行候选任务包，Horizon Gap Analysis 把轨迹里缺失的工作回溯到初始材料、对象关系或工具行为，Construction Agent 据此 Refine，修订后的任务再回到独立执行验证。第二阶段 Progressive Horizon Expansion 在同一目标下叠加新需求，让后续工作依赖前序产物。引擎产出 1,535 个任务环境与 2,852 条轨迹（TerminalHorizon-3K），SFT 到 Qwen3.5-27B 后，Terminal-Bench 1.0 / 2.0 / 2.1 分别为 55.0 / 55.8 / 60.67，比基座高 8.7 / 14.2 / 13.85 个百分点，且只用了 Terminal-Universe-27B 不到十分之一的轨迹量。

本提案不质疑这条闭环的方向，只追问一件它自己没有回答的事：闭环每一轮产出的判定，凭什么算数。

背景与动机

第一处缺口在挑战者的能力标定。§2.2 引入 Independent Challenger，其策略记作 πB\pi_B，全文只在角色说明与式 (4)(5) 中出现；附录 A 给了 SFT 的全部超参（3 epochs、lr 1×10−51\times10^{-5}、最大序列长 262,144、seed 42、18 节点 144 张 H20-141GB）与 12 个基准的评测协议，唯独没有交代 πB\pi_B 是哪个模型、用什么解码参数、步长预算多少。判定权实际落在合成评审 Asyn\mathcal{A}_{\mathrm{syn}} 上。附录 H.1 又自己否掉了结果信号：「The initial challenger also passed, showing that task success alone does not reveal work completed in advance.」于是 ρ\rho 的两个方向都不可读：ρ\rho 偏高既来自「环境把工作提前做完了」（该重建），也来自「挑战者本身足够强」（不该重建）；ρ\rho 偏低既来自「工作确被保留」（该接受），也来自「挑战者够不到」（不该据此重建）。缺少能力标定，这四格共用同一个观测量。

第二处是回路的账从未进账。1,535 是接受之后的分子。附录 H 的三个案例分别消耗「五轮重建 + 六次独立挑战」与「四轮重建 + 五次独立挑战」，单环境成本不低；候选池规模、每轮的三分叉（接受 / 重建 / 丢弃）、轮次分布 Pr⁡[R=r]\Pr[R=r]、丢弃原因分布、单环境挑战次数与算力开销，全篇为零。§4.3 的标题写着 Analysis and Ablation Studies，正文只有三条：teacher 模型（GLM-5.2 与 DeepSeek-V4-Pro-0813 各在 100 个抽样任务上比 turns、反馈链长、精确重复率与通过率）、模型规模（27B / 35B-A3B / 122B-A10B）、数据量（1k→3k）。论文的两个头条机制——挑战—重建与渐进扩展——没有任何一条消融。

第三处是扩展代没有单列。§2.3 的 Expand⁡(T(g);δ(g))\operatorname{Expand}(T^{(g)};\delta^{(g)}) 产出独立候选 T~(g+1)\widetilde{T}^{(g+1)}，附录 I 只给三条演化谱系的定性对照与表 10 的两条三代分支。1,535 个环境里 g≥1g\ge 1 的占比、各代平均交互轮次，都没有进 §3 的数据分析。

第四处是头条长度对比的口径偏差。§3 用「各开源方法随机抽 300 个任务、同一 teacher 协议」比 turns，得到均值 52.8、P90 98、中位反馈链 25。我们这一侧的 52.8 是在过滤之后算的：每任务两条轨迹共 3,070 条，按附录 F 的三条判据（trajectory validity、environment-grounded progress、multi-turn training value，评审用 gpt-5.6-luna，reasoning effort 设为 high，且不接收最终 reward 或成败标签）留下 2,852 条，保留率 92.9%。基线那 300 条没有过这层筛。附录 F 写明价值判据「不看长度、命令数或输出量」，可它剔除的正是等待、重复轮询、机械循环这类短而空的轨迹，剔除低价值样本会一并抬高均值。

核心思路

提出 CCL（Challenger-Calibrated Construction Ledger）：把「挑战—重建」从闭环控制器改成一本四栏账本，判据从结果标签换成过程级的工作覆盖度，并对挑战者本身做能力标定。

工作项集合 W(T)={w1,…,wm}W(T)=\{w_1,\dots,w_m\} 从 task seed zz 中「智能体需要发现、分析、实现或调试」的句子级条目抽出。覆盖度定义为

κ(τ,T)=1m∑j=1m1[ wj 在 τ 中存在对应的动作或观察证据 ].\kappa(\tau,T)=\frac{1}{m}\sum_{j=1}^{m}\mathbb{1}[\,w_j\ \text{在}\ \tau\ \text{中存在对应的动作或观察证据}\,].

能力阶梯 π(1)≺⋯≺π(K)\pi^{(1)}\prec\cdots\prec\pi^{(K)} 每档跑 nn 次，得到 ρ(k)\rho^{(k)} 与 κ(k)\kappa^{(k)} 两列。判定落在四格上：

  1. ρ\rho 高、κ\kappa 低：工作被环境提前完成，进重建。
  2. ρ\rho 低、κ\kappa 高：工作已在轨迹中发生，换更强档复测，不重建。
  3. ρ\rho 低、κ\kappa 低：挑战者够不到，先做可解性修复，再谈重建。
  4. ρ\rho 高、κ\kappa 高：落在可学习带，接受。

与 CalibForge（arXiv:2608.06352）的分工在这里分开：CalibForge 校准的是相对求解器的难度带，用异构求解器池的分歧与 strong-pass / weak-fail 关系定位可学习区间，判据全是结果标签；CCL 校准的是工作保留，判据是过程覆盖度，服务对象是「重建」这个动作而不是选题难度。两条轴互补，互不覆盖。

账本记三个量：省略率 ο=Pr⁡[ρ(K)=1 ∧ κ<0.5]\omicron=\Pr[\rho^{(K)}=1\ \wedge\ \kappa<0.5]，重建增益 Δκ=κr+1−κr\Delta\kappa=\kappa_{r+1}-\kappa_r（并附 Δρ\Delta\rho），以及漏斗的转化率、轮次分布与丢弃原因分布。

技术路线

  1. 工作项抽取与证据判定器标定：从 seed 与公开指令自动切出 WW，人工标注 200 条做对齐，目标是与人工判定 Cohen’s κ≥0.8\kappa\ge0.8。难点在工作项与实现细节的边界，切分粒度按 seed 中「what the agent needs to discover / analyze / implement / debug」的句法角色定。
  2. 能力阶梯搭建与单调性校验：K = 4 档，同族不同规模外加一个跨族锚点。先在一组公开终端任务上验证 ρ(k)\rho^{(k)} 单调不降，出现反转的档位弃用。阶梯上设早停：弱档 ρ=0\rho=0 且 κ\kappa 高即停止上探，省下 H.2 那种单环境六次挑战的开销。
  3. 三臂重建对照：各不少于 200 个触发重建的候选。A 臂喂完整 drd_r；B 臂抹掉诊断中「工作被提前完成」那段，只留运行时缺陷与评分不一致；C 臂给空诊断，只要求重写。比较 Δκ\Delta\kappa 的中位数与 Pr⁡[Δκ>0]\Pr[\Delta\kappa>0]，A 与 B 用 Mann–Whitney U 在 α=0.01\alpha=0.01 下判差异。
  4. 漏斗账本与预算表：记录 ∣Qb∣|\mathcal{Q}_b| → task seed 数 → 候选包数 → 每轮三分叉 → ∣Ab∣|\mathcal{A}_b|，并记每环境的挑战次数、token 与 GPU 时。扩展代强制重跑完整回路，代际 gg 单列入表。
  5. 下游验证与去偏：把基线方法的 300 条轨迹也过一遍附录 F 的过滤器再比 turns，或直接给未过滤口径；同一 3k SFT 预算下比较账本筛选子集与原集，并按附录 B.2 的做法重画 1k→3k 的数据效率曲线。

关键技术挑战集中在三处：κ\kappa 的判定器本身是 LLM 裁判，需要双盲与重评一致率兜底；新增需求的 verifier 由同一个 Evolution Agent 写出，与任务同源，假阴性方向（另一种合法读法被判失败）没有约束；长轨迹上的阶梯标定成本随档位数线性增长，靠早停与抽样控制。

预期成果

定量目标有四项。省略率 ο\omicron 在 1,535 个环境上给出点估计与 95% 置信区间，终止线设在 5%：低于这条线，「工作被提前完成」就不是主要失效模式，原论文的核心动机需要改写。三臂对照给出 Δκ\Delta\kappa 的组间差异与显著性，A 与 B 无差异即说明重建增益来自重写而非诊断。漏斗给出此前为零的三张表：接受率、轮次分布、单环境挑战次数的 P50 / P90 与成本分位。下游端，在同等 3k 预算下目标为 Terminal-Bench 2.1 至少再涨 2 个百分点，或用 1.5k 子集达到原 3k 的 98%。

定性影响是把环境合成从「闭环控制器」变成「可审计账本」：合成溢价可以归因到具体一轮的具体一格，而不是整体归功于引擎。对数据工程的直接价值在于，长视野语料的成本大头（每环境多轮挑战与重建）第一次有表可查，规模决策不再靠试。

相关工作

  1. arXiv:2610.13166 —— Scaling Agentic Data for Long-Horizon Terminal Intelligence（中科大、阿里高德、南科大，2026-10-09）。本提案的锚点，挑战—重建闭环与渐进扩展的原始出处。
  2. arXiv:2608.06352 —— CalibForge: Adversarial Solver Calibration for Scaling Learnable Terminal Tasks（2026-08-06）。用异构求解器池的分歧与 strong-pass / weak-fail 关系标定难度带，CCL 的工作保留轴与之互补。
  3. arXiv:2607.27929 —— Meta-Task: Turning Terminal Task Synthesis into a Terminal Task for Scalable Agent Training（2026-07-30）。把任务合成本身包装成终端任务来扩规模，是候选池构造侧的可比基线。
  4. arXiv:2606.22883 —— CLI-Universe: Towards Verifiable Task Synthesis Engine for Terminal Agents（2026-06-22）。可验证任务合成引擎，其验证器设计是 CCL 假阴性约束的直接对照对象。
  5. arXiv:2602.10999 —— CLI-Gym: Scalable CLI Task Generation via Agentic Environment Inversion（2026-02-11）。从环境反演生成 CLI 任务，提供「工作项从何而来」的另一条抽取路径。