智能体要跑 20 遍才算数：微软 ThinkingBox 拆开一次做对与每次都做对，8B 安全模型贴近 685B MoE

今天这批工作不约而同在做同一件事：把一个「能做到」的说法拆开，分别问它跑了几遍、给没给提示、外壳还在不在、榜单是不是你的分布。

一、微软把每个流程跑了 20 遍，判分看数据库不看措辞

事件概述：10 月 3 日，微软 Copilot Studio 团队与 Toloka 合作，在 Hugging Face 上发布 ThinkingBox 沙盒与 ThinkingBox-Bench 数据集（博客页标注 October 4, 2026，正文标注 Published October 3, 2026），合作方还包括匹兹堡大学、西北大学、哥伦比亚大学与加州大学欧文分校的实习生，配套论文挂在 arXiv:2608.19741。它有 507 个有状态的业务流程，覆盖零售、车险、旅行、数字银行、咨询五个域，每个任务跑 20 次。

技术解析：每个任务定义四件套——初始后端状态、用户目标、可用的 MCP 工具、域策略，外加一组对终态的可执行检查。模拟用户握着订单号、偏好、出生日期这类私有上下文，只有被问到才释放。每一次尝试都拿到一个独立 MCP 会话和全新初始化的状态，两次尝试之间不共享任何数据库行或工具缓存，这才让 20 次对比有意义。

判分不看模型说了什么。结束时由一个副作用抽取器推导出「实际改了什么」，确定性 judge 拿它去对必需的终态，接受任何产出正确结果的轨迹，拒绝错误的、缺失的和多余的副作用。507 个任务里 477 个只靠状态判分，剩下 30 条加一道二元 rubric 处理「有没有告知这不保证」这类没有干净数据库取值的语义要求。信任边界划得很清楚：模型只看到任务、对话和工具 schema，golden state、断言、评分内部和凭据留在评测侧。

三个指标分得很清：pass@1 是所有尝试成功的比例，回答「通常做得怎么样」；pass@20 是 20 次里至少成功一次的任务占比，回答「能不能做到」；observed 20/20 是 20 次全部通过的任务数，回答「是不是每次都对」。

行业影响：先看熟悉的那一列。Claude Opus 5.5 总体 67.16%，Opus 5 66.50%，GPT-5.4 65.36%，GPT-5.6 Sol 61.91%，Claude Sonnet 4.6 59.19%，GPT-6 Astra 58.31%，GPT-5.2 46.28%，Claude Opus 4.6 32.09%，o3-pro 19.31%，Grok-4.3 14.38%；开源侧 Kimi-K3 57.37%，Qwen3.8-27B 51.70%，DeepSeek-V4-Pro 43.26%，Kimi-K2.6 37.66%，GLM-5.1 33.19%，Qwen3.6-27B 32.94%，Qwen3.5-9B 5.65%，Mistral-Large-3 4.66%。

换成 20 次重复，榜单就重排了。只有三个模型保住大部分单次得分：GPT-6 Astra 留住 78%，Opus 5.5 与 Opus 5 各 71%；GLM-5.1、Kimi-K2.6、DeepSeek-V4-Pro 都只剩约 8%。Kimi-K3 覆盖面最广，20 次里至少成功一次的任务达 93.89%（476/507），可 20 次全对的只有 68 个，占 13.41%。Opus 5 反过来，pass@20 只有 79.09%，却有 47.53% 的任务次次都对。更扎眼的是代际对比：Opus 5.5 的 pass@1 比 Opus 5 高 0.66 个百分点，20/20 的任务数一模一样，都是 241。半个点的头条精度没换来任何一点稳定性。

成本这层被单独算了两遍。按单次成功计价，帕累托前沿只有三级台阶：GPT-5.6 Sol 每次成功 0.127 美元最低，GPT-5.4 多花 0.004 美元换 3.45 个百分点，Opus 5.5 再花到 0.276 美元换 1.80 个百分点；Opus 5 每次成功 0.475 美元且精度更低，被 Opus 5.5 两头压住。按「可信任务」计价——20 轮完整开销除以 20/20 通过的任务数——排序完全变了：GPT-5.4 6.80 美元最便宜（但只有 128 个任务达标），GPT-6 Astra 7.45 美元（231 个），Opus 5.5 7.80 美元（241 个），GPT-5.6 Sol 涨到 9.76 美元，Opus 5 13.30 美元，Kimi-K3 20.68 美元，Qwen3.8-27B 24.36 美元。最便宜的一次正确，不是最便宜的每次正确。

失败签名更直接：工具处理占失败的 79.9%，错误状态更新 10.3%，用户诉求没被完整解决 7.0%，压根没产生状态变更动作 2.9%。作者给的建议是，在提交前检查终态而不是模型对自己的总结，把工具错误分类让重试只针对可恢复的那类，把工具面收敛到流程真正需要的大小，不可逆的改动留人工审批——并且明说这几条的收益在本基准上还没有测过。

相关链接：ThinkingBox 博客与榜单 ｜ 论文 arXiv:2608.19741 ｜ OpenEnv 环境文档

二、KaliBench：一条命令拆三段打分，8B 靠确定性奖励贴住 685B

事件概述：arXiv:2610.02206（v1 提交于 10 月 1 日，进入 10 月 2 日 cs.CL 批次），作者来自哈利法大学与西澳大学（Pengfei Li、Naufal Suryanto 为共同一作，Sicheng Zhang、Muzammal Naseer）。它把「分析师意图翻译成 Kali Linux 可执行命令」这件事单独拎出来做成基准。

技术解析：数据集有 8,504 条查询—命令对，覆盖 1,642 个工具、23 个能力维度、5 个安全阶段，去重后切成 5,000 条评测与 3,504 条训练。构造走的是「manuscript-grounded」：先从 Kali 官方文档抽工具名、flag—value 对与记录在案的别名，用这些结构化信号引导 LLM 生成，再经过多轮验证—重生成和代表性样本筛选；验证是 LLM 校验、沙盒终端执行、人工 in-the-loop 三段叠加。评测用 alias-aware 解析，把一条命令拆成工具选择、可选参数 F1、位置参数 F1 三段分别打分，再合成 Total Score 与精确匹配。

三种模式按给多少工具信息区分：unrestricted（什么都不给）、restricted（给工具清单）、hinted（指明用哪个工具）。这个结构还带来一个副产品——CLI 结构确定，不需要真的执行命令就能算出可验证奖励，也就是 runtime-free verifiable rewards，可以直接喂给 RL。

行业影响：24 个配置、14 个通用模型加 7 个安全向模型跑下来，无限制模式下没有任何开源模型的精确命令准确率超过 42%：最好的 GLM-5.2（753B）是 41.3%，restricted 下 52.0%；DeepSeek-V3.2（685B）33.0%，restricted 下 40.2%。拆开看才知道卡在哪：GLM-5.2 的工具准确率是 74.8 / 86.3 / 94.2，可选参数 F1 是 75.3 / 71.9 / 88.4，位置参数 F1 是 51.3 / 78.8 / 90.6——工具选择本来就大体认得，位置参数才是那个从勉强及格跳到接近满分的量。作者把瓶颈定位在参数构造，人工复核挑出的三类典型错误也正是畸形 CLI 选项、漏掉查询要求的参数、参数语义错配。

训练这条线是本条最值得记的数。8B 的 RedSage-K 走 SFT+GRPO：unrestricted 从 56.36 提到 70.31（+13.95），restricted 从 69.31 到 77.93（+8.62），hinted 从 89.53 到 89.34（−0.19）。三模式均值 Total Score 涨 7.5 个百分点，达到 79.2，贴住 DeepSeek-V3.2 的 80.2。两个读法：确定性奖励能把小模型补到大模型的水平；补上的恰好是「不给提示」那一档，提示给足之后增量归零甚至略微变负。

闭源侧还藏着一个分母问题。GPT-5.6-Sol 回答了 5,000 条里的 4,988 条，精确正确率 61.83%，按全量 5,000 条算是 61.68%；Codex（GPT-5.5）回答 4,633 条，55.77%，全量口径 51.68%；Claude Opus 5 只回答了 3,675 条，59.89% 在全量口径下跌到 44.02%。同一个模型，换分母差 16 个百分点。鲁棒性方面，改写措辞 +0.61、口语化 −0.55、杂乱查询 −3.20（均为 unrestricted 模式）。

相关链接：KaliBench 论文 abs 页 ｜ HTML 全文与结果表

三、Harness Annealing：把外壳的控制权退火进权重，撤掉外壳再测

事件概述：arXiv:2610.01235（v1 提交于 10 月 1 日），来自上海交通大学，Yingxuan Yang（兼加州大学伯克利分校）与 Huacan Chai 为共同一作，Ying Wen 为通讯作者。它问的是：模型在全套外壳支持下产生的成功轨迹，能不能顺带教会模型自己做那些判断。

技术解析：外壳被拆成四层：H1 只有工具访问与执行保护，H2 加状态（近期历史、进度账本、重复检测），H3 加工作流（Locate → Read → Connect → Answer 的阶段转移），H4 加验证（启发式草稿检查与有上界的修复）。作者把这个目标命名为 harness internalization——学会承担指定的控制职责，并在相应支持被撤走后保持任务表现。

训练叫 HAT：逐层推理监督，配一条从强到弱的课程。起点 θ0 先在 H4 的教师轨迹上做监督，然后依次混入 H3、H2、H1 来源的轨迹，得到 θ4→θ3→θ2→θ1 一串检查点。关键是监督信号把「外壳提供的信息」和「模型该自己做出的判断」分开标注，否则模型学的只是「照着验证器的反馈走一遍」。训练只用 SWE-QA-Pro 的 464 道题，四种 harness 层级各跑 3 轮 rollout；评测是 SWE-QA 720 题与 SWE-QA-Pro 测试集 260 题，并且每个检查点都在四种部署 harness 下各测一遍。

行业影响：9B（Qwen3.5-9B）的结果最能说明问题。原始模型在 SWE-QA 上 H1 拿 59.93、H4 拿 66.79，四档之间摆幅 7.35——分数里有相当一块属于外壳。用 H4 轨迹训过的起点检查点，H1 71.99、H4 75.70，摆幅 5.48。退火到 H2-targeted 之后，H1 77.00、H2 76.62、H3 76.43、H4 76.45，摆幅压到 0.57。只看工具、不给他任何状态与验证支持的 77.00，反超了起点模型带着全套 harness 的 75.70（+5.01）；SWE-QA-Pro 上是 77.73 对 74.64（+3.09）。控制权的归属变了，分数还在。

自陈的边界同样值钱。继续退火不单调：退到 H1-targeted，SWE-QA 反而掉回 76.30。规模也改变结论：35B 的原始模型四档摆幅本来就只有 2.48，而且在它身上加 harness 是负收益——H1 78.14 高于 H4 76.23；退火后 H2-targeted 的 H1 也只有 81.00，比 H4-trained 的 80.60 多 0.40。换句话说，小模型靠外壳撑起来的那部分可以搬进权重，大模型本来就不怎么依赖外壳，搬运的收益也就没了。

相关链接：Harness Annealing 论文 abs 页 ｜ HTML 全文与四档对照表

四、Online LLM Picker：不选榜单，选你自己的那条流

事件概述：arXiv:2610.01592（v1 提交于 10 月 1 日），作者来自代尔夫特理工大学（Alessandro Turrin、Nezihe Merve Gürel）与苏黎世联邦理工学院（Patrik Okanovic、Torsten Hoefler）。它处理的是一个很日常的场景：手上有一百多个模型，有一条正在流进来的查询，标注预算有限，到底选哪个。

技术解析：此前主动模型选择的工作大多假设查询池一开始就全给你，或者只做分类任务；生成式、在线、流式这个组合此前没人做过。Online LLM Picker 的做法是在流上挑最有信息量的 prompt 去标注，判据是一条合并准则：既最大化未标注 prompt 上各模型响应之间的方差，又计入后验不确定性。它对底层模型不做任何假设，任何生成任务、任何模型集合都能套。

实验覆盖开放域问答、含「没有正确答案」的开放域问答、自然语言语法纠错、以及用类代码记号表达的算术与微积分题，模型集合超过 130 个，评分同时用 ROUGE 与 BERTScore 两类指标，兼顾字面与语义一致。结果两条：比对比基线最多省 71.67% 的标注量，把流上未标注 prompt 的序贯生成 regret 最多降到 1/2.51。

行业影响：这条和前面三条是同一个方向的不同切面。ThinkingBox 说榜单那一列不该是 pass@1，KaliBench 说分数要拆到参数级，Harness Annealing 说分数要标明外壳在不在，这一条说得更直接——榜单信号只是对真实表现的近似，你自己的流才是那个分布。它给出的换算也很实用：省下七成标注就能把「选哪个模型」从拍脑袋或抄榜单变成一次可复现的测量。真正会受影响的是路由层，昨天华为 openJiuwen X-Router 那类系统里「分类器样本不足就保留原判定」的克制策略，本质上就是在省这类标注开销。

相关链接：Online LLM Picker 论文 abs 页 ｜ HTML 全文

小结

四条放在一起，指向的是同一句话：一次做对和每次都做对之间隔着的那段距离，正在被单独定价、单独训练、单独归因。微软给出价目表——单次成功 0.127 美元与可信任务 20.68 美元不是一个数量级；KaliBench 给出训练配方——8B 用不需要跑命令的确定性奖励贴住 685B，补的正好是不给提示的那一档；Harness Annealing 给出归属——9B 撤掉外壳还多拿 5.01 分，代价是继续退火不再单调；Online LLM Picker 给出选型方式——七成标注就能在自己的流上定模型。

拿到一个分数可以照着问四句：它跑了几遍；给没给提示；外壳还在不在；榜单的分布是不是你的分布。四句都有答案，这个分数才算能拿去用。