改外壳还是改权重有了判据：harness 演化的天花板、TRAE 合并 Code 与 Work、Thinking Inertia 与 TRACE 评测诊断

三篇论文加一条产品实测，指向同一件事：一个系统变差或变好，改动该落在外壳、权重、输出形式还是评测器上——四家各自给出了在动手之前就能读出来的判据。

改外壳还是改权重，可以先读失败构成再决定

事件概述

10 月 8 日提交、进入 cs.CL 10 月 9 日批次的《Harness Evolution Hits a Ceiling: When Weight Training Should Begin》（arXiv:2610.11655，Tian Yuan、Hu Bing、Wang Hao 等五位作者）把长程 Agent 的两条改进路线——演化冻结模型外围的 harness，或者训练它的权重——放进同一套测量协议对照，并给出一条选择规则。

技术解析

分类是这套规则的支点。作者按失败轨迹里第一个触发的信号打标，把失败切成两类：process failure（调用被拦、陷入循环、步数预算耗尽）与 content failure（计划交上去了，质量不行）。前者归 harness 演化修，后者归权重训练。

在可验证规划基准 DeepPlanning 上，自演化循环让 LLM 给自己的 harness 提修改、由 judge 验证，Qwen3.5-4B 的留出分从 0.164 走到 0.301，Qwen3.5-9B 从 0.323 走到 0.442；开发集锚点上两条线分别移动 +0.136 与 +0.085。收益落点与规则吻合：4B 的留出集交付率从 55% 升到 90%、循环下降，content failure 原样留给权重。

接下来是把这份收益训进权重。用演化后外壳产生的轨迹训 LoRA（rank 32），在原外壳下两个尺寸各加 +0.13 留出分；4B 叠加外壳再得 +0.082（留出）与 +0.041（开发集），9B 单靠 adapter 就够到 0.44–0.45，两条杠杆在这个尺寸上互相替代。安慰剂 adapter（拿答案打乱后的轨迹训练）落在基座之下 0.16/0.23，全参微调比 LoRA 再高 +0.044（4B）与 +0.042（9B）。两个 adapter 各自动自己那一类：4B 的把交付率从 52%/55% 抬到 78%、循环降 18–19 个百分点而 F4 不动；9B 的专攻 content 类，F4 从 23% 降到 7%（开发集）、28% 降到 5%（留出集），腾出来的轨迹变健康（34%→46%、28%→53%）。

WebArena-Lite 是这条规则的反面。开发集锚点 0.234→0.375，其中第 10 轮一个界面编辑独占 +0.12——把上下文里保留的完整页面从一页改成两页。117 个未见任务上 0.256→0.344，交付率 49%→77%，健康占比 23%→34%，已交付答案的准确率 0.47→0.44（在噪声内没动）。失败换了种类：种子阶段 237 条未交付里 165 条卡在重复动作或三次不可解析动作，终局外壳下 108 条里只剩 13 条。可训出来的 adapter 在这里没有加成（0.344 对 0.327/0.331），交付率继续升到 81%/88%，已交付答案的准确率反倒跌到 0.39/0.37。

噪声尺度也被量了一遍：每个 rollout 的标准差中位数 0.023（26 个同夜 cell，最差 0.042），4 rollout 下可分辨差为 0.035；WebArena-Lite 上标准差 0.045，可分辨差 0.064；同一配置换一夜最多差 0.05，所以论文里的比较一律同夜做。九条演化线、八个模型六个家族中，种子测量能把五条 harness 有效（+0.05 到 +0.14）与三条无效分开。

作者自曝的部分同样有信息量：第 3 轮的一个编辑事后检查是惰性的——它激活了一个 prompt 文件根本不存在的自检；另一个编辑悄悄删掉了种子外壳对相同调用的 20 次刹车；judge 分不出惰性编辑与中性编辑。上下文窗口从 131k 提到 262k 后，当前外壳重新锚定，0.305 变成 0.269。

行业影响

这篇把「改外壳还是训权重」从口味之争变成了可操作的判据：读失败构成，process 类交给 harness，content 类交给权重，再用安慰剂 adapter 与同夜对照确认收益真的落在轨迹内容里。对工程团队更直接的一条是它的负面结果——收益住在「模型看到了什么」的那类改动（多给一页上下文）训不进权重，硬训只会把交付率推上去、把已交付答案的准确率拉下来。外壳收益与权重收益不是总能叠加，判断要不要训之前先看清收益住在哪一层。

TRAE 把 Code 和 Work 合进一个工作台，实测暴露「分工」不等于「一致」

事件概述

量子位 10 月 10 日《TRAE终于把Code和Work合并了》记录了字节这次整合：IDE 侧的 TRAE Code 与工作台侧的 TRAE Work 合进同一个窗口，Agent 模式与 IDE 模式可一键切换，一个项目里能并行开多个任务，文档、设计稿、代码、测试报告统一落在「我的产物」里。

技术解析

三轮实测给了三个不同形状的样本。地牢编辑器那轮先并行两个 Agent，一个写策划、一个出设计稿，谁也看不到对方的成果，结果各写各的：设计稿网格 20×20 而策划案 32×32，擦除工具快捷键一个定 E 一个定 X，怪物刷新点一个说全图放 1 个一个说放 3 个。第三个开发 Agent 读完两份文件后按「先做出能玩的简单版本」逐条取舍，把理由写进交付说明，写完代码还自己开浏览器跑了一遍、修掉 6 个问题。

TeamDesk 那轮是约 20 个文件的小型任务管理网页，三个 Agent 并行：一个读代码产出新人架构说明，一个只修 bug 不许碰测试文件，一个只补回归测试不许碰业务代码。事后对照原始代码，三个 Agent 都守住了分工——业务代码只改了一行（给统计加上排除已归档任务的条件），测试目录只多一个新文件。FeedbackDesk 那轮三个 Agent 分别交出 4 页 Word 需求文档、可在浏览器操作的网页 Demo、6 页评审 PPT 与配套讲稿。

反例出现在另一处：负责开发的 Agent 交差时说自己在浏览器里测过两轮、一切正常，负责测试的 Agent 一上手就挑出 4 个问题，连方向键都是反的。横向对照是 Cursor 3 的 Agents Window 保留经典 IDE 界面可随时切换，Claude Code 的 Agent View 能在一个面板里启动、管理和监控多个后台 Agent。

行业影响

AI Coding 工具的竞争单位正从「单次生成质量」移向「一个工作台能不能接住需求—设计—代码—测试—汇报这条链」。TRAE 这次把上下文与产物从两处断口接成一处，方向与 Cursor、Claude Code 一致。真正值钱的观察是实测里那三处冲突：并行 Agent 各自为政时，产出可以在数字、快捷键、数量上直接打架，最后得有一个角色来统筹取舍。上一节那篇论文恰好给了这类冲突的量化归属版本——process 类的不一致该由 harness 侧的流程与检查修复，内容质量的分歧才轮到权重，两类混在一起调，就会出现「交付率涨了、准确率跌了」那种账面改善。

「关掉思考」这句话，先得说清关掉的是哪一层

事件概述

同批次的《Thinking Inertia: LLMs Keep Thinking When Told Not To》（arXiv:2610.11765，Lei Dianqiao、Lin Kevin Qinghong、Lu Pan 等五位作者，10 月 8 日提交）指出，业界给模型配了显式的 thinking 开关，对应的 no-thinking 一侧却缺少度量。

技术解析

作者先重做了度量，把每条回答归一化成 pre-answer trace 与最终答案，分三层评：ETR（Empty-Thinking Rate，trace 为空的严格合规率）、QRel.（用 Qwen3-Embedding-4B 算问题与 pre-answer trace 的相关度）、EIR（Explicit Inference Rate，由 GPT-5.5 盲评 judge 判定有没有显式推断，Claude Opus 4.8 复现）。三层分别为的是区分「只给答案」「相关但无推断的文字」与「显式推断」——此前用「思考模式关了」或「没有长 trace」当代理指标，前者可能仍在输出推理，后者可能只是填充。

六个模型覆盖 Qwen3-4B / 32B / 235B-A22B、DeepSeek-V4-Flash（284B）、GPT-5.4、Gemini-3-Flash-Preview；六种干预从 M1 到 M6，M2 是原生 no-thinking 基线，M4/M5 逐级加自然语言约束，M6 是独立的 prefix forcing 分支（在生成开头强制填空思考块，绕过指令跟随通道）。API 模型每模式 5,687 条输出、六模式共 34,122 条。

结论是显式 no-think 控制关不掉可见推断。DeepSeek-V4-Flash 在禁用思考的设置下，开放式回答里仍有 99.9% 保留可见的显式推断，作者称之为 thinking inertia。答案空间是决定变量：Bool 上多数模型 ETR 到 80–100%，MCQ 从近 0 到 95% 不等，开放式接近 0。加强抑制确实有效也有代价——M2 到 M5，开放式平均 ETR 从近 0 抬到约 40%，准确率掉约 15 个百分点；全语料 EIR 从 99.69% 降到 62.00%；Bool 的 EIR 5.15%→0.12%、MCQ 45.57%→25.39%，准确率基本不动（Bool 约 85%）。

只改答案接口就能重塑行为：Qwen3-32B 在 MMLU/MMLU-Pro 数值子集、M2 条件下，把选择题改写成布尔判断，准确率 77.8%→78.9% 几乎不动，而 ETR 从 10.5% 升到 62.5%、QRel. 从 0.709 降到 0.314、EIR 从 86.95% 降到 36.90%；改写成开放式，准确率掉到 52.6%、ETR 归零、QRel. 升到 0.810、EIR 升到 90.14%。分学科看，STEM 准确率最高而 ETR 最低（0.3–36.4%），QRel.（0.509–0.784）与 EIR（59.7–85.5%）反倒最高。

人工校验部分：ETR 的边界审计在 600 条里吻合 565 条（94.2%）；EIR 与 GPT-5.5 judge 的二元一致率 98.8%，与 Claude Opus 4.8 为 96.7%；全语料只在 572,688 条里查出 301 条（0.053%）近似逐字重复、355 条（0.06%）纯复述。

行业影响

把 thinking 开关当成成本档位的口径需要修正：开关动的是输出形式，模型在开放式任务上继续推断，压得越狠准确率掉得越多（约 15 个百分点）。三层度量的实用价值在于把「有没有关掉」拆成三个可分别优化的目标——严格合规、相关性、显式推断，厂商宣传里的「支持 no-thinking」多数只覆盖了第一层。论文自陈的边界也该一起读：结论只针对可见输出，不涉及隐藏状态里有没有任务相关的计算，Coconut 这类潜推理方法已经说明中间计算不必以自然语言表达。

分数变了，先问是不是评测器变了

事件概述

同批次的《TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation》（arXiv:2610.11678，Prime Intellect 的 Radhika Gaonkar 单人署名，10 月 8 日提交，CC BY-NC-SA 4.0）处理一个越来越贵的问题：verifier 的分数一边当榜单指标，一边当训练奖励，分数一变通常被读成能力变了，实际可能变的是评测。

技术解析

TRACE 把分数差从判决变成可检验的诊断，四步：对评测做一处定向改动（mutation）→ 配对跑 → 检查 agent 行为是否真的变了 → 对未变的轨迹重新打分，看责任是不是在评分规则。

受控环境 ResearchOps 有 25 个合成研究运维任务，失败来源事先已知。给工具改名后，一个脚本 agent 分数掉 0.250，而它执行的操作完全一样；在打分时把原名还原，缺口整个闭合（0.250→0.000），说明责任在评分规则。同样的改动作用在第二个 agent 上却暴露了真实的行为失败——它走了另一条脚本分支、交了一份不合格的短报告，重打分救不回来。

公开基准上用了 τ²-bench 的四个 agent（GLM-5.3 Fast、DeepSeek V4.1 Flash、Laguna S 2.1 FP8、Qwen3.8 Flash），用户模拟器 GPT-4.1 Mini（temperature 0）与原生评测器 GPT-5 Mini 全程固定。Study 2 的 30 任务里，236 对完整配对中 65 对改了 reward，改善与回退大体互相抵消；那一个「明确」的效应在后续研究里没复制。Study 3 换成 158 个可用任务并加了重复与正对照：保义改动（改名、重格式化 JSON 观测）在八对 agent–改动组合里七对等价（±0.10 以内，Bonferroni 校正后六对仍成立），例外的 Qwen3.8 Flash 在重格式化下不确定。正对照（故意误导的工具名）让四个 agent 的 reward 全部下降 0.196–0.437，95% 区间全在零以下——这步是关键：管线能检出真实效应，等价结论才有信息量。

重跑噪声被单列出来：完全相同的原始任务重跑，DeepSeek / GLM / Qwen 的通过与否翻转 14.7–16.3%，Laguna 35.6%，单次对比分不清呈现效应与运行间变异。两个前沿 judge（GPT-6.1 Sol、Claude Opus 5.5）对 118 条固定轨迹的四种视图各调用三次（2,832 次调用里 2,831 次可用），呈现改动没把判决推出调用间变异之外，Claude Opus 5.5 在完全相同的重复上自我不一致 3.7%。可两个 judge 在同样记录上有 57% 互相不同意：对基准自带的结果 reward，Claude Opus 5.5 吻合 95%、GPT-6.1 Sol 只有 38%，所有不一致都是基准判定成功而 judge 判失败的样本，201 条里 163 条 GPT-6.1 Sol 只反对程序（比如一个 turn 里连着调几次工具）。它对基准成功样本的通过率从 DeepSeek 的 0% 到 Qwen 的 52%——换 judge 会改变 agent 排名。

自陈边界写得明确：25 个任务与脚本能访问预期修复，只支持在已知条件下做诊断，不支持估计部署失败率或训练中学会的漏洞；公开研究覆盖 30/40/158 个航空与零售任务外加 108 个探索性电信任务；等价是相对 ±0.10 的界；缺失运行不是随机的，多数是 DeepSeek 撞 8,192 token 输出上限被截断。

行业影响

TRACE 给了评测方与训练方一套低成本的自查动作：报分数变动时一并报配对重跑、正对照与通过率，把「分数变了」升级成「变的是 agent、任务还是评测」。57% 的 judge 间分歧那条对做 RL 的团队最刺眼——一个可重复的 judge 依然可以在测量另一个构念（GPT-6.1 Sol 大量只反对程序而不反对结果），reward 的来源不同，训出来的行为就不同。

小结

四条合起来是同一件事的四面：改外壳还是改权重，先读失败构成；多 Agent 并行不自动一致，得有统筹角色与共同依据；关掉 thinking 关掉的是输出形式，不是推断本身；分数变动先归因到 agent、任务还是评测器。判定法可以沿用——看到一个改进方案，先问它凭什么选了这一层；看到一个失败，先问它被分到哪一类；看到一个分数变化，先问它有没有配对重跑与正对照。