OpenAI 给 GPT-6 家族标好旋钮、华为 X-Router 把选模型做成可学习的一层、决策模型进 llama.cpp：改动都发生在模型之外

本期四条落在不同的一层上：OpenAI 把模型之外的旋钮标了价，华为把「这一轮用哪个模型」做成会学习的一层，llama.cpp 把答案从文本换成概率，一篇一人署名的论文拆穿了关键词判分给出的 0.660 与 0.650。

OpenAI 给 GPT-6 家族出了一份旋钮说明书：缓存最高省 95%，推理档位中途可调

事件概述

10 月 2 日，OpenAI 上线《A model guide for the GPT-6 family》，面向已经把 GPT-6 系列放进生产的团队。文档没有发布新模型，而是把模型选择、推理档位、速度档、缓存、compaction、转向、异步工具、多智能体逐条写成可执行的建议。

技术解析

模型分三档：GPT-6 Astra 留给最难的推理，GPT-6.1 Sol 承担复杂编码、研究和计算机操作，GPT-6 Luna 面向规模化重复任务，文档举的例子是抽取发票字段、分类请求、产出结构化摘要。推理档位分 low、medium、high、extra high/max 四档，API 里允许在会话中途改档而不破坏缓存——这一点把「档位」从一次性开关变成了可随任务推进调节的量。

速度侧给了两条独立的产品线：Fast mode 用更高的每 token 单价换更快且更稳定的响应，Ultrafast 独立于推理档位加速 token 生成，目前只对 GPT-6 Astra 开放。缓存部分给出了本期最硬的数字：缓存命中的输入 token 比未缓存最多便宜 95%，具体幅度随模型而定，配套有缓存看板和诊断指南用来定位复用在哪里断掉。文档要求把稳定的指令与参考资料放在变化的任务细节之前，并保持工具定义一致。

长任务一节的三条机制值得单独看。mid-turn steering 通过 Responses WebSocket 在运行中发纠正，更新排队执行，既不取消正在跑的工具，也不回滚已完成的动作；async tool calling 让模型在慢工具运行期间继续做独立工作；GPT-6.1 Sol 支持的 Responses API 多智能体仍标着 beta。

提示部分有一条反直觉的引文，来自 OpenAI 开发者体验团队的 Eric Provencher：「模型对细微差别和歧义的理解已经好得多，过度具体的指引现在会妨碍结果，而过去它是有帮助的。」配套的四条改写建议里，最具体的一条是把「完成」定义到实现改动、运行它、检查结果、修掉失败这四步，并标明哪些决策仍需人来定。

行业影响

这份指南把省钱的主战场从「换更小的模型」挪到了「提高上下文复用率」，并给了一个可观测入口。它与同日 arXiv 上的一篇工作构成一组对照：OpenAI 建议用 compaction 压长对话，却没有定义何时压缩；AutoCompact（arXiv 2610.02163，10 月 1 日提交）把这个决策训练进了策略本身——judge 复查压缩决策与摘要、错误输出在环境中执行前被替换成修正版本、先 SFT 再接任务成功奖励的强化学习，在 SWE-bench Verified 与 SWE-PolyBench Verified 上相对基线绝对提升 9.2 与 5.0 个百分点，256K 窗口不溢出，16K 窗口靠溢出触发回退压缩也成立。厂商把功能做成 API，研究侧把同一个功能做成可训练的策略，两条路都指向同一个结论：上下文管理不再是外挂的工程开关。

相关链接

• A model guide for the GPT-6 family（OpenAI，2026-10-02）
• AutoCompact: Learning When to Compact Context in Long-Horizon Coding Agents（arXiv 2610.02163）

华为 openJiuwen X-Router：把「这一轮用哪个模型」做成会学习的一层，实测成本降 44.6%

事件概述

10 月 2 日，openJiuwen 团队发布智能路由能力，落地算法名为 x-router。openJiuwen 是由华为 2012 实验室、华为云、终端、计算、算力先遣队等团队联合高校与企业构建的开源 Agent 平台。这次发布的不是模型，而是 Agent 与模型之间的一层决策引擎。

技术解析

体系分三层。画像层离线刻画每个模型的能力分布，在线动态刷新，更新时延优于 1 分钟，刻画维度覆盖任务类型、难度、时延功耗与成本量级。决策层的输入不止是问题难度：它把最近的对话窗口连同工具调用进展一起送进判断，并特意保留最近一次用户诉求，原因是 Agent 循环的尾部常被工具输出占满、任务本身会被挤出窗口；系统状态一侧还纳入了 KV 缓存亲和、实时负载与目标可用性，后者会把刚超时或刚被限流的模型写成本轮的排除项。

第三层的架构选择最耐看。团队把算法做成纯函数——给定相同请求与相同状态快照必须给出相同决策，跨请求的记忆全部外置到独立状态层。这样状态丢了只降质为「冷路由」，不会让请求失败；换算法不动状态层，换学习模型不动宿主。演进侧还留了一条克制的默认：样本不足或优势不明显时保留原判定。

复杂度分类器用进程内的 Qwen3-0.6B，模型池分五档，策略是失败降级永不升级，再叠上下文 Bandit 做经验修正。

行业影响

实测给出了两个基准上的完整对照。PinchBench 全量 147 个任务、覆盖 11 个类别：全云基线（统一用 Kimi-K2-Thinking）得分 71.36%、成本 11.11 美元；静态路由 66.3%、8.25 美元，成本降 25.7% 而得分掉 5.1 个百分点；开启 Bandit 自演进后为 70.70%、6.16 美元，相对静态路由成本再降约 25.3% 且得分反升 4.4%，相对全云基线成本降约 44.6% 而得分只低 0.66 个百分点。Terminal-Bench/LLMRouterBench 上用 Opus4.8、Qwen3.5-122B、Qwen3.5-35B 三档模型池，cost focused 模式降本 51.4%、成功率达 Opus 的 95.2%，quality focused 模式降本 15.7%、成功率 98.6%。

读这组数字要带着样本量：得分差 0.66 个百分点落在 147 个任务上，成本差是硬账，得分差不是。真正可复用的是它把「选模型」这件事从开发者写死的配置表，改成了带反馈闭环、可观测、可换算法的系统——与 OpenAI 那份指南恰好是同一趋势的两个方向，一个在模型内部给档位定价，一个在模型之间做调度。

相关链接

• openJiuwen X-Router 自演进模型路由技术首发（量子位，2026-10-02 15:34）

决策模型进 llama.cpp：一次前向出概率，output_tokens 是 0

事件概述

llama.cpp server 新增 /v1/systemone 端点支持决策模型，博客 10 月 2 日发布，实现在 PR #29818。接口沿用 TypeSafe 的 Jev 模型引入的 System One 格式，已有客户端只需换一个 base URL。

技术解析

决策模型的定义很直接：它不生成文本，而是给你给的选项打分。你发一个状态（文本、JSON 或截图）加一组带类型的问题，模型读一遍输入就返回每个选项的概率。问题分三类——choice 给选项与可选描述，返回最优选项和各选项概率；score 给 2 到 10 个等级，返回期望等级，可以落在两档之间；noul 是是否题，返回 yes 的概率。响应里的 usage 写着 output_tokens: 0。

已接入五个模型：Julia-1（144M，基于 mmBERT-small，50 多种语言，Apache 2.0，中位 3 ms）、Laya（421M，ModernBERT-large，英文，5 ms）、Kev-4B（4B，Qwen3.5-4B-Base，12 ms）、lev（4B，Qwen3.5-4B，36 ms）、OpenJev（27B，Qwen3.8-27B，六种语言、支持图像，CC BY-NC 4.0，43 ms），中位时间测于单张 NVIDIA RTX PRO 6000。

博客里几条实操观察比模型表更值钱。Julia-1 用裸标签把「我被重复扣款」路由到了 shipping，给每个选项补一句描述后走到 billing，置信度 0.99。置信阈值得按模型分别定：同一条模糊工单，Julia-1 给 0.25，Kev-4B 给 0.80。批量提问时 Kev-4B、lev、OpenJev 只处理状态一次。

同一天 arXiv 上的 LLM2Jev（arXiv 2610.02076，微软 Yinheng Li 与 Justin Wagle，10 月 1 日提交）把这件事反过来问了一遍：通用 LLM 本身是不是就已经是决策模型。答案是基本肯定。不训练，Qwen3.5-4B 在 JevBench 231 条公开题上拿 81.4%，与同骨干的社区决策模型 SemIf（186 题对 188 题，15 胜 13 负，p=0.85）持平，超过微调过的 reflex 4B（184 题）；外部分类与推理基准宏平均 78.6，比 SemIf 高 3.2 个百分点（313 胜 154 负，p<10⁻¹²）。校准也免后处理：ECE 0.057，优于 SemIf 的 0.061 和 reflex 4B 的 0.070。Banking77 的 77 个意图单趟做完，准确率 69.0%，字母 logit 读法根本覆盖不到这个量级。视觉决策零样本就出现——MMBench 在要求所有选项排列下一致的 CircularEval 上 82.4%，MMStar 64.6%，把图抽掉掉到 15.2% 与 28.8%。

行业影响

这篇论文的负面结果比正面结果更该被记住。全参微调在 JevBench 上只有 76.2%–80.5%，不高于零样本的 81.4%，只有 LoRA 做到加 2.6 个百分点（84.0%）。用意图数据训练时，训练越久越差：81.4% → 100 步时 79.2% → 一整轮后 76.2%，而分布内验证损失一路单调变好。去掉 KL anchor 后，4B 模型在 231 条里有 69 条在标识符之后继续生成冗余文本，0.6B 出现严重终止失败——基准分数完全看不出这种崩塌。0.6B 的情况正好相反：零样本 JevBench 56.7%、ECE 0.278、Banking77 22.2%、文本模式 231 条里 219 条语法失败，微调后升到 57.1%、ECE 0.133、Banking77 59.8%。

对工程侧的提示是清楚的：把强骨干改造成决策模型，先试零样本，微调的收益集中在弱骨干和特定任务；过程中要盯生成行为，不要只盯聚合分数。llama.cpp 那边把「下一个接 Cloudflare 的 Clef」写在文末，说明这条赛道的供给还在快速增加。

相关链接

• New in llama.cpp: Decision Models（ggml-org，2026-10-02）
• llama.cpp PR #29818
• LLM2Jev: LLMs Are Already Jev-Style Decision Models（arXiv 2610.02076）

关键词判分 fail open：0.660 与 0.650 的两个模型，逐字复现检查下是 6/6 与 0/6

事件概述

arXiv 2610.02142（Juan S. Santillana，10 月 1 日提交）记录了一个小模型工具使用评测上的假阳性。两个西班牙语安全语言模型共享 decoder、tokenizer 和特殊 token：661.6M 版本约 65% 代码与技术文本、没有专门 SFT，1,109M 版本走 web 为主的多阶段课程、带 6B token 的工具 SFT。两者在宽松的工具使用指标 B4 上是 0.660 与 0.650，几乎同分。

技术解析

逐字复现检查把两者彻底分开：600M 在 6 个训练样本中的 6 个上都发出了带泛化参数的合法工具调用，1B 在所有 checkpoint 上都是 0/6。首 token 探针把 1B 的失败定位到一个丢失的先验——<|tool_call|> 的概率只有 10⁻⁴ 到 10⁻⁵，被它 web 为主的训练阶段抹掉了。

修复用了 2,202 步、约 3.3 GPU 小时的定向 SFT，语料更多样、学习率提高 5 倍，消耗的 token 比失败的那个阶段少三个数量级。269 条语料行上合法发出率从 0.100 升到 0.959（600M 是 0.926）；238 条未见提示上修复后的 1B 通过 0.536，600M 是 0.428（p=0.004）。嵌入漂移检查显示修复没有动触发 token 的绑定嵌入，bf16 表有 97.7% 逐位相同，改动落在网络其余部分。

行业影响

作者自己留了两条边界。两个模型都过度触发，不发起调用就回答负例的比例分别是 0.09（600M）与 0.17（修复后的 1B）——修复装上了格式，没有解决抑制问题。抑制收益来自多样语料这一点仍是假说，受随机种子影响。整套诊断阶梯只要几分钟 CPU 时间，作者主张用它给小模型的工具使用声明设闸。

这条与本期第三条是同一个问题的两面：LLM2Jev 说聚合分数看不出生成行为崩塌，这篇说宽松指标看不出能力根本不存在。两者的共同判据是同分不等于同行为。

相关链接

• Keyword Harnesses Fail Open: A Cheap Diagnostic Ladder for Tool-Use Claims in Small Language Models（arXiv 2610.02142）

小结

本期四条没有一条在改模型权重，改动分别发生在定价层、调度层、输出层和验收层。OpenAI 把档位与缓存复用率做成可观测的账目，华为把模型选择做成带反馈闭环的系统，llama.cpp 与 LLM2Jev 把答案的形状从文本换成概率分布，2610.02142 则给出一套几分钟就能跑完的诊断阶梯来检验前人的声明。

判定法是这一组素材自己长出来的：看到一个「提升 X%」的说法，先问它测的是哪一层，再问换掉那一层还剩多少。X-Router 的成本账与得分差要分开读，LLM2Jev 的 81.4% 与训练后的 76.2% 要分开读，0.660 与 0.650 更要先过一遍逐字复现才读。