大模型前沿动态 · Vol.137

HybridAgent 让 14B 在 GAIA 上压过前沿模型、0.6B 小模型替 32B 决定想多久、27B 决策模型一次前向出概率、KV 缓存按成本现算：写死的默认路径被拆成了可选项

四条动态落在四个层级，手法是同一套：把原本由人预设的默认路径拆成可选项，再交出一个会算的裁决者。HybridAgent 用残差适配器在文本与潜空间之间切换，14B 在 GAIA 上得 52.4；DoubtLess 让 0.6B 小模型的简读与繁读之差当方向盘，Qwen3-32B 思考 token 减 31%；Lumma-Fev-27B 全参微调约 10 万样本、13 GPU-小时，留出集 90.7% 对 Jev 83.9%，ECE 0.009；SparPR 按运行时成本比较决定 KV 块拷贝还是重算，笔记本上延迟降 63%。

大模型 推理优化 智能体 潜空间推理 对比解码 思维链压缩 决策模型 KV缓存 端侧推理 Qwen arXiv Hugging Face 后训练 评测校准

今天这四条动态分在四个层级上，手法却是同一套：把原本写死的默认路径拆成可选项，再交出一个会算的裁决者。思考用文本还是连续向量、一条推理链该想多久、输出写成句子还是概率、缓存满了留哪几块，都不再由人预设规则。

一、HybridAgent：在连续空间里想，在文本空间里动手

事件概述

10 月 13 日，Together 与斯坦福的 Jiaru Zou、James Zou 等人把 HybridAgent 挂上 arXiv（2610.18861），45 页 12 图。这套 agent 骨架基于 Qwen3-Base 训练了 4B / 8B / 14B 三个规模，横跨数学、科学、医学、搜索与智能体推理共 11 个基准。作者给的头版数字是：相对前沿 LLM Agent 以及文本派、潜空间派的两类 agentic 框架，平均提升 10.4%，token 用量降 35.5%–54.7%，推理快 1.8×–2.6×，成本省 2.7×–3.7×。

技术解析

过去两年 latent reasoning 一直卡在同一个缺口上：连续向量做内部思考省 token，却既碰不到工具，也读不出来。HybridAgent 用两个部件把这个缺口补上。

第一个是 HybridLink，一个残差适配器，形式为 e_{t+1} = R(h_t) = h_t + W2·σ(W1·h_t)。它把上一层隐状态从隐藏空间映射回输入嵌入空间。加残差的意义在于，可学习部分只需对齐两个空间的分布差，不必从零学一个完整投影——4B 模型上这部分约占 1000 万参数。进出的开关也做成了可判定的：文本模式下采到 <latent> 就进入潜空间循环，而当 R(h_t) 与 </latent> 词嵌入的余弦相似度在词表上取到最大时退出。退出条件顺手带来一个副产品：把每个潜空间步的 R(h_t) 投回最近邻词嵌入，就能还原出可读的伪文本，潜空间思考因此不再是黑箱。

第二个是 continuous working memory。多轮 agent 的常规做法是把每轮输出重新 token 化拼进前缀，但混合轨迹里文本 token 与潜空间向量是交织的，重新 token 化会丢掉潜空间部分。作者的替代方案是把文本、潜思考、工具观察三类内容统统映射进同一个输入空间，然后跨轮累积并复用 KV 条目，全程不做 token 空间重建。

后训练分两段：HybridSFT 让 backbone 学会配合 HybridLink，HybridRL 再学”什么时候该进潜空间想、什么时候该回到文本动手”。两段各自的增益是 +18.5% 与 +10.4%。

主表上，14B 版本在 GAIA 平均得 52.4，ARPO 同规模为 43.7，GPT-5.6-Luna 37.9、Kimi-K3 41.7、DeepSeekV4.1-Flash 39.8；WebWalker 上 49.5 对 40.5，而 GPT-5.6-Luna 只有 11.0。数学侧差距就窄得多：AIME25 43.3 对 42.1，MATH500 88.2 对 87.0，GPQA-Diamond 55.1 对 54.0。文本 token 的下降看得更直接——文本 agent 每实例可见 596（8B）/ 497（14B）个 token，HybridAgent 降到 302 / 284，代价是每实例要额外走 170 / 183 步潜空间循环。

行业影响

一个 14B 的开源模型在 GAIA 上压过 GPT-5.6-Luna 十五个点，这个差距本身比”省了多少 token”更值得注意。增益集中在需要多步工具调用与网页遍历的任务，说明潜空间思考的价值不在算得更快，在于跨步骤的上下文压缩——工具返回的冗长 observation 不必逐字回到文本流里。

限定条件也得摆出来：HLE 上 HybridAgent 14B 是 16.0，GPT-5.6-Luna 是 29.0。知识密度极高、几乎不需要工具交互的题目里，潜空间循环占不到便宜。作者自己报的稳定性是 5 次独立运行准确率标准差 ±0.014（95% CI ±0.017），数学任务 ±0.031，搜索任务 ±0.018——14B 与前沿模型在部分基准上的差距并未超出这个抖动范围，别把单次跑分读成定论。

相关链接

二、DoubtLess：让 0.6B 的小模型替 32B 决定”想够了没有”

事件概述

同日提交的 2610.18862 来自 Minghao Luo 与 Liang Chen。方法名直译是”少点犹豫”：不训练、不改权重，用一个 0.6B 的小推理模型去引导 32B 的大模型把思维链写短。在 AIME 2024 / 2025、HMMT 2025、AMC 2023、GPQA-Diamond、OlympiadBench、LiveCodeBench 七个基准上，Qwen3-32B 的思考 token 减少 31%，准确率整体变动 −0.9 点。

技术解析

方向盘来自一个对比：每一步，小模型把大模型已生成的 CoT 读两遍，一遍被提示直奔答案、不要重新推导，另一遍被提示逐步双重检查。两次得到的 logit 向量相减，乘上强度 α=5 加到大模型 logits 上。两处约束让它不至于跑偏——重排只在大模型自己的 top-p 候选集内进行，</think> 与 EOS 的 logit 恢复原值，所以”何时收尾”这件事的最终裁定权仍留在大模型手里。

有意思的是这个方向什么时候起作用。在 AIME 2025 的正确样本上，两个 thinker 的下一 token 分布在答案首次出现之后的分歧是之前的 7 倍；答案出现后，But、However、Alternatively 这类开启新一轮检查的词被压低 5 倍以上，答案出现之前几乎不受影响。切分统计与之一致：答案出现之后的思考被砍掉一半，之前只砍掉五分之一，被删掉的 token 里有 65–89% 位于答案之后。

对照组的表现能说明这套机制贵在哪。NoWait 直接屏蔽 17 个检查词（在 Qwen3 词表上共 89 个形符，logits 加 −100 偏置），AIME 2025 上准确率掉 14.4 点；ThinkBrake 在句边界按 logit margin ≤ 0.1 早停，在 coding agent 上掉 6.9 点；DEER 在 0.8× 预算处强插 trial answer，agent 场景反而涨 4.5 点；ASC 在 layer 57 后加一个固定的 steering vector（ρ=0.2）。Concise prompt 整体缩短 25%，仍不及 DoubtLess 的 31%。

agent 场景的数字更能说明问题。HumanEval+ 164 题、带一次修复 turn 的 self-debugging agent 里，DoubtLess 每 turn 思考从 2,718 token 降到约 2,174（−20%），pass rate 反涨 2.0 点。NoWait 减得更多（−29%）却掉 0.8 点。论文还给了 plain decoding 的一个隐性浪费：16%–20% 的 turn 把整个预算耗在思考上，一行程序都没写出来。

跨模型族的验证也有：EXAONE-4.0-32B 由 1.2B 引导，Granite-4.2-30B 由 3B 引导，准确率均不变。消融里换 1.7B、4B 乃至让 32B 自引导（α=1）都能跑，默认取同族最小最便宜的 0.6B。

行业影响

现存三种压缩 CoT 的办法各有代价：训练法要为每换一个模型重训一遍，固定 steering vector 对不同题目用同一套方向，启发式早停和禁词则会误伤必要的验证。DoubtLess 把”这一段要不要再检查”的判定外包给一个按上下文实时计算的方向，代价是每步多一次 0.6B 的前向。

对推理服务商来说，这个代价比训练便宜得多——0.6B 的前向开销相对 32B 的自回归几乎可以忽略，而 31% 的思考 token 削减直接落在账单上。更值得留意的是它和训练法是叠加关系：论文确认 DoubtLess 能在一个已经为简洁性训练过的模型上继续缩短 CoT。

相关链接

三、Lumma-Fev-27B：把”生成一句话”换成”在选项上打一次分”

事件概述

10 月 14 日，FrontiersMind 在 Hugging Face 放出 Lumma-Fev-27B，Apache 2.0 权重。它以 Qwen3.8-27B 为底座，全参数训练、不用 LoRA、不冻结层，训练样本约 10 万条，只过一遍数据。在 4,454 条留出决策样本上准确率 90.7%，对照 TypeSafe Jev 的 83.9%。

技术解析

这类模型的输出契约与普通 LLM 相反：调用方传进一个 state 和一组问题，模型对每个问题返回选项上的概率分布，一次前向出结果，不生成需要解析的自然语言。选项类型分 noul（返回 yes 的概率）与 choice（最多 255 个选项），score 接口虽然接受但这次没训过，官方明确提示当未测试处理。

校准是这个品类的命门——概率只有真的对应频率，才能拿去 gate 自动化动作。Lumma-Fev-27B 在留出集上的 ECE 为 0.009，Jev 为 0.045；拟合温度 0.94，原始分数几乎不需要重标定。官方也留了句提醒：校准是在自家测试分布上量的，真要拿分数卡线上动作，得先用自己的标注数据拟合阈值。

训练成本是这篇最硬的数字：4 张 H200 跑约 3.2 小时，合计约 13 GPU-小时。checkpoint 选择也做成了一条规则——每 50 次更新在 dev 集上跟 Jev 比一次，保留校准与 Jev 相差 0.01 以内的最佳点，最后选中的是最后一个 checkpoint。

边界同样写清楚了：BBH、WinoGrande 这类推理基准上 Jev 仍然领先。官方把这块缺口归因为训练数据偏窄，下一步计划加入公开任务集合中的推理型与知识型决策。

行业影响

决策模型正在从”一个技巧”长成”一个品类”。HF 上近两周集中出现了 autotrust/JEV-27B-VL、llama.cpp 对 Decision Models 的支持、微软的 Microsoft-Decision-1（基于 Qwen3.5-9B 后训练，32K 输入，走 Microsoft Foundry 的 Preview 通道），以及 CLM-v0.1-8B（冻结 Qwen3-8B 编码器加两个投影头，双向 InfoNCE，作为验证器微调后在 DeepSWE 上 81.6%、Terminal-Bench 2.1 上 87.6%，比 Jev 快 4–6 倍，候选约 1000 个时快 13 倍）。

共同点是都在砍掉”生成—解析”这一段：路由、分类、护栏、内容安全这些场景原本要模型先写一段话再正则去抓标签，现在一次前向直接给概率，延迟降下来，不确定性也一并收敛到概率值上。代价是适用范围被锁死在封闭选项内，模型不会给理由——这恰好是自动化流水线愿意接受的交易。13 GPU-小时的训练成本意味着这条路对中小团队也是开放的。

相关链接

四、SparPR：KV 缓存不够时，按成本现算要不要重算

事件概述

2610.18140 于 10 月 13 日提交，提出 SparPR（Sparse Partial Recomputation）。它不改模型权重、不需要离线训练，在一台 RTX 3070 Ti 8GB 笔记本（Ryzen 9 6900HX、16GB 内存）上把端到端延迟压低 31% / 52% / 63%（prompt 分别为 1k / 2k / 4k token），吞吐提升 1.4×–2.7×；8k token 的负载 44 分钟跑完，FlexGen 基线超时。

技术解析

消费级显卡跑长上下文的瓶颈在 KV 缓存——每解码一个 token 就涨一块，显存和带宽先撑不住。已有方案如 StreamingLLM、H2O 都是固定规则：前者保留 sink token 加最近窗口，后者按累积注意力分数淘汰。SparPR 把这三处”固定”都换成了运行时计算。

  • Query-Aware key-block selection：用当前 query 给历史 block 打分，被淘汰的 block 不真正丢弃，只丢索引。
  • Dynamic budget control：先估算每个 block 的拷贝成本与重算成本，再决定这一轮保留多少块。
  • On-demand local recomputation with cost-aware fallback：把需要保留的 block 合成连续 span，然后按实时成本比较在稀疏重算与完整恢复之间切换。

第三个机制是关键：稀疏重算在 span 短而碎时反而不划算，完整恢复在命中率高时又浪费，两者谁便宜要当次算过才知道。论文在固定缓存预算下测了 Needle Accuracy，各 keep ratio 上均高于 StreamingLLM 与 H2O，消融确认三个机制是联合起作用的。

行业影响

端侧与消费级硬件上，“能不能跑”和”跑得多快”常常是两件事——FlexGen 在 8k 负载上直接超时，说明瓶颈不在算力而在显存调度。SparPR 这类运行时机制的价值在于它与模型解耦：不需要重训、不需要量化、不牺牲权重精度，新模型发布当天就能套用。

对云侧同样成立。prefix caching 命中率依赖请求分布，一旦长尾请求打散，固定淘汰策略的质量会随 keep ratio 波动；把淘汰改成按当次 query 与当次成本计算，质量曲线会平得多。需要留意的是论文只在单卡笔记本上验证，多卡与高并发下的成本模型参数得重新标定。

相关链接