大模型前沿动态 · 字节级蒸馏把 1B 模型的渐近上限抬了 4 个点，Pass^k 揭出智能体 24.4 个百分点的一致性缺口

今天这四条动态，说的是同一件事：结论长什么样，取决于你拿什么单位去量。BPB、Mean@k、单会话 Elo、执行步数——四个各自成立的平均数，都把最关键的那一段信息抹平了。

一、字节级蒸馏：学习单位从 token 换成 byte，1B 模型的渐近上限抬了 4 个百分点

事件概述

Meta FAIR 与华盛顿大学合作的论文《Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models》于 9 月 11 日提交 arXiv（编号 2609.12303），量子位在 9 月 15 日下午给出中文解读。七位作者里有 Llama 3 预训练负责人之一 Mike Lewis、BLT 与 QLoRA 的核心作者之一 Artidoro Pagnoni，以及 Luke Zettlemoyer。他们问的问题很直接：蒸馏时把学习单位从词元换成字节，缩放趋势会怎么写。

技术解析

障碍在于教师和学生说的不是同一种语言。教师预测整个 token，学生预测单个字节。论文给了两套把 token logits 转成 byte logits 的方案：

• Marginalize-It（近似）：沿真实字节前缀，把匹配候选的概率逐位聚合，已结束的候选不再往后追，剩余概率重新归一化。一次教师前向就够，代价是丢掉 token 结束后的那部分概率质量。
• End-Of-Token（精确）：给每个 token 末尾插一个 <eot> 符号，“结束”本身变成一个可预测的位置。悬空的概率有了去处，教师分布被完整搬到字节空间。论文给出的例子里，is 之后既可以接 u、k，也可以接 <eot>。

实验设计是两轴交叉：分词方案（Tokens / Bytes / Bytes w/ <eot>）× 训练目标（蒸馏 vs 交叉熵），共六组。教师统一 Llama 3-8B，学生固定 12.8 亿层参数——计入词表后 Token-1B 总参 18.1 亿，两个字节版本只有 12.8 亿。训练推到 1 万亿字节，在多选问答、语言生成、机器翻译三类共八项基准上评测。

结果不在训练曲线上，而在外推的渐近端。拟合「训练算力 → 验证 BPB → 下游准确率」的链式关系后，六组的渐近平均准确率是：

方案	渐近平均准确率
Token 监督	46.0%
Token 蒸馏	48.4%
Bytes 监督	51.2%
Marginalize-It 蒸馏	50.5%
Bytes w/ <eot> 监督	51.6%
End-Of-Token 蒸馏	52.4%

End-Of-Token 比 Token 蒸馏高 4 个百分点。Marginalize-It 只到 50.5%，反而低于不做蒸馏的纯字节监督 51.2%——丢掉的那部分概率质量，把蒸馏本该带来的收益吃掉了。换算成算力，End-Of-Token 追平 Token 蒸馏 48.4% 的水平需要约 6.33×10²² FLOPs，Marginalize-It 要 2.04×10²³。作者还把自己的渐近预测与开源权重模型摆在一起：Llama-3.2-1B 45.9%（约 9T BPE tokens）、Gemma-3-1B-pt 44.3%（约 2T）、Gemma 2B 50.3%（约 3T），对应高出 6.5、8.1、2.1 个百分点。

论文第 6.6 节的小标题本身就是一句提醒：When Lower BPB Does Not (Always) Imply Better Models。字节模型的 BPB 很早就低于 token 模型，可是拿去做选择题，成绩在相当长的区间里反而更低。BPB 量的是”文本预测得准不准”，下游任务量的是”答案能不能选对”。论文没有拿 BPB 直接下结论，而是走了 BPB 这一层中介去拟合渐近值——这一步绕行，正是这四条动态里最值钱的方法论。

代价也写得很清楚：每约 4.5 字节插一个 <eot>，处理同样数据量时比 Marginalize-It 多花约 30.94% 计算。收益侧是数据效率与存储——达到同等水平只需约六分之一训练数据；词表从十万量级压到 256，离线蒸馏不必再做 top-k 截断，logit 存储成本降到约五分之一。等推理成本下的公平比较，这一版没有做。

行业影响

这条线把 tokenizer 重新摆到了”可选项”而非”前提”的位置。过去十年字节级模型一直受制于序列变长带来的算力惩罚，BLT 那类动态分块方案在预训练侧证明过可行性，这次轮到蒸馏侧：学生不需要和教师共用分词器，只需要教师的一次前向和一套 logit 转换。对做小模型的一方来说，这意味着”教师是谁”的约束松了一层。

工程侧的收益更即时。top-k 截断一直是离线蒸馏的隐痛——存完整分布太贵，截断又等于主动扔掉教师的尾部判断。256 个取值让完整分布变得便宜，蒸馏数据的复用价值随之提高。作者也留了口子：多花的 30.94% 计算是纯支出，且等推理成本对比还没做，现在谈”字节模型更划算”为时过早。

相关链接

• 论文：https://arxiv.org/abs/2609.12303
• 中文解读（量子位，2026-09-15 14:37）：https://www.qbitai.com/2026/09/489337.html

二、IBM：同一个 agent，Mean@5 是 77.4%，Pass⁵ 只有 53.0%

事件概述

9 月 15 日，IBM Research 在 Hugging Face 博客发文，给智能体评测补了一个几乎没人报的指标。他们用 ReAct 框架配 GPT-4.1 跑 AppWorld test_normal 的 168 个任务，temperature 设为 0.0，重复五次。五次运行的平均通过率 77.4%，看着不差；五次全部通过的任务占比只有 53.0%。两个数字之间那 24.4 个百分点的落差，被他们命名为一致性缺口（consistency gap）。

技术解析

Mean@k 回答的是”这个 agent 平均有多强”，用户真正关心的是”我再问一遍它还行不行”。后者是 Pass^k——每个任务必须 k 次全过才算数。它与人们熟悉的 Pass@k 恰好相反：Pass@k 问 k 次里至少有一次成功，适合能验证、能重试的场合；Pass^k 要求每次都成功。三者恒有关系 Pass^k ≤ Mean@k ≤ Pass@k。

缺口来自每一步决策的分布形状。分布”尖锐”时，第一名遥遥领先，GPU 浮点非结合性、请求批处理带来的微小扰动不足以改变排序；分布”平坦”时，几个候选几乎并列，一点点数值漂移就能改写结果。一条轨迹串起几十个决策，单步的小翻转概率累积起来，就是 24 个百分点的差距。temperature 设为 0 也压不住——解码策略管的是”分布怎么变成 token”，管不了分布本身；托管端点上同一请求的概率每次都会轻微浮动。

IBM 的解法是先诊断再修。一致性分析器（Consistency Analyzer）拿一条已记录的轨迹，对每个决策点发一次 k=5 的采样请求，在已录好的上下文里重放，不需要 ground truth，不需要重跑环境，也不需要看 logits——纯黑盒。被标成”易翻转”的步骤自动生成一致性准则，注入 ALTK-Evolve 原有的存储与检索管线。生成出来的准则不是任务特例，论文举的例子是”数复选框标记时用行锚定正则而不是朴素子串计数”，这类判断点在 AppWorld 里反复出现。关键之处是分析器瞄准的是不稳定，不是失败：它能抓住那些这次蒙对了、下次可能错的步骤。

修完之后，Pass⁵ 从 53.0% 升到 69.0%，Mean@5 从 77.4% 升到 81.0%，缺口从 24.4 个百分点收窄到 12.0 个百分点。分难度看，Easy +12.2pp，Medium +22.9pp（相对 +44%），Hard +14.3pp（相对 +45%）。平均准确率没有下降——这是他们设的硬约束，否则只是把不可靠从一处挪到另一处。换到弱一档的 gpt-oss-120b，同任务 Pass⁵ 从 10.1% 升到 16.1%（+6.0pp），而迁移到相似任务反而拿到 +8.7pp，说明准则抓的是可复用的失败模式，不是背下了一条轨迹。

行业影响

现在的智能体榜单几乎全报 Mean@k，且 k 常常取 1。这个口径下，“有能力”和”靠得住”是同一件事。IBM 把两者拆开，并给出证据说明它们正交：换更强的模型抬高的是 Mean@k，未必缩小缺口。对企业采购来说，这个区分直接决定验收标准——对账、合同条款核验这类任务，用户要的是每次都对，不是十次对七次。

成本也低得意外。诊断只需一条线上轨迹加每个决策点一次额外调用，能直接跑在生产流量上——生产环境里你往往连一次端到端重放都做不到。这比”先搭一套可重放的沙箱再谈稳定性”现实得多。配套的 Consistency Analyzer 与准则生成已进开源仓库 AgentToolkit/altk-evolve。

相关链接

• IBM Research 博客（2026-09-15）：https://huggingface.co/blog/ibm-research/altk-evolve-consistency
• 开源仓库：https://github.com/AgentToolkit/altk-evolve

三、Agent 的测试时计算：把 100M token 拆开跑，比一条长会话多 264 Elo

事件概述

arXiv 9 月 14 日收到一篇《When Agents Slow Down: Understanding LLM Agents’ Test-Time Strategies via Elo-per-token Analysis》（编号 2609.15309），九位作者里有 Luke Zettlemoyer、Alex Dimakis 和 Alvin Cheung。他们处理的难题是：智能体会自适应地分配测试时算力——改方案、调工具、探索分支、决定何时停手，这让”性能随算力怎么涨”变得没法测。

技术解析

他们挑的是开放式任务：中间提交有连续打分，长轨迹里的进展随时可见。方法叫 Elo-per-token——记录每个 token 预算下已找到的最优解，再用 Bradley-Terry 模型把任务内的排序聚合成跨任务可比的 Elo 分，这样不同任务的分数量纲就统一了。

基准线不是经验值，而是理论刻画过的独立采样：Elo 随 log(算力) 线性增长。拿这条线当尺子，四个通用智能体在四个开放式基准上（单会话最长 1 亿 token）的表现分两段——初期把 token 换成 Elo 的效率高于独立采样，随后边际收益递减，最终跌到基准线以下。作为对照，AtCoder Heuristic Contest 上最强的历史人类选手在赛程内是超线性提升的，人类那一边还远没到减速区。

他们据此定义了”缩放拐点”：边际 Elo 增益等于独立采样参考线的那个每会话预算。把 1 亿 token 按这个粒度拆成并行会话，在 FrontierCS Polyomino Packing 上比单次长会话高 264 Elo，比十次短会话高 355 Elo。同一笔算力，改变分配方式就多出一截。

巧合的是，这篇与第一条的字节蒸馏论文作者名单里都有 Luke Zettlemoyer。两篇的内核也相通：都是先在公认的度量上发现”看不出差别”，再换一个度量把差别显出来。

行业影响

测试时算力这几年的默认叙事是”让它想久一点”。这篇给出的修正相当具体：久到某个点之后，边际收益不如重开一局。拐点这个量本身可以被估出来，那么并行度就不再是一个靠手感调的超参数，而是可计算的预算分配决策。对按 token 计费的推理服务，这直接影响花同样的钱能买到多少分。

人类选手的超线性曲线则提醒另一件事：智能体在减速的地方，可能缺的不是算力，是跨轮次的经验积累。这条与 IBM 那篇的准则注入思路其实指向同一处——把上一轮学到的东西带回下一轮。眼下智能体的每一轮基本还是从零开始。

相关链接

• 论文：https://arxiv.org/abs/2609.15309

四、荣耀 MagicOS 11：厂商开始报”闭环率”，不报步数了

事件概述

9 月 15 日晚的荣耀 MagicOS 11 发布会上，AI 助手 YOYO 换了一套叫 YOYO Harness 的系统级智能体框架。量子位当晚 20:47 的报道给出的数字是：可执行步骤从去年的 14 步拉到 100 步以上，任务闭环率 90%，综合意图理解能力 91.8%，可调用工具从 400 个增至 700 个，另有 500 个 Skills。MagicOS 10 阶段 YOYO 月活已过 1.6 亿。以上均为发布会口径，尚无第三方复核。

技术解析

Harness 做的事是把模型与终端的感知、规划、工具调用、执行绑成一圈，并把执行反馈回流给模型做下一步判断。荣耀把它建在操作系统层而非应用层，理由写在报道里：改不动底层接口的话，遇到多个系统服务联动的场景就会卡住。这一层同时握着上下文感知（位置、时间、应用状态、情境围栏）和硬件资源调度权限。

生态接口上它没押单一路线，MCP、A2A、Skills、GUI 一起开放，已接入一万多个第三方 AI 服务。报道里的比喻是：MCP 和 Skills 像高速公路，修好了优先走；GUI 是泛化工具，保证没修路的地方也有路能开。荣耀与微信已通过 A2A 打通，语音指令可直接调起联系人拨号。GUI 屏幕识别与模拟点击只做兜底。

值得留意的是指标口径的迁移。步数、工具数这类数字很容易堆，“闭环率”把标准从”能走多远”换成”能不能走到终点”。荣耀在会上引用 IDC 的判断：2026 年全球 AI 手机出货量将超 7.22 亿台、渗透率 66.4%，而当前核心矛盾是功能渗透率高、价值留存率低，很多用户是”一锤子买卖”。

行业影响

端侧智能体一直有两条路线：模型厂商把模型装进手机，卖对话与 GUI 操作；终端厂商从系统底层往上做。荣耀这次把分野说得很直白——应用层做 Harness 像给人穿外骨骼，执行力有，但调不动自身的感知与反射。它在 WAIC 上公布的 AgenticOS 路线图更进一步：调度对象从进程变成用户意图，内核管理的资源从线程变成模型与算力，权限主体从应用变成智能体。

对大模型厂商，这条路的威胁不在模型能力，而在分发位置。系统层掌握着意图入口，模型在这里是被调用的一方。荣耀十年迭代下来的主动服务场景（YOYO 建议已覆盖 1000 多个场景）属于短期难以复制的积累。反过来讲，闭环率 90% 对应的任务集是厂商自己挑的，与学术基准不可比，这个数字该怎么验，目前没有公开方案。MagicOS 11 将于本月 28 日发布的 Magic9 首发搭载。

相关链接

• 量子位报道（2026-09-15 20:47）：https://www.qbitai.com/2026/09/489466.html

编者小结

四条分属蒸馏、评测、测试时算力、终端落地，讲的是同一个动作：换掉度量单位，被平均数抹平的东西就露出来了。字节蒸馏里，BPB 早早领先却不能直接推出下游更强，要靠渐近外推才能看到那 4 个百分点；智能体评测里，77.4% 的均值背后是 53.0% 的”每次都行”；测试时算力里，一条长会话的累计 Elo 掩盖了边际收益跌破基准线的拐点；终端侧，厂商自己也开始用闭环率替换步数。

共同点是：这些数字都不是错的，只是各自的口径回答的是不同的问题。行业眼下缺的不是更多基准，而是把口径写在结果旁边的习惯——BPB 与下游准确率同报，Mean@k 与 Pass^k 同列，累计 Elo 与每 token 边际 Elo 同图。IBM 那篇里用户真正关心的提问方式值得记住：不是”它平均有多强”，是”我再问一遍，它还行不行”。