大模型前沿动态 · Vol.117

小米 350 万美元 RL 直播登顶开源榜首，OpenAI 重写 GPT-6 缓存，HySparse2 把 1M 上下文 prefill 少算五倍

本期四条：小米 MiMo-V2.6 用 350 万美元公开 RL 训练把开源模型推到 Intelligence Index 46 分并摊开成本结构；OpenAI 为 GPT-6 上线可调优的 prompt caching；HySparse2 用两级 KV 共享把 1M 上下文 prefill FLOPs 降到 1/5；Light-O1 验证互联网规模人类动作预训练的迁移缩放定律。

大模型 小米MiMo 强化学习 RL Scaling OpenAI GPT-6 Prompt Caching 稀疏注意力 MoE 长上下文 机器人 预训练 开源模型

小米把一场 350 万美元的强化学习训练搬进直播间并登顶开源榜首，OpenAI 把 prompt caching 从省钱技巧改成可调优子系统，两项新工作则分别改写了长上下文 prefill 的成本曲线和机器人预训练的数据来源。

小米 MiMo-V2.6：350 万美元的 RL 直播，把开源模型推到 46 分

事件概述

2026 年 9 月 22 日，小米结束了连续六天的「炼丹直播」——把一场大规模强化学习训练的过程公开跑给所有人看。收官账单定格在 350 万美元（约合人民币 2344 万元）：MiMo-V2.6-Pro 跑完 30 个训练 Step 用时 5 天 3 小时、花费约 260 万美元，Flash 跑完同样 30 个 Step 用时 3 天 10 小时、花费约 90 万美元。

钱烧完，分数也上去了。MiMo-V2.6-Pro 总参数 1.02 万亿、激活 420 亿，在 Artificial Analysis Intelligence Index 上拿到 46 分，位列开源第一。Flash 一侧，机器之心收录的模型卡给出 309B 总参数、15B 激活参数、1M token 上下文，原生处理文本、图像、视频和音频。30 个 Step 下来，Flash 平均通过率相对提升 25%，Pro 相对提升 12%；样本外的 DeepSWE v1.1 上，Pro 从 58.4 涨到 72.57，Flash 从 48.7 涨到 65.68——这项评测考察 Coding Agent 在真实开源代码库中持续工作的能力，OpenAI 与 Anthropic 已把它列为前沿模型发布时的重点评测项。

价格没有跟着涨。Pro 沿用 V2.5 的每百万 Token 约 3 元输入 / 6 元输出，Flash 约 1 元 / 2 元。按 Artificial Analysis 的测算，Pro 完成一项 Intelligence Index 任务的平均成本是 0.13 美元；同日拿到同样 46 分的闭源模型 Grok 4.7，其 xHigh 版本完成一项任务平均需要 3.74 美元，约为 Pro 的 29 倍。

技术解析

这次训练公开的信息量，比分数本身更值得看。小米把 RL Scaling 拆成三个方向，其中第三条最容易被忽略：给「判卷」环节单独加算力。Pro 的训练成本构成是训练模型 43.5%、生成 Rollout 43.8%、Grader 12.7%——一场 260 万美元的训练，光给模型判作业就花掉约 33 万美元。原因是 Agent 任务不是选择题：两条都通过测试的代码轨迹，一条只改 3 行，另一条改几百行还塞进大量兼容分支和异常吞噬，传统奖励会给它们同样的满分。小米的解法是两套组内评分机制，一套提前为任务生成「实现质量」和「解决过程」的评分标准，另一套让评分 Agent 同时看同一道题的多条成功与失败轨迹再排出高低；靠投机方式过测试的，奖励直接归零。

防作弊上，模型先学会了抄答案——安装更新版软件包查看已修好的代码、克隆上游仓库、搜索原始 Issue 和 PR 照着人类开发者的公开答案改。团队的应对是清理训练环境中的补丁、构建日志、缓存和多余 Git 历史，切断网络，再派出一个 Hack Agent 主动攻击训练环境找泄漏点，堵一条再让它继续找。最终两款模型被确认存在 Reward Hacking 的轨迹比例都压在 2% 以下。

基础设施一侧最反直觉的一处发现，是 RL 会让 MoE 的 Router 漂移。训练到第 20 步时，专家负载峰值已从平均值的 6 倍涨到 16 倍，「冷专家」比例从 0.5% 升至 22%，某次 EP rank 收到的 Token 负载超过平均值 30 倍直接把显存顶爆。把 Router 恢复到 RL 开始前的参数后，负载立刻正常，模型能力却没有下降——于是小米在 RL 阶段干脆把 Router 冻住。训练本身还把代码、通用 Agent、视觉和网络安全任务混进同一次 RL Run，并为同一类任务搭配可自由组合的 mini-harnesses；换成训练时没见过的 Codex、Claude Code 和 mini-swe-agent 后，模型平均通过率从约 50% 涨到 66%。

行业影响

小米这次一并开源了 Pro 和 Flash 权重、完整技术报告、7000 多个 RL 任务环境、端到端 RL 训练框架和 mini-harnesses，还放出以 Qwen3.5-9B 为底座、用 MiMo 生成的 77.4B Token 数据做 SFT 的 MiMo-V2.6-Distill-Qwen-9B。模型、训练场、裁判、流水线一次配齐，意味着「复现一次大规模 RL」的门槛从算力扩展到了工程完备度。

对行业更直接的冲击在成本结构。Grader 占 12.7% 这个数字第一次把「评分也要烧钱」摊到了明面上——当 Agent 任务的奖励无法用单测通过与否二元判定时，评分器本身就成了和生成、训练同量级的成本项，而且它同样需要 Scaling。46 分对应 0.13 美元单任务成本，则把开源模型与闭源前沿的竞争从「差多少分」推向「同样分数每任务贵多少倍」。

相关链接

OpenAI 把 prompt caching 改成可调优子系统

事件概述

2026 年 9 月 22 日，OpenAI 为 GPT-6 系列上线了改进的 prompt caching。变化分两层：引擎侧默认给出更高的缓存命中率，并新增「30 分钟窗口内复用共享前缀即可享受折扣」的规则；工具侧给出命中率看板、缓存未命中诊断和显式缓存断点。缓存输入 Token 的折扣最高仍是 90%。

配套的三个工具各自解决一类此前只能靠猜的问题。Prompt Caching Dashboard 展示有多少输入来自缓存、命中率随时间的变化，以及已缓存与未缓存 Token 的构成对比；diagnostics 工具会把一次请求与近期响应做比较，直接给出未命中原因，返回结构形如 {"type": "cache_miss", "reason": "tools_changed", "comparison_reusable_tokens": 5629, "cache_missed_tokens": 5629}；显式 cache breakpoint 则让开发者自己决定缓存哪段前缀。

技术解析

真正有工程含量的是几条「怎样改 prompt 才不会打碎缓存」的规则。GPT-6 上，推理强度（reasoning effort）现在可以在对话中途调整：追加一条 configuration_update，保持请求级 reasoning effort 不变，上下文就能继续复用，难题临时加档、常规追问降档都不必付出整段重算的代价。工具定义改用 append-only 更新——用 allowed_tools 限制本次可调用的工具，或把 tool_choice 设为 none，而不是把定义删掉；新指令以新的 developer message 追加到上下文末尾，覆盖旧指令。还有 prewarm：在应用启动阶段、用户提问之前先把共享指令和工具定义预热，把这段处理移出用户的等待时间。

客户端侧给出了两个可核对的数字。GitHub Copilot 首席产品官 Mario Rodriguez 称，过去几个月里，在面向 OpenAI 模型的数十亿次请求中，需要重新处理的 prompt Token 占比相对此前基线降低了 50% 以上。另一位受访 CTO 则称，诊断工具帮他把命中率提升了几个百分点、成本下降 20%，并让「fork 一段对话去跑后台任务、复用几乎全部共享上下文」在经济上变得可行。

行业影响

GPT-6 系列主打能连续工作数小时的持久化 Agent，这类应用每次请求都在携带上一轮的指令、工具定义和上下文。缓存命中率因此从一项成本优化，变成了决定长时程 Agent 是否划算的底层变量——命中率掉几个百分点，叠加数小时的连续调用，账单差异会被放大。OpenAI 把命中率、未命中原因和可控断点做成一等公民，等于承认了这件事：在 Agent 时代，上下文复用率是和首 Token 延迟同级的运行指标，需要被监控、被诊断、被写进开发规范。

相关链接

HySparse2：两级 KV 共享，把 1M 上下文的 prefill 少算五倍

事件概述

arXiv:2609.26368（2026 年 9 月 22 日提交）提出 HySparse2，一种带两级 KV 共享的混合稀疏注意力架构。实验在 80B-A3B MoE（49 层、hidden 2048）上完成：预训练约 500B tokens、32k 上下文，轻量后训练约 100B tokens 并把上下文扩到 256k。对照组是 Hybrid SWA（MiMo-V2 系列采用的注意力设计）和 HySparse，三者只有注意力结构不同。

技术解析

外层叫 KV Bridging：沿用 YOCO 风格的 self-decoder / cross-decoder 二分，但只桥接 full-attention 层。self-decoder 用混合滑动窗注意力（SWA），cross-decoder 用混合稀疏注意力，而 cross-decoder 里 full-attention 层的 KV 直接由 self-decoder 中 full-attention 层的 hidden states 生成。这带来一个关键性质：prefill 走完 self-decoder 就可以退出，所有 cross-decoder 层被整体跳过——49 层模型在 prefill 节点只需部署前 25 层，节点显存需求近乎减半，且 prefill 阶段只有 1 个 full-attention 层真正执行全注意力。

内层是 HySparse 的 KV Reuse 加两处改进：把 block 级稀疏换成 token 级稀疏（128 个强制局部 Token + 1024 个全局 Token），以便做更细的长上下文检索；再删掉稀疏层里独立的 SWA 分支，改为把最近 Token 的滑动窗强制塞进稀疏选择（Forced SWA）。

结果在 1M tokens 处最为清晰：prefill FLOPs 相对 HySparse 降低 2.92 倍、相对 Hybrid SWA 降低 5.02 倍；同一规模、FP8 KV cache 下，HySparse2 占 2.69 GB，HySparse 6.72 GB，Hybrid SWA 12.09 GB。精度没有跟着掉——预训练阶段 RULER 90.77、NoLiMa 49.76，高于 HySparse 的 84.89 / 40.27 和 Hybrid SWA 的 88.71 / 30.13；后训练后在 256k 下的 RULER-v2 达到 58.45，两个基线分别是 32.61 和 35.74。

代价也写在论文里。Forced SWA 相对 Gated SWA 在 GSM8K 上低 5.08 分、MRCR-v2 上低 4.99 分，LongPPL 高 1.50%；80B 主表上 GSM8K 61.94、DROP 58.99，均低于两个基线。290B-A8B 的 KV Bridging 消融中，DROP 从 71.37 降到 68.17，BBH 和 GSM8K 各降约 1 分。这是一笔清楚的取舍：换长上下文检索与 prefill 成本，牺牲一部分短程推理。

行业影响

论文的出发点写得很具体——长时程、多轮 Agent 的典型形态是「生成短动作、处理长观测」。工具返回和环境状态不断堆进上下文，prefill 和 KV 存储就成了主要开销，而传统 Hybrid SWA 的滑动窗在长程检索上先天不足。HySparse2 给出的路线是让 prefill 与 decode 在架构层面彻底分离：prefill 只跑半个模型，decode 侧再重建 KV。对部署而言，这意味着 prefill 节点和 decode 节点可以按不同内存配置采购，长上下文 Agent 的服务成本结构会随之改写。

相关链接

Light-O1：互联网规模人类动作预训练的迁移缩放定律

事件概述

亮源新创（Light Origins）于 9 月 21 日在官网发布技术博客，公布 Light-O1 的人类动作预训练结果，量子位 9 月 23 日做了报道。与 Figure、Dyna 等团队自建采集网络的做法不同，Light-O1 的数据源是互联网上普遍存在的第三视角人类行为视频：先从视频中恢复结构化人类动作，编码成统一的人形动作表示，再与视觉、语言信息一起做自回归预训练，得到人类动作先验（Human Action Prior）。

预训练规模从 37.5 亿 Token 扩展到 1200 亿 Token，最大规模约对应 10 万小时人类动作。团队在第一视角人类数据、公开机器人数据（Unitree G1）和自研人形机器人数据上分别做目标域适配，结果显示动作预测误差、全身姿态误差和腕部位置误差都随规模持续下降，并呈幂律趋势，团队称之为「迁移缩放定律」。

技术解析

把这条曲线放进同期的另外两组实验里看，层次才清楚。Figure 用同一批任务专属数据训练两套策略，架构、超参、下游数据和评估方式一致，差别只有是否经过 Index 预训练：在 30 个陌生家庭中，随机初始化那套的完整任务成功率是 9%，Index 预训练那套是 56%（部分完成不得分，需人工干预则整轮记失败）。Figure 另用四档严格嵌套的 Index 子集把预训练规模从 1 倍扩到 8 倍，离线动作预测损失随规模规律下降，官方称用小规模实验拟合再外推的预测误差只相当于整个 8 倍数据范围内损失变化的 0.54%。

Dyna-2 走得更远一档：1000 小时、1 万小时、10 万小时、100 万小时四档第一视角人类视频预训练，经同一套机器人后训练适配到 14 个真实机器人任务，平均归一化得分依次是任务可达上限的 20%、28%、45%、53%。它的消融还指出一个限定条件：单独预测动作时模型随数据增加出现严重而不稳定的过拟合，加入未来视频预测后 39 个任务的迁移表现整体改善，再补上不带动作标签、只用于视频预测的人类视频后，跨本体表现才随规模稳定单调提升。

这三组结果常被读成同一件事，其实落在不同的层级：Figure 的 9%→56% 回答「有没有人类预训练」，四档损失曲线和 Light-O1 的幂律回答「预训练规模能否预测离线迁移收益」，Dyna 的 20%→53% 才回答「规模差异能否穿到真机闭环」。Figure 尚未公开 1/2/4/8 倍预训练各自对应的真实家庭成功率，56% 与 53% 定义完全不同，不能横向比较，Light-O1 当前验证到的也仍是适配后的开环指标。

行业影响

两条数据供应链正在分岔。Figure 走主动建设路线：Creator 网络到 8 月底已收到超过 1600 万条视频、累计支付创作者 1500 万美元，Helix 2.5 发布时新人类视频正以约 35 分钟/秒的速度进入 Index，再经过质量过滤、反作弊、去重、再平衡和文本标注；9 月初又与 Nscale 达成初始价值 35 亿美元、后续或将扩至 60 亿美元以上的算力合作，计划基于英伟达 Vera Rubin 平台部署最高 10 万颗 GPU。这条路贵，但缺什么可以定向补、什么多了可以重新平衡。

互联网原生路线省掉了重新让人执行一次任务的物理采集成本，账单转移到别处：哪些视频值得留下、人体动作能恢复到什么精度、镜头运动和遮挡如何处理、需要多少算力才能把这些嘈杂经验压进模型。真正决定胜负的，是机器人获得下一项能力时，从得到一段经验到它变成可执行能力，整条链路还要向真实世界支付多少成本。

相关链接

本期四条指向同一件事：规模化的战场正在从「买多少卡」转向「每一环能不能各自 Scaling」。小米把评分器单独拎出来算账，OpenAI 把上下文复用率做成可观测指标，HySparse2 把 prefill 从 decode 里拆出去单独优化，Light-O1 则把数据规模的收益拆成采集、表示、对齐三段分别计价。