大模型前沿动态 · Vol.139

501B 权重以 Apache 2.0 交付、30B-A3B 的记忆写入越过 Opus 5、4B 决策模型把单次判断压到 44 毫秒：前沿能力按所有权与执行环节重新分层

Reflection 发布 501B 开源模型 Beam；腾讯混元 Hy-Memory-30B-A3B 用强化学习训练记忆写入路径，跨四个框架第一；上海 AI Lab 的 Intern-Decision 以一次前向输出结构化决策；Gemini 4 Argon 全面开放并把每任务成本压到 1.99 美元。

大模型 开源模型 MoE Reflection Beam 腾讯混元 Hy-Memory 长时记忆 强化学习 决策模型 Intern-Decision 上海AI实验室 Gemini 4 Google 推理效率

同一天里，501B 的权重被连同 Apache 2.0 许可证直接交到使用者手上，一个 30B-A3B 的专用模型在记忆写入上越过了 Claude Opus 5，另一个 4B 模型把一次三字段结构化判断压到 44 毫秒。前沿能力正在按「谁拥有权重、谁执行环节、谁做编排」重新分层。

一、Reflection 交出 Beam：501B 的 Apache 2.0 权重，1M 上下文只占 36.08 GiB KV

事件概述：10 月 16 日，美国新实验室 Reflection 的首个模型 Beam 在 Hugging Face 上线，reflection/Beam-1.0-501B-A23B 以 Apache 2.0 发布。规格是 501B 总参数、每 token 激活约 23B、纯文本输入输出、1M token 上下文。Hugging Face 与 Reflection 一起给出了推理、SFT、RL 三条配方，day-0 支持 transformers、vLLM 与 SGLang。

技术解析：三处设计值得拆开看。

注意力配比是第一处。52 层里 43 层是滑动窗口层，只关注前 512 个 token；剩下 9 层是全局层，按每第 6 层加最后一层分布。全局层没有位置编码，改用 scalable-softmax query scaling，每个 query 乘上随可见 token 数缓慢增长的 (1 + (pos + 1) / 2048) ** 0.1，作用是让 softmax 在上下文拉长时保持分辨率而不是被摊平。代价直接写在 KV cache 上：52 层全做全局注意力时每 token 208 KiB，Beam 约 36 KiB；1M 上下文下 208 GiB 对 36.08 GiB，128K 下 26 GiB 对 4.6 GiB，32K 下 6.5 GiB 对 1.2 GiB。

残差流是第二处。第 k 步以 1/sqrt(k) 加入子层输出、以 sqrt((k-1)/k) 保留已有残差流，两者平方和为 1，走完 104 次加法后每个子层输出与输入 embedding 在最终 hidden state 中拥有相同权重，残差流的 scale 从第 1 层到最后保持恒定。

路由是第三处。256 个专家、每 token 路由 8 个，沿用 DeepSeek-V3 的 group-limited 方案：sigmoid 打分后分 8 组各 32 专家，按组内 top-2 分数之和挑 4 组，再从这 4 组里选 top-8。与 DeepSeek-V3 的差别是不设 shared expert。每个专家是 intermediate size 2,560 的 SwiGLU MLP，约 39M 参数，专家占模型总参数的 98.4%。

部署侧给了三种 checkpoint：BF16 约 1 TB，FP8 面向 Hopper 与 Ampere，NVFP4 大部分参数 4-bit、约 280 GB，面向 Blackwell。专家并行要求设备数整除 256，官方推荐 4×B200（720 GB）留出激活与 KV 的空间。分数上 BF16 拿到 SWE-bench Verified 81.6%、Terminal Bench v2.1 80.1%、AIME 2026 97.7%、GPQA Diamond 90.6%；NVFP4 在 SWE-bench Pro v2-Hard 上是 78.6%，高于 BF16 的 76.5%。后训练配方里，LoRA GRPO 把 AIME25 从 42.9% 推到 64.2%，平均输出长度从 3,188 token 降到 2,197 token；全参数 GRPO 走的是 46.25% 到 55.8%，两种路线不在同一个量级上。

行业影响：501B 配 Apache 2.0 的意义不在分数，而在所有权的形态。此前这个规模的开放权重多数附带自建的许可条款或使用范围限制，Beam 把权重、配置、SFT 与 RL 配方一起交出来，等于把「前沿规模模型」从一项需要申请的服务变成一件可以放进自有集群、可以自己改的资产。价格标签也变了：不再是每百万 token 多少钱，而是 4×B200 或 16×H200 的一次性占用。另一个更细的信号是 NVFP4 在 SWE-bench Pro v2-Hard 上反超 BF16，说明 4-bit checkpoint 已经不只在跑 demo，而是在部分任务上进入可比区间。

相关链接：

二、腾讯混元 Hy-Memory-30B-A3B：把记忆写入从提示词换成可训练策略

事件概述：arXiv 10 月 15 日挂出 2610.22196，腾讯混元团队给出 Hy-Memory-30B-A3B，一个专门执行长期记忆写入路径的紧凑模型。它跨 Mem0、MemOS、Hy-Memory 三个框架训练，在固定 20% 基准子样本上四个 harness 全部第一，宏平均 55.49%，对照的 Claude Opus 5 是 54.62%。代码在 Tencent-Hunyuan/Hy-Memory，权重在 Hugging Face 的 tencent/Hy-Memory-30B-A3B。

技术解析：论文把问题界定得很清楚——外置记忆系统的质量取决于执行写入的那个模型，也就是决定留什么、多精确地表示、新证据怎么更新持久状态这三件事。常见做法是在框架专属提示词后面放一个通用大模型，代价是服务成本，而且为一个协议调好的 writer 不能直接搬到另一个协议上。

训练分两级。第一级 Memory On-Policy Distillation，在学生自己生成的状态上教框架专属的写入协议。第二级 Memory RL，用逐块密集探针、跨块归因奖励、过存储惩罚和 chunk 级 GRPO 去优化下游可回答性。关键在奖励接口的设计：失败面驱动的探针让监督变密，跨块问题度量下游效用，gold-fact 归因把效用指派回源 chunk，陷阱探针和增长惩罚堵掉「什么都存」这条捷径。跨窗口携带策略自己写出的记忆库，让训练和部署对齐。

结果要按论文自己给的口径读。宏平均 55.49% 对 Opus 5 的 54.62%，拆开是 Mem0 +0.60、Hy-Memory +0.02、MemOS +0.01、EverMemOS +2.86。论文明确说 MemOS 和 Hy-Memory 上 0.01 到 0.02 分的差距不是统计上可分辨的，是 parity 不是胜利，真正的证据是排名一致加上留出框架上更大的余量。EverMemOS 不参与训练，只做留出评测，56.89 对 Opus 5 的 54.04、DeepSeek V4.1 Flash 的 55.47，这一项把「模型级记忆写入能力」和「背下了训练框架的协议」区分开。相对 Hy3-A3B 基座，宏平均提升 7.84 分。

论文第 9 节列出的九类静默失败比分数更有参考价值：记忆库没跨窗口持久化却仍在磁盘上留文件并产生非零奖励；教师返回空 top-k 却仍是成功请求，导致 OPD 梯度为零；缺逐块映射时回退成给每个 segment 广播同一个分数；字符串规则去评判语义仍然产出一个看起来合理的聚合奖励；分页的「读全部」让记忆库条目数停在默认上限；写失败的空 checkpoint 被标记完成。作者给的原则是：坏的策略动作必须拿低奖励，平台故障不能被当成策略行为上报。

行业影响：这条工作的指向是把记忆写入从提示工程搬到可训练、可评测的组件上。一个 30B-A3B 的模型在四个 harness 上排第一，意味着 agent 里最高频的那一路调用有了替换通用旗舰的理由，服务成本随之分层。跨框架迁移的证据更关键：训练只覆盖三个框架，留出第四个仍能拿到最大余量，说明这里学到的不是协议模板而是写入判断本身。评测口径也值得抄——固定 20% 子样本、只换 writer 其余全部固定、缺失判定不补零、明确标注哪些差距不显著，这套写法比报一个总分可信得多。

相关链接：

三、Intern-Decision：一次前向出三个字段，4B 模型的延迟是 Jev 的 1/2.48

事件概述：上海人工智能实验室与上海交通大学在 10 月 15 日提交 2610.22131，给出 Intern-Decision 系列，0.8B、2B、4B 三个尺寸的多模态决策模型，输入文本加可选图像，直接返回结构化选项与候选概率。4B 模型在七个评测套件上的非加权平均准确率 90.02%，Jev v1.13.0 是 88.74%。

技术解析：做法叫 autoregressive masked language modeling，落点很巧。它在一个完整的 assistant JSON 骨架里，给每个字段放一个决策占位符；ground-truth 符号只出现在监督信号里，所有字段在一次因果前向中、用骨干原生的 LM head 同时读出。省掉的是「每个选择都生成一段自由文本」这一步的延迟，以及模型与环境之间那层解析接口。

规模曲线是单调的：0.8B 的 79.38%、2B 的 84.68%、4B 的 90.02%。论文自己提醒，没有 matched data 和训练算力披露的情况下，这个模式不能单独归因到参数量。分套件看，4B 在 Typed Decision 上 1,611/2,000（80.55%）、ToolACE 上 299/310（96.45%）；公开 Jevbench 上 Easy 48/48、Original 71/72、Hard 82/111。七个套件里 Jev 只在 WildJailBreak 领先，Laya 只在 AG News 领先。

延迟数据来自单张 RTX 4090、BF16、SDPA、Transformers 5.14.1，每个请求 289 输入 token、三个字段（一个选择、一个布尔、一个序数问题），一次前向答完：4B 均值 44.16 ms，2B 33.28 ms，0.8B 33.98 ms，Jev 109.70 ms，比值分别是 2.48×、3.30×、3.23×。校准上，Jevbench-Hard 的 111 条上 4B 拿到最低 Brier 0.346762，ECE 是 0.065267；温度缩放不改动 82/111 的正确数，把 ECE 从 0.132613 压到 0.065267。置信度分流的实验也给了数：111 条公开 Jevbench-Hard 上把 42 条转给 Atria-Dawn-Preview，准确率从 82/111（73.87%）升到 97/111（87.39%）。

行业影响：决策模型作为一个品类已经堆到第四篇可查的公开工作，和前几天 FrontierMind 的 Lumma-Fev、autotrust 的 JEV-27B-VL、IBM Granite Switch 里的 Decision adapter 一起成形。共同主张一致：agent 里大量调用其实只要一个封闭选项集里的答案，为它跑一遍自回归文本生成是浪费。Intern-Decision 把这件事做到了 0.8B 也能用、单卡 4090 上 33 毫秒的量级，等于把决策环节的成本从「一次生成」降到「一次前向」。置信度分流那组数据给出了更实际的用法：小模型先判，低置信的交给大模型，用 42 条转派换 15 条正确。

相关链接：

四、Gemini 4 Argon 全面开放：长流程执行做主线，每任务成本 1.99 美元

事件概述：Google 的 Gemini 4 Argon 于 10 月 13 日发布后，本周面向全球开发者、企业与付费订阅用户陆续开放，量子位 10 月 16 日做了跟进报道。官方定位是把编程、专业知识工作与复杂任务的持续执行作为这一代的主线，视觉理解、空间推理与工具调用同步推进。首发 API 价格是每百万输入 token 2 美元、输出 10 美元，优惠到 11 月 30 日，12 月 1 日起恢复 4 美元与 20 美元。

技术解析：官方把核心升级概括为长流程任务执行——模型不再只回答问题，而是理解目标后自己查资料、调工具、改代码、查结果，在多步之间持续推进。验证放在 Google 自己的代码库上：ADK 是一个约 20.5 万行的 Python 项目，Argon 在不改接口和现有行为的前提下降低运行开销，无人值守连续工作 11 小时，提出涉及 32 个文件的 6 项优化并跑完全部 16,892 项开源测试；工程师审核后合并了 2 项，ADK 长会话的内存准备开销下降约 40%，包导入耗时下降 21%。Chromium 上完成一项涉及数百文件的架构重构，把预计数月的工作压到数周。优化 Gemma4E2B 推理程序时，特定配置下吞吐从每秒约 3.79 万 token 提到超过 10.8 万，端到端 2.85 倍。

成本与质量的对仗是这代最硬的一组数。第三方 Artificial Analysis 智能指数上，Argon High 与 GPT-6 Astra Max、Claude Fable 5.1 Max 并列 53 分，而 Argon High 平均每任务成本 1.99 美元，比 Astra 低约 39%。安全侧，CWE-bench v1 上 68%，与 GPT-6 Astra 同处官方对比表最高分；Gray Swan 间接提示词注入评测中，15 次自适应攻击后成功率 0.7%。这次随模型交出的安全报告有 217 页。

短板也被一并记下：Argon 在 DeepSWE、Vibe Code Bench 上很强，在 FrontierSWE 和 Terminal-bench 上仍落后于表内几款主要竞品。Ethan Mollick 的早期体验是创造力、写作与使用体验有进步，复杂多智能体任务仍有差距，偶尔过于自信。

行业影响：这代真正被推到台前的是「单位任务的成本」而不是「榜单名次」。同分情况下便宜 39%，首发价再砍一半，等于把竞争维度从能力上限挪到性价比上，对按任务计费的 agent 产品是直接的压力。另一处值得记的是验收方式变了——Google 用自家 20.5 万行项目和 16,892 项测试去验收一个模型的工程能力，合并 2 项、驳回 4 项，这个比例本身就是对「自主长程改动」当前可靠度的实测。把数周的机器人仿真建模压到数小时那条「视频—仿真—现实」链路，则说明多模态能力正在往真实系统上落地。

相关链接：