预算不变,只改分法:弹性专家路由把 top-k 磨成斜坡,93 篇论文复现考出 13.98%,一致性满分的裁判准确率只有 51%
四条动态围着同一个动作:额度锁死,改分配方式。MoE 弹性路由在期望算力完全不变的前提下把 Qwen3-30B-A3B 拉高 2.02 分;PaperBenchX 给 93 个科学复现任务定死 4-24 小时预算,最强的 GPT-6 Astra 只完整复现 13.98%,三阶段得分卡在验证环节的 42.80%;LLM 评审在 6 模型 ×10 次重复的网格下被量出温度 0 仍会变、换位翻转多数判定、最一致的裁判准确率 51%;机器遗忘里有一部分参数改动可以撤销且不影响遗忘效果。
四份材料围着同一件事:预算没变,分法变了。专家激活数、时间预算、评测次数、参数改动量都锁死不动,改的只是这些额度怎么分给不同环节——分数却跟着换了一批。
一、MoE 的 top-k 是道台阶,弹性路由把它磨成斜坡
事件概述:10 月 8 日,arXiv 上线《Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts》(编号 2610.11575)。Yunkai Chai、Tong Zhu、Xiaoye Qu 等七位作者提出 Elastic Expert Routing,把训练时固定选 k 个专家的动作,换成从一个以 k 为中心的局部离散分布里采一次。
技术解析:静态 top-k 把连续的路由分布压成阶跃函数。router logits 差一点点,两个实力接近的专家就被划进两档:一个拿满梯度,一个拿零反馈,中间没有过渡带。弹性路由在 k 周围开一个对称的采样邻域,训练迭代累积下来,这道硬阈值被摊成一条渐变的概率斜坡。邻域对称是整个设计的关键——采到 k-1、k、k+1 的概率配平之后,期望激活专家数与确定性训练完全相等,推理阶段仍旧按固定 k 跑,算力账一分没变。增益落在两处:监督微调阶段,OLMoE-1B-7B 的下游宏平均提高 0.84,Qwen3-30B-A3B 提高 2.02;从零预训练时,下游任务平均比静态 top-k 基线高 1.6。
行业影响:这是一类很少见的改进——推理预算不动,训练脚本改几行就有收益。它把「router 要不要软化」这个争论从推理期挪回了训练期:在推理期软化要动部署栈、要重新算显存峰值,训练期软化只碰训练代码,线上服务不受影响。给工程团队的直接信号是,MoE 的 k 不必是常数,可以是一个分布,只要采样邻域关于 k 对称,成本就守恒。论文只在 OLMoE-1B-7B 与 Qwen3-30B-A3B 上验过,激活参数更大的档位、专家数更多的配置上采样引入的梯度方差是否还压得住,是目前留着的口子。
相关链接:https://arxiv.org/abs/2610.11575
二、93 篇论文的复现考试:最强的 Agent 完整复现率 13.98%
事件概述:10 月 8 日,量子位报道了 UniPat AI 发布的 PaperBenchX。这套基准从 93 篇真实论文里构造出 93 个端到端复现任务,覆盖电磁、光子、化学、材料、生物、机器人等 12 个研究方向与 10 种领域原生科学环境,配 3168 条经专家校验的评分项。受测的 10 组前沿模型与 Agent 框架配置里,表现最强的 GPT-6 Astra 完整复现率只有 13.98%。
技术解析:PaperBenchX 的规则刻意绕开了「对数字」。Agent 拿到论文、一个装好 Ansys HFSS、Lumerical、Meep、PySCF、ABACUS 这类领域求解器的容器环境,以及一份指定复现范围的任务书;评分标准、容差与参考答案全程隐藏。交卷之后系统删掉全部输出、断开外网,在隔离环境里把工作流从头重跑一遍,只认重放产物,Agent 自述的「复现成功」不做数。单任务预算 4 到 24 小时,中位数 7 小时。三阶段得分把瓶颈暴露得很清楚:建模 62.70%、执行 61.84%、验证 42.80%——Agent 能把求解器跑起来,判断不了跑出来的东西在科学上站不站得住。轨迹分析还给出一条反直觉的结果:交互轮数与分数不成正比,轮数多往往意味着反复试错或在一个错误的模型设定上继续算;Fable 5 把 37.1% 的时间投在论文重建与代码实现上,是五个模型里前期投入最高的,却用更少的交互换到了接近最优的部分分。
行业影响:这套基准把「AI 能不能做科研」从解题能力换成了复现能力来量。同一个技术栈能宣称攻克千禧难题,端到端复现一篇已发表工作的成功率不到七分之一——落差本身是次要的,重要的是结论高度依赖所选任务的类型,解一道有标准答案的题和重建一条可重算的证据链是两种能力。对做科学 Agent 的团队,Fable 5 那条轨迹给出了可执行的分法:把时间预算前移到论文理解与建模,比让 Agent 多跑几轮求解器划算,前期一个边界条件设错,后面几小时的计算全部作废。删输出、断网、重放这套验证协议大概率会被后续科学类基准照抄。
相关链接:https://www.qbitai.com/2026/10/501995.html
三、给 LLM 评审做体检:一致性满分的裁判,准确率只有 51%
事件概述:10 月 8 日提交的《All Verdicts are Not Equal: Rethinking LLM Judge Reliability》(编号 2610.12083,已被 AACL IJCNLP 2026 主会接收)对 LLM-as-a-Judge 做了一次压力测试。Vineet Kumar、Darshita Rathore 与 Anindya Moitra 用 6 个前沿模型、4 个基准、5 种 prompt 格式、2 种呈现顺序、3 档采样温度、每个条件重复 10 次的网格,量出了这套范式目前的可靠性上限。
技术解析:三个结果值得单独拿出来说。温度设为 0 的条件下,同一输入的重复判定仍会改变;把两个候选的呈现顺序对调,在难度高的任务上会翻转多数判定;一致性表现最好的那个裁判,靠反复输出同一个错误判定拿到了完美一致性,与 ground truth 的吻合率只有 51%。作者据此提出 trustworthy verdict rate(T),定义为一次判定同时满足可复现、顺序无关、准确这三件事的联合概率,并从位置偏置推导出准确率的一个理论上限。T 还给出一个结构性结论:可靠性是逐题的属性,不是逐模型的属性。落在工程上最有用的一条是,把 pairwise 胜率制改成 holistic rubric 评分制,对可信度的提升超过任何一种单格式 prompt 干预。
行业影响:LLM-as-a-Judge 已经不只是评测工具,它还挂在大模型对齐的数据筛选、Agent 轨迹打分、线上质量监控上,很多地方被当成确定性 ground truth 在用。这篇的网格设计说明,单次判定的结果不能当结论用,温度调 0 也不行。TVR 作为联合概率还有一个副作用:它把「换个模型当裁判」和「换个 prompt」这两条改进路径的收益量级拉平了,谁都绕不开顺序偏置那道上限。多数团队的默认动作是调 judge prompt,这篇给出的信号是该换评分范式。逐题可靠而非逐模型可靠这一条意味着,聚合出来的 judge 总分要慎用,它掩盖了题目之间的差异。
相关链接:https://arxiv.org/abs/2610.12083
四、机器遗忘里的「可恢复漂移」:改掉的参数不都是必需的
事件概述:同日提交的《Not Every Change Is Necessary: Recoverable Drift in Large Language Model Unlearning》(编号 2610.11915)提出 Propose-Then-Project Unlearning(PTP-U)。Xunlei Chen、Qinghui Gong、Jingkun Xue 等人先做对照实验,发现遗忘过程带来的附带改动里有一部分可以撤销,且撤销后遗忘效果不掉,再据此设计了两阶段框架。
技术解析:第一步是局部解析编辑,削弱目标知识关联;第二步把非目标输出分布对齐回原模型,在遗忘约束固定的前提下恢复通用能力。两阶段服务于同一个目标:满足遗忘要求,保住流畅生成与非目标任务表现。三个基准上的结果是遗忘率 81.22% 到 91.03%,非目标效用平均保留 94.20%。论文特意补了「匹配遗忘水平」的对照:在遗忘强度拉平的条件下比较,PTP-U 的非目标效用一致高于其他方法。这个对照方式比单看遗忘率更贴近实际取舍。
行业影响:机器遗忘的评估长期只有两个数字——忘掉多少、还剩多少能力,这篇加了第三个视角:改动里的哪一部分是必需的。可恢复漂移这一发现对做合规删除、版权擦除、个人信息移除的团队有直接价值,那些附带改动往往就是用户抱怨「删完之后模型变笨了」的来源。评审口径上,「匹配遗忘再比非目标效用」应当成为新默认,只看遗忘率的排行榜无法在不同方法之间做取舍。论文目前的验证集中在三个基准,目标知识规模更大、需要批量删除的场景下投影步骤的开销还没披露。