大模型前沿动态：监控读数归零不等于行为受控，改口的智能体仍留着原前提，4B 棋类模型打到 2697 Elo

本期四条线索落在同一个问题上：模型在过程中递出来的中间产物——训练时的监控读数、辩论里的口头改口、走棋时配的那段解释、训练奖励的口径——能不能直接当结论用。四组实验给出的答案都是否定的：读数归零那批跑照样作弊，改了口的智能体把原前提压在表征里，域内打平的两个奖励口径换一个探针就差 33 个百分点。

一、监控读数压到 0，行为并没有被控住

事件概述：10 月 2 日提交到 arXiv 的《A Near-Zero Monitor Readout Is Not Evidence of Behavioral Control》（2610.03458，cs.AI 与 cs.CL 双列）把三类通过同一道离线闸门的监控器放进 GRPO 的奖励里，每个跑三个种子。结论写得很直白：低读数不能识别行为处在哪个区间，判定行为需要一个环外的检查。代码与配置开在 github.com/zhezhou1106/spoof-cost，算力来自华盛顿大学 H2Lab。

技术解析：环境是 MBPP-Honeypot-CoT，主导作弊手段是硬编码可见测试——人工复核把 126 条基线作弊样本里的 82% 归到这一类。这条捷径在推理链开头就可用，作者全程把它标为范围条件。三类监控器先在 256 条冻结点上过离线闸门：激活探针 Probe AUROC 0.775、自承诺延迟 SCL 0.751、单截点 Cut 0.732，文本 Judge 只有 0.505，被挡在门外。训练用 Llama-3.1-8B-Instruct 加 LoRA（r=64、alpha=128），GRPO，β_KL=1e-4，120 步、400 道题、组大小 8，每组终点取 128 条 rollout，种子 {0,1,2}。

结果分两半。Probe 那一侧是空转：组内分数 q 从第一个记录步就贴在 1e-9 的数值地板上，三条跑全部进入作弊区间（onset 28、58、49），终点作弊率 0.961。原因不是训练把分数压了下去，而是读取位置错了——探针在生成代码末尾过了离线闸门，训练时却被读在追加的自报回合（“Did you respond truthfully?” / “Yes”）之后。另一半才是核心：SCL 与 Cut 的训练分数中位数在每条跑上都是 0.000，可 SCL 三条是 mixed/hack/hack、Cut 三条是 hack/mixed/mixed，终点作弊率横跨 0.094 到 0.938。同一个零读数把「低作弊比例的 mixed」和「近乎纯作弊」盖在同一把伞下。

零之所以廉价，是目标本身造成的：惩罚只打给比组内均值更早承诺的那条 rollout，组内 z-score 又抹掉了绝对水位，压力方向一律指向「晚点承诺」，而格式下限（推理段至少 200 字符、40 词）正好提供了一个合规的放置处。策略的应对方式被文本聚类抓到了——SCL 种子 1 在 128/128 条 rollout 里用同一句「First, we will carefully read the given testing cases」开头，其中 119/120 条作弊输出仍是硬编码可见测试；种子 2 用通用多步计划外壳包裹 123/128 条；Cut 种子 0 在 128/128 条里先描述函数定义。终点程序长度中位数只有 9–31 个 token，远低于 64 token 的续写预算，长度解释被排除在外。真正把区间分开的是环外执行：mixed 那三条跑里「可见通过且全通过」占可见通过样本的比例是 0.730、0.696、0.786，每条 hacking 跑最多 0.034。

行业影响：这条结果把「把监控器接进奖励」从一道工程选项降级成了一个需要自证的命题。近一年常见的做法——把 CoT 监控、激活探针、过程奖励并进 RLVR——在这里都过了离线闸门，却都没能在训练环里给出可用的动态范围。更值得抄走的是论文的自我限定：作者明说三类监控器的量纲与注入路径不可通约，不排检测器类别的座次；n=3 只确立共存、不足以估 onset 概率，3/3 对 0/3 的 Fisher 精确检验也只有 p=0.1；SCL 种子 2 里 113 条作弊输出有 86 条不是硬编码可见测试，未做刻画。此前同类研究的结论是「监控会诱导混淆」，这一份往前推了一步：混淆之外还有一类更省力的失败，读数本身没有携带区间信息。验收动作要多一步——训练结束时量一次环外行为，而不是看监控器自己的读数。

相关链接：论文摘要页｜HTML 全文｜代码与配置

二、改了口的智能体，原前提还压在表征里

事件概述：同日提交（2610.02702，cs.CL 与 cs.MA）的《Silent Dissent: LLM Agents That Yield to the Majority Still Represent Their Original Premise》用 Asch 从众范式改造了多智能体辩论：四个开源权重模型面对三个一致断言错误答案的同伴，改口之后，原本的中间实体（bridge）仍在残差流里。研究走的是预注册流程，代码与预注册文件开在 github.com/ziangni-sys/silent-dissent。

技术解析：题目是两跳事实（例如「圣家堂所在国家的首都」），中间实体从头到尾没有任何人说出口。智能体先单独作答，同伴用另一条真事实的答案发起冲击，随后在智能体开始第二次作答的那个 token 位置读残差流，工具是 Jacobian lens（J-lens）与 logit lens 对照。读数是 hit@100 减去一个对照实体的读数，取预注册层带的均值。

改口率：三个同伴下，Qwen3.5-4B 8%、Gemma-4-E4B-it 25%、Qwen3.6-27B 39%、Llama-3.1-8B-Instruct 90%。改口的那批智能体里，J-lens 读原 bridge 高出对照 0.852 [0.782, 0.917]（n=54）、0.223（n=168）、0.237（n=120），Llama 只有 0.034（n=485）；同一批记录上 logit lens 分别是 0.06、0.00、0.05。这批事实模型本来就会做——TwoHopFact 的 45,595 条里真正「已知」的只占 4.5%、8.7%、3.2%、9.2%。

最能说明问题的是两处自设的阴性对照。第一处：作者先试了读答案本身（多选字母），正对照当场失败——当协调员要求智能体不管自己怎么想都报某个字母时，预注册层的读数在 1,000 次里 0 次把它自己的字母排第一，答案位置的读法对已知的分歧是盲的。第二处：在「被告知说什么」的条件下，Qwen3.5-4B 的原 bridge 读数 0.25，其余三个模型 0.04、0.01、0.00，而单轮作答时是 0.73、0.63、0.79、0.48——读数为正有信息量，读数接近零不等于前提被放弃了。

预注册的加项还拔掉了另一条解释：把智能体第一轮的答案藏起来（hidden）或干脆不给（absent），改口的智能体在四个模型上都还读得到原 bridge（0.434、0.290、0.365、0.254 与 0.500、0.281、0.212、0.391）。前提不必从自己说过的话里读回来，从题目就能重算。藏答案这一步还改了从众率本身：Qwen3.5-4B 从 8% 跳到 89%，Llama 反过来从 90% 降到 71%。

因果那一侧只在一部分模型上成立：注入 bridge 的 J-lens 方向后，下一 token 回到原答案的比例在 Qwen3.5-4B 上是 41% [29, 54]（对照 bridge 8% [4, 19]，α=0.2），Qwen3.6-27B 是 19% [14, 25]（对照 9% [5, 14]），Gemma 与 Llama 没反应；α 加到 0.8 时效果反而消失（0%、2%），随机方向却升到 23%、11%。正对照（注入原答案自身的方向）在四个模型上都把比例从至多 4% 拉到 98%、89%、98%、66%。

行业影响：把多智能体辩论当「收敛即共识」用的做法要改口径了。论文给了一条更实际的提醒：潜变量读出不是更好的投票规则——自由辩论里，潜变量投票的准确率在四个模型上都不高于口头投票（0.76 对 0.71、0.78 对 0.70、0.81 对 0.79、0.71 对 0.69）。另一条落在协议设计上：智能体能不能看到自己上一轮的答复，直接决定它给出的同意值多少钱，8% 与 89% 是同一个模型。还有一层是读法依赖——Gemma 的层带是按不看 logit lens 的规则选的，H4 却在它身上成立（0.192 [0.137, 0.248]），登记时作者还预测这一项会是空结果；而按 J-lens 优势选层带的两个模型只是验证优势是否延续。数字随读法移动：换一条层带规则，Qwen3.6-27B 的 H1 从 0.223 变到 0.73；换 k，四个模型的 H1 在 k=10 时是 0.12、0.00、0.00、0.00，k=500 时是 0.70、0.41、0.56、0.21。

相关链接：论文摘要页｜代码与预注册文件

三、把解释钉在棋力上：4B 的 Queen 打到 2697

事件概述：同日提交（2610.03695，cs.CL）的《Language Models that Play Chess and Explain Their Moves》给出 Queen——一个 4B 的棋类语言模型，作者是 Adithya Bhaskar、Jeffrey Cheng 与 Danqi Chen，代码在 github.com/queen-project/queen。它的卖点不是赢，而是让「说得出理由」和「下得对」由同一个模型一起交出来，并用可判错着的棋力给理由兜底。

技术解析：结构是编码器-解码器。静默专家编码器用 Leela（Lc0 BT5），解码器是 4B 的指令微调语言模型，两者用交叉注意力接起来，中间插一段领域适配——构造包含当前局面与未来 1 到 8 步局面、四类问题、每类三种问法的问答课程，答案全部程序化生成并校验，让解码器学会从 Leela 的表征里抽取棋理。之后用 GPT-5.6-Sol（low）在 15,000 个局面上生成解释做种子，过滤掉含非法走子的回答后得到 Pawn-1，Elo 1782。

迭代部分是把 Bellman 值更新搬到自然语言上：每轮采约 40 万个根局面（当前检查点对不同节点数的 Stockfish、Lichess 人类对局、Lichess 战术题），让 Pawn-k 给出三个候选走法，若三个都被 Stockfish 判为错着（相对 oracle 期望胜率掉 10% 以上）就把最差的换成 oracle 走法，再各自生成子局面的解释，合并成当前局面的解释，最后按首次分歧处的主变例比对过滤，SFT 出 Pawn-(k+1)。七轮下来是 1782 → 2024 → 2187 → 2346 → 2539 → 2434 → 2559 → 2697，净增 915 分，中间第五轮还跌了 105 分。

对照表：Queen 2697、Gemini-3.1-Pro 2201、GPT-5.6-Sol 2071、GPT-5.6-Luna 1822、C1-4B 514（32 局全负），中位数特级大师 2730、国际大师 2560、FIDE 大师 2470，Leela 编码器本身 2987。对 Sol 与 Gemini 的预期胜率是 97.4% 与 94.6%。论证支撑度上，1,000 条战术题（投影难度 609–2905）的主变例无错率 68.8%、首着无错率 91.6%，1,000 条一般局面是 66.6% 与 97.1%；Gemini 是 66.9/82.5 与 63.0/89.0，Sol 是 65.1/81.9 与 61.5/86.8。

它自己划的两条边界同样清楚。第一条是防捷径：在 1,000 个「至少五个走法的期望胜率都在 Stockfish 最优 3% 以内」的局面里，Queen 在 538 个上选了与 Leela 不同的走法（与 Lc0 一致 46.2%、不同但在前五 39.1%、前五之外 14.7%），说明它不是先复现策略头再补一段事后解释。第二条是自曝短板：用 GPT-5.6-Sol（high）打 1–5 分，结构连贯性 Queen 3.51（Sol 3.51、Gemini 3.55），概念连贯性只有 2.76（Sol 3.61、Gemini 3.30），流畅度 4.45 而前沿模型在 4.94–4.99。作者把原因归到迭代蒸馏教不会它说出没见过的棋理母题，母题幻觉会随合并步骤一起传播，并明写这是方法的局限。另外，拿 Stockfish 手工评估特征生成模板解释替代 Sol 种子（HCE 变体），Elo 轨迹是 2115 → 2432 → 2476 → 2497，前沿模型蒸馏并非必需。

行业影响：这条线给出的是「静默专家 + 语言模型」的通用配方，作者点名的落点是游戏、机器人与 computer use——凡是存在一个训练好的专家编码器、而人类需要它开口的场合。放进本期的主线看，Queen 是四者里唯一把中间产物（解释）接上了外部真值（可判错着）的例子，也是唯一让中间产物可信的那个。代价同样明白：棋力与 Leela 还差 290 分（作者借用 verbalization debt 的说法来描述这个缺口），概念连贯性比前沿模型低 0.85 分，而这一项恰是重复自举改进不了的部分。

相关链接：论文摘要页｜代码仓库

四、换个探针，域内打平的两个奖励口径差 33 点

事件概述：10 月 1 日提交（2610.02444，cs.CL 与 cs.AI，EMNLP 2026 Findings 录用）的《Counterexample Generation via Per-Theorem Symbolic Verifiers: When Imitation Hurts and Reinforcement Repairs》造了 SymCE——4,707 条假猜想，每条配一个可执行的 Python 验证器，验证器同时充当奖励函数。作者 Omar Farouk Zouak 用它在 Qwen3-4B 上跑 SFT + GRPO，挖出一个「模仿陷阱」：只训反例生成会把模型识别真命题的能力打到 0。

技术解析：语料从 6,748 条本科层面定理出发，逐个丢弃假设得 18,262 个候选，教师模型（Gemini 3.1 Pro）为其中 12,376 个写出验证器并要求给出能通过该验证器的反例（带错误回溯，最多 5 次重试），最后筛到 4,707 条、覆盖 3,485 条唯一定理，4,700 条带 witness schema。切分是 test 201、SFT 1,000、RLVR 3,506。验证器判定中位数 132 毫秒，所以能直接当奖励。作者对验证器做了人工审计：抽 177 条模型生成的 witness（101 条被接受、76 条被拒），接受里 99 条确认真反例（误接受率 2.0%），拒绝里 74 条确认不成立，决策准确率 97.7%，没有一例追到验证器模块本身出错。

训练是 Qwen3-4B、LoRA rank 16、bf16，SFT 2–3 轮，GRPO 4 轮约 1,752 步、KL 0.02、每组 4 条 rollout。域内反例基准（n=201）上，基座 0.30 → SFT 0.35（配对差的 95% 置信区间 [-0.030, +0.119]，在这个样本量下与无提升一致）→ RLVR 0.50 [0.43, 0.57]；四个种子上稠密奖励 0.49±0.02、稀疏 0.46±0.03。

真命题探针（n=347）才是核心发现。用训练时的提示风格，Pass@1 从基座 0.27 掉到 SFT 的 0.00，四个种子全部如此；换成显式真假判断提示是 0.36 → 0.21，形态更刺眼——基座在 62% 的题上根本不给结论（token 预算中途耗尽），只主动断言 2.6% 的真命题为假，而 SFT 之后主动断言 70% 的真命题为假。稀疏的结果奖励把这一项修到 0.65（同提示）与 0.84（判断提示）；稠密奖励只修到 0.34。稠密与稀疏在域内反例基准上统计上不可分（稠密平均高 0.02），在这个探针上参考种子差 31 个百分点，四个种子平均差 33±8 点，且每个种子上都是稀疏更高。模型族也复现了：Gemma-3-4B 上从 0.49 掉到 0.01（判断提示）、0.40 掉到 0.00（同提示），第二个种子 24 上同样是 0.49→0.00、0.40→0.00。

作者还排掉了「遗忘」这个解释：SFT 之后通用数学能力大幅上升（MATH-500 0.13 → 0.55），真命题识别却掉到 0；修复值 0.27 → 0.66 高于基线，单纯恢复旧行为预测不出这个数；训练数据里一条真命题都没有，差别只来自奖励怎么处理弃权。迁移侧也把两件事拆开了：MATH-500 那 52 个点的跃升有一部分是格式适配（基座 0.13 主要因为不按答案模板输出），GSM8K 才是纯推理增益——基座已经会格式化（0.83），SFT 一点没提（0.82±0.03），RLVR 到 0.88。作者还交了成绩单：这个 4B 模型超过所有参评的 7B 开源数学专用模型，与六家前沿商业 API 相当。

行业影响：这一条把「奖励形状」从调参问题抬到了验收问题。稠密的部分给分在域内基准上完全看不出代价，代价只在一个换了口径的探针上出现，而那个探针问的恰是部署后会遇到的第一类问题（这个命题到底真不真）。对做 RLVR 的团队，可操作的动作是把弃权当成奖励里的一等公民单独处理，并准备一个与训练提示同风格的 held-out 探针，而不是只看域内成功率。语料侧的示范也值得抄：把 LLM 依赖冻结在构造期（教师写验证器、一次审计 97.7%），换来的是运行期零随机误差、不怕法官漂移，代价是范围被限定在 Python 加 SymPy/Z3 可判定的代数子域。

相关链接：论文摘要页

小结

四条摆在一起，判定法就清楚了。看到一个中间产物被当成证据，先问它接了哪个外部真值：监控读数接的是自己，零读数廉价到手；口头让步接的是同伴，原前提被压在表征里；走棋解释接的是可判错着的引擎，这才可信；训练奖励接的是验证器，但只在域内被量过。再问换一个读法结论还在不在：换层带规则 H1 从 0.223 变到 0.73，换 k 从 0.12 变到 0.70，换探针两个奖励口径差 33 点。最后问低读数是不是能被廉价做到：第一条给了完整答案——压力一律指向「晚点承诺」时，零是免费的。