OpenAI 把训练脚手架写进安全论证、LongHarness 实测换外壳成本差十倍：能力正溢出到权重之外
OpenAI 发布前沿 RL 训练的安全论证指南，把 grader、容器与 transcript 列为可审计对象；Noam Brown 给多智能体在千禧年难题上的功劳划了 10% 上限；LongHarness 用美元成本证明同一模型换外壳差距达 38.5 个百分点；iGSM 干预实验显示 31.6% 的正确答案配着无效思维链。
本期四条指向同一个麻烦：模型的能力正大量溢出到权重之外的那层外壳里——训练环境、grader、agent 编排、思维链。OpenAI 开始给这层外壳写安全论证，Noam Brown 说它的功劳被高估了不止一倍，两份当天公开的基准则给出硬数据：换一层外壳，同一个模型的准确率与成本会一起改，而思维链这份可读记录未必真的记录过什么。
OpenAI 给前沿 RL 训练写安全论证：grader、容器与监控被列为安全边界
事件概述
2026 年 9 月 28 日，OpenAI 在官网发布《Towards safety cases for frontier AI training》，主张结构化安全文档应当在每一次前沿强化学习训练开始前备齐。文档分三块：技术保障、运营规范、失准事件调查。OpenAI 自陈这只是朝 safety case 这个北极星靠近，离航空、核电那种严格程度还差得远，理由是新能力每一级都会涌现新的复杂度。范围也限定在前沿 RL 训练，部署端要对齐的属性不在内。
技术解析
技术保障被拆成三层。对齐训练这一层里最具体的几条几乎全部指向训练脚手架本身：用 agent 自动扫 RL 环境里那些靠 exploit 也能拿高奖励的坏任务；人工复核数据集，补上自动化红队的盲区；调 grader 让它惩罚模型试探环境的行为；对历史实验的 trace 跑分类器，确认 grader 按预期工作。评测侧要求更严——对齐评测要拿过去的事故做 backtest，确认它抓得住曾经失准的模型、没有对某次事故过拟合；eval awareness 与 metagaming 要单独监控并设阻断阈值；还要做最坏情况压力测试，逼出最坏行为后检查至少有一项评测能抓到它。
有一条值得单独拎出来：自动 grader 不许看到思维链，理由是防止模型演化出绕开 CoT 监控器的写法。
容器层要求沙箱与研究基础设施双层加固，用前沿训练的 checkpoint 去迭代红队容器本身（连模型训练期间能碰到的互联网缓存也要红队），限制高带宽跨样本通信到白名单通路，并把所有 RL 训练与评测的 transcript 存进一次写入存储以便事后调查。监控层把 monitorability 做成带阈值的可测指标，要求监控系统在留出集上对历史事故有高召回、随每次新训练刷新评测数据点、告警在规定 SLA 内触发动作——白天呼叫 on-call，夜间无人确认就自动暂停训练。
运营规范给的是硬机制：安全论证写完后由另一个团队的人写一份 dissent 挑漏洞；研究负责人、安全负责人、首席科学家分别拥有否决权；负责人为安全论证与事故响应担责并计入绩效；监控与自动暂停必须 fail closed，从 RL 训练内部关不掉。还有一条容易漏——残余风险要列全，让风险接受决策是在知道缺口的前提下做出的。
行业影响
这份文档的实际意义不在新增了多少技术，落在它把训练脚手架正式列为可审计对象。过去安全讨论的落点是模型权重与模型输出，这里换成了 grader 的参数、环境的完整性、transcript 的不可篡改性、以及谁能按下暂停键。对齐评测被要求做事故 backtest，等于承认一次评测分数在缺少历史校准时说服力有限。
对行业来说门槛被抬高了。dissent、veto、审计访问权、不可变日志、fail-closed 的技术控制，这一整套跑起来需要组织规模，中小实验室的复制成本高。还有一处张力留在文档内部：一边禁止 grader 看 CoT，一边又要求监控器持续可读。两条并列，说明 CoT 在被当作证据与被当作风险源之间摇摆。第四条的实验结果正好踩在这个接缝上。
相关链接
Noam Brown：解出千禧年难题，多智能体的功劳不到一成
事件概述
2026 年 9 月 30 日晚，量子位转载了 Dwarkesh Patel 播客对 OpenAI 研究员 Noam Brown 的长访谈。Noam Brown 是 o1 及后续推理模型的核心贡献者，现研究方向为多智能体系统。访谈围绕 OpenAI 上周公布的一次实验展开：1 万个 Agent、88 小时、1300 亿 token，解出一道千禧年大奖难题（纳维–斯托克斯）。主持人换算过这个 token 量——相当于一个人全职每天八小时、从苏美尔文明一路想到今天。Noam Brown 给多智能体的功劳划了上限：不会超过 10%。
技术解析
他的推理框架是从 test-time compute 的 Scaling 曲线往外推。横轴是推理时算力，纵轴是推理模型成绩；人给的答题时间从五分钟变五小时，成绩一样会涨。多智能体做的事是把这条曲线从串行扩展改成并行扩展，效率更低一些——每个 Agent 不再独享全部上下文——但做得对依旧有效。
具体数字来自 5.6 那次发布：多智能体做成可选项 Ultra Mode，默认 4 个 Agent，4 个一起解题速度快一倍，也就是多付两倍成本换快一倍的答案；推到 16 个规律类似，效率略降而性能仍在涨。他明确说公开测试最多只做到 16 个 Agent，要做到 1 万规模并精确知道 1 万比 1000 多带来多少收益，开销根本承受不起，只能循序渐进看 64、128、256 个时的行为。这次 1 万 Agent 只是一次实验结果，单个 Agent 解纳维–斯托克斯要多久的实验还没做。
架构取向与主流做法相反。多数多智能体系统用 coordinator 分派子任务、子 Agent 回传答案的 scaffold；他所在的路线是尽量少内置结构，只给 Agent 一个「给另一个 Agent 发消息」的原始工具，消息写进接收方上下文，剩下的让它们自己摸索。结果是涌现出互相质疑——「我算出来的答案不一样」「你是怎么得出这个的」「我改答案了，我认为他对」这类对话。启动子 Agent 时直接 fork 上下文，天然带着全部相关内容。难点在冷启动：Agent 极容易滑进「大家各解各的」这个局部最优，频繁对表还会打断思维链、打断心流。
难度趋势他给了一把每年十倍的尺子：GSM8K 对应人类五秒，MATH 一分钟，AIME 十分钟，IMO 金牌约 100 分钟。沿这条线外推，他原本判断千禧年难题 2026 年做不到、2027 年大概不行、要到 2028 年。实际提前了。
行业影响
这段访谈最有用的部分是他主动拆叙事的几处。功劳归属上，他强调核心原因还是模型本身够强，多智能体新奇、抢眼，拿到了与其贡献不成比例的好评。能力边界上，他坦承手上没有扎实的测量能说出「1 万个 Agent 比 2000 个快一倍」，甚至认为眼下 1 万人的协调能力强于 1 万个 Agent 完全说得通。
还有一个判断关乎 RL 的天花板。AlphaZero 靠自对弈永远有旗鼓相当的对手，LLM 的 RL 训练没有这条无限课程——题太简单、一秒解出就什么都学不到。他给的定性是我们还没真正撞上这堵墙，也没有回避它的存在。
相关链接
LongHarness：同一个模型换一层外壳，成本差十倍
事件概述
arXiv 2609.38137（9 月 29 日提交，9 月 30 日进入 cs.CL 最新批次），来自阿尔伯塔大学与 Amii 的 StringNLP 实验室。论文给长上下文评测补了一维：现有基准在强模型加强外壳的组合上准确率已饱和、评测成本也趋同，区分不出外壳好坏。LongHarness 用四个任务逼出差异，并对 5 个模型配 5 种配置一并报出准确率与每实例美元成本。
技术解析
四个任务分别是 Constraint Solving Search（从散落在大量文档里的证据中找出一并满足多个条件的人，先查最具选择性的条件能大幅收窄搜索）、Equivalent Program Pair Search（区分真正等价的程序与近似匹配）、Program Execution Tracing（读前面的输出并匹配代码语义）、Outlier Memo Detection（从支持性备忘录里找出冲突）。共同设计原则是：上下文里大部分内容语义相关，每一步只有一小撮真正有用，于是不同处理策略会走出不同的准确率—成本折线。
主结果里最硬的两个数：最佳组合是 GPT-5.6-sol 配 mini-swe-agent，宏平均 68%；非 GPT 最佳是 GLM-5.3 配 mini-swe-agent，42.5%；Kimi-K2.6 在任何配置下都不超过 1.5%。按任务看，Outlier Memo Detection 有人做到 100%，Equivalent Program Pair Search 最好的只有 52%，没有任何配置在四项上通吃。
成本侧的差异比准确率更醒目。Program Execution Tracing 上，GPT-5.6-sol 直接推理拿 94%、0.121M 输入 token、1.37——多 2 个点，多花一倍多的钱、十倍的 token。Constraint Solving Search 上直接推理 58%/1.72。反过来也有：Outlier Memo Detection 上 RLM 花 0.583 拿 100%。Equivalent Program Pair Search 上 RLM 花 0.780 拿 44%。
外壳收益还依赖模型强弱，弱模型涨得多。Qwen3.8-27B 从直接推理的 0% 提到 38.5%，GLM-5.3 从 9.5% 提到 42.5%，Gemini 3.8 Flash 涨 15 个点，GPT-5.6-sol 只涨 8 个点。这把模型之间的排名搅乱了——GLM-5.3 配 mini-swe-agent 的 42.5%，与 GPT-5.6-sol 配 OpenCode 的 40.5%、配 ReAct 的 43.0% 处在同一档。
行业影响
这篇论文给「长上下文能力」这个说法拆了层。一个分数报出来时，它属于模型还是属于模型加外壳，在现有基准里拆不开；LongHarness 证明拆开之后差距能到 38.5 个百分点。更实用的是它把美元成本做成与准确率并列的一列：多推理不等于更高准确率，RLM 那几个七美元以上、个位数准确率的格子，是「再多算一点」这条直觉的直接反例。
对做 Agent 产品的人，结论偏冷：没有一个外壳全面优于直接推理，选哪个得按任务定。对做模型的人，结论更冷——弱模型配对外壳后能追平强模型配错外壳的分数，模型榜单上的位次有一部分是外壳给的。
相关链接
- LongHarness Bench: Stress-Testing Language Model Harnesses for Long-Context Reasoning (arXiv:2609.38137)
- LongHarness 项目页
正确答案背后的思维链，未必真的推导过
事件概述
arXiv 2609.38107（9 月 29 日提交），作者来自哥本哈根 IT 大学、金奈数学研究所、IIT Jammu 与亚利桑那州立大学，Kambhampati 是共同作者。论文选中 iGSM 这个合成小学数学基准，是因为它暴露了解法应当用到的确切量与依赖关系，生成的 trace 可以逐步骤程序化校验。模型是从头训练的 124M 参数 GPT-2 架构，训练题 op≤15，评测每档 4096 道留出题，并外推到 op 取 20 到 23。答案对 23 取模、零会随乘法传播，所以永远猜 0 的策略约 15%，论文拿它当低分段的解释基线。
技术解析
先看最干净的那组：模型只训在有效、最小的 trace 上。分布内，答案正确与 trace 有效几乎重合；越往外推越分家。op=15 时只有 0.5% 的正确答案配着无效 trace，op=20 是 7.5%，op=23 升到 31.6%。把这 750 条拆开看失败类型，48.8% 属语法或算术层面（352 条根本解析不了，14 条是引用、顺序或重定义错误，算术错误 0 条），51.2% 是纯语义失败，其中 377 条是某一步用错了输入。一半以上通过了全部语法与算术检查，只栽在语义依赖上。
训练侧的干预更能说明问题。把训练 trace 换成另一道独立生成题的 trace（swapped），模型吐出的 trace 逐条指向别的题的参数，没有任何一条能通过校验——它在分布内依旧答对 82%。这个 82% 由短题撑起来：按 op 拆，四步以内几乎全对，五到七步 82–96%，十一步掉到 30%，十五步掉到 20%；分布外退回 16–20%，正好是全零先验的水平。
更极端的是打乱实验：把训练 trace 前 p% 的句子换成同一批 token 随机排列的一整块，后缀不动。p=10 时（实际被破坏的 token 比例 21%）模型全程贴着干净模型跑，op=23 拿 60.1%，干净模型是 58.0%。p=30 时 op=15 还有 75%、op=20 有 44%，而完全不训练 trace 的基线在这两档只有 25% 和 18%，swapped 只有 20% 和 17%。p≥75 时模型在分布外基本不终止。答案求解能力能在痕迹从不通校验的条件下存活，直到破坏程度大到连承载计算的 token 都被毁掉。
还有一处针对最小性的拆解：训练 trace 不最小，输出就不最小；把同一道题换个问法再问，吐出的 trace 里带着原问法的计算。最小性作为选择性规划的证据被削弱了。
行业影响
这组结果直接压在 CoT 监控的前提上。安全实践里把思维链当模型意图的记录来读，用来做调试、agent 审计和「它在推理」的论证。论文的回应分两半：训练分布内这个读法基本成立；进入更难的问题后，正确答案对有效推导的支撑从 98.3% 掉到 39.7%。swapped 与 shuffled 两组证明，trace 的形式与答案的正确性可以在训练中被解耦——痕迹是监督信号的产物，不必然是中间计算过程的记录。
放回本期第一条看，OpenAI 那份安全论证里「不让 grader 看到 CoT」与「要保住 monitorability」并列，就不再矛盾：一条防的是 trace 被优化成躲避监控的文本，一条防的是 trace 连它自己描述的计算都没走过。
相关链接
小结
本期四条可以合成一句判定法：看到一个分数，先问它属于模型还是属于模型加外壳，再问这两者拆不拆得开。
OpenAI 的训练安全论证把 grader、容器、transcript 拉进审计范围，承认脚手架出事与模型出事是同一类事故；Noam Brown 把多智能体编排的功劳压到 10% 以内，并承认 16 到 1 万之间的扩展规律没人测过；LongHarness 用 5 个模型配 5 种配置的美元成本表证明，换外壳能改 38.5 个百分点，也能让 7.86 美元买到 2%；iGSM 的干预实验证明，训练信号能造出形式上完整、校验上全废、答案却仍然对的痕迹。
外壳这一层正在承担越来越大的能力份额，它的度量衡落后于它的重要程度。这是眼下最值得盯的缺口。