论文精读

精读：Equilibrium Reasoners——吸引子动力学驱动的可扩展推理

提出可泛化推理源于学习任务条件化吸引子，2.6%→99.8%揭示test-time scaling的动力学本质

论文： Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning

作者： Benhao Huang, Zhengyang Geng, Zico Kolter

2026年5月27日 attractor-dynamics test-time-scaling equilibrium-models latent-reasoning iterative-inference ICML-2026 Zico-Kolter dynamical-systems

1 论文概览

一句话总结：迭代推理模型的可泛化能力不来自更深的网络，而来自学习到”吸引子景观”——使推理在潜在空间中向有效解收敛，从而实现无需验证器的双轴test-time scaling。

核心问题：迭代更新潜在状态以扩展测试时计算已成为推理的强大范式，但这些模型超越记忆实现泛化的内部机制是什么？为什么更多迭代有时有效、有时无效？

主要贡献：

吸引子假设：提出可泛化推理源于学习任务条件化吸引子——潜在动力系统的稳定不动点对应有效解，为test-time scaling提供统一的动力学解释框架
EqR框架：形式化均衡推理器，实现深度（更多迭代）与宽度（多轨迹聚合）双轴无验证器缩放
景观塑造方法：随机状态初始化（RI）和噪声注入（NI）两种任务无关训练干预，系统性地改善吸引子景观质量
收敛即正确性信号：在景观塑造后，固定点残差成为推理正确性的可靠诊断指标，支持自适应计算时间（ACT）
戏剧性实证：Sudoku-Extreme 2.6%→99.8%，Maze 0.0%→93.0%，ACT实现17.4× NFE压缩

2 方法详解

架构/方法概述

EqR的核心思想是：推理不是在序列中逐步构建答案，而是在潜在空间中向吸引子收敛。

迭代推理模型的基本形式：

$\mathbf{z}_{k+1} = f_\theta(\mathbf{z}_k; \mathbf{x})$

其中 $\mathbf{x}$ 为输入条件， $\mathbf{z}_k$ 为第 $k$ 步的潜在状态， $\theta$ 为跨步共享的参数。EqR不要求严格收敛到单一精确不动点，而是采用更弱的吸引子收敛：轨迹接近不动点、进入稳定区域或进入有界循环集。

使用固定点残差 $R_\theta(\mathbf{z};\mathbf{x}) = f_\theta(\mathbf{z};\mathbf{x}) - \mathbf{z}$ 作为收敛诊断指标——当残差趋近零，意味着潜在状态已接近某个不动点。

关键创新点

（1）吸引子景观的四种模式

论文识别出吸引子景观的四种结构性模式，精确解释了test-time scaling为何在不同情况下效果迥异：

模式	描述	深度缩放	宽度缩放
无正确吸引子	所有可达吸引子解码为错误结果	无效	无效
正确与伪吸引子共存	正确吸引子存在但竞争吸引子”低残差高误差”	仅在进入正确盆后有效	最有效——增加重启概率
正确但难以到达	正确吸引子近乎唯一但盆窄/弱	弱帮助	增加进入概率
良好对齐	正确吸引子宽且稳定，残差衰减与误差减少耦合	可靠精炼	额外覆盖但非主瓶颈

这个分类直接回答了Overthinking和Illusion of Thinking论文中的核心困惑——为什么更多推理有时有害有时有益？EqR的解释是：取决于吸引子景观的结构。在”伪吸引子共存”模式下，更多深度缩放可能将推理锁死在错误区域；而在”良好对齐”模式下，深度缩放是可靠的。

（2）深度-宽度双轴缩放

缩放维度	含义	机制
深度（D）	增加单条轨迹的迭代步数	让轨迹在吸引盆内精炼
宽度（B）	增加从独立初始化出发的随机轨迹数	增加覆盖不同吸引盆的概率
NFE = D × B	函数评估总数，描述推理预算	—

关键交互效应：宽度缩放仅在深度足够（D ≳ 4，等价168层展开）后才变得有效——因为更多步数允许重启更好地探索景观并找到吸引子。

（3）两种任务无关的训练干预

随机状态初始化（RI）：从高斯分布 $\mathcal{N}(0, \sigma_0 I)$ 采样初始潜在状态，而非使用固定初始状态。两个好处：

扩展训练期间探索的区域，增加正确吸引子在推理时可达的概率
同一数据在不同初始化下被观察，不一致的预测被惩罚，促进跨重启的预测一致性

噪声注入（NI）：在每次迭代中注入各向同性高斯噪声，加入阻尼：

$\mathbf{z}_{k+1} = \mathbf{z}_k + (1-\lambda) r_\theta(\mathbf{z}_k;\mathbf{x}) + \beta \varepsilon_k$

最佳配置： $\lambda = 0.05$ （轻微阻尼）， $\beta = 0.01$ （小路径噪声）。RI扩展轨迹起始位置，NI平滑轨迹沿线的局部动力学——温和噪声帮助轨迹进入更好的吸引盆，避免过早收敛到错误稳定状态。

（4）渐进构建路径

EqR的训练从前馈模型到可扩展迭代推理器有5步渐进构建：

权重共享：迭代步之间重用参数（参数从105.6M降至5.03M）
截断梯度：在段边界处切断反向图，限制反向传播窗口
分层迭代：两个潜在状态以不同频率更新（快/慢双时间尺度）
分段在线训练（SOT）：轨迹分段，每段末端施加监督并立即优化
自适应计算时间（ACT）：学习停机机制，根据问题难度分配计算量

与基线方法的区别

维度	TRM/HRM/URM	EqR
推理视角	迭代计算=逐步精炼	迭代计算=向吸引子收敛
收敛诊断	无	固定点残差作为可观测信号
初始状态	固定零向量	高斯随机采样（RI）
路径确定性	确定性迭代	噪声注入（NI）增加路径随机性
缩放维度	仅深度	深度×宽度双轴
自适应计算	无	ACT基于残差停机
景观理解	黑盒	四种模式的显式分类

3 实验结果

主要指标

Sudoku-Extreme（9×9挑战性数独）和Maze-Unique（唯一可解迷宫）是两个核心基准——它们的优点是能清晰区分”记忆”与”泛化”。

与SOTA的对比

方法	Sudoku (%)	Maze (%)
4层前馈	1.8	0.0
16层前馈	2.1	0.0
64层前馈	2.6	0.0
HRM	55.0	0.3
TRM	84.8	44.9
URM	77.6	51.4
EqR	99.8	93.0

EqR在Sudoku上比TRM高15个百分点，在Maze上比URM高41.6个百分点——而且参数量仅5.03M（前馈105.6M）。

渐进构建路径的贡献分解（Sudoku-Extreme）：

方法	参数(M)	NLE	评估精度%
前馈	105.6	42	2.6
+权重共享	5.03	42	32.6
+SOT+depth×16	5.03	672	74.7
+分层递归	5.03	672	76.5
+ACT训练	5.03	672	84.8
+RI+NI+D64+B128	5.03	8192	99.8

关键观察：ACT行训练精度仅82.2%，但评估精度最高（84.8%），因为模型学会在简单样本上早停（防过拟合），在困难样本上分配更多计算——这与Overthinking论文中”推理对简单问题有害”的发现精确呼应。

消融实验关键发现

发现1：景观塑造的独立与协同效应

配置	Sudoku (%)	Maze (%)
baseline（TRM风格）	84.8	44.9
+RI	86.0	68.6
+RI+NI（EqR）	86.4	82.2

RI单独就将Maze从44.9提升到68.6（+23.7pp），表明初始状态多样性对景观覆盖至关重要；NI在此基础上进一步提升到82.2（+13.6pp），两者协同效果显著。

发现2：ACT的效率增益

预算(D,B)	ACT	精度%	Avg. NFE	压缩比
(1024,1)	✗	96.1	1024.0	—
(1024,1)	✓	95.3	58.7	17.4×
(64,128)	✗	97.9	8192.0	—
(64,128)	✓	97.4	1400.6	5.8×

ACT实现17.4倍NFE压缩，精度损失仅0.8%——简单问题1-5步收敛，困难问题展开至40000+等效层。

发现3：残差作为正确性代理的条件性

在基线TRM上，“Top-1收敛”（选残差最小的重启）可能不如多数投票，因为残差减少可能指示收敛到伪吸引子。仅在景观塑造后，收敛与正确性对齐，Top-1收敛才成为比多数投票更高效的选择规则。

这一发现精确对应了理论命题的限定条件：残差仅在局部稳定性+正确吸引子+正输出边距条件下才是正确性的代理。在伪吸引子附近，低残差仅证明收敛，不证明正确性。

发现4：深度-宽度交互效应

宽度缩放仅在D ≳ 4（等价168层展开）后才有效。这表明：浅迭代不足以让重启的轨迹充分探索吸引子景观，必须达到一定深度后”第二次机会”才有价值。

4 个人分析

亮点

1. 范式级概念贡献——推理的动力学本质

EqR最深刻的贡献不是方法本身，而是重新框架化了推理是什么：

传统视角：推理 = 序列计算（每步生成一个token）
EqR视角：推理 = 动力学收敛（潜在状态向吸引子演化）

这个重新框架化有深远影响——它把”推理为什么有时有效有时无效”从一个经验观察变成了一个可分析、可干预的动力学问题。四种景观模式的分类直接将Overthinking、Illusion of Thinking等论文的核心困惑归入了统一的理论框架。

2. 吸引子假设与EDRM的深层呼应

本文的吸引子相变视角与5月26日精读的EDRM论文（熵相变）形成精妙互补：

EDRM在token空间观测到”类相变”信号，用于自适应推理路由
EqR在潜在空间观测到吸引子收敛，用于自适应计算分配

两者本质上描述的是同一个现象的不同投影——推理模型的”何时该思考、何时该停止”对应于动力系统的”何时进入吸引盆、何时已收敛”。

3. 残差-正确性分离的诚实性

论文没有回避”残差不等于正确性”这一关键限定，而是通过四种景观模式的分类和消融实验，精确刻画了残差成为正确性代理的充分条件。这种理论诚实度在当前”过度声称”的研究风气中尤其珍贵。

4. 极致参数效率

5.03M参数（vs 前馈105.6M）达到99.8%精度——20倍参数压缩。权重共享不是新概念，但EqR展示了当它与吸引子动力学结合时，“同一函数重复应用”不再是对容量的浪费，而是对收敛动力学的精确定义。

局限性

1. 受控基准→开放域的鸿沟

所有实验在Sudoku和Maze等结构化推理任务上进行，这些任务有明确的正确答案和可验证性。论文虽然附录展示了Mini-ARC和Transformer骨干的泛化，但规模有限。从受控基准到开放域语言推理的迁移是完全未验证的——自然语言推理的吸引子景观可能远比离散约束满足的景观复杂和模糊。

2. 吸引子景观的可解释性限制

虽然论文用PCA 2D投影可视化吸引子景观，但这是高维空间的严重降维近似。实际吸引子景观的维度、连通性和分岔结构远比2D投影所能展示的复杂。我们真的能”看到”吸引子吗？还是只是看到了我们想看到的结构？

3. RI和NI的调参开销

$\sigma_0$ 、 $\lambda$ 、 $\beta$ 的选择需要调优，论文报告的最佳配置（ $\lambda=0.05$ , $\beta=0.01$ ）是否具有跨任务通用性尚不确定。过强的噪声可能破坏已学到的良好动力学——这个trade-off的自动平衡机制缺失。

4. 与LLM token级推理的脱节

EqR操作在连续潜在空间中，而当前主流LLM推理（如o1、DeepSeek-R1）在离散token空间中进行。从EqR的吸引子动力学到token级推理的映射关系并不清楚——token级推理中是否存在等价的吸引子结构？如果存在，如何观测和干预？

对大模型领域的影响

短期影响：为test-time scaling的工程实践提供理论指导——何时该增加推理深度（良好对齐景观）、何时该增加采样宽度（伪吸引子共存景观）、何时两者均无效（无正确吸引子）。

中期影响：激活迭代潜在推理（latent reasoning）这一方向。当前主流的test-time scaling通过生成更多token来实现，但EqR展示了潜在空间中的迭代推理可以远比token生成更高效——5.03M参数、17.4× NFE压缩。这为”思考不等于说话”的推理范式提供了工程基础。

长期影响：吸引子视角可能成为理解LLM推理的统一框架。如果token级推理也具有等价的吸引子结构（这需要验证），那么Overthinking、Illusion of Thinking、Specification Gaming等看似独立的现象都可以归入统一的动力学解释。

5 实践启示

可以借鉴的技术

1. 残差诊断用于推理路由

EqR的固定点残差 $R_\theta(\mathbf{z};\mathbf{x})$ 可以作为推理是否收敛的诊断信号。在LLM推理中，可以设计等价的”语义残差”——连续几步推理的语义变化量——作为自适应停机的信号。这与EDRM的熵动力学方案是互补的。

2. 随机初始化+噪声注入的景观正则化

RI和NI本质上是两种正则化策略，确保模型不坍缩到单一的推理模式。在LLM后训练中，这对应于：

RI → 训练时使用多样化的推理起点（如不同的prompt变体、不同的few-shot示例）
NI → 训练时在推理过程中注入轻微随机性（如温度扰动、dropout）

3. 收敛-正确性对齐的质量控制

EqR的核心洞见是：收敛信号只有在景观塑造后才可靠。在LLM后训练数据质检中，这对应于：不能仅凭”模型输出一致”就判断输出质量，必须先确保训练过程已充分塑造了正确的行为景观。

4. SOT（分段在线训练）的工程价值

SOT将长轨迹分成段，每段末端施加监督并立即优化，下一段使用更新后的参数继续。这在LLM RL训练中有直接对应——将长rollout分成段，每段后立即更新策略，避免长链条的梯度爆炸和策略漂移。

潜在应用场景

1. 推理效率优化

EqR的ACT机制可直接应用于LLM推理部署：简单问题少推理、困难问题多推理，实现推理计算的自适应分配。当前o1/R1类模型使用固定的推理token预算，EqR提供了更精细的预算分配方案。

2. 推理质量监控

固定点残差可作为推理质量的实时监控指标。在LLM推理服务中，当检测到”残差不再下降”时，可以判断推理已收敛（无论正确与否），决定是否需要切换到其他策略（如换一个prompt、调用外部工具）。

3. 训练数据筛选

吸引子视角为训练数据筛选提供了新思路：如果某些训练样本在当前模型中不形成正确的吸引子（残差高但答案错），这些样本正是模型需要更多训练信号的”推理前沿”——对应HSIR论文中的”数据不平衡”问题。

4. Agent可靠性工程

在Coding Agent等长链条推理场景中，EqR的”伪吸引子”概念提供了精确的失败模式描述：Agent可能收敛到一个”看起来合理但实际错误”的解决方案。TACT论文中的overacting漂移可以理解为Agent行为空间中的伪吸引子。景观塑造的思路（RI+NI）为Agent训练提供了通用的正则化策略。