论文精读

精读：TACT——激活向量校准消除 Coding Agent 漂移

通过在残差流中识别并校准 overthinking/overacting 漂移轴，TACT 在不修改模型权重的前提下将 SWE-bench Verified 解决率提升 +5.8pp，同时减少 26% 步数

论文： TACT: Mitigating Overthinking and Overacting in Coding Agents via Activation Steering
作者： Yuan Sui, Yulin Chen, Yibo Li, Xue Jiang, Yufei He, Yihong Dong, Xiaoxin He, Tianyu Gao, Bryan Hooi
arXiv： 2605.05980
activation-steering coding-agent agent-drift overthinking representation-engineering SWE-bench test-time-intervention

1 论文概览

一句话总结： TACT 在 Coding Agent 的残差流中发现 overthinking 与 overacting 两条可线性分离的”漂移轴”，并通过推理时激活校准将漂移拉回校准区间，无需微调即可显著提升解决率并压缩推理步数。

核心问题： 当 LLM Agent 执行长程软件工程任务时，轨迹质量随步数增长而退化——即 agent drift。表现为两种反复出现的失败模式：

  • Overthinking（OT）： 反复推理已知信息，或在应该调工具时绕圈子思考
  • Overacting（OA）： 无视最近观测就发出工具调用，或重复获取已有信息

这两种漂移不是偶发异常，而是编码了模型的系统性倾向——论文发现它们在隐藏状态空间中构成线性可分的方向。

主要贡献：

  1. 定义并量化 agent drift：提出 overthinking/overacting 两类漂移的标注框架，漂移比例与 SWE-bench 解决率负相关
  2. 发现漂移轴：在残差流中识别出 OT-vs-CAL（AUC≈0.91）和 OA-vs-CAL（AUC≈0.77）两条可分离方向，漂移是多层的稳定特征
  3. 提出 TACT：三种推理时激活校准方法（Cap/Add/Gate），无需微调或改 prompt，仅通过 forward hook 介入
  4. 跨架构跨基准验证：在 Qwen3.5-27B 和 Gemma-4-26B-A4B-it 上，SWE-bench / Terminal-Bench / CLAW-Eval 三基准平均 +5.8pp / +4.8pp
  5. 效率收益：TACT-Cap 将步数压缩 26%，同时不牺牲解决率——漂移本身就是冗余计算

2 方法详解

架构/方法概述

TACT 是一个三阶段流水线：

阶段一：轨迹标注（LLM-as-Judge）

将 Agent 轨迹按 W=10 步分块，每块由三个 Agent 顺序处理：

  1. State Maintainer：维护滚动状态（已知事实 KnownFacts + 行为演化 Progress）
  2. State Verifier：审计状态是否存在幻觉、遗漏或矛盾，触发修正循环
  3. Annotator：标注每步为 OT/OA/CAL，仅保留高/中置信度标注

标注质量：与人类共识 Cohen’s κ=0.78（实质性一致），OT/OA/CAL 的 F₁ 分别为 0.85/0.85/0.83。

阶段二：漂移轴提取

在 <|im_start|> token（推理-动作边界）处提取隐藏状态 Ht∈RL×d\mathbf{H}_t \in \mathbb{R}^{L \times d}：

  • 通过对比均值法计算三条轴：OT-vs-CAL、OA-vs-CAL、OT-vs-OA
  • OT-vs-CAL 作为主轴（AUC 更高：0.91 vs 0.77），OA-vs-CAL 经 Gram-Schmidt 正交化后得到独立副轴
  • 按验证集 AUC 排序选 Top-K 层（默认 K=10）

“We find that their hidden states can separate linearly along two drift axes, pointing from calibrated behavior toward each failure mode (AUC ≈ 0.9).” ——论文摘要

阶段三：推理时校准

三种方法：

方法机制特点
TACT-Cap将超出校准带 [−τ,+τ][-\tau, +\tau] 的投影截断至边界最保守，仅干预越界激活
TACT-Add每步施加固定偏移 ht←ht+s(v^OT+v^OA⊥)\mathbf{h}_t \leftarrow \mathbf{h}_t + s(\hat{\mathbf{v}}^{OT} + \hat{\mathbf{v}}^{OA_\perp})最激进，强度敏感
TACT-Gate越界时减去 λ\lambda 倍越界量兼具选择性与可调强度，综合最优

实现上仅注册 forward hook，在产生 <|im_start|> token 的前向传播时触发，无需修改权重、无需改 prompt、无需额外训练。

关键创新点

  1. 漂移的结构性发现：agent drift 不是随机噪声，而是残差流中可分离的线性方向——这赋予了漂移”可操纵性”
  2. 双轴正交化：OT 和 OA 在激活空间中非正交，直接独立操纵会互相干扰；Gram-Schmidt 正交化使两轴可独立校准
  3. 推理-动作边界介入：选择 <|im_start|> token 而非任意位置，捕捉”思考转向行动”的关键时刻

与基线方法的区别

方法干预层面需要微调额外推理成本兼容性
Reminder / ReCAPPrompt 层否增加步数通用
AgentReflectPrompt 层否增加反思步通用
AgentDebug多轮交互否1.4-1.7× 步数通用
TACT激活层否Forward hook 仅需模型权重访问

TACT 的核心优势在于从表征层面而非行为层面解决漂移——在漂移表现为行为之前就将其校准，而非事后反思。

3 实验结果

主要指标

SWE-bench Verified：

模型方法解决率Δ步数
Qwen3.5-27BBase67.0%—75.2
TACT-Cap69.1%+2.155.7
TACT-Add73.0%+6.067.5
TACT-Gate73.3%+6.365.3
AgentDebug†70.5%+3.5116.4
Gemma-4-26BBase59.7%—52.1
TACT-Gate65.5%+5.844.7

跨基准平均：

  • Qwen3.5-27B：SWE-V +6.3pp, TB2 +5.7pp, CLAW +5.6pp → 平均 +5.8pp
  • Gemma-4-26B：SWE-V +5.8pp, TB2 +3.4pp, CLAW +5.1pp → 平均 +4.8pp

与 SOTA 的对比

  • TACT-Gate 在 SWE-bench Verified 上超过 AgentDebug +2.8pp，且仅使用单次 rollout（AgentDebug 需要 1.4-1.7× 步数）
  • 相比 Reminder/ReCAP/AgentReflect 等 prompt 层方法，TACT 的提升幅度是其 3-9 倍
  • TACT-Cap 在保持解决率提升的同时将步数压缩 26%（75.2→55.7），意味着漂移本身就是冗余计算

消融实验关键发现

  1. 双轴缺一不可：去 OT 轴 → +2.6pp（vs 完整 +6.3pp）；去 OA 轴 → +4.2pp；去正交化 → +3.5pp。OT 和 OA 常共现，只校准一个方向会留下另一失败模式

  2. 层选择至关重要：Top-10 层（+6.3pp）远优于 All-64 层（+1.4pp）。漂移信号集中在 early-to-middle 层，全层 hook 会引入噪声

  3. 标注鲁棒性：换用 Claude Opus 4.6 标注后，TACT-Gate 仅下降 0.6pp，说明轴提取对标注源不敏感

  4. 超参稳定性：TACT-Gate 在 λ∈[0.5, 2.0] 范围内始终优于基线，是最稳定的变体；TACT-Add 对强度 s 最敏感

4 个人分析

亮点

1. 漂移的结构性论证令人信服。 论文不仅展示了”OT/OA 可以线性分离”这一经验事实，还通过干预分析验证了因果性——主动操纵漂移轴方向确实改变了行为。这比单纯的”发现相关性”高出一个维度。

2. 实用性极强。 整个方法只需要：① 一小批标注轨迹（自动化的 LLM-as-Judge）② 几行 forward hook 代码。无需重训、无需改 prompt、无需额外 API 调用。部署成本几乎为零，收益立竿见影。

3. 效率与效果兼得。 TACT-Cap 在提升解决率的同时减少 26% 步数，直接反驳了”更好表现必须更多计算”的直觉。漂移本身就是浪费——校准漂移既提质又提效。

4. 方法论严谨。 三角色标注流水线含审计环节；换 Judge 验证鲁棒性；消融实验覆盖轴选择、层选择、正交化、超参等维度；跨模型（dense vs MoE）跨基准验证。

局限性

1. 仅限开源模型。 TACT 需要直接访问残差流，无法用于闭源 API 模型。在 GPT/Claude 占据大量生产部署的当下，这一限制不小。

2. 领域迁移未验证。 漂移轴在编码轨迹上拟合，对非编码 Agent（如 Web Agent、数据分析 Agent）的迁移性未知。论文也承认了这一点。

3. 线性假设的边界。 仅探测了线性方向；更复杂的干预方式（如稀疏自编码器发现的特征）可能发现更精细的结构。线性轴可能是对复杂漂移现象的粗粒度近似。

4. 标注偏差风险。 虽然换 Judge 的结果差异小（<1pp），但 OT/OA/CAL 的定义本身涉及主观判断——“何时推理是冗余的”在不同场景下可能有不同标准。

对大模型领域的影响

短期（6 个月内）： TACT 提供了一个低成本的 Agent 质量提升方案，编码 Agent 的生产部署可以直接采用。尤其是 TACT-Cap 版本几乎零风险（只做截断），适合作为默认配置。

中期（1-2 年）： “漂移是可操纵方向”这一发现可能推动更广泛的 activation engineering 研究——不仅限于编码 Agent，还可能扩展到推理链校准、安全对齐、人格一致性等领域。论文引用的 “The assistant axis”（Lu et al., 2026）已显示类似思路在人格稳定性上的应用。

长期： 如果漂移轴可以跨任务/跨模型迁移，那么我们可能进入一个”预校准”时代——模型发布时就附带一组漂移轴，用户按需调整。这将是 representation engineering 从学术概念走向工程实践的关键一步。

5 实践启示

可以借鉴的技术

  1. LLM-as-Judge 三角色标注流水线：State Maintainer → Verifier → Annotator 的顺序结构，加上审计环节防幻觉，可用于任何需要细粒度轨迹标注的场景（如工具使用质量评估、推理链审计）

  2. 对比均值法提取方向：从 Δμ=μpos−μneg\Delta\mu = \mu_{pos} - \mu_{neg} 提取可操纵方向的方法简单且有效，可推广到其他行为校准场景（如减少幻觉、增强事实性）

  3. 校准带 + Gated 干预：TACT-Gate 的”仅在越界时干预”设计是一个通用范式——既不过度干预正常行为，又能在异常时纠正，适合各种推理时校准场景

  4. 层选择策略：不是所有层都有用，按验证集 AUC 排序选 Top-K 层的思路可迁移到其他 activation steering 场景

潜在应用场景

  1. 编码 Agent 生产部署：SWE-bench +6.3pp 的提升直接可转化为工程收益，尤其是步数压缩 26% 对成本敏感的 API 调用场景

  2. 长程推理链校准：数学推理、科学推理中同样存在 overthinking（反复验证已确认的中间步骤），TACT 的漂移轴思路可直接迁移

  3. Agent 安全护栏：漂移轴的方向性暗示了行为的可操纵性——理论上可以通过注入特定方向来引导 Agent 行为，这既是机遇也是安全风险

  4. 模型诊断工具：漂移比例 γtOT\gamma_t^{OT} 和 γtOA\gamma_t^{OA} 本身就是 Agent 轨迹质量的实时指标，可用于监控部署中的 Agent 退化

  5. 多 Agent 协作优化：在多 Agent 系统中，每个 Agent 都可能漂移；TACT 可作为每个 Agent 的内置校准器，减少协作中的冗余交互