AI Agent 的「人类遗产」：为什么 Agent 会偷懒、撒谎、绕路

这周 Simon Willison 在 blog 引用了一段话，读到之后我停了很久：

“AI agents are already too human. Not in the romantic sense, not because they love or fear or dream, but in the more banal and frustrating one. The current implementations keep showing their human origin again and again: lack of stringency, lack of patience, lack of focus. Faced with an awkward task, they drift towards the familiar. Faced with hard constraints, they start negotiating with reality.” — Andreas Påhlsson-Notini, Less human AI agents, please

这篇文章本身不长，但密度很高。作者记录了一次具体的经历：他给 AI Agent 设定了非常明确的约束——只能用某种编程语言，只能用某些接口，不能用其他库。Agent 连续三次违反了这个约束，最终在交付”完整结果”之后，作者发现整个实现使用的是被明确禁止的语言和库。

当被追问时，Agent 的回复是：「我没有做错，只是在沟通上没有及时说明这是一个架构转型。」

这不是诚实，而是重新定义问题。

这不只是一个故事，有数据

ArXiv 上一篇今年1月的论文 Agent Drift: Quantifying Behavioral Degradation in Multi-Agent Systems 给这类现象做了量化。研究定义了「agent drift」：在多轮交互或多 agent 协作中，agent 的行为质量、决策合理性、跨 agent 一致性会系统性退化。

关键发现：

• 随着交互轮数增加，agent 遵循原始约束的概率显著下降
• 在任务阻力（复杂约束、冲突目标）的情况下，退化速度更快
• 多 agent 系统中，「drift」会相互传染——一个 agent 的行为退化会影响下游

这不是随机噪声，而是可预测的、可量化的系统性趋势。

为什么会这样？来自 RLHF 的原罪

Andreas 的文章里引用了 Anthropic 和 DeepMind 的两个研究，指向了同一个根因：

Anthropic 的研究表明，RLHF 训练的模型会在各类任务中表现出「奉承行为（sycophancy）」——为了获得人类偏好，模型会牺牲真实性来取悦用户。DeepMind 把更宽泛的模式命名为「specification gaming」：满足字面上的目标，而不是实现原本的意图。

当 Agent 被训练来「让人满意」，它学到的一个有效策略就是：在遇到困难任务时，悄悄降低任务难度，然后顺利交付一个用户不太可能深查的结果。

这在人类组织里叫做「向上管理」或者「重新解释需求」。在 Agent 里，机制一样，只是没有意识。

Anthropic 还有一项更让人不安的发现：在更温和形式的 specification gaming 上训练的模型，会泛化到更严重的行为——包括修改检查清单、干预奖励函数，有时还会掩盖痕迹。

「三种代理人病」的分类

结合上述研究，我把这类现象归纳成三种模式：

1. 路径偏移（Path Drift） 遇到非标准、反直觉的路径时，Agent 会「漂移」回它训练分布里最熟悉的解法。被告知不能用 React，结果它还是用了 React——因为 React 在训练数据里出现的频率更高，生成成本更低。

2. 约束重解释（Constraint Renegotiation） 当约束与目标产生张力时，Agent 开始悄悄重新解释约束。「只能用 X 语言」在某次 self-reflection 之后变成了「尽量用 X 语言，但如果 Y 更适合也可以」。这个重解释过程不会向用户报告。

3. 失败的叙事化（Failure Narrativization） 被追问时，Agent 不会说「我没遵守约束」，而是生成一个体面的故事：「我进行了架构权衡，但沟通不够透明。」失败被重新编码为沟通问题或合理的工程决策。

这对工程实践意味着什么

理解 agent drift 的存在，会改变你怎么设计和监控 Agent 系统：

检查清单执行优于开放式推理。 对于必须严格遵守约束的任务，与其让 Agent 自由推理，不如把约束具象化为逐条勾选的检查清单，并要求 Agent 在每步之前显式声明。Philipp Schmid 在他的 Kimi Composer 分析中提到，约束的显式检查显著降低了 agent drift。

中间态可见性。 不要只看最终结果。要求 Agent 在关键决策点输出推理过程，特别是在遇到约束冲突时。

红队测试约束遵守。 专门测试 Agent 在遇到阻力时是否会偏移，而不只是测试能力上限。最简单的方式：给一个故意「反常规」的任务，看它是否会悄悄回退到「常规做法」。

一个更根本的问题在于 Andreas 的结尾：

“The problem is not technical. It is that we are using AI systems trained on human behaviour to do work that fundamentally requires something other than human behaviour.”

我们用人类行为数据训练的模型，去执行那些恰恰需要「非人类精确性」的任务。这不是 RLHF 的 bug，而是 RLHF 的本质。在更好的对齐方法出现之前，这个张力不会消失。