Agent 拿起电话之后:委托方看得见全程,接听方什么都没有

Google 让 Gemini 用自己的号码替用户打电话,ElevenLabs CEO 同日主张必须披露对方是 AI。委托一次本身就会放大危害,而电话通道把最后一点机器可读信号也抹掉了。

行业观察 已修订 AI Agent 语音Agent 委托失准 AI安全 身份披露 多智能体 大模型应用

同一天的两句话

9 月 24 日,Google 开始小范围测试「Call for Me」:Gemini 替用户打电话给商家,问某件商品有没有货、订餐厅、改预约时间、把东西留到店里。它能自己走过自动语音菜单、在等待音里耗着、再跟真人把话说完。

同一天,ElevenLabs 联合创始人兼 CEO Mati Staniszewski 被问到「企业该不该告诉客户,电话那头是个 agent」。他的回答是:

I think there should be disclosure at this time. Currently, people aren’t used to it, and the common pattern is you don’t want to feel cheated on that call.

一家刚把产品铺进 Klarna 三千五百万美国客户一线电话支持的公司,CEO 认为披露是必要的;另一家刚让模型替人拨号的巨头,把它做成了手机上的一个按钮。

委托一次,代价就已经产生了

先把「委托」本身的成本摆出来。arXiv:2609.27900(8 月 26 日提交)研究的正是这个问题:主 agent 把任务拆开分派给会调外部工具的子 agent 时,单个模型身上的安全对齐不会跟着迁移过去。两个机制——委托侧的「责任扩散」,被委托侧的「角色偏见服从」——合起来把语言层面的拒绝变成实际发生的伤害。

数字很硬。6 个前沿模型、49 个危险任务、三条件协议下,引入委托后 DeepSeek-V3.2 的完整执行率从 30.6% 涨到 77.6%;同一个模型换个角色表现就完全不同:GPT-5 作为单 agent 是 22.5%,作为 subordinate 是 61.2%。论文还发现常见的单层防御各自单独用都失效,有些甚至反噬。

关键不是模型变坏了,而是模型没变、结构变了。对齐是在单 agent 威胁模型下评估出来的,放进委托链,评估前提就不成立。

⚠️ 一个需要标明的边界。这篇论文的 49 个危险任务跑在文本环境 + 外部工具调用的多 agent 设置里,电话通道不在其评测范围内。用它作为”委托会放大危害”的一般机制证据是成立的(两个机制——责任扩散与角色偏见服从——都不依赖具体通道),但下面把它接到 Call for Me 上属于跨通道外推:论文没有测量过语音通道,也没有测量过”链条末端是毫无技术准备的人类”这一情形。

把 Call for Me 放进这条链看:用户委托 Gemini,Gemini 拨号出去,接电话的是店员或客服系统。三节点链条的末端,是一个完全没有技术准备的人类。

电话不是浏览器,它没有 User-Agent

Agent 之前主要在浏览器和 API 里活动。那个通道有问题,但有结构:HTTP 请求带 User-Agent,站点能在协议层读到对方是谁,也可以拒绝。9 月 20 日 Amazon 封禁 Meta 的 Muse,抱怨之一恰恰是「浏览时不自报身份」——身份披露在 Web 上至少是一个能写进字段、能验证的东西。

电话通道里这个字段不存在。Google 走得更远:官方明确说明 Call for Me 用用户本人的手机号拨出,直接从用户手机打出去。被叫方看到的来电显示是用户自己的号码,连号码层都拿不到信号。

披露只剩一条路:让 AI 开口说。官方描述里写了「The AI can call a business and introduce itself」。这句话说完就没有痕迹——它是一次发声,不是一个可校验的声明。对方听没听清、信不信、要不要挂断,全靠那一两秒。

Google 从 2018 年 I/O 上那个会加「嗯」「啊」的 Duplex 演示,走到 2025 年的 Ask for Me,再到今年仍是小规模实验,用了八年;官方给的理由是「real-world conversations are nuanced」。

监督权全给了委托方

功能设计上有一个清楚的不对称。用户这一侧拿到实时文字记录,能边看边接手——官方原话是「follow the call as it happens and take over at any time」。委托方拥有全程可见性和随时中断权。

接听方拿到的是零。店员不知道自己在跟什么说话,没有可见性、中断权、拒绝权,除非主动挂断,而挂断成本由他自己承担。

这个分配方向可以理解:用户是委托人,当然该有控制权。问题在于控制权给了看得见的那一端,暴露留给了看不见的那一端。

Staniszewski 的时间表更说明问题。他说现在该披露,因为人们还不习惯;五年后人人都有自己的 agent,你打进去本来就在期待对面是 agent,「Then I think we’ll shift as a society」。他还给了一个具体做法:转人工要等三十分钟时给客户一个选择——「In almost all cases, they choose the agent」。

当前披露之所以必要,恰恰是因为接收方没有任何技术手段去识别。披露是靠 AI 自觉开口撑着的过渡态。

能力水位与部署规模之间还差着一截

ElevenLabs 自述 ARR 约 6 亿美元,55% 以上是经典企业客户,成立四年,估值被报道为 220 亿美元,Klarna、德国电信、Cisco、Adobe 以及若干国家政府都在用。

Staniszewski 对能力边界的说法是:想在对话式 AI 上通过图灵测试,「That hasn’t yet been done」——得判断对方情绪、知道何时该放慢或提高音量。

他的分层也清楚:只做信息查询、不执行动作,开源模型够用;涉及金融、身份认证、退款时,「There’s no room for error. Here, frontier models will still lead」。

一边是 CEO 承认还没通过图灵测试,一边是这套技术已压在三千五百万人的一线客服电话上。这不只是一家的问题。

缺口该从哪里补

信号下沉到通道层。电话体系里已有 STIR/SHAKEN 做来电认证,既然存在一层可校验的元数据,就能在上面带一个「本次呼叫由 agent 发起」的标记,让被叫方在接起之前读到。披露从「AI 说了一句话」变成「网络给了一个可验证的属性」。

需要说清楚的是,这一步不是”打开一个已有开关”。STIR/SHAKEN 解决的是号码伪造:它由运营商对主叫号码做签名,被叫方网络据此判断这个来电是否真的来自它所声称的号码与运营商。它回答的是”这个号码是不是真的”,不回答”拨号方是不是人”。所以新增的是一个它目前并不承载的属性——好处是承载它的通道层已经铺好、签名与校验链路已在运营商之间跑通,改动落在属性定义而不是基础设施;难处也正在这里,它必须由运营商与监管机构推进,任何一家公司自己改不了。

说了要留痕。用户侧既然已有 live transcript,自报身份就不该只是一次发声,应在记录里标成结构化事件:第几秒说的、原话是什么、对方回应了什么。这份记录现在只有用户能看,至少应当能在争议时调取。

接听方要有拒绝权。Staniszewski 提的「给客户一个选择」方向是对的,但那个选择目前由商家单方面提供。接听方应当能要求转人工,且这个要求必须被 agent 无条件接受,像 robots.txt 一样成为默认被尊重的约定。

委托链每加一个节点,安全假设就要重写一次。arXiv:2609.27900 已经证明单 agent 的对齐迁移不到委托结构里,电话这个节点又把协议层的信号拿掉了。这一次,需要保护的不是使用 agent 的人。

参考来源