无声失败审计台

不是幻觉，不是报错，是第三类失败：一路绿灯，只有结果悄悄错了——七位点解剖 · 你就是那个 agent · 校验成本账 · 链路放大

🔇 无声失败审计台

agent 调了工具，工具返回了不完整的数据，却不返回任何错误通知；agent 因此认为任务成功了。这不是幻觉，也不是报错，是第三类失败：系统层面一路绿灯，只有结果悄悄错了——没有任何一层会报警。

被审计的科学工具

人工核验的静默失败

发生在 API 层

发生在 wrapper 层

失败位点 L1–L7

来源：arXiv:2609.26836 ·Shreya Gopalan, Devansh Singh, Sundaraparipurnan Narayanan · 提交 2026-09-21 · 15 个工具中的 91 例失败，51 例在 API 层、25 例在 wrapper 层，其余 15 例落在 L1 / L6 / L7。

🧭 论文自己的七位点分类（不是本站的分类）

每张卡三栏对比：返回体层看到的 / agent 层以为的 / 实际真相。切换视角，你会看到同一份返回体在两种视角下是完全不同的东西。

返回体层看到的

HTTP 200，返回体结构完整、字段齐全

agent 层以为的

「查到了，就是这个值」

实际真相

这个值本身就不完整，或它的语义不足以支撑 agent 正在做的那个判断

🤖 你只能看到这些（返回体）

{
  "status": "ok",
  "amp_id": "AMP_0042",
  "microbial_source": "others",
  "gravy": -0.11
}

论文中的真实实例

AMPSphere 的 empty / others 微生物来源分类缺乏足够具体的语义定义；Expression Atlas 曾以 ArrayExpress 编号（E-MTAB-xxxx）重新托管 GTEx 数据，改为自主托管后编号规则发生变化。

分布

占该工具已确认失败：ChIP-Atlas 25%、AMPSphere 20%

🔴 L6 的 0 例，不是好消息

论文原文：Agent Usability Gap 在 15 个工具上没有确认出任何一例失败，而 Agent Interpretation Gap（L7）只出现在 6 个工具上（CryoET 33%、ClinicalTrials.gov 25%、ChIP-Atlas 13%、AMPSphere 10%、CTIS 13%、KEGG 13%）。论文紧接着就写明：这个分布不应被解读为「agent 层不存在失败」，它只反映人工核验覆盖到的范围。一个审计工具越难验证的层，越容易在结果里显示为 0。

⚠️ 诚实性边界

• 七位点分类（L1–L7）与全部数字出自 arXiv:2609.26836 的摘要与正文，本站不另造分类。
• 界面上的 JSON 返回体是按论文实例重建的教学构造——论文给出的是文字描述，不是字面返回体。工具名与实例对应论文原文，返回体格式是本站重写的。
• ToolUniverse 在论文中是实验环境，不是被研究的对象：论文明确写了这一点，不要把 91 例失败算成「ToolUniverse 的 bug 数」。