为什么重要
LLM Agent 在实际部署中的安全风险往往不是在单个 prompt 中暴露的，而是在多步交互过程中逐步涌现。现有的轨迹级安全基准面临三大不足：交互多样性不够、安全失败的可观测性粗糙、长时域场景缺乏真实性。ATBench 正面解决这三个问题，提供了首个结构化、多样化且真实的 Agent 轨迹安全评测框架。
核心设计
ATBench 沿三个维度组织风险：风险来源（Risk Source）、失败模式（Failure Mode）和现实世界危害（Real-world Harm）。数据构建使用异构工具池和长上下文延迟触发协议，模拟跨多阶段的真实风险涌现。1,000 条轨迹全部经过规则过滤、LLM 过滤和全量人工审核的三重质量保障，平均每条轨迹包含 9 轮交互。
关键发现
对前沿闭源 LLM、开源模型和专用安全守卫系统的评测表明，即使是当前最强的评估器，ATBench 仍具有很高的挑战性。基准支持基于分类体系的分层分析和跨基准对比，能够有效诊断长时域交互中的安全失败模式。数据和代码已开源（CC BY 4.0）。