为什么重要
现有 Agent 安全评估几乎全部聚焦于外部攻击诱导的风险(如越狱、对抗注入),但一个被忽视的现实是:Agent 在完全良性的条件下仍可能进入不安全轨迹。这类内在风险更隐蔽,会在长期执行过程中静默传播,最终导致严重后果。HINTBench 是首个系统性评估这类非攻击内在风险的基准。
核心设计
基准提出”非攻击内在风险审计”评估范式,基于统一的五约束分类法标注 629 条轨迹(平均 33 步),支持三层递进评估:轨迹级风险检测(判断轨迹是否存在风险)、风险步骤定位(精确找出导致风险的具体步骤)和内在失败类型识别(细粒度诊断失败类型)。
关键发现
强 LLM 在轨迹级风险检测上表现尚可,但在更精细的风险步骤定位任务中性能急剧下降(Strict-F1 低于 35),细粒度失败诊断比定位更难。现有安全护栏模型在此设定下迁移效果很差,说明专为外部攻击设计的防护机制无法有效覆盖内在风险场景。