返回评测
对齐与安全 安全-Agent 未饱和 模态 · 文本 任务 · 分类

HINTBench

评估 LLM Agent 在无外部攻击条件下的内在安全风险,聚焦长时域执行中隐蔽传播的失败模式

多机构合作(6 位作者) ·

考察能力

轨迹级风险检测 风险步骤定位 内在失败类型识别 长时域安全推理

构建信息

数据规模
629 条轨迹(523 风险 + 106 安全),平均 33 步/轨迹
构建方式
基于五约束分类法构建,无外部攻击场景下的自然风险轨迹
评测方式
三任务评估:风险检测 + 风险步骤定位 + 失败类型识别
核心指标
检测准确率 + Strict-F1(定位)+ 分类准确率

模型效果排行

🥇 强 LLM 模型
检测尚可,但定位 Strict-F1 < 35 2026-04

为什么重要

现有 Agent 安全评估几乎全部聚焦于外部攻击诱导的风险(如越狱、对抗注入),但一个被忽视的现实是:Agent 在完全良性的条件下仍可能进入不安全轨迹。这类内在风险更隐蔽,会在长期执行过程中静默传播,最终导致严重后果。HINTBench 是首个系统性评估这类非攻击内在风险的基准。

核心设计

基准提出”非攻击内在风险审计”评估范式,基于统一的五约束分类法标注 629 条轨迹(平均 33 步),支持三层递进评估:轨迹级风险检测(判断轨迹是否存在风险)、风险步骤定位(精确找出导致风险的具体步骤)和内在失败类型识别(细粒度诊断失败类型)。

关键发现

强 LLM 在轨迹级风险检测上表现尚可,但在更精细的风险步骤定位任务中性能急剧下降(Strict-F1 低于 35),细粒度失败诊断比定位更难。现有安全护栏模型在此设定下迁移效果很差,说明专为外部攻击设计的防护机制无法有效覆盖内在风险场景。

Agent安全 内在风险 轨迹安全 非攻击 风险定位 失败诊断