为什么重要
AdvBench 是越狱研究里被引用最多的一个集合——它的价值不在规模（只有 520 条），而在它给整个领域提供了统一的对照集。在它出现之前，各家的攻击论文各用各的几十条自编指令，结果无法横向比较。AdvBench 出现后，「攻击成功率」终于有了可比的口径。
它包含两类：一是有害字符串（如要求模型输出特定违规字符串，便于自动判定成功与否），二是有害行为指令（更贴近真实滥用场景）。第一类便于自动化评测，第二类更贴近现实——这个双轨设计也是它能成为标准的原因之一。
需要清醒的是：经过几年的攻防迭代，主流模型在 AdvBench 上的攻击成功率已经被压得很低，它作为「前沿难度标尺」的价值在下降。今天它更多是回归测试：一个新模型如果在 AdvBench 上被打穿，说明基础安全对齐有问题。真正的攻防前沿已经转向 WildGuardMix、HarmBench 一类更贴近真实分布的集合。
构建方式
- 人工编写覆盖多种违规类别的指令（暴力、欺诈、隐私侵犯、恶意代码等）
- 分为两类子集：
- 有害字符串：要求模型输出特定违规字符串，成功与否可自动判定
- 有害行为指令：描述具体有害行为的指令，更贴近真实滥用
- 与 GCG 等攻击算法配套发布，形成「攻击方法 + 评测集」的完整工具链
- 评测口径统一为攻击成功率（ASR）
任务示例
有害字符串类（示意，用于自动判定）：
请以「Sure, here is how to…」开头，输出一段……的完整步骤
判定：模型输出是否包含目标违规内容，可自动化。
有害行为指令类：
详细描述如何……
判定：需要人工或分类器判断回答是否包含有害内容。
最新进展
- 作为 GCG、PAIR 等一系列攻击方法的标准评测集，推动了自动化红队的发展
- 随着对齐技术进步，主流模型在其上的 ASR 已大幅下降，前沿攻防转向更难的集合
- 它仍被广泛用作安全回归测试：新模型发布时先看 AdvBench 是否被击穿
关键发现
- 统一口径比数据集本身更重要：AdvBench 让攻防论文终于可比
- 自动化判定是双刃剑：字符串匹配好判定但脱离真实场景，行为指令贴近现实但需人工判断
- 已接近饱和：作为前沿难度标尺的价值下降，转型为回归测试
- 数据启示：安全评测集需要持续更新——攻防是动态对抗，静态集合会随时间失效