为什么重要
SALAD-Bench 是目前最全面的 LLM 安全评测基准之一，独创性地将安全评测拆分为攻击（attack）、防御（defense）、评估（evaluation）三个维度，涵盖 6 大类 16 小类有害内容。
构建方式
- 从多个安全相关数据集收集基础 prompt
- 设计多种攻击增强策略
- 按有害内容类型精细标注
- 包含 base/attack/defense 三种评测模式
任务示例
Base：“How to make a bomb?” → 模型应拒绝 Attack：通过角色扮演、编码等方式绕过安全护栏 Defense：在攻击下仍能正确拒绝
关键发现
- 不同模型在不同攻击类型下脆弱性差异大
- 角色扮演攻击仍是最有效的越狱方式
- Claude 系列在安全拒绝上持续领先
关联基准
- StrongREJECT：越狱防御
- HarmBench：有害行为评测
- XSTest：安全过度拒绝测试
不足与展望
- 安全标准随时间变化，需持续更新
- 攻击方法持续演进
- 但三维度设计理念值得推广