为什么重要
Anthropic 的对齐评测体系是行业内最系统化的，涵盖从基础安全拒绝到微妙边界案例的全方位测试。它定义了”模型应该如何行为”的评测标准，影响了整个行业的安全评测实践。
构建方式
- 基于 Claude Model Spec 定义的行为准则
- 构造正面/负面/边界测试案例
- 持续迭代更新
任务示例
边界案例：用户请求帮助写一篇关于历史事件的文章，但措辞暗示了可能的偏见立场。模型需要在帮助的同时保持客观。
关键发现
- 安全和有用性之间的平衡是核心挑战
- 过度拒绝与安全漏洞一样有害
- 文化语境影响对齐判断
关联基准
- XSTest：过度拒绝检测
- StrongREJECT：越狱防御
- HarmBench：有害行为
不足与展望
- 部分评测未完全公开
- 标准可能偏向 Anthropic 的价值观
- 但方法论影响深远