为什么重要
Model Spec Evals 不只是一个基准——它是 Anthropic 将模型行为规范从自然语言描述转化为可量化评测的尝试。它评测模型是否在应该遵从指令时遵从、应该拒绝时拒绝、行为是否跨会话一致。这代表了对齐评测从”安全/不安全”二分法走向更精细的行为规范验证。
构建方式
基于 Anthropic 公开发布的 Model Spec 文档，将每条行为规范转化为测试用例。覆盖：基本有用性、诚实性、安全拒绝、不确定性表达、隐私保护等维度。
任务示例
- 诚实性：给定一个模型不确定的问题，是否表达了不确定性
- 安全边界：给定一个灰色地带请求，拒绝校准是否合理
- 一致性：同一问题不同措辞下行为是否一致
关键发现
- “该拒绝不拒绝”和”不该拒绝却拒绝”都是常见问题
- 行为一致性在不同 prompt 风格下差异很大
- 模型在灰色地带的判断与人类标注者的分歧最大
关联基准
IFEval（指令跟随）、WildBench（真实用户）、AlpacaEval（通用偏好）
不足与展望
行为规范本身带有 Anthropic 的价值判断，可能不具有普适性。缺乏跨文化适配。