为什么重要
HH-RLHF 是 Anthropic 发布的大规模人类偏好数据集，分为 helpful（有用性）和 harmless（无害性）两个子集。是训练和评测 RLHF 对齐效果的关键资源。
评测设计
每个样本包含人类选择的更好回复和较差回复。模型需学会生成人类偏好的回复。
返回评测
对齐与安全 对齐-偏好 接近饱和
模态 · 文本
任务 · 排序 / 偏好比较
HH-RLHF
Anthropic 发布的人类反馈对齐评测数据集
Anthropic ·
考察能力
有用性 无害性 对齐评测
构建信息
- 数据规模
- 170K 对话对
- 评测方式
- 偏好判断
- 核心指标
- Win Rate
资源链接
模型效果排行
🥇 GPT-4o
varies
🥈 Claude 3.5 Sonnet
varies
RLHF 偏好对齐 有用性 无害性