为什么重要
RLHF 的核心组件是奖励模型（RM），但长期以来缺乏标准化评测。RewardBench 填补了这一空白，成为评估 RM 质量的行业标准。随着 RLHF/DPO 成为标配流程，RM 评测的重要性持续上升。
构建方式
- 四大子集：Chat（通用对话）、Chat-Hard（高难度对话）、Safety（安全）、Reasoning（推理/代码）
- 每组数据为 (prompt, chosen, rejected) 三元组
- RM 需要正确判断 chosen > rejected
任务示例
Prompt：“Explain quantum computing to a 5-year-old” Chosen：清晰简洁的类比解释 Rejected：充满术语的专业解释
关键发现
- 通用 LLM-as-judge（如 GPT-4）不如专门训练的 RM
- Safety 子集区分度最高
- 小模型 RM 在特定领域可能超过大模型
关联基准
- Chatbot Arena：人类偏好
- Arena-Hard：自动化偏好
- Plan-RewardBench：Agent 轨迹级 RM
不足与展望
- 二选一格式不反映真实的排序需求
- 缺乏多模态 RM 评测
- 需要动态更新避免过拟合