为什么重要
随着越来越多的基准使用 LLM-as-Judge 替代人工评审，评测”评审员”本身的质量变得至关重要。Auto-J 系统评估 LLM 作为评审员时的准确性、一致性和偏见。
构建方式
- 收集 58 类评测场景
- 获取人类评审员的判断作为 ground truth
- 对比 LLM 评审结果与人类判断的一致性
任务示例
给定两个模型对同一 prompt 的回答，LLM 需要判断哪个更好并给出理由。
关键发现
- LLM 评审有系统性偏见（偏好长回答、偏好自己风格）
- 位置偏差：第一个出现的回答有优势
- 使用结构化评分标准可减少偏见
关联基准
- RewardBench：奖励模型评测
- MT-Bench：GPT-4 评审
- AlpacaEval 2.0：自动偏好评测
不足与展望
- 评审标准本身不统一
- 跨文化评审差异未充分考虑
- 但 LLM-as-Judge 的可靠性研究至关重要