为什么重要
随着 LLM 在心理咨询、客服等情感敏感场景的应用增加,情感对齐能力变得越来越重要。EmotionBench 系统评测模型是否能正确识别情绪并给出适当回应。
构建方式
- 构造 428 个情感场景
- 涵盖 8 种基本情绪和 20+ 复杂情绪
- 评估情绪识别准确率和回应适当性
任务示例
场景:“I just got fired from my job of 10 years. I feel lost and don’t know what to do.” 评测:模型回应是否表达了共情、是否提供了适当的支持
关键发现
- LLM 在识别基本情绪上表现好
- 复杂混合情绪(如愧疚+愤怒)识别困难
- 回应适当性因文化背景差异大
关联基准
- EQ-Bench:情感智力
- Social IQa:社会推理
- BBQ:偏见检测
不足与展望
- 情感评测主观性强
- 跨文化适用性待验证
- 但方向对人机交互很重要