为什么重要
LawBench 是首个系统性覆盖中国法律体系的 LLM 评测基准。20 项任务按认知能力分为三层：法律知识记忆（法条问答、术语解释）、法律信息理解（要素提取、案例分类）、法律推理应用（量刑预测、裁判文书生成）。
构建方式
数据来源包括中国法律考试题库、裁判文书网、法律法规库。20 项任务覆盖知识记忆、理解应用和复杂推理三个层次。专家标注并审核。
任务示例
- 法律知识：根据刑法第 264 条，盗窃罪的量刑标准是什么
- 案例分析：给定案情描述，判断应适用的罪名和法条
- 裁判生成：基于事实和法条生成裁判要旨
关键发现
- 所有模型在法律推理任务上的表现都远弱于知识记忆
- 量刑预测是最难的任务——需要综合多种因素
- 通用模型 vs 法律领域模型的差距在复杂任务上更明显
关联基准
LegalBench（美国法律）、C-Eval（中文综合）、SuperCLUE（中文综合）
不足与展望
法律领域更新快，基准可能滞后于最新法律修订。缺少多轮法律对话评测。