为什么重要
法律是”部分正确即不可用”的典型领域。一份尽调报告找出了十个实质风险里的九个，它不是 90% 有用——漏掉的那一个可能改变交易对价、要求在交割前重做分析，或者在交割后才炸出来。一份研究备忘录引对了四个判例、第五个判例却不支持它被引用来证明的那个命题，客户不能”安全地用其中 80%”。
LAB 就是把这条行业常识翻译成了评分规则：一道任务只有当 rubric 里每一条标准都通过时才算完成（Harvey 称之为 all-pass grading）。它公开反对给法律工作打部分分：
All-pass grading reflects how high-stakes legal work is reviewed in practice — there is no partial credit for catching most of the issues.
这条设计让 LAB 的绝对分数低得刺眼，也让它在 2026 年的一众 Agent 基准里显得格格不入：同期 Terminal-Bench 4.0 榜首已过 70%，SWE-bench Verified 已经饱和到被 Vals AI 归档，而 LAB 上最强模型只有 19.6%。这不是 LAB 更严那么简单——它测的是另一件事：不是”能不能解出答案”，而是”能不能交出一份合伙人可以直接看的工作成果”。
第二个值得记的点是它的任务形态。现有法律基准（包括 Harvey 自己的 BigLaw Bench）大多问”这个法律问题怎么答”；LAB 给的是一句合伙人口吻的委派——平均只有约 50 个词，不解释期望输出，也不规定格式——外加一整个客户事项的文件系统，要求 Agent 自己判断哪些文件相关、怎么组织上下文，最后产出可交付的工作成果。
构建方式
任务 = 客户事项
每个任务由四段映射组成，Harvey 明确把它对齐到律所的真实流程：
| 环节 | 律所对应物 | LAB 的实现 |
|---|---|---|
| 指令 | 合伙人向律师派活 | 肯定式陈述”要做什么”，不解释输出形态与风格 |
| 环境 | 客户事项（client matter） | 封闭语料集：事卷文件、律所模板、邮件往来、虚拟数据室 |
| 输出 | 可交付工作成果 | 审阅就绪的备忘录 / 报告 / 分析，而非一个答案 |
| 验证 | 合伙人或客户的复核 | 专家 rubric，逐条原子化二值判定 |
一道样例任务（并购）
输入是一个文件系统：交易背景、一个虚拟数据室，以及合伙人一句短指令——审阅数据室、识别控制权变更条款、评估对交易的风险、建议下一步，并为交易团队和董事会准备一份”可审阅”的备忘录草稿。
数据室里混着八份实质合同，以及 10-K、递延薪酬计划等可能相关也可能不相关的周边材料。产出必须包含：带风险映射的执行摘要、逐合同的条款分析、严重度评级，以及针对每项已识别风险的缓释建议。
这道任务的 rubric 有 57 条标准，覆盖埋在材料里的九个法律问题——每个问题拆成 4 到 9 条，分别覆盖事实、严重度评级、财务敞口和建议行动。标准的复杂度跨度很大：
- 简单的一端：报告有没有指出 Pinnacle 许可在控制权变更后由独家转为非独家
- 复杂的一端：报告有没有算出合计财务敞口、构建合并的同意与弃权时间表，并调和各协议之间互相矛盾的控制权变更定义
最后一条是关键。它测的不是”找到某个事实”，而是”发现多个来源互相打架，并且主动处理这个矛盾”——这恰恰是目前 Agent 最容易静默跳过的一类失败。
规模与覆盖
1,250 个任务、24 个执业领域、75,000+ 条专家撰写标准。Harvey 说大型律所有数百个细分执业方向，首版只覆盖交易、咨询、监管与诉讼中律师日常会遇到的代表性集合。
关键发现
全通过率与单条通过率的落差，才是核心结论
Harvey 在 2026 年 5 月的首批基线里给出的最重要观察，不是”低于 10%“，而是：把 rubric 标准拆开单独看时，模型的表现明显好得多。也就是说，系统能把一份作业的很大一部分做对，却仍然交不出一份完整可接受的成品。
这个落差对法律从业者的意义比任何总分都大。它把”AI 能不能做法律工作”这个过粗的问题，替换成了一个可操作的问题：在这份作业里，有多少可以安全地委派给 Agent，之后必须引入职业复核？
分数在涨，但量级没变
从 2026 年 5 月的”聚合不足 10%“，到 2026 年 9 月 Gemini 4 Argon 的 19.6%，四个月翻了一倍多。但 19.6% 仍然是”五份作业里交不出四份”的水平。进步速度与绝对水平必须分开读：前者说明端到端可靠性在改善，后者说明它还远没到可以独立运转的程度。
前沿模型的排序在 LAB 上被重排
2026-09-30 的官方对照表里，四个模型的顺序是 Argon 19.6% > Fable 5.1 6.7% > Astra 5.4% > Opus 5.5 3.8%。把它和同批的其他基准放在一起看会很有信息量：
- Argon 的 19.6% 是次优模型的约 3 倍，是它在整张 19 项对照表里相对优势最大的一项（Harvey 法律之外，它领先幅度最大的通常是几个百分点）
- Claude Opus 5.5 在这里垫底（3.8%），而它在 Terminal-Bench 4.0、HLE、OSWorld 2.0 上都是头名或接近头名。同一代模型在这个基准上的名次与主流 Agent 榜几乎不相关——再一次说明长程专业工作流能力与终端/编码 Agent 能力是两条独立曲线
- Fable 5.1（6.7%）高于 Opus 5.5（3.8%），与两者在多数基准上的相对位置相反
为什么 LAB 特别难
法律工作对错误累积异常不友好。一次普通的并购尽调可能要求同时满足：合同条款逐一核对、跨协议的矛盾定义被调和、财务敞口按条款逐项计算、严重度评级与缓释建议一一对应、引用到具体条款编号、格式符合律所模板，以及——一份报告里少任何一个环节，整份就不可用。这是一条合取式的成功标准，而不是加和式的。
最新进展
- ⭐ 2026-10-12 更新：本榜第一次出现独立评测方（Vals AI）的成绩，且它给出了一个此前从未出现过的量级——Mistral Large 4 15.83%±2.96（2026-10-06，Vals 独立跑，high reasoning，全场第 6/75）。 这条数字不进 topResults，理由必须写全：① lane 未获交叉验证——本卡现有四条全部出自 Google 2026-09-30 的单一厂商对照表（Argon 19.6 / Fable 5.1 6.7 / Astra 5.4 / Opus 5.5 3.8），而 15.83% 出自 Vals AI 的独立 harness；两个 lane 之间没有任何一条模型被双方同时测过，无法用”至少三条逐字吻合”的判据验证同 lane。② 量级跳跃需要解释而不是接受——若同 lane，15.83% 会直接排到第二，把 Fable 5.1 的 6.7% 甩开 2.4 倍；在”全部通过才算完成”的 all-pass 口径下，一个模型突然比同批前沿模型高一个数量级，更可能的解释是评测配置差异（工具权限、时间预算、rubric 判定严格度）而非能力跃迁。③ 两个转述源（Vals AI 页面与某模型目录站）给出的 15.8% 实为同一来源，不构成独立 corroboration。 但这条数字的信号价值仍然很高，值得记录在正文：它是本榜迄今第一个来自非厂商侧的三位数样本量评测（Vals 该榜已跑 75 个系统），意味着 LAB 正在从”只有 Harvey 和厂商自己在跑”转向第三方可复现评测——这与正文里”Harvey 已宣布与 Artificial Analysis 合作”那条是同一趋势。此外 Vals 侧同一模型在相邻基准上的形状也不寻常：Mistral Large 4 在 Legal Research Bench 只有 31.73%（38/74），而在 Tax Agent Bench 有 63.29%（25/66）——同属”法律/财税 Agent”类，差 31.6pp，说明这类基准测的是高度具体的执业流程而非通用法律能力。
- 2026-09-30：Gemini 4 Argon 报 19.6%，成为首个在 LAB 上突破 15% 的模型，领先次优模型近 3 倍。这也是 Argon 在其官方对照表中最亮眼的一项——同期它在 Terminal-Bench 4.0（57.4%）与 Terminal-Bench Science 0.1（57.6%）上均落后于 Astra 与 Opus 5.5，“企业级长文档工作流强、终端与科研工作流弱”的形状在这里再次得到印证
- 2026-09：四个模型的成绩首次同时出现在同一张厂商对照表上，此前公开可查的只有 Harvey 自己 2026-05 的聚合基线（<10%）。这是本卡 topResults 的来源
- Harvey 已宣布与 Artificial Analysis 合作，把 LAB 的评测规模化，并以定期更新的排行榜形式发布。这意味着短期内分数的可比性与刷新频率都会改善，也意味着本卡 2026-09 这一批数值很可能很快被官方榜取代
- ⚠️ 口径注记：本卡四条 2026-09 数值全部来自 Google 2026-09-30 发布的单一对照表，未标注推理档位、harness 与是否使用工具，目前为单一转述来源，无官方榜可交叉验证。2026-05 的 “<10%” 是 Harvey 公布的聚合基线，与后四条不是同一口径，不作为可比对条目
关联基准
BigLaw Bench（Harvey 自家的上一代法律基准，以”问答 + 检索”为主，非 Agent 长程）、Vals Index 与 Vals Finance Agent v2（同样按行业经济权重聚合专业工作准确率）、HAQQ Legal Agent Study（1,300+ 长程法律任务、24 个执业领域、同样采用 all-pass，但由竞品厂商自行评测自家系统，两者分数不可直接比较）、GDP.pdf（同为”从业者出题 + rubric 全通过”的极端严格设计）。
不足与展望
- 分数没有官方榜可查。Harvey 只发布了博客与首版基线，2026-09 的四个数字靠厂商对照表转述，档位与 harness 均未知。Artificial Analysis 的定期榜上线后需要回填核对
- rubric 由 Harvey 一家撰写。75,000+ 条标准的规模是优势，但”什么叫一份可交付的备忘录”存在律所间与法域间的差异，单一来源的 rubric 会把某种风格固化为标准答案
- 24 个执业领域相对大型律所的数百个细分方向仍很窄，且以美国法为主，跨法域能力（尤其是非英美法系）完全未被覆盖
- all-pass 的代价是方差。一道 57 条标准的任务，任何一条波动都会翻转整题结果，小样本下分数不稳定；Harvey 未公布每题重复运行数或置信区间