Harvey 在法律代理基准 LAB 上给 Claude Sonnet 4.6 记全通过率 4.2%，低于 Opus 4.6 的 6.6%；同一榜上，后训练后的 NVIDIA Nemotron 3 Ultra 达到 5.8%，并声称运行成本是 Sonnet/Opus 的 1/8 到 1/50。
基准：Harvey Legal Agent Bench（LAB）。
指标：full-pass / 全通过率。
对照：Nemotron 3 Ultra 基线 0% → 后训练 5.8%；Sonnet 4.6 4.2%；Opus 4.6 6.6%。
附加观察：留出任务在训练前约 70% 通过（因遗漏足够评分维度），训练后约 95%。该 70%/95% 说的是 Nemotron 后训练前后，不是 Sonnet。
X 帖未公开 LAB 题目、评分维度、Sonnet 的 prompt、工具集、effort 或是否启用法律检索插件。Trajectory 帖称整个后训练在 Nemotron 3 Ultra 发布后不到 24 小时完成。
| 模型 | LAB 全通过率 |
|---|---|
| Nemotron 3 Ultra（未后训练） | 0% |
| Claude Sonnet 4.6 | 4.2% |
| Nemotron 3 Ultra（法律后训练） | 5.8% |
| Claude Opus 4.6 | 6.6% |
Harvey 还写：后训练后的开源权重模型达到与领先闭源模型相近的质量，运行成本为 Sonnet 4.6 与 Opus 4.6 每 token 价格的 1/8 到 1/50。
法律代理“全通过”非常苛刻：Sonnet 4.6 的 4.2% 不表示它不能做法律辅助，而表示在 Harvey 的全维度通过标准下，它明显弱于 Opus 4.6，也弱于专门后训练的 Nemotron。适合把 Sonnet 4.6 用于法律草稿/检索辅助，不适合当作 LAB 意义上的自动过关代理。高风险法律交付仍应走 Opus 或领域后训练模型，并保留律师复核。
全通过率不是部分正确率；4.2% 与日常“能写出可用备忘录”不是同一指标。
未公开逐题结果和 Sonnet 配置。
成本 1/8–1/50 是作者对 Nemotron vs Claude 单价的陈述，不是 LAB 分数。
不能把 LAB 与 IDP 文档抽取或 SWE 编码混为一谈。
若 Harvey/Trajectory 后续公开 LAB 子集，固定同一评分维度跑 claude-sonnet-4-6 与 claude-opus-4-6。
分别报告全通过、部分通过、引用错误和遗漏评分维度。
记录检索工具、jurisdictions 和是否允许联网。
法律结论必须由有资质的人复核，模型分数不能替代。
Claude Sonnet 4.6
