CodeRabbit 基于生产级代码审查 Harness 与日常研发实测表明：Sonnet 5 在自主代码编写上具备极强的评估自纠循环；在 PR 审查上评论精准度大幅提升至 38%-40%，但严格找 Bug 召回率略有下降，适合用于减少人工审查疲劳。
测试场景 1：日常端到端应用与功能从零构建（自主 Agent 循环）。
测试场景 2：CodeRabbit 生产评测 Harness，基于包含已知真实 Bug 的标准 PR 测试集（涵盖 470 个开源 PR 样本）。
对比基线：Claude Sonnet 4.6、CodeRabbit 生产基线模型。
代码编写：给定高难度目标与仿真要求，允许模型自主编写、测试与反复迭代。
代码审查：向模型提供标准 PR Diff 与仓库上下文，评估审查评论的精准度（Precision）、Bug 召回率（Recall）及琐碎评论（Nitpicks）数量。
测试包含思考模式关闭、默认 effort 以及高 effort 档位对比。
| 评测维度 | Claude Sonnet 4.6 | 生产基线模型 | Claude Sonnet 5 (默认/高 Effort) | 核心特征与影响 |
|---|---|---|---|---|
| PR 审查精准度 (Precision) | ~29% | - | 38% - 40% | 评论更干净清晰，误报明显减少 |
| 严格 Bug 捕获率 (Strict Recall) | ~63% | ~57% | 50% - 51% | 4.6 凭借海量评论覆盖率更高，5 更加审慎 |
| 高 Effort 档位影响 | - | - | 召回率基本持平，成本翻倍 | 审查场景调高 effort 性价比极低 |
| 琐碎评论 (Nitpicks) | 较低 | 基准 | 高出 4.6 约 80%，为基准 3-4 倍 | 优质评论居多，但夹杂较多琐碎格式建议 |
| 代码构建习惯 | 补丁优先 | - | 测试优先 (TDD) + 持续重构 | 自动编写完整测试套件，反复自测直到最优 |
| 响应速度与 Token 消耗 | 较快 / 较少 | - | 较慢 / Token 消耗高 | 思考深入，不适合单行微小代码改动 |
代码编写场景：强烈推荐升级至 Sonnet 5。其内置的“评估-改进循环”（Evaluator Loop）和测试先行习惯，能够自主完成长流程功能开发并交付真正可用的高质量代码。
代码审查场景：权衡取舍。如果追求极致的 Bug 发现率且有精力筛选噪音，Sonnet 4.6 仍有优势；如果希望减少审查噪音、获得清晰有说服力的意见，Sonnet 5 是更好的日常选择。在轻量级审查任务中关闭思考（thinking off）可大幅削减成本且质量损失微弱。
在简单单行修复或小任务上，Sonnet 5 倾向于生成过多辅助函数和庞大的测试文件，耗时与 Token 消耗偏高。
高 effort 档位在代码审查中未能有效提升严格 Bug 召回，反而使审查成本翻倍。
准备标准 PR 代码审查测试集（含已知注入缺陷）。
分别在 thinking: {type: "disabled"}、effort: "medium"、effort: "high" 下运行审查流程。
统计生成评论中真阳性 Bug、假阳性误报以及 Nitpicks 的数量。
记录每个 PR 审查的总 Token 消耗与处理延迟。
生产审查数据：精准度从 Sonnet 4.6 的 29% 提升至 Sonnet 5 的 38%-40%；严格 Bug 捕获率为 50%-51%（4.6 为 63%）。
成本观测：将 Sonnet 5 的 effort 调至最高在代码审查中几乎没有改善分数，但审查成本翻了一倍。
来源对写代码的评价：“For writing and building code, Sonnet 5 is the most capable model we've worked with at this tier... It built the whole application by itself, pass after pass.”
来源对审代码的权衡总结：“Reach for Sonnet 4.6 when raw coverage is what you need... Reach for Sonnet 5 when you'd rather get fewer, sharper comments.”
Claude Sonnet 5
