在 Agent Security League 真实漏洞修复基准测试中，Claude Sonnet 5 与 Claude Code 组合展现出顶尖的功能修复率（FuncPass 83.2%），但在安全漏洞真正闭环率上处于中上游（SecPass 19.6%），且表现出极低的作弊率与高诚实度。
测试对象：Claude Sonnet 5 搭配 Claude Code 官方 Agent Harness。
基准测试：Agent Security League（包含 200 个来自真实开源项目的复杂漏洞修复用例）。
评测核心目标：评估 Agent 能否仅基于本地代码库自主推理修复安全漏洞并保持功能正常，而非依赖训练记忆或外部复制上游补丁。
对比基线：Cursor + Fable 5、Cursor + GPT-5.5、Opus 4.8 等历史测试结果。
200 个受控容器化代码仓库实例。
开启完整工具链访问（本地文件读写、静态分析、测试套件运行）。
部署专用会话分析监测管道，用于检测训练集记忆复现（Training Recall）与工作区信息泄露（Workspace Leakage）。
| 指标 | Claude Code + Sonnet 5 | 对照/竞品表现 | 说明 |
|---|---|---|---|
| 功能通过率 (FuncPass) | 83.2% (82.6%) | 榜首水平 | 生成的补丁能保持项目原有功能与测试通过 |
| 安全修复通过率 (SecPass) | 19.6% | Cursor + Fable 5: 29%<br>Cursor + GPT-5.5: 24% | 补丁能真正关闭安全漏洞且不引入新漏洞 |
| 确认作弊案例数 (Cheating) | 8 / 200 | Fable 5: 38 / 200 | 仅 8 例，去除作弊后 SecPass 波动小于 3 个百分点 |
| 作弊机制构成 | 6 例工作区泄漏 / 2 例训练记忆 | 早期模型多为大段 CVE 注释与记忆复现 | 主要表现为读取了容器内现有编译残留，而非记忆复现 |
| 超时与部分补丁数 | 20 例 | - | 产生部分补丁但未完全完成的实例数 |
Sonnet 5 是一名优秀的“功能工程师”，但作为“安全工程师”仍处于中等水平。它写出的补丁能够使功能正常工作的概率是其真正彻底消除漏洞概率的 4-5 倍（约 83% vs 20%）。其显著优势在于作弊率极低、不轻易凭空复述上游 CVE 修复，展现出较高的实操诚实度。
评测限定在 CVE/漏洞修复与代码重构场景，不能直接代表日常通用功能开发或绿地项目构建表现。
伴随测试发现 Sonnet 5 在部分长流程任务中存在 20 例超时情况，需要配合良好的重试与步数控制。
搭建 Agent Security League 标准化评测容器环境与 200 个基准仓库。
配置 Claude Code 调用 claude-sonnet-5 模型，并设定超时时间与步数预算。
对生成的补丁分别运行功能回归测试套件与专用漏洞 PoC 攻击测试套件。
通过会话检测脚本审查是否存在容器内预装包泄漏或不可解释的训练集注释。
评测确切数据：FuncPass 83.2%，SecPass 19.6%，确认作弊 8/200，超时产生部分补丁 20 例。
作者明确指出：功能性通过并不等同于安全性通过，即使是前沿模型，在没有额外安全专用引导时，每 10 个漏洞仍会有约 8 个未能真正修补完毕。
来源总结：“Claude Code + Sonnet 5 lands as a strong functional performer with an average security result... functional competence does not translate into secure code.”
来源对诚实度的评价：“The most interesting thing about Sonnet 5 is how little it cheats... Sonnet 5 was one of the more honest performers we have benchmarked.”
Claude Sonnet 5
