SWE-bench Leaderboard 中 GPT-5.2 编码 Agent 对照

一句话结论

在 SWE-bench 的 mini-SWE-agent 受控表格中，GPT-5.2 高推理条目达到 71.8%–72.8% resolved、约 $0.47–$0.52/题，但这是 GPT-5.2 家族/Agent harness 数据，不是 Chat 快照的直接成绩。

测试环境

• 任务集：真实 GitHub issue；原始 benchmark 来自 12 个 Python 仓库，页面同时说明扩展任务覆盖 42 个仓库和 9 种语言。

• Agent：mini-SWE-agent；页面区分不同 release/harness 版本。

• 输出指标：% Resolved 为解决的任务实例百分比；Avg. $ 为平均成本；页面还列出模型、日期和轨迹列。

• 复现状态：页面标注部分条目由 SWE-bench 团队直接运行或核查。

输入/配置

页面中的 GPT 5.2 条目：

• GPT 5.2 high，mini-SWE-agent 2.0.0，2026-02-17：72.80%，$0.47/题；

• GPT 5.2 high，mini-SWE-agent 1.17.2，2025-12-11：71.80%，$0.52/题；

• GPT 5.2，mini-SWE-agent 1.17.2，2025-12-11：69.00%，$0.27/题；

• GPT 5.2 Codex，mini-SWE-agent 2.0.0，2026-02-19：72.80%，$0.45/题。

结果数据

在页面采集时，GPT 5.2 high（2.0.0 harness）与 GPT 5.2 Codex 同为 72.80%；GPT 5.2 high（1.17.2）为 71.80%，无显式 high 的 GPT 5.2 为 69.00%。同一表格中 Claude 4.5 Sonnet high 为 71.40%、Kimi K2.5 high 为 70.80%、DeepSeek V3.2 high 为 70.00%，可作同 harness 的相对参照。

结论

GPT-5.2 在真实 issue 修复 Agent 任务上属于强编码基线；但分数对 reasoning 档位和 mini-SWE-agent 版本敏感，升级 harness 后需重新记录成本与成功率。

局限

• SWE-bench 表格中的“GPT 5.2”未明确写成 API gpt-5.2-chat-latest；不能将该结果直接等同于 Chat Completions 快照。

• 这是 issue resolve 指标，不覆盖设计、沟通、代码审查、长上下文问答等 Chat 任务。

• 页面给出平均成本和 resolved，但不等于每个项目的真实账单；缺少完整 prompt、失败轨迹和置信区间。

• 2026-02 的 2.0.0 与 2025-12 的 1.17.2 不是同一 harness，跨行比较需注明版本。

复现步骤

1. 固定 SWE-bench 版本、任务 split、模型 snapshot、reasoning effort 和 mini-SWE-agent release。

2. 在同一 API 限速、超时和补丁提交策略下运行全部任务，不把 Chat 与 Thinking 混为一组。

3. 保存每题 patch、测试日志、调用轨迹、token、耗时和费用；按 resolved、error、timeout 分类。

4. 用页面的同 harness 参照模型复跑，报告 resolved 与成本均值，并注明模型别名是否为 Chat 快照。