在 Cognition 的 FrontierCode 2.0 榜单中,GPT-6.2 Sol 使用 Codex 和 Max 档得到 43.8%,距离同配置的 GPT-6.2 Astra 0.4 个百分点,平均每次运行花费 $1.29,约为 Astra 的 22%。
适合判断的任务:开源代码库中需要维护者接受的改动,包括正确性、测试质量、范围控制和代码风格。
不适合外推的任务:其他工具环境、仓库和档位下的代码质量或成本。
适用的模型版本:榜单标注的 GPT-6.2 Sol。模型快照 ID 未公开。
测试环境或客户端:FrontierCode 2.0,Codex。
推理档位和参数:下表的三组运行均为 Max。其他推理参数未公开。
FrontierCode 2.0 包含 132 个任务。开源仓库维护者负责拟定任务和可合并标准。Cognition 结合单元测试、评分规则和验证器评分。榜单总分是评分项的加权汇总。方案未通过任一阻断项时,整次运行得 0 分。每次运行成本按公开 API 价格计算,包含公开折扣。
在采集日期的榜单中,Sol Max 排第 6。Sol 和 Astra 在 Codex Max 下的通过率均为 48.2%。Sol 6.2 的总分比 Sol 6.1 高 4.2 个百分点,每次运行成本多 $0.26。
| 排名 | 模型(Max) | 运行器 | 总分 | 通过率 | 标记率 | 每次运行成本 | 输出 token |
|---|---|---|---|---|---|---|---|
| 4 | GPT-6.2 Astra | Codex | 44.2% | 48.2% | 0.0% | $5.97 | 46.0k |
| 6 | GPT-6.2 Sol | Codex | 43.8% | 48.2% | 0.0% | $1.29 | 38.1k |
| 9 | GPT-6.1 Sol | Codex | 39.6% | 43.0% | 0.0% | $1.03 | 41.5k |
总分和通过率是榜单分别报告的两个指标。这里的 $1.29 是该任务集的平均运行成本。榜单会随测试方法和参评模型更新,表中排名以采集日期为准。
打开 FrontierCode 2.0 榜单,等待表格加载后核对 Codex、Max 及对应模型行。若要独立复跑,需取得相同任务、评分规则和运行配置。榜单未披露这三组运行的完整逐题记录。
GPT-6.2 Sol