Cognition 在 2026-11-10 的 Devin 公告中报告 Gemini 4 Carbon 的 FrontierCode 2.0 得分为 40.0%,高于 Gemini 4 Argon 的 26.3% 和 GPT-6.1 Sol 的 39.0%;公告称 Carbon 低推理档已超过 Argon 的最佳结果,Carbon 最高分每个任务成本低于 Argon 的三分之二。方法文章另列 Carbon 42.6%,两处得分不一致,应按各自发布日期看作不同结果快照。
适合判断的任务:比较模型在 Cognition FrontierCode 2.0 工程任务及其代码合并质量评分上的表现。
不适合外推的任务:不能据此推断任意仓库、语言、Agent 或客户端中的实际成功率;不同版本或评测快照的分数不可直接混用。
适用的模型版本:公告中的 Gemini 4 Carbon;底层模型 ID 或修订号未注明。
测试环境或客户端:Cognition FrontierCode 2.0;公告称 Carbon 已在 Devin Desktop 和 Devin CLI 提供,但未说明该成绩具体使用的客户端版本和执行配置。
推理档位和参数:公告只称低推理档超过 Argon 最佳成绩,未给出 Carbon 各档成绩或参数;方法文章称其排行榜按各模型最佳推理档展示。
FrontierCode 2.0 评估模型处理真实工程任务的质量和可合并性。分数是评分项的加权汇总;未通过阻断性标准的解答记为 0。方法文章称任务由 20 多位开源开发者设计,每人每题投入超过 40 小时;相比 FrontierCode 1.1,任务覆盖的仓库增加 55%,阻断项增加 43%。参考解平均修改文件数增加 67%、代码行数增加 89%,所用代码库规模增加 25%。
成本定义为按公开 API 标价计算的每次 rollout 平均美元花费,并计入公开折扣。公告未给出 Carbon 或 Argon 的精确成本,只报告 Carbon 最高分的单任务成本不到 Argon 的三分之二。
| 来源快照 | 模型 | FrontierCode 2.0 得分 | 成本信息 |
|---|---|---|---|
| Devin 公告,2026-11-10 | Gemini 4 Carbon | 40.0% | 最高分每个任务成本低于 Argon 的三分之二;精确值未注明 |
| Devin 公告,2026-11-10 | Gemini 4 Argon | 26.3% | Carbon 最高分成本低于其三分之二;精确值未注明 |
| Devin 公告,2026-11-10 | GPT-6.1 Sol | 39.0% | 未注明 |
| FrontierCode 方法文章,2026-10-27 | Gemini 4 Carbon | 42.6% | 图表给出成本轴和模型点,未标明 Carbon 精确数值 |
Devin 公告还称 Carbon 的低推理档成绩已超过 Argon 的最佳成绩,但未公布该档具体分数。两篇文章对 Carbon 分数分别报告 40.0% 和 42.6%,没有说明差异原因,不能将它们合并成单一分数。
得分口径:加权汇总评分项;失败于阻断项的解答计 0 分。
成本单位与口径:美元/rollout;按公开 API 标价计算平均每次运行成本,包含公开折扣。Devin 公告将其表述为每个任务成本。
推理档位:方法文章的综合排行榜取各模型最佳推理档;Devin 公告只给出 Carbon 低档超过 Argon 最佳结果的定性比较,未披露各档数据。
样本规模与误差:任务数量、每模型运行次数、误差范围和逐题分数均未注明。
基准设计范围:方法文章说明 FrontierCode 2.0 增加仓库和任务类别,并加强正确性、设计、全面性等阻断标准。其成绩衡量该基准定义的工程任务,不等于生产环境中的普遍成功率。
Cognition 公告给出的 Carbon 40.0% 相较同一公告中的 Argon 26.3% 高 13.7 个百分点,并略高于 GPT-6.1 Sol 的 39.0%。官方还称 Carbon 最高分成本低于 Argon 的三分之二,但没有披露可复核的绝对成本。低档优于 Argon 最佳档是定性声明,不能据此推导档位间分差。
方法文章与公告的 Carbon 分数存在 2.6 个百分点差异,且无解释;报告结果时应保留发布日期和来源。样本量、重复次数和置信区间缺失,也限制了对小幅排名差异的判断。结论仅适用于 Cognition 公布的 FrontierCode 2.0 评测口径。
复查 Cognition 的 Devin 公告和 FrontierCode 2.0 方法文章,分别记录发布时间、得分、推理档说明和成本口径。公开页面未提供任务集、模型运行配置、重复次数或 Carbon 精确成本,无法独立复算分数和成本比。
Gemini 4 Carbon