Cognition 在 Devin 环境报告 Argon 的 FrontierCode 1.1 成绩为 60.5%;图表版本标注有差异,推理档位与完整 harness 未公开,属于平台自报结果。
适合判断的任务:Cognition 自定义 FrontierCode 测试中,模型对真实软件工程任务、代码质量和可合并性的表现;Devin Desktop 与 Devin CLI 中的可用性和当时的促销条件。
不适合外推的任务:所有代码仓库的通用成功率、其他 Agent 客户端的成绩、生产成本、长期稳定性,或未公开条件下的跨模型排名。
适用的模型版本:页面只写 Gemini 4 Argon,未提供 API model ID、快照名或构建版本。
测试环境或客户端:Devin Desktop、Devin CLI;评测为 Cognition 的 FrontierCode 1.1(图表标题为 FrontierCode 1.1 Extended)。
推理档位和参数:未注明。成本图例说明每个点对应一个 reasoning effort,但页面没有指出 60.5% 对应的具体档位,也没有公开 temperature、token 上限、工具配置或重复运行设置。
页面将 FrontierCode 描述为 Cognition 的 proprietary benchmark,用真实软件工程任务评估代码质量与可合并性。页面图表说明:
分数是 rubric 项目的加权聚合值。
未通过 blocking criteria 的解决方案得分为 0。
成本图的 Cost ($) 是每次 rollout 的平均美元支出。
成本图中的每个点代表一个 reasoning effort。
正文写作 FrontierCode 1.1,图表标题写作 FrontierCode 1.1 Extended。原文没有解释两种命名是否代表同一任务集或不同版本,本文不自行合并或推断。
文章标题和正文说明 Gemini 4 Argon 已在 Devin Desktop 与 Devin CLI 中上线。页面没有给出客户端版本、底层 API 请求、工具列表、沙箱配置、超时、并发、重试或人工介入规则,因此无法仅凭该文完整复现运行 harness。
Cognition 对评测中的行为观察是:Argon 写代码前会进行充分准备,包括广泛阅读、检查 git history 以了解仓库约定,并在结束前审查自己的 diff。页面称它在后端和系统代码的 bug fix 与 refactor 中最强,尤其涉及 Python、C/C++ 和 PHP;这属于页面的定性观察,不是单独的分项测量结果。
| 页面项目 | Gemini 4 Argon 结果 | 页面直接给出的对照或说明 |
|---|---|---|
| FrontierCode 1.1(正文口径) | 60.5% | Cognition 称其超过 GPT-6.1 Sol(60.4%),并称与 GPT-6 Sol(60.7%)匹配 |
| FrontierCode 1.1 Extended(图表口径) | 60.5% | 图表同样显示 Gemini 4 Argon 为 60.5%;其分数为 rubric 项目的加权聚合,未通过 blocking criteria 的解决方案为 0 分 |
页面还称这是排行榜中得分最高的 Gemini 模型,比 Gemini 3.7 Flash 高四个百分点。该句是 Cognition 的页面声明,不代表独立验证,也不能外推到未公开的任务或配置。
Gemini 4 Argon 在 Devin Desktop 和 Devin CLI 中上线;页面称截至 2026-10-27,按 list price 计算可享 75% off。
这项 75% 折扣由两部分组成:Google 的 50% introductory pricing 持续到 2026-12-01,以及 Devin 内额外的 50% discount 持续到 2026-10-27。
页面没有给出 Gemini 4 Argon 在每次 rollout 中的实际美元数值;成本图只说明平均每次 rollout 的美元支出和 reasoning effort 点位,并以虚线表示当前价格。
页面正文直接写出:在 FrontierCode 1.1 上,Gemini 4 Argon 得分 60.5%;对照值为 GPT-6.1 Sol 60.4%、GPT-6 Sol 60.7%。
FrontierCode 图表中可见的相邻分数包括:GPT-6.1 Sol 60.4%、Gemini 4 Argon 60.5%、GPT-5.6 Sol 60.6%、GPT-6 Sol 60.7%。这些是页面图表读数,不能脱离其 benchmark 版本、任务集和 harness 比较。
页面将分数定义为 rubric 项目的 weighted aggregate,并说明不通过 blocking criteria 的方案得 0 分。
页面将成本定义为每次 rollout 的 mean USD spend,并说明每个点代表一个 reasoning effort;Gemini 4 Argon 的促销点反映 Devin 截至 2026-10-27 的额外 50% 折扣。
页面列出的模型行为观察是:先广泛阅读、检查 git history 中的仓库约定、结束前审查 diff;页面称其在后端和系统代码的 bug fix 与 refactor 中最强,特别是 Python、C/C++ 和 PHP。
可确认的结果:Devin 页面直接展示了 60.5% 的 Gemini 4 Argon 分数,并说明评分采用 rubric 加权聚合、阻断条件失败得 0 分。
环境边界明确:结果来自 Devin Desktop 和 Devin CLI 的产品环境;不能把它当作 Gemini API、Google AI Studio 或其他 Agent harness 的成绩。
模型配置不完整:页面没有提供 API model ID、快照、reasoning effort、采样参数、工具配置、任务数量、运行次数、评分器实现或失败重试规则。
命名存在原文边界:正文写 FrontierCode 1.1,图表写 FrontierCode 1.1 Extended;在没有更多方法说明前,不把它们解释为相同或不同版本。
促销不是模型能力:75% off、Google 50% introductory pricing 和 Devin 额外 50% discount 是截至指定日期的价格说明,不应与 60.5% 的能力分数混为一谈。
厂商自报:页面由 Cognition/Devin 发布,未提供足以独立复现的完整测试材料;“最高的 Gemini 模型”“领先四个百分点”等表述应保留为页面声明。
若要复现或做可比测试,至少需要固定:
Devin Desktop 或 Devin CLI 的确切版本,以及实际使用的 Gemini 4 Argon 模型构建。
FrontierCode 1.1 与 FrontierCode 1.1 Extended 的任务集、版本、输入仓库和验收标准,先解决正文与图表命名差异。
rubric 项目、blocking criteria、加权方式、通过/失败处理、超时、重试和人工介入规则。
reasoning effort、采样参数、工具与沙箱权限,以及每个任务的 rollout 数量。
每次 rollout 的输入输出 token、耗时、平均美元成本和促销是否适用。
该页面未公开上述全部信息,因此只能复现其公开的页面读数和方法描述,不能声称复现 60.5% 的完整测试条件。
Cognition / Devin:https://devin.ai/blog/gemini-4-argon
Gemini 4 Argon