Tabbit
活动资源博客模型
Tabbit LogoTabbit

Tabbit — 为你工作的 AI 浏览器

主题资源

  • AI Browser Resources
  • Agentic Browser Resources
  • Browser Downloads and Install Guides
  • Browser Comparisons
  • AI Browser Alternatives
  • Browser Productivity Resources

热门指南

  • AI Browser
  • Agentic Browser Download
  • Best AI Browser 2026: Top 9 Tested & Ranked
  • AI Browser Download
  • Free AI Browser
  • Best AI Browser 2026
  • AI Browser Comparison 2026
  • AI Browser for Windows
  • AI Browser for Mac
  • Chrome Alternative 2026

活动

  • 别装了,你在《牛来》里早有原型
  • Tabbit 妙招大赛
  • KPOP SBTI 饭圈人格测试
  • Tabbit 校园共创者计划
  • fifi 的论文文献妙招精选
  • 用户问卷

关于

  • Tabbit 博客
  • 媒体报道
简体中文
简体中文English
测评
媒体Gemini 4 Argon

Gemini 4 Argon:Cognition 的 FrontierCode 编程测试与 Devin 环境

原始来源

Devin Blog(Cognition)

作者未注明

原文日期2026-10-13

Tabbit 整理2026-10-13

查看原文

一句话结论

Cognition 在 Devin 环境报告 Argon 的 FrontierCode 1.1 成绩为 60.5%;图表版本标注有差异,推理档位与完整 harness 未公开,属于平台自报结果。

适用场景

  • 适合判断的任务:Cognition 自定义 FrontierCode 测试中,模型对真实软件工程任务、代码质量和可合并性的表现;Devin Desktop 与 Devin CLI 中的可用性和当时的促销条件。

  • 不适合外推的任务:所有代码仓库的通用成功率、其他 Agent 客户端的成绩、生产成本、长期稳定性,或未公开条件下的跨模型排名。

  • 适用的模型版本:页面只写 Gemini 4 Argon,未提供 API model ID、快照名或构建版本。

  • 测试环境或客户端:Devin Desktop、Devin CLI;评测为 Cognition 的 FrontierCode 1.1(图表标题为 FrontierCode 1.1 Extended)。

  • 推理档位和参数:未注明。成本图例说明每个点对应一个 reasoning effort,但页面没有指出 60.5% 对应的具体档位,也没有公开 temperature、token 上限、工具配置或重复运行设置。

测评方法

FrontierCode 的页面定义

页面将 FrontierCode 描述为 Cognition 的 proprietary benchmark,用真实软件工程任务评估代码质量与可合并性。页面图表说明:

  • 分数是 rubric 项目的加权聚合值。

  • 未通过 blocking criteria 的解决方案得分为 0。

  • 成本图的 Cost ($) 是每次 rollout 的平均美元支出。

  • 成本图中的每个点代表一个 reasoning effort。

正文写作 FrontierCode 1.1,图表标题写作 FrontierCode 1.1 Extended。原文没有解释两种命名是否代表同一任务集或不同版本,本文不自行合并或推断。

Devin 中的运行环境

文章标题和正文说明 Gemini 4 Argon 已在 Devin Desktop 与 Devin CLI 中上线。页面没有给出客户端版本、底层 API 请求、工具列表、沙箱配置、超时、并发、重试或人工介入规则,因此无法仅凭该文完整复现运行 harness。

页面描述的工作特征

Cognition 对评测中的行为观察是:Argon 写代码前会进行充分准备,包括广泛阅读、检查 git history 以了解仓库约定,并在结束前审查自己的 diff。页面称它在后端和系统代码的 bug fix 与 refactor 中最强,尤其涉及 Python、C/C++ 和 PHP;这属于页面的定性观察,不是单独的分项测量结果。

关键结果

FrontierCode 分数

页面项目Gemini 4 Argon 结果页面直接给出的对照或说明
FrontierCode 1.1(正文口径)60.5%Cognition 称其超过 GPT-6.1 Sol(60.4%),并称与 GPT-6 Sol(60.7%)匹配
FrontierCode 1.1 Extended(图表口径)60.5%图表同样显示 Gemini 4 Argon 为 60.5%;其分数为 rubric 项目的加权聚合,未通过 blocking criteria 的解决方案为 0 分

页面还称这是排行榜中得分最高的 Gemini 模型,比 Gemini 3.7 Flash 高四个百分点。该句是 Cognition 的页面声明,不代表独立验证,也不能外推到未公开的任务或配置。

价格促销与可用时间

  • Gemini 4 Argon 在 Devin Desktop 和 Devin CLI 中上线;页面称截至 2026-10-27,按 list price 计算可享 75% off。

  • 这项 75% 折扣由两部分组成:Google 的 50% introductory pricing 持续到 2026-12-01,以及 Devin 内额外的 50% discount 持续到 2026-10-27。

  • 页面没有给出 Gemini 4 Argon 在每次 rollout 中的实际美元数值;成本图只说明平均每次 rollout 的美元支出和 reasoning effort 点位,并以虚线表示当前价格。

原始数据

  • 页面正文直接写出:在 FrontierCode 1.1 上,Gemini 4 Argon 得分 60.5%;对照值为 GPT-6.1 Sol 60.4%、GPT-6 Sol 60.7%。

  • FrontierCode 图表中可见的相邻分数包括:GPT-6.1 Sol 60.4%、Gemini 4 Argon 60.5%、GPT-5.6 Sol 60.6%、GPT-6 Sol 60.7%。这些是页面图表读数,不能脱离其 benchmark 版本、任务集和 harness 比较。

  • 页面将分数定义为 rubric 项目的 weighted aggregate,并说明不通过 blocking criteria 的方案得 0 分。

  • 页面将成本定义为每次 rollout 的 mean USD spend,并说明每个点代表一个 reasoning effort;Gemini 4 Argon 的促销点反映 Devin 截至 2026-10-27 的额外 50% 折扣。

  • 页面列出的模型行为观察是:先广泛阅读、检查 git history 中的仓库约定、结束前审查 diff;页面称其在后端和系统代码的 bug fix 与 refactor 中最强,特别是 Python、C/C++ 和 PHP。

结论与边界

  1. 可确认的结果:Devin 页面直接展示了 60.5% 的 Gemini 4 Argon 分数,并说明评分采用 rubric 加权聚合、阻断条件失败得 0 分。

  2. 环境边界明确:结果来自 Devin Desktop 和 Devin CLI 的产品环境;不能把它当作 Gemini API、Google AI Studio 或其他 Agent harness 的成绩。

  3. 模型配置不完整:页面没有提供 API model ID、快照、reasoning effort、采样参数、工具配置、任务数量、运行次数、评分器实现或失败重试规则。

  4. 命名存在原文边界:正文写 FrontierCode 1.1,图表写 FrontierCode 1.1 Extended;在没有更多方法说明前,不把它们解释为相同或不同版本。

  5. 促销不是模型能力:75% off、Google 50% introductory pricing 和 Devin 额外 50% discount 是截至指定日期的价格说明,不应与 60.5% 的能力分数混为一谈。

  6. 厂商自报:页面由 Cognition/Devin 发布,未提供足以独立复现的完整测试材料;“最高的 Gemini 模型”“领先四个百分点”等表述应保留为页面声明。

复现说明

若要复现或做可比测试,至少需要固定:

  1. Devin Desktop 或 Devin CLI 的确切版本,以及实际使用的 Gemini 4 Argon 模型构建。

  2. FrontierCode 1.1 与 FrontierCode 1.1 Extended 的任务集、版本、输入仓库和验收标准,先解决正文与图表命名差异。

  3. rubric 项目、blocking criteria、加权方式、通过/失败处理、超时、重试和人工介入规则。

  4. reasoning effort、采样参数、工具与沙箱权限,以及每个任务的 rollout 数量。

  5. 每次 rollout 的输入输出 token、耗时、平均美元成本和促销是否适用。

该页面未公开上述全部信息,因此只能复现其公开的页面读数和方法描述,不能声称复现 60.5% 的完整测试条件。

原始来源

  • Cognition / Devin:https://devin.ai/blog/gemini-4-argon

Tabbit 小编提醒

本文是第三方资料导航。测试环境、模型版本和主观体验可能不同,请以原文为准。

Gemini 4 Argon

在 Tabbit 中使用并对比模型

Gemini 4 Argon

相关测评

官方Google Blog(Google DeepMind / Google Developer tools)2026-09-30

Gemini 4 Argon:Google 官方发布、开放范围与能力边界

官方Google DeepMind2026-10-13

Gemini 4 Argon 模型卡:安全评估方法、威胁模型与限制

媒体Artificial Analysis

Gemini 4 Argon(High):Artificial Analysis 独立基准、可靠性与成本

媒体Vals AI2026-09-30

Gemini 4 Argon:Vals AI 专业任务基准与测试口径

Gemini 4 Argon

相关提示词

官方Google AI / Google Cloud Blog2026-10-14

Gemini 4 Argon:Google Cloud 企业 Agent 接入工作流

官方Google AI / Google Developers Blog2026-10-13

Gemini 4 Argon:机器人推理与操作工作流

官方Google AI for Developers / Gemini API 文档2026-10-13

Gemini 4 Argon:Google Gemini API 共享上下文与模型能力配置

官方Google AI / X / Google Gemini2026-10-13

Gemini 4 Argon:Gemini 应用内的多步骤交付工作流