Tabbit
活动资源博客模型
Tabbit LogoTabbit

Tabbit — 为你工作的 AI 浏览器

主题资源

  • 浏览器排行榜
  • AI 浏览器指南
  • 浏览器对比
  • 浏览器测评
  • 浏览器替代方案
  • 浏览器专题目录
  • Agentic 浏览器
  • 下载与安装
  • 浏览器效率
  • SillyTavern 模型指南

热门指南

  • Best Browsers 2026: Top 10 Ranked & Compared
  • Best Free AI Browsers 2026: Plans & Prices Compared
  • Rabbit Browser: What It Is & Why Tabbit Is Better
  • Firefox vs Chrome 2026: Privacy, RAM & Speed Compared
  • Best Lightweight Browsers 2026: 7 Tested for RAM & Speed
  • AI Browser List 2026: 10 Browsers Compared
  • Neobrowser: Norton Neo, Download & Alternatives
  • Edge vs Chrome 2026: Speed, RAM & Battery Tested
  • Best Internet Browser for Android 2026
  • Best AI Browser 2026: Top 9 Tested & Ranked

活动

  • 别装了,你在《牛来》里早有原型
  • Tabbit 妙招大赛
  • KPOP SBTI 饭圈人格测试
  • Tabbit 校园共创者计划
  • fifi 的论文文献妙招精选
  • 用户问卷

关于

  • Tabbit 博客
  • 媒体报道
简体中文
简体中文English
测评
媒体Gemini 4 Carbon

FrontierCode 2.0:Gemini 4 Carbon 得分与单次运行成本

原始来源

Devin / Cognition 官方博客

作者Cognition;方法文章署名 The Cognition Team

原文日期2026-11-10

Tabbit 整理2026-11-10

查看原文

一句话结论

Cognition 在 2026-11-10 的 Devin 公告中报告 Gemini 4 Carbon 的 FrontierCode 2.0 得分为 40.0%,高于 Gemini 4 Argon 的 26.3% 和 GPT-6.1 Sol 的 39.0%;公告称 Carbon 低推理档已超过 Argon 的最佳结果,Carbon 最高分每个任务成本低于 Argon 的三分之二。方法文章另列 Carbon 42.6%,两处得分不一致,应按各自发布日期看作不同结果快照。

适用场景

  • 适合判断的任务:比较模型在 Cognition FrontierCode 2.0 工程任务及其代码合并质量评分上的表现。

  • 不适合外推的任务:不能据此推断任意仓库、语言、Agent 或客户端中的实际成功率;不同版本或评测快照的分数不可直接混用。

  • 适用的模型版本:公告中的 Gemini 4 Carbon;底层模型 ID 或修订号未注明。

  • 测试环境或客户端:Cognition FrontierCode 2.0;公告称 Carbon 已在 Devin Desktop 和 Devin CLI 提供,但未说明该成绩具体使用的客户端版本和执行配置。

  • 推理档位和参数:公告只称低推理档超过 Argon 最佳成绩,未给出 Carbon 各档成绩或参数;方法文章称其排行榜按各模型最佳推理档展示。

测评方法

FrontierCode 2.0 评估模型处理真实工程任务的质量和可合并性。分数是评分项的加权汇总;未通过阻断性标准的解答记为 0。方法文章称任务由 20 多位开源开发者设计,每人每题投入超过 40 小时;相比 FrontierCode 1.1,任务覆盖的仓库增加 55%,阻断项增加 43%。参考解平均修改文件数增加 67%、代码行数增加 89%,所用代码库规模增加 25%。

成本定义为按公开 API 标价计算的每次 rollout 平均美元花费,并计入公开折扣。公告未给出 Carbon 或 Argon 的精确成本,只报告 Carbon 最高分的单任务成本不到 Argon 的三分之二。

关键结果

来源快照模型FrontierCode 2.0 得分成本信息
Devin 公告,2026-11-10Gemini 4 Carbon40.0%最高分每个任务成本低于 Argon 的三分之二;精确值未注明
Devin 公告,2026-11-10Gemini 4 Argon26.3%Carbon 最高分成本低于其三分之二;精确值未注明
Devin 公告,2026-11-10GPT-6.1 Sol39.0%未注明
FrontierCode 方法文章,2026-10-27Gemini 4 Carbon42.6%图表给出成本轴和模型点,未标明 Carbon 精确数值

Devin 公告还称 Carbon 的低推理档成绩已超过 Argon 的最佳成绩,但未公布该档具体分数。两篇文章对 Carbon 分数分别报告 40.0% 和 42.6%,没有说明差异原因,不能将它们合并成单一分数。

原始数据

  • 得分口径:加权汇总评分项;失败于阻断项的解答计 0 分。

  • 成本单位与口径:美元/rollout;按公开 API 标价计算平均每次运行成本,包含公开折扣。Devin 公告将其表述为每个任务成本。

  • 推理档位:方法文章的综合排行榜取各模型最佳推理档;Devin 公告只给出 Carbon 低档超过 Argon 最佳结果的定性比较,未披露各档数据。

  • 样本规模与误差:任务数量、每模型运行次数、误差范围和逐题分数均未注明。

  • 基准设计范围:方法文章说明 FrontierCode 2.0 增加仓库和任务类别,并加强正确性、设计、全面性等阻断标准。其成绩衡量该基准定义的工程任务,不等于生产环境中的普遍成功率。

结论与边界

Cognition 公告给出的 Carbon 40.0% 相较同一公告中的 Argon 26.3% 高 13.7 个百分点,并略高于 GPT-6.1 Sol 的 39.0%。官方还称 Carbon 最高分成本低于 Argon 的三分之二,但没有披露可复核的绝对成本。低档优于 Argon 最佳档是定性声明,不能据此推导档位间分差。

方法文章与公告的 Carbon 分数存在 2.6 个百分点差异,且无解释;报告结果时应保留发布日期和来源。样本量、重复次数和置信区间缺失,也限制了对小幅排名差异的判断。结论仅适用于 Cognition 公布的 FrontierCode 2.0 评测口径。

复现说明

复查 Cognition 的 Devin 公告和 FrontierCode 2.0 方法文章,分别记录发布时间、得分、推理档说明和成本口径。公开页面未提供任务集、模型运行配置、重复次数或 Carbon 精确成本,无法独立复算分数和成本比。

Tabbit 小编提醒

本文是第三方资料导航。测试环境、模型版本和主观体验可能不同,请以原文为准。

Gemini 4 Carbon

在 Tabbit 中使用并对比模型

Gemini 4 Carbon

相关测评

官方Google DeepMind

Gemini 4 Carbon 模型卡:知识工作与多模态基准及其边界

媒体Artificial Analysis

Gemini 4 Carbon:Artificial Analysis 推理档位与指数成本

媒体Zapier

Gemini 4 Carbon 在 Zapier AutomationBench 的业务流程结果

媒体AI IQ

Gemini 4 Carbon 在 AI IQ 的综合评分与基准覆盖率

Gemini 4 Carbon

相关提示词与案例

官方Google AI Studio / Gemini API

Gemini 4 Carbon 的 Google AI API 规格

官方Google AI Studio / Gemini API

Gemini 4 Carbon 长输出:续接、状态与停止条件

官方Google AI Studio2026-11-10

Google AI Studio:Gemini 4 Carbon 复杂任务提示设计

官方Google AI Studio / Gemini API

Google AI Studio:Gemini 4 Carbon 动态视频理解配置