Tabbit
活动资源博客模型
Tabbit LogoTabbit

Tabbit — 为你工作的 AI 浏览器

主题资源

  • 浏览器排行榜
  • AI 浏览器指南
  • 浏览器对比
  • 浏览器测评
  • 浏览器替代方案
  • 浏览器专题目录
  • Agentic 浏览器
  • 下载与安装
  • 浏览器效率
  • SillyTavern 模型指南

热门指南

  • Best Browsers 2026: Top 10 Ranked & Compared
  • Best Free AI Browsers 2026: Plans & Prices Compared
  • Rabbit Browser: What It Is & Why Tabbit Is Better
  • Firefox vs Chrome 2026: Privacy, RAM & Speed Compared
  • Best Lightweight Browsers 2026: 7 Tested for RAM & Speed
  • AI Browser List 2026: 10 Browsers Compared
  • Neobrowser: Norton Neo, Download & Alternatives
  • Edge vs Chrome 2026: Speed, RAM & Battery Tested
  • Best Internet Browser for Android 2026
  • Best AI Browser 2026: Top 9 Tested & Ranked

活动

  • 别装了,你在《牛来》里早有原型
  • Tabbit 妙招大赛
  • KPOP SBTI 饭圈人格测试
  • Tabbit 校园共创者计划
  • fifi 的论文文献妙招精选
  • 用户问卷

关于

  • Tabbit 博客
  • 媒体报道
简体中文
简体中文English
测评
媒体Gemini 4 Carbon

Gemini 4 Carbon 在 Zapier AutomationBench 的业务流程结果

原始来源

Zapier

作者未注明

Tabbit 整理2026-11-16

查看原文

一句话结论

在 Zapier AutomationBench 1.0.6 的 657 个任务上,Gemini 4 Carbon 的严格通过率为 Low 31.5%、Medium 53.0%、High 53.9%;测试衡量的是模拟业务系统中的端到端状态是否完全正确,不等同于一般办公任务成功率。

适用场景

  • 适合判断的任务:比较 Carbon 三个推理档位在该基准业务流程任务中的通过率、每任务估算成本与工具调用统计。

  • 不适合外推的任务:不能据此推断真实 Zapier 自动化的成功率、所有企业流程的表现或实际账单成本;测试没有真人澄清环节,环境为模拟应用。

  • 适用的模型版本:报告模型 ID 为 gemini-4-carbon,测试配置名称为 Gemini 4 Carbon。

  • 测试环境或客户端:API 测试;AutomationBench 1.0.6;47 个模拟应用、约 500 个 API 端点,覆盖 Sales、Marketing、Operations、Support、Finance、HR 六个业务领域;每任务最多 50 步。

  • 推理档位和参数:Low、Medium、High;其他采样参数未注明。

测评方法

每项任务启动一个带 CRM、邮件、表格、支持工单等数据的小型模拟公司,给 Agent 一条业务请求,并提供搜索、读取、更新和发送等工具。数据包含过期记录、相似名称和隐藏在邮件中的规则等干扰。Agent 不能追问,也没有人工介入。任务结束后,程序用确定性断言检查最终系统状态;所有断言均通过才算任务通过,模型的文字回复本身不评分。

Carbon 于 2026-10-26 至 2026-10-27 运行,每档 657 个任务。Zapier 说明排行榜分数来自留出的私有评测集,公开的 600 项任务集供研究与实验;该页面未披露私有集任务数量。页面报告典型运行间波动在 1% 以内,但未提供置信区间。

关键结果

各推理档位

档位严格通过通过数 / 任务数每任务成本每个通过任务的总成本*
Low31.5%207 / 657$1.02$3.25
Medium53.0%348 / 657$1.65$3.11
High53.9%354 / 657$2.12$3.94

* 将所有任务(包括失败任务)的估算成本相加,再除以通过数。金额均为美元估算,不是实际账单。

各业务领域通过率

领域LowMediumHigh
Sales(117 项)38.5%(45)50.4%(59)56.4%(66)
Marketing(100 项)33.0%(33)64.0%(64)62.0%(62)
Operations(100 项)33.0%(33)65.0%(65)68.0%(68)
Support(100 项)32.0%(32)46.0%(46)46.0%(46)
Finance(120 项)35.8%(43)60.0%(72)60.0%(72)
HR(120 项)17.5%(21)35.0%(42)33.3%(40)

括号为通过任务数。各档任务数总计 657。领域表显示档位差异并非所有领域都随推理强度单调上升,例如 Marketing 和 HR 的 Medium 高于 High。

原始数据

  • 排行榜版本与快照:AutomationBench 1.0.6。Zapier 排行榜列出 Carbon High 为 53.88%、$2.12/任务,Medium 为 52.97%、$1.65/任务;报告按一位小数显示为 53.9% 和 53.0%。Low 为 31.5%,见 Carbon 专项报告。

  • 成本口径:按 Google 标价估算,输入每百万 tokens $4、输出每百万 tokens $20,推理 tokens 按输出计费;缓存读取按每百万 tokens $0.40 计(相当于输入价格的 10%)。成本按各档运行的 token 使用量估算,不代表实际计费。

  • 工具和步骤统计:平均工具调用数为 Low 95.3、Medium 89.0、High 93.1;平均步骤数依次为 20.5、16.4、16.6。Low 有 39 项、Medium 和 High 各有 3 项达到 50 步上限。输入缓存占比为 90.1%、86.8%、86.3%。

  • 排行榜补充:页面称公开集有 600 项研究任务,排行榜使用留出的私有评测集。报告每档 657 项,未解释与公开集任务数量的关系;应以 Carbon 报告的逐档分母为准,不把两者视为同一数据集。

结论与边界

  • 在同一报告配置和评测集上,Medium 比 Low 高 21.5 个百分点;High 比 Medium 高 0.9 个百分点。High 的成本高于 Medium,Medium 的估算总成本/通过任务最低。

  • 该基准以“最终状态完整正确”为标准,部分完成不计入官方通过率。排行榜另有 partial_credit 诊断值,但它不属于主分数。

  • 结果反映 47 个模拟应用中的任务执行能力。真实系统的权限、接口可靠性、数据分布、人工复核和失败恢复均可能不同;不能从分数直接推出生产表现。

  • 运行间波动约 1% 是 Zapier 的概述,报告未给置信区间或显著性检验;低于该幅度的差异不宜作强结论。

  • 各领域结果使用固定任务组成;排行榜按模型最佳推理档位汇总领域分数,不能把领域榜单当作统一档位之间的比较。

复现说明

原始页面为 Zapier AutomationBench 排行榜 与 Carbon 专项结果报告。报告给出版本、运行日期、模型 ID、档位、任务数、50 步上限、主要工具统计和成本假设;复现仍需相同的评测集版本、Agent harness、完整任务配置、模型端点修订及评分断言。排行榜是随时间更新的快照,本文记录的是 2026-11-16 采集时显示的 1.0.6 数据。

Tabbit 小编提醒

本文是第三方资料导航。测试环境、模型版本和主观体验可能不同,请以原文为准。

Gemini 4 Carbon

在 Tabbit 中使用并对比模型

Gemini 4 Carbon

相关测评

官方Google DeepMind

Gemini 4 Carbon 模型卡:知识工作与多模态基准及其边界

媒体Artificial Analysis

Gemini 4 Carbon:Artificial Analysis 推理档位与指数成本

媒体AI IQ

Gemini 4 Carbon 在 AI IQ 的综合评分与基准覆盖率

媒体Cursor 官方 CursorBench 排行榜2026-09-10

CursorBench 4.0:Gemini 4 Carbon 多文件工程任务表现

Gemini 4 Carbon

相关提示词与案例

官方Google AI Studio / Gemini API

Gemini 4 Carbon 的 Google AI API 规格

官方Google AI Studio / Gemini API

Gemini 4 Carbon 长输出:续接、状态与停止条件

官方Google AI Studio2026-11-10

Google AI Studio:Gemini 4 Carbon 复杂任务提示设计

官方Google AI Studio / Gemini API

Google AI Studio:Gemini 4 Carbon 动态视频理解配置