在 Zapier AutomationBench 1.0.6 的 657 个任务上,Gemini 4 Carbon 的严格通过率为 Low 31.5%、Medium 53.0%、High 53.9%;测试衡量的是模拟业务系统中的端到端状态是否完全正确,不等同于一般办公任务成功率。
适合判断的任务:比较 Carbon 三个推理档位在该基准业务流程任务中的通过率、每任务估算成本与工具调用统计。
不适合外推的任务:不能据此推断真实 Zapier 自动化的成功率、所有企业流程的表现或实际账单成本;测试没有真人澄清环节,环境为模拟应用。
适用的模型版本:报告模型 ID 为 gemini-4-carbon,测试配置名称为 Gemini 4 Carbon。
测试环境或客户端:API 测试;AutomationBench 1.0.6;47 个模拟应用、约 500 个 API 端点,覆盖 Sales、Marketing、Operations、Support、Finance、HR 六个业务领域;每任务最多 50 步。
推理档位和参数:Low、Medium、High;其他采样参数未注明。
每项任务启动一个带 CRM、邮件、表格、支持工单等数据的小型模拟公司,给 Agent 一条业务请求,并提供搜索、读取、更新和发送等工具。数据包含过期记录、相似名称和隐藏在邮件中的规则等干扰。Agent 不能追问,也没有人工介入。任务结束后,程序用确定性断言检查最终系统状态;所有断言均通过才算任务通过,模型的文字回复本身不评分。
Carbon 于 2026-10-26 至 2026-10-27 运行,每档 657 个任务。Zapier 说明排行榜分数来自留出的私有评测集,公开的 600 项任务集供研究与实验;该页面未披露私有集任务数量。页面报告典型运行间波动在 1% 以内,但未提供置信区间。
| 档位 | 严格通过 | 通过数 / 任务数 | 每任务成本 | 每个通过任务的总成本* |
|---|---|---|---|---|
| Low | 31.5% | 207 / 657 | $1.02 | $3.25 |
| Medium | 53.0% | 348 / 657 | $1.65 | $3.11 |
| High | 53.9% | 354 / 657 | $2.12 | $3.94 |
* 将所有任务(包括失败任务)的估算成本相加,再除以通过数。金额均为美元估算,不是实际账单。
| 领域 | Low | Medium | High |
|---|---|---|---|
| Sales(117 项) | 38.5%(45) | 50.4%(59) | 56.4%(66) |
| Marketing(100 项) | 33.0%(33) | 64.0%(64) | 62.0%(62) |
| Operations(100 项) | 33.0%(33) | 65.0%(65) | 68.0%(68) |
| Support(100 项) | 32.0%(32) | 46.0%(46) | 46.0%(46) |
| Finance(120 项) | 35.8%(43) | 60.0%(72) | 60.0%(72) |
| HR(120 项) | 17.5%(21) | 35.0%(42) | 33.3%(40) |
括号为通过任务数。各档任务数总计 657。领域表显示档位差异并非所有领域都随推理强度单调上升,例如 Marketing 和 HR 的 Medium 高于 High。
排行榜版本与快照:AutomationBench 1.0.6。Zapier 排行榜列出 Carbon High 为 53.88%、$2.12/任务,Medium 为 52.97%、$1.65/任务;报告按一位小数显示为 53.9% 和 53.0%。Low 为 31.5%,见 Carbon 专项报告。
成本口径:按 Google 标价估算,输入每百万 tokens $4、输出每百万 tokens $20,推理 tokens 按输出计费;缓存读取按每百万 tokens $0.40 计(相当于输入价格的 10%)。成本按各档运行的 token 使用量估算,不代表实际计费。
工具和步骤统计:平均工具调用数为 Low 95.3、Medium 89.0、High 93.1;平均步骤数依次为 20.5、16.4、16.6。Low 有 39 项、Medium 和 High 各有 3 项达到 50 步上限。输入缓存占比为 90.1%、86.8%、86.3%。
排行榜补充:页面称公开集有 600 项研究任务,排行榜使用留出的私有评测集。报告每档 657 项,未解释与公开集任务数量的关系;应以 Carbon 报告的逐档分母为准,不把两者视为同一数据集。
在同一报告配置和评测集上,Medium 比 Low 高 21.5 个百分点;High 比 Medium 高 0.9 个百分点。High 的成本高于 Medium,Medium 的估算总成本/通过任务最低。
该基准以“最终状态完整正确”为标准,部分完成不计入官方通过率。排行榜另有 partial_credit 诊断值,但它不属于主分数。
结果反映 47 个模拟应用中的任务执行能力。真实系统的权限、接口可靠性、数据分布、人工复核和失败恢复均可能不同;不能从分数直接推出生产表现。
运行间波动约 1% 是 Zapier 的概述,报告未给置信区间或显著性检验;低于该幅度的差异不宜作强结论。
各领域结果使用固定任务组成;排行榜按模型最佳推理档位汇总领域分数,不能把领域榜单当作统一档位之间的比较。
原始页面为 Zapier AutomationBench 排行榜 与 Carbon 专项结果报告。报告给出版本、运行日期、模型 ID、档位、任务数、50 步上限、主要工具统计和成本假设;复现仍需相同的评测集版本、Agent harness、完整任务配置、模型端点修订及评分断言。排行榜是随时间更新的快照,本文记录的是 2026-11-16 采集时显示的 1.0.6 数据。
Gemini 4 Carbon