Wade Foster 称,GPT-6.2 Sol 在 Zapier 的 AutomationBench 上以 High effort 得分 41.2%,单任务成本为 0.21 美元。帖文未披露测试规模和完整方法,结果无法据此独立复现。
适合判断的任务:Zapier 所称自动化工作流中的任务完成质量与单任务成本。
不适合外推的任务:其他类型任务、其他测试环境,以及不同推理档位或计价口径下的表现。
适用的模型版本:GPT-6.2 Sol。原帖称模型于当天发布。此处只记录该版本,不代表其他 Sol 版本。
测试环境或客户端:Zapier 自建 AutomationBench。运行环境、工具配置和基准版本未披露。
推理档位和参数:High effort。其他参数未披露。
Wade Foster 表示 Zapier 自建 AutomationBench,并以其工作流任务衡量模型完成任务的成本。原帖没有给出任务数、评分细则、运行配置或成本计算明细。
GPT-6.2 Sol:41.2%,High effort,0.21 美元/任务。
同帖提及的 GPT-6 Astra:41.4%,Max effort,1.73 美元/任务。它是不同模型、不同推理档位的九月结果,只能作为原帖中的成本与分数参照,不能视为同档对照。
| 模型 | AutomationBench 得分 | 推理档位 | 单任务成本 | 原帖说明 |
|---|---|---|---|---|
| GPT-6.2 Sol | 41.2% | High | $0.21 | 本文目标结果 |
| GPT-6 Astra | 41.4% | Max | $1.73 | 原帖称为九月纪录 |
这条帖文提供了明确的模型版本、推理档位、得分和单任务成本,可作为 Zapier 对 GPT-6.2 Sol 的基准报告。41.2% 仅对应原帖所述的 High effort 运行。帖文未提供基准版本、任务数量、方差或原始结果,因此不能判断分数稳定性,也不应推广为通用任务能力或跨基准排名。帖中另有一个财务工作流案例,但未给出可复核输入和输出,不能据此验证 AutomationBench 分数。
原帖没有提供任务集、评分规则、运行参数明细或结果文件,无法仅凭该帖复现。复核时应取得 Zapier 的 AutomationBench 方法说明,并确认基准版本、任务数、执行配置及单任务成本口径。
GPT-6.2 Sol