在 Plotly 的私有 43 题数据分析考试中,Gemini 4 Hydrogen 单次答对 43 题,成本为 $6.36;该结果优于同次测试的 Gemini 4 Carbon(42/43,$11.55)和 Gemini 4 Argon(41/43,$13.47),但 GPT-6.1 Sol 同为 43/43,成本为 $2.61。结果只说明模型在 Plotly 这套分析 Agent 考试中的表现。
适合判断的任务:多轮工具调用下的数据分析、图表生成、统计陷阱识别、数据质量检查和隐藏模式发现。
不适合外推的任务:通用问答、开放式文本写作、真实企业数据分析,也不能据此断定不同推理档位、API 或 Agent 配置下会得到相同结果。
适用的模型版本:Gemini 4 Hydrogen。Google AI Studio 文档列出的稳定模型 ID 为 gemini-4-hydrogen;Plotly 称其于发布日经 OpenRouter 调用,未说明 OpenRouter 路由到的具体模型修订号。
测试环境或客户端:Plotly Studio Embedded 数据分析 Agent,通过 OpenRouter 调用模型。
推理档位和参数:未注明。Google 将 Hydrogen 默认推理档位标为 high,但 Plotly 没有说明此次运行是否使用默认档位。
Plotly 使用其私有 PlotlyDataAnalyticsBench,对每个新模型运行同一套 43 道题,并使用相同 harness 和评分方式。Harness 是面向 Dash 应用的数据分析 Agent,支持多轮工具调用和图表生成,侧重让数据分析结果居中,而非文本写作。考试数据为模拟风电场运营商的数据仓库;题集不公开,Plotly 称仅向研究者共享,以减少答案进入训练数据的可能。
作者在 Gemini 4 Hydrogen 发布日通过 OpenRouter 完成一次全量测试。文章没有披露题目、答案、系统提示、工具 schema、逐题调用记录或原始输出。Plotly 对 43 项通过结果逐项人工复核。
总分 43/43,为当时第四个通过全部题目的模型;五类分项全部满分:分析题 20/20、歧义题 5/5、不可能请求 5/5、数据质量 3/3、统计陷阱 5/5、隐藏模式 5/5。
Gemini 4 Carbon 得分 42/43,成本 $11.55;Gemini 4 Argon 得分 41/43,成本 $13.47。GPT-6.1 Sol 同为 43/43,成本 $2.61。
Hydrogen 一次考试成本 $6.36,中位每题耗时 32 秒,整场约 43 分钟。对照模型中,Carbon 中位每题 93 秒、整场约 1 小时 48 分钟;Argon 为 23 秒;GPT-6.1 Sol 为 18 秒。
Hydrogen 找到全部五个预埋隐藏模式。五题平均约 54 次查询;这五题合计有 95 次模型调用和 271 次工具调用。文章称全榜 48 个模型中只有 8 个找到全部五个模式。
本次运行输入约 1,780 万 token,其中 88% 来自缓存。按文章给出的每人每天 10 个问题、每年 250 个工作日,以及测试时 OpenRouter 价格推算,年成本约 $370;这是情景估算,不是订阅价格。
| 模型 | 总分 | 分析题 | 歧义题 | 不可能请求 | 数据质量 | 统计陷阱 | 隐藏模式 | 单次成本 | 中位每题耗时 |
|---|---|---|---|---|---|---|---|---|---|
| Gemini 4 Hydrogen | 43/43 | 20/20 | 5/5 | 5/5 | 3/3 | 5/5 | 5/5 | $6.36 | 32 秒 |
| Gemini 4 Carbon | 42/43 | 20/20 | 5/5 | 5/5 | 2/3 | 5/5 | 5/5 | $11.55 | 93 秒 |
| Gemini 4 Argon | 41/43 | 19/20 | 5/5 | 5/5 | 2/3 | 5/5 | 5/5 | $13.47 | 23 秒 |
| GPT-6.1 Sol | 43/43 | 20/20 | 5/5 | 5/5 | 3/3 | 5/5 | 5/5 | $2.61 | 18 秒 |
在这套测试中,Hydrogen 的准确率高于另外两款 Gemini 4 模型,成本约为 Carbon 和 Argon 的一半;它并非全榜最快或同分中最便宜。Plotly 说明其重复测试的其他模型单次分数曾上下波动最多 3 分,因此只跑一次的 1–2 分差距应视为接近,不能解释为稳定排名。文章未给出 Hydrogen 的重复运行结果。
考试题集和原始运行记录不可公开获取,外部读者无法逐题复现分数、成本和耗时。结论仅适用于这次 OpenRouter 调用及 Plotly Studio Embedded harness,不代表生产数据、不同工具配置或其他模型档位下的表现。成本和价格比较也以测试时 OpenRouter 报价为准。
可按 Plotly 所述环境和 43 题题型复建相似评测,但因题目、答案、提示词和工具定义未公开,无法精确复现原考试。需要比较模型时,应固定题集、Agent harness、工具、模型 ID 与推理设置,多次运行并分别记录逐题结果、调用数、缓存 token、费用及耗时;不要把本次单样本分数当作稳定能力值。
Gemini 4 Hydrogen