Gemini 4 Argon：Vals AI 专业任务基准与测试口径

一句话结论

Vals 模型页记录 Index 68.90% ± 0.97、Finance Agent v2 65.40% ± 0.32；这是 10 月 14 日快照，排名分母不同，不能跨任务拼成总榜。

适用场景

• 适合判断的任务：Vals AI 页面所列的专业 Agent、软件工程、法律、税务和综合 Vals Index 任务；观察模型页公开的分数、排名、每测试成本、延迟和超参数。

• 不适合外推的任务：通用生产成功率、不同 Agent harness 之间的直接排名、未公开任务集上的能力、Google 官方 API 的独立成绩，或把动态排名当作固定历史事实。

• 适用的模型版本：Gemini 4 Argon；页面显示发布日期为 2026-09-30，但没有提供 API model ID 或可核验的快照字符串。

• 测试环境或客户端：Vals AI 模型页的 benchmark suite；页面显示默认 provider 为 Google，并警告部分 benchmark 可能使用不同 provider 和参数。各专项 benchmark 的完整 harness 未在本页公开。

• 推理档位和参数：页面的 Hyperparameter Settings 显示 provider Google、temperature 1、top-p Default、top-k Default、max output tokens 262,144、reasoning effort HIGH。这些是模型页展示的设置，不代表每个 benchmark 的完整运行日志。

测评方法

动态页面与时间口径

• 本文把 2026-10-14 访问到的模型页结果作为动态快照记录。

• 页面显示模型发布日期为 2026-09-30；页面的 Updates 条目也标为 Sep 30, 2026。

• 模型页当前摘要、benchmark 表和更新文字出现不同的排行榜分母。本文分别保留这些可见读数，不推断差异原因，也不把它们合并成一个排名。

页面公开的统一设置

模型页的 “View Hyperparameter Settings” 展开内容显示：

• Default Provider：Google

• Temperature：1

• Top P：Default

• Top K：Default

• Max Output Tokens：262,144

• Reasoning Effort：HIGH

同一页还显示上下文窗口 1M、最大输出 token 262K、输入/输出 token 价格 $4.00/$20.00。页面提示：“Some benchmarks may use different provider and parameters. Please refer to the benchmark page for more information.” 本次只研究指定模型页，不把这些模型页设置扩展为各 benchmark 的完整配置。

页面给出的指标口径

模型页为各 benchmark 展示 accuracy、误差范围（部分项目）、排名、每测试成本或延迟等字段。更新文字把 Vals Index 描述为模型套件评测，并给出部分任务的 “cost per test”。页面没有在本模型页中公开每个专项 benchmark 的任务清单、工具、评分器、重复运行次数、样本抽样或误差范围计算方法。

关键结果

下表第一组数字来自模型页当前可见 benchmark 表；“更新文字”列单独记录同页 2026-09-30 更新条目中的分母或表述，不将二者视为同一时刻的同一排行榜。

Vals Index 与专业任务

法律与税务

软件与工程任务

成本与延迟

• 模型页总览显示 Vals Index 每测试成本 $15.68，延迟 46 分 33 秒。

• 更新文字还列出 Code Migration $57.82/次测试、Terminal-Bench Science $44.90/次测试、SRE Bench $30.45/次测试 和 CUA-bench $193.78/次测试。

• 这些成本属于 Vals 页面对应的 benchmark 运行口径；页面没有提供每个 benchmark 的完整 token、工具调用、重试或计费明细，不能直接当作任意 API 请求成本。

原始数据

• 模型页开发者字段为 Google，权重状态为 PRIVATE；模型页显示上下文窗口 1M、最大输出 262K、输入/输出价格 $4.00/$20.00。

• Vals Index 模型页读数为 68.90% ± 0.97、1/47；Finance Agent (v2) 为 65.40% ± 0.32、1/78；这两个读数及其误差范围直接可见。

• 模型页同时列出 Vals RSI Index 30.55%、4/24、CyberBench v1.1 77.86% ± 5.30、3/47、EMB 75.24% ± 2.46、4/74、ProofBench v1.1 99.00% ± 1.00、6/50、IOI 100.00% ± 0.00、1/44 等结果；本文只在前述分类表中展开与 Vals Index、专业、法律、税务和软件任务直接相关的项目。

• 页面更新文字称 Vals Index 排名为 1/41，Finance Agent v2 为 1/73，并列出相应的 2026-09-30 更新口径；这些分母与模型页当前表格不同。

• 页面 Hyperparameter Settings 直接显示：Google provider、temperature 1、top-p/top-k Default、max output tokens 262,144、reasoning effort HIGH。

结论与边界

1. 只支持快照级判断：截至 2026-10-14 采集，模型页可直接核验 Vals Index 68.90% ± 0.97、1/47 和 Finance Agent (v2) 65.40% ± 0.32、1/78；它们不是永久排名。

2. 页面存在两个可见口径：2026-09-30 更新文字使用 Vals Index 1/41、Finance Agent 1/73 等分母。本文不猜测差异原因，也不把两组排名放进同一表格计算。

3. 不能跨 harness 排名：页面警告不同 benchmark 可能使用不同 provider 和参数；没有各专项 benchmark 的完整 harness 时，不能把 Finance、Legal、Tax 和软件结果合并为单一能力排序。

4. 参数有展示但方法不完整：Google provider、temperature 1、HIGH reasoning 和 262,144 max output 可见；每个 benchmark 的 provider、工具、system prompt、任务清单、评分器、重复次数和失败处理仍未在本页公开。

5. 成本不能脱离任务解释：Vals Index $15.68/次测试与长程任务的更高成本是页面口径；不能替代 API 单次调用价格，也不能在不同 benchmark 之间直接比较成本效率。

6. 不应补写未见数据：页面没有公开 API model ID、模型快照、逐题输出、完整任务样本、置信区间计算方式或各项评测的统一随机与停止条件。

复现说明

若要复现或做可比测试，至少需要固定：

1. 采集时间和页面版本；明确记录是模型页当前表格，还是 2026-09-30 更新文字。

2. Gemini 4 Argon 的确切 API snapshot、provider、temperature、top-p、top-k、reasoning effort、max output tokens 和上下文限制。

3. 每个 benchmark 的任务集版本、样本与分母、输入材料、工具、system prompt、Agent harness、评分器和失败/重试规则。

4. 每项测试的运行次数、误差范围计算方式、每测试 token 和工具成本、延迟及人工介入。

5. 不把不同 provider、参数或 harness 的结果拼成一个总分；跨模型比较时先确认任务、版本、评分和运行环境一致。

本页足以复核上述可见快照和参数，但不足以独立重建各专项 benchmark 的完整实验。