Artificial Analysis：速度、延迟与版本口径

一句话结论

2026-09-20 重新打开 Artificial Analysis 后，当前 v4.3.2 快照列出 high/medium/low 的 Intelligence Index 为 41/40/33；当前页面只公开 high 的 305 tok/s，medium 与 low 的速度、全部档位的 TTFT 和 low 单任务成本保持未知；high/medium 每个 Index 任务成本为 $1.24/$0.93。9 月 2 日发布材料中的 v4.2 数字是历史快照，不能与今天的 v4.3.2 口径混成“模型退步”或速度趋势。

适用场景

• 适合的任务：需要长上下文、多模态输入、工具调用和较快答案生成的编码、Agent、文档与企业工作流。

• 不适合的任务：把 high 档当作低延迟聊天默认值，或把单次 tok/s 当作完整任务耗时；high 的 TTFT 与推理 token 开销明显更高。

• 适用的模型版本：gemini-3.8-flash；本文同时记录 Artificial Analysis 的 high、medium、low 推理页，不把三档当成三个 API 模型。

• 适用的客户端、Agent 或 API：Artificial Analysis 测试所依据的 Google API；Google 官方页列出 Gemini API、Google AI Studio、Gemini App、Google Antigravity 等可用入口。

• 推荐的推理档位和参数：延迟敏感任务先测 low；质量与延迟折中测 medium；复杂长程 Agent 再测 high。Google 官方文档列出 low、medium、high，不支持 minimal。

测试环境、版本与测量时点

• v4.2 发布快照：Artificial Analysis 于 2026-09-02 发布的 Gemini 3.8 Flash 文章与 X 帖使用 Intelligence Index v4.2；high/medium/low 分别为 59/57/52。该文章还报告 high 的约 300 tok/s、2.5 分钟/任务，low 为约 0.8 分钟/任务。

• v4.3.2 当前快照：2026-09-20 打开 Artificial Analysis 模型页时，页面显示当前 v4.3.2 口径；本次只保留可见的 Index 与 high 速度，未公开字段不补造。

• 性能测量时点：Artificial Analysis 性能方法论规定，常规 1k、10k 与视觉工作负载每日测试 8 次，网页数值以过去 72 小时的中位数（P50）表示；因此下表是 2026-09-20 页面快照，不是固定永久值。

• 服务与参数：性能主测试服务器位于 Google Cloud us-central1-a；推理模型默认温度为 0.6，性能基准的 token 计数使用 o200k_base。Intelligence Index 成本则使用提供商 API 报告的 token 数。

• 独立/自报边界：Intelligence Index、输出速度、TTFT、成本和任务 token 是 Artificial Analysis 的独立测量/计算；Google 的模型状态、模态、上下文和价格是厂商自报规格。Artificial Analysis 的“基于 Google API”不等于 Google 对其评测分数背书。

结果数据

Artificial Analysis v4.3 当前模型页

以上当前 Index 与 high 速度来自 2026-09-20 重开的对应页面；medium/low 的速度、全部档位的 TTFT 和 low 单任务成本保持未知；high/medium 每个 Index 任务成本为 $1.24/$0.93，API 每百万输入/输出 token 价格为 $0.75/$3.75。不要用 2026-09-08 的旧 v4.3 页面数字填补当前快照。

Artificial Analysis v4.2 发布口径

v4.2 的成本是发布文章中的“每 Intelligence Index 任务”口径；发布文章称 high 相对 Gemini 3.7 Flash 的 $0.40 高约 40%，原因是平均输出 token 增加约 30% 且 Agent 评估回合增加。不能用 v4.2 的 $0.58 与 v4.3 页面 high 的 $1.24 做价格趋势判断，因为评估集合已从 v4.2 改为 v4.3。

官方规格交叉核对

结论

1. 先区分评测版本：9 月 2 日发布材料的 v4.2 分数是 high 59、medium 57、low 52；2026-09-20 当前模型页的 v4.3.2 分数是 41、40、33。版本、评估集合和页面时点不同，不能把两组数字合并成一条排名或趋势。

2. 不要把未知值写成延迟结论：当前页面只公开 high 的 305 tok/s；medium/low 的速度、全部档位的 TTFT 和 low 单任务成本保持未知；high/medium 单任务成本为 $1.24/$0.93。

3. high 的当前可见指标：v4.3.2 Index 为 41、速度为 305 tok/s；这仍不等于目标客户端的端到端响应时间。

4. 价格不能只看每百万 token：当前输入/输出价格相同为 $0.75/$3.75、缓存命中折扣 90%，但单任务成本还由输入、缓存、推理、答案 token 与评估回合共同决定。

5. 1M 上下文是能力边界而非质量保证：Google 与 Artificial Analysis 都列出 1M token；真正的长文档工作流仍需按输入位置、检索召回、引用正确率和端到端延迟做专项测试。

局限

• Artificial Analysis 当前页面于 2026-09-20 重开后显示 v4.3.2，发布材料使用 v4.2；两版评估集合不同，不能直接计算“分数下降”或跨版排名变化。

• 性能值是过去 72 小时的 P50；TTFT 受服务器位置、网络和提供商排队影响，us-central1-a 的结果不一定代表中国大陆或其他地区。

• Artificial Analysis 的输出速度在推理模型上可能按答案 chunk 的后 80% 计算，且性能 benchmark 与 Intelligence Index 使用不同 token 计数口径；价格比较存在 tokenizer 效率限制。

• 当前 medium/low 的速度、全部档位的 TTFT 和 low 单任务成本未在 2026-09-20 快照公开，不能用 v4.2 或 high 推算。

• AA-Briefcase、GDPval-AA v2 等评估包含私有测试集或内部评分流程；平台公开方法论提高了可复核性，但不等于第三方审计。

• Google DeepMind 页面报告的 DeepSWE、Vals Finance Agent、Harvey Legal Agent 与 HLE-Verified 等结果属于 Google 发布方材料，本文未将其与 Artificial Analysis 分数混为独立测量。

复现步骤

1. 固定 API 模型 ID gemini-3.8-flash，分别运行 low、medium、high，记录首个 reasoning token、首个答案 token、完整响应时间、输入/输出/推理 token 和失败重试。

2. 对同一批编码、工具调用、PDF/长文档和多模态任务，分别计算 TTFT P50/P95、输出 tok/s、任务完成率、每完成任务成本和人工接管率。

3. 在至少两个地区或提供商重复性能测量，报告网络位置、账号类型、请求并发和 API 版本；不要把 Artificial Analysis 的 Google API 结果外推给其他供应商。

4. 保存评测集合版本（v4.2 或 v4.3）、页面采集时间和价格快照；模型或 Artificial Analysis 方法更新后重新跑同一任务集。

5. 对 100k、500k 和接近 1M token 的上下文分别测试召回、引用正确率、答案 token、TTFT 与端到端时延，避免把“支持 1M”写成“1M 内质量恒定”。

原始证据与数据

• Artificial Analysis 2026-09-20 重开的页面记录 v4.3.2 Intelligence Index high/medium/low 为 41/40/33；仅 high 速度可见，为 305 tok/s，当前 medium/low 的速度、全部档位的 TTFT 和 low 单任务成本保持未知。

• Artificial Analysis 2026-09-02 发布文章与对应 X 帖记录 v4.2 high/medium/low 为 59/57/52，成本为 $0.58/$0.41/$0.24，并给出 high 约 300 tok/s、2.5 分钟/任务与 low 约 0.8 分钟/任务。

• Artificial Analysis 性能方法论说明：常规指标取过去 72 小时 P50；2026-09-20 快照应作为带日期的观察值读取，而非永久值。

• Google AI Developers 模型页确认 gemini-3.8-flash、输入 1,048,576 token、输出 65,536 token、输入模态和 low/medium/high 推理档位；Google DeepMind 模型页确认 GA 状态、1M 输入与 64k 输出等产品规格。

来源摘录或观察（仅做合规短引）

当前页面只显示 high 的 305 tok/s，没有公开可用于本页的当前 TTFT；输出速度仍不能替代用户感知的首答延迟。Google 官方则把 3.8 Flash 定位为面向长周期软件工程、自主 Agent 和复杂企业工作流的 Flash 模型。两者都不能替代目标业务的同 harness 复测。