截至 2026-11-16,Epoch AI 页面给 Gemini 4 Carbon 的 ECI 为 170,当前排名第 2/240;发布时排名第 1/238。分项显示它在所列棋类和游戏任务、数学基准及 SimpleQA Verified 上均有较强成绩,但不同基准测量的是不同能力,ECI 则是跨 50 多项基准拟合出的综合尺度,不能替代分项结果或代表所有任务表现。
适合判断的任务:查看 Epoch AI 当前模型档案、其自有基准成绩,以及 Carbon 与页面所选模型在同一页面口径下的横向差异。
不适合外推的任务:不能仅凭 ECI 推断某个具体任务的表现;不能把少数基准或单项高分推广为普遍能力;不同评测设置的结果也不能直接视作同条件复测。
适用的模型版本:Epoch AI 标记为 Gemini 4 Carbon 的模型;页面未注明具体模型修订版。
测试环境或客户端:Epoch AI 模型档案与各基准记录;具体运行环境和完整 harness 未在模型页统一列出。
推理档位和参数:模型页未注明。
Epoch Capabilities Index(ECI)将 50 多项基准的结果放到同一通用能力尺度上。Epoch AI 根据模型在多个基准上的重叠结果估计各基准相对难度,再拟合模型能力;ECI 是综合指标,不是某一套试题的原始得分。Epoch AI 说明,ECI 分数本身是抽象值,可通过其页面的基准曲线查看与具体基准成绩的对应关系。详细技术方法见 ECI 文档 和其引用的论文。
页面模型摘要称 Carbon 当前 ECI 为 170、排名第 2/240,并注明其发布时排名为第 1/238。完整结果页另以括号显示“跨设置最佳成绩”,例如 FrontierMath Tiers 1–3 为 91%(95%)。因此下表的直接基准成绩与括号中的最佳成绩应分开读取。
Epoch AI 的部分基准为自建评测,部分数据由基准发布方提供。它们的样本、评分方式和任务形式并不相同;表格中的横向比较应限定在同一基准及页面展示的结果口径内。
模型页选取 Gemini 4 Argon、GPT-6 Astra 和 Claude Opus 5.5 作为比较对象:
| 类别 | 基准 | Gemini 4 Carbon | Gemini 4 Argon | GPT-6 Astra | Claude Opus 5.5 |
|---|---|---|---|---|---|
| 综合 | ECI 排名 | #2 | #9 | #3 | #4 |
| 游戏 | Chess Puzzles | 78% | 59% | 76% | 67% |
| 游戏 | Mystery Game Puzzles | 73% | 64% | 84% | 71% |
| 游戏 | Earthborne Rangers(EBR-bench) | 88% | 65% | 76% | 71% |
| 数学 | FrontierMath Erdős | 3% | 1% | 3% | 3% |
| 数学 | FrontierMath Tiers 1–3(v2) | 91% | 86% | 94% | 91% |
| 数学 | FrontierMath Tier 4(v2) | 95% | 78% | 98% | 95% |
| 世界知识 | SimpleQA Verified | 78% | 76% | 76% | 72% |
Carbon 在所列三项游戏和 SimpleQA Verified 项目中均高于 Argon 与 Opus 5.5;数学结果则因基准而异:在 Tiers 1–3、Tier 4 上低于 Astra,在 Erdős 上与 Astra、Opus 持平。以上是页面所选模型之间的分项对照,不构成对其他任务的总排名。
完整结果页还显示 Carbon 的括号最佳成绩:Chess Puzzles 79%、Mystery Game Puzzles 90%、EBR-bench 90%、FrontierMath Erdős 4%、Tiers 1–3 95%、Tier 4 100%、SimpleQA Verified 94%。这些值是页面注明的跨设置最佳成绩,不应和表中的分项成绩互换。
ECI:170;完整结果页括号值 173。当前名次 #2/240;模型发布时名次 #1/238。
Chess Puzzles:78%(最佳 79%)。Epoch AI 用程序生成 100 道新棋局题,每题由 Stockfish 判定一个最佳下一步,按模型是否选中该步评分。它主要作为空间推理与规划的轻量代理,不等同于广义游戏能力。
Mystery Game Puzzles:73%(最佳 90%)。100 个谜题要求模型选择最佳下一步,但游戏身份未公开,以降低针对基准准备的风险。此分数仍只反映这组谜题任务。
Earthborne Rangers(EBR-bench):88%(最佳 90%)。该评测考察系统在反复游玩陌生复杂桌游、记录经验后是否能提升。默认设置每个样本含 8 次学习局和 2 次评分局,页面报告两次评分局中较高者;因此单个 topline 分数本身不能说明学习曲线。Epoch AI 还注明近期结果使用 Card ban 设置,旧结果之间可能存在设置差异。
FrontierMath:Tiers 1–3 为 91%(最佳 95%),Tier 4 为 95%(最佳 100%),Erdős 为 3%(最佳 4%)。Tiers 1–3(v2)属于专家撰写和审核的高难度数学题;该版本说明数据集共 338 题,其中 Tiers 1–3 有 295 题、Tier 4 有 43 题,公开题目数量有限,榜单数字通常对应私有题集。Epoch AI 在 2026-06 更新中修订了 42% 题目的错误。模型页没有展开 FrontierMath Erdős 的样本与评分细节。
SimpleQA Verified:78%(最佳 94%)。这是 1,000 道事实问答题,覆盖多个日常知识领域;Epoch AI 页面说明它由 Google 基于此前工作制作,经过相似问题筛除、主题平衡和答案核验改进。它测量该题集上的事实问答,不是对全部知识或事实可靠性的检验。
ECI 与分项成绩属于不同层级。 ECI 汇总 50 多项基准,便于比较通用能力尺度;上表百分比则是具体基准结果。ECI 不能取代任务级成绩,单项成绩也不能代表综合能力。
同类分项呈现出差异。 Carbon 在所列两项游戏分数及 SimpleQA Verified 上领先于页面所列 Argon 和 Opus 5.5;数学表现并非全面领先,Tiers 1–3 与 Tier 4 低于 Astra,Erdős 与 Astra、Opus 相同。
最佳设置值不是统一条件下的额外保证。 页面将括号中的值标为跨设置最佳成绩,但模型页没有为这些结果逐项列出设置、次数和区间。做比较时应优先保持页面分项口径一致,并保留这项信息缺口。
排名是动态快照。 #2/240 是采集时页面显示值;Epoch AI 同时记录发布时 #1/238。新增模型或数据更新会改变排名,不能把当前名次当作固定结论。
评测覆盖有边界。 页面展示的七项成绩仅覆盖特定题集与任务设计,且部分由 Epoch AI 自建、部分由其他机构制作。来源与 harness 不完全相同,跨基准的百分比不宜直接比较。
打开 Epoch AI Gemini 4 Carbon 模型页,记录 ECI 摘要、当前排名、发布时排名、比较表及“Full results”中的括号最佳成绩;再打开对应基准说明页查看样本设计和评分边界。访问日期为 2026-11-16。模型页未提供足以独立重跑全部结果的统一提示、参数、完整日志或模型修订信息。
Gemini 4 Carbon