Box CEO Aaron Levie 称,Box AI Complex Work 内部评估中,Gemini 4 Argon 比 Gemini 3.1 Pro 高 14 个百分点;原帖附图将完整数据集准确率标为 71% 与 85%,并给出五个行业子集结果。该结果来自 Box 自有评估,公开材料没有披露样本量和完整评分、调用配置,不能视为独立或可直接复现的通用基准。
适合判断的任务:了解 Box 对其企业内容复杂任务评估的第一方比较结果,以及帖中展示的文档分析个例。
不适合外推的任务:推断模型在 Box 以外的 Agent、文档集、提示词或行业任务上的准确率;据此作医疗、财务或其他专业决策。
适用的模型版本:Gemini 4 Argon 与 Gemini 3.1 Pro;具体 API ID、快照和推理档位未注明。
测试环境或客户端:Box AI Complex Work eval;Box Agent(帖子明确写明 Argon 通过 Box Agent 评估)。图表脚注将数据集标作 Box AI V18 evaluation set,hard reasoning tasks on enterprise content。
推理档位和参数:未注明。
Levie 表示 Box 在发布前一周以 Box AI Complex Work eval 测试 Gemini 4 Argon。任务由涉及多行业企业文档的复杂工作组成,目标是近似知识工作者日常处理企业内容时面对的耗时任务。帖子将 Argon 与 Gemini 3.1 Pro 对照,并称总体结果“在所有测试中跃升 14 个百分点”。
原帖附图展示两组准确率:完整数据集(Full Dataset)与行业子集(Industry Subset)。图下注明这是 Box AI V18 评估集上的企业内容困难推理任务。正文另列五个示例性胜出任务,分别标出 +18、+25、+37、+16、+33 分;帖子没有说明这些示例分数与图表准确率的具体计算关系,因此两组数据分开记录。
帖子列出的五个示例性任务结果:
| 行业与作者标注的分差 | 任务与帖子报告的差异 |
|---|---|
| 金融服务(+18 分) | 家族企业资金缺口分析要求逐项展开预计报表、贷款利息和年度透支。作者称 Argon 按要求逐行构建并计算到资金缺口;Gemini 3.1 Pro 将利息合并成单一数字。 |
| 医疗保健(+25 分) | 重症监护管理计划中,两款模型都识别了危险钾水平和药物相互作用;作者称只有 Argon 回头从最终方案中移除了相关药物,使方案与诊断一致。此处只记录评估者对输出一致性的描述,不构成临床建议。 |
| 技术(+37 分) | 产品性能审查需判断两个区域市场中应优先优化哪处云基础设施。作者称 Argon 取对两区当月用户、留存率和每用户数据并选中北美;Gemini 3.1 Pro 常取错行,曾报告超过 100% 的留存率并指向错误区域。 |
| 能源(+16 分) | 两个设施的能耗报告需找出仪表数据缺口。作者称 Argon 持续发现数据中心智能仪表日志在 11 月停止;Gemini 3.1 Pro 常漏掉该问题,有时判断日志完整。 |
| 消费品(+33 分) | 产品发布评估需决定资助哪项产能扩张。作者称 Argon 发现现有库存可弥补早期产能缺口,因此较小扩张足以支持更早发布和更快盈亏平衡;Gemini 3.1 Pro 倾向更大的扩张和更晚的时间表。 |
下表抄录原帖附图上的准确率柱状图。每项按 Gemini 3.1 Pro → Gemini 4 Argon 排列;图中未提供样本数、置信区间或各任务原始分数。
| 附图分组 | Gemini 3.1 Pro | Gemini 4 Argon |
|---|---|---|
| Full Dataset | 71% | 85% |
| Public Sector(Industry Subset) | 76% | 94% |
| Life Sciences(Industry Subset) | 61% | 88% |
| Healthcare(Industry Subset) | 57% | 87% |
| Legal(Industry Subset) | 64% | 75% |
| Media & Entertainment(Industry Subset) | 65% | 79% |
图表显示完整数据集相差 14 个百分点,与正文的总体表述一致。五个子集是图中展示的类别;正文五个任务示例是另一组项目,类别名称和分差不可互换。
这是 Box 高管对 Box 内部评估的第一方自述,不是独立第三方测评。附图补充了总体及五个行业子集的准确率,但没有公开数据集规模、任务抽样、评分者、评分规则或误差范围。
帖子没有披露 Gemini 3.1 Pro 的调用路径、两款模型的完整 Agent 配置是否相同、提示词、模型快照、推理档位、温度、工具调用、重复次数、成本或延迟。除 Box Agent 使用 Argon 这一点外,不应补推其他配置。
五个正文例子用于说明作者观察到的差异;每个例子的 +N 分不是图中完整数据集或行业子集准确率,也没有配套原始输出供独立复核。
结果适用于 Box 所述的特定内部评估版本和企业文档任务范围,不能据此推断通用知识、所有企业工作流或其他产品中的模型表现。专业领域案例只作评测结果记录,不应作为医疗或财务建议。
可复核内容限于 Aaron Levie 的原帖正文、2026-10-13 UTC 时间戳和原帖所附图表。重现评估还需 Box AI V18 任务集、数据、评分标准、完整 Agent 配置、两模型调用参数及重复运行记录;这些材料未在该帖中公开。
Gemini 4 Argon