截至 2026-11-16,Mercor 的 APEX-Agents 榜单列出 Hy4 High:Pass@1 为 77.6% ±4.5%,Mean Score 为 85.1% ±3.6%。这是 Hy4 在 APEX-Agents 1.1 专业多步骤 Agent 任务上的榜单快照,不代表通用模型能力;榜单未披露 Hy4 运行成本。
适合判断的任务:跨应用完成投资银行分析、管理咨询和公司法务工作流的 Agent 能力。
不适合外推的任务:单轮问答、纯模型能力、其他工具环境下的成功率,以及通用 API 使用成本。
适用的模型版本:榜单仅标为 Hy4、推理档位 High;未注明具体服务端构建或权重版本。
测试环境或客户端:Mercor APEX-Agents 1.1 与 Archipelago 执行环境;参考 Agent 是基于 LiteLLM 的 MCP 工具调用循环。榜单未说明 Hy4 的具体服务提供方。
推理档位和参数:High;Hy4 的采样参数和额外推理设置未注明。
APEX-Agents 测试模型驱动的 Agent 能否在多应用环境中完成长时程任务。三个工作领域分别为投资银行分析、管理咨询和公司法务。榜单页称当前基准包含 31 个 world、240 个任务与评分规程;APEX-Agents 1.1 更新说明称每个领域选取并审查了 80 个任务。
每项任务由领域专家设计,包含项目文件、工具和应用环境。输出按专家编写的 rubric 评分,并由语言模型裁判评估。2026-09-08 发布的 1.1 版更新说明介绍了处理含糊任务和“撒网式”多答案作答的任务审查、裁判更新及系统提示调整。更新说明称裁判使用 DeepSeek-v4-Flash-0731(temperature 0.1)作为基线,并用 1,407 条 rubric 标注优化提示词。该配置用于基准裁判。
官方参考 Agent 的 GitHub 说明:工具输出截断至 200 行或 32K 字符,每次运行默认最多 100 步、超时 10,800 秒,并称与榜单运行设置一致。复现可使用 Harbor 和公开数据;完整任务集仍有未公开部分。
指标口径:
Pass@1:单次运行中 rubric 全部通过的任务占比。
Mean Score:所有任务中通过 rubric 标准的平均比例;榜单主要排序指标。
Pass@1:Hy4 High 77.6% ±4.5%。
Mean Score:Hy4 High 85.1% ±3.6%。
榜单页面没有说明上述 ± 区间的统计定义;本文保留页面原值,不将其解释为置信区间。
榜单没有披露 Hy4 的 token 用量、单任务或成功任务成本、API 价格,无法据此比较性价比。
榜单提供的投资银行分析示例任务要求制作 LBO 敏感性表,找出增长率、获客成本、研发成本、债务成本及 EBITDA 倍数变化到 IRR 低于 20% 的临界点。示例页展示的是 Gemini 4 Carbon 样例,不是 Hy4 的逐题结果。
| 榜单快照 | 榜单名称 | 模型与档位 | Pass@1 | Mean Score | 成本 |
|---|---|---|---|---|---|
| 2026-11-16 采集 | APEX-Agents | Hy4 High | 77.6% ±4.5% | 85.1% ±3.6% | 未披露 |
榜单为动态页面,未显示该行的独立更新时间;日期表示本文采集时页面所示数值,不表示 Mercor 声明的评测完成日。
该结果适合比较 Hy4 在 Mercor 专业任务 Agent 基准中的表现。分数来自 Agent 与工具、文件及应用环境的协同运行,不是脱离执行框架的模型单测。公开方法可说明任务领域、评分方式和部分运行设置,但完整任务集、Hy4 逐题轨迹、服务端版本、详细采样参数和运行成本均未在所见材料中披露。不能把榜单分数外推为所有真实工作场景的完成率,也不能与使用不同任务集或 Agent harness 的结果直接比较。
本记录于 2026-11-16 在 Tabbit 查看 Mercor APEX-Agents 榜单,分别切换 Pass@1 与 Mean Score,记录 Hy4 High 行。方法细节参照 APEX-Agents 1.1 更新说明、官方参考 Agent 与运行说明、Hugging Face 数据集 和 投资银行分析样例页。APEX-Agents 研究论文发表于 2026-01,早于 1.1 更新,本文不以论文初版样本和分数替代当前榜单口径。
Hy4