Arena 于 11 月 6 日称,Hy4 在其真实用户 Agent 会话评测中以超过 12K 个会话取得 +5.4% 净提升,每任务中位成本为 $0.57。该数据反映 Agent Arena 所覆盖的真实任务和运行环境,不等于通用能力分或所有任务的成功率。
适合判断的任务:比较模型作为 Agent 主控模型时,在 Arena Agent Mode 真实工作会话中的综合表现、用户反馈信号、工具可靠性及实际成本。
不适合外推的任务:单轮问答、纯模型能力、指定软件环境、未使用 Arena Agent Mode 的任务,以及所有用户任务的成功率或完成成本。
适用的模型版本:Arena 帖文仅标为 Hy4,未披露具体权重或服务端构建版本;同帖称当时为专有模型。
测试环境或客户端:Arena.ai Agent Mode;模型作为 orchestrator(主控模型)使用,处于 Arena 的 Agent 工具与运行环境中。
推理档位和参数:未注明。榜单版本名为 Hy4;未注明推理档位、采样参数或配套 harness 版本。
Agent Arena 从用户在 Arena.ai Agent Mode 中实际完成的工作会话采集数据,包括软件开发、文件分析、网络研究和多步骤任务。榜单使用因果追踪(causal tracing),将 Agent 视为多组件系统,通过随机化组件选项形成多干预随机对照评估,估算某组件选择对任务结果的因果影响;当前榜单仅评估 orchestrator 模型。
综合榜单将五类信号合并:用户明确确认成功、用户赞扬与投诉、对用户更正的响应能力、Bash 错误恢复、工具幻觉。Arena 使用自归一化加权估计器,并对较新的数据赋予更高权重,以应对数据分布随时间变化。成本不是上述综合分的组成信号;Arena 另行计算真实运行成本用于性价比比较。
2026-11-06 X 帖披露:Hy4 被 Arena 称为 Agent Arena 中排名第一的中文模型、前五名中唯一的中国实验室模型。样本为全球用户超过 12K 个真实世界长时程 Agent 会话;净提升为 +5.4%;每任务中位成本为 $0.57,并称位于 Pareto 前沿。
原帖没有给出该次 +5.4% 的置信区间,也没有提供精确会话数、各信号分数或原始会话数据。12K+ 是下限式披露,不是精确分母。
动态榜单后续快照:榜单页面标注数据日期为 2026-11-13,总计 2,979,271 个会话、65 个模型。Hy4 排第 19,净提升 5.67% ±1.25%,会话数 23,160,每任务中位成本 $0.57。这是后续日期的动态榜单结果,不应替换为 11 月 6 日帖子当时的 +5.4%。
较早的同系列基线快照:Arena 11 月 4 日称 Hy4 正式版在超过 8.5K 个真实会话中净提升 +4.7%,成本 $0.55/任务;排名第 14,总体分数较 Hy4 preview 的 +1.1% 提高 3.6 个百分点。该帖还报告正式版与 preview 在确认成功、赞扬/投诉、可控性和 Bash 可靠性等指标上的差异。此数据是较早的榜单状态,只作同源纵向参考。
| 日期与来源 | 榜单位置 | 净提升 | 会话样本 | 每任务中位成本 | 不确定性 |
|---|---|---|---|---|---|
| 2026-11-04 Arena 帖 | 总体第 14 | +4.7% | 8.5K+ | $0.55 | 帖文未给出区间 |
| 2026-11-06 Arena 帖 | 中文模型第 1;前五中唯一中国实验室模型 | +5.4% | 12K+ | $0.57 | 帖文未给出区间 |
| 2026-11-13 榜单快照 | 总体第 19 | 5.67% ±1.25% | 23,160 | $0.57 | 榜单列出的 95% 置信区间 |
方法说明表示,榜单估计值旁的 95% 置信区间按“估计值 ± 1.96 × 标准误”计算。动态榜单分数会随新增数据及时间权重更新,因此分数和名次应连同快照日期一起引用。原帖的“排名第一的中文模型”不表示总体排名第一。
这是由模型厂商以外的 Arena 发布、基于其自有真实用户平台数据的评测。相较固定题库,它更接近 Arena Agent Mode 中的实际多步骤工作;但会话分布、工具环境和用户群体由 Arena 平台决定。公开材料没有给出 Hy4 的精确权重版本、完整采样方案、任务级原始数据或失败/重试成本拆分,无法独立复算 +5.4% 或确认 $0.57 是否等同于每个成功完成任务的成本。与其他榜单或厂商内部评测直接比较时,应先核对模型版本、Agent harness、样本和统计口径。
在 Tabbit 中展开并核对 Arena 2026-11-06 X 原帖及其引用的 11 月 4 日结果帖。按 Agent Arena 方法说明 核对因果追踪、综合信号、成本计算和置信区间定义,并记录 Agent Arena 榜单 标注的 2026-11-13 快照。Arena 未公开底层会话记录和复算材料。
Hy4