Vals AI 的 2026-11-15 榜单将腾讯 Hy4(11 月 4 日发布的正式版)列为 59.35%,总榜 17/38。它在编码、金融、财务建模和税务基准之间表现不均;这是 GDP 加权的特定任务集合结果,不代表一般用途的综合能力。
适合判断的任务:对照 Vals Index v2.2 中金融、编码、法律和税务工作任务,了解 Hy4 的相对表现、成本与耗时。
不适合外推的任务:预测中文日常使用、未覆盖行业、特定产品配置或所有真实工作流的成功率;也不能与其他评测框架的总分直接横比。
适用的模型版本:腾讯 Hy4 正式版;Vals 模型页列为 2026-11-04 发布、开放权重。结果不是 Hy4 Preview。
测试环境或客户端:Vals AI 的 Vals Index v2.2 agent 评测。Hy4 模型页说明默认供应方为腾讯;发布说明称该次评测通过 OpenRouter 调用,成本按腾讯标价计算。不同子基准可能使用不同供应方和参数。
推理档位和参数:模型页列出 temperature 0.9、top_p 1、top_k 默认、最大输出 65,536 tokens;未给出 Hy4 推理档位。页面提示部分子基准可能采用不同参数。
Vals Index 于 2026-11-15 更新,版本为 v2.2。它先分别计算四个行业分数,再按其占美国 GDP 的比例加权:
金融 = 平均值(Finance Agent v2.1,EMB v1.1)
编码 = 平均值(Terminal-Bench 4.0,Vibe Code Bench v1.1,Code Migration v1.1)
法律 = 平均值(Legal Research Bench,HLAB-Vals-1.1)
税务 = Tax Agent Bench
Vals Index = (8.0 × 金融 + 5.6 × 编码 + 1.2 × 法律 + 0.5 × 税务) / 15.3权重分别对应金融与保险约 8.0%、信息行业约 5.6%、法律服务约 1.2%、会计和报税服务约 0.5% 的美国 GDP 占比。这是 Vals 选择的经济影响代理指标,不是 AI 可替代 GDP 的估计。
Vals 说明,各分项直接沿用对应基准的独立公布分数及原评分方法。例外是 Code Migration v1.1:Index 用 50 项 CLI 迁移任务和全部 10 项 COBOL 任务组成固定子集,按 75%/25% 加权。Vals 称该子集对完整 v1.1 结果的 Spearman 相关系数为 0.99、平均绝对误差为 1.4 个百分点,模型名次变动不超过两位。各子基准的评分方式并不相同;有些使用自动验证或金标准,有些采用固定 LLM 评审,因此 Index 不是单一、完全不依赖评审模型的评分器。
公开方法页给出的测试样本量如下。这里的样本数是基准任务量,不是榜单模型数;Vals Index 页面没有披露 EMB、Vibe Code Bench v1.1 的确切测试题量。Code Migration 数量是 Index 子集,不是完整基准数量。
| 分项 | 公开测试样本量或运行方式 |
|---|---|
| Finance Agent v2.1 | 测试集 449 题 |
| EMB v1.1 | 测试集 51 题;每题有 Template 与 Scratch 两种模式 |
| Terminal-Bench 4.0 | 66 项任务;每个模型运行 3 次,报告三次均值 |
| Vibe Code Bench v1.1 | 页面未注明精确测试集题量;说明评测覆盖数百个应用规格 |
| Code Migration v1.1 | Index 固定子集:50 项 CLI 迁移 + 10 项 COBOL 迁移;完整版本另含 120 项 CLI 迁移 |
| Legal Research Bench | 测试集 208 题 |
| HLAB-Vals-1.1 | 120 项任务 |
| Tax Agent Bench | 测试集 193 题 |
总榜:59.35%(±1.08 个百分点),17/38;单次 Index 测试成本 $1.72,耗时 51 分 31 秒,使用 17.49M tokens。
金融:Vals Finance Index 58.05%(±1.50),17/41。Finance Agent v2.1 为 64.70%(±2.05),15/41;EMB v1.1 为 66.18%(±2.64),33/43。
编码:Terminal-Bench 4.0 为 39.39%(±0.88),19/65;Vibe Code Bench v1.1 为 81.01%(±3.55),34/129。Hy4 模型页未单列其 Code Migration 分数。
法律:Vals Legal Index 为 70.55%(±1.81),18/39;Legal Research Bench 为 41.35%(±3.42),35/95;HLAB-Vals-1.1 为 12.50%(±2.66),19/39。
税务:Tax Agent Bench 为 34.40%(±3.30),20/86。
运行规格:模型页列输入/输出价格为每百万 tokens $0.83/$2.50、上下文窗口 1M、最大输出 66K;榜单成本按腾讯标价。模型页的总体超时回退率为 0%、拒答率为 0.14%。
分项“名次/总模型数”是各基准榜单中模型的相对位置,不是任务样本量。误差项为页面标注的 ±1 标准误;不同基准的误差计算口径不应混为一谈。
| 指标 | Hy4 结果 | 当前页面口径 |
|---|---|---|
| Vals Index v2.2 | 59.35% ±1.08;17/38 | 2026-11-15 榜单快照 |
| Finance Agent v2.1 | 64.70% ±2.05;15/41 | 模型页分项 |
| EMB v1.1 | 66.18% ±2.64;33/43 | 模型页分项 |
| Terminal-Bench 4.0 | 39.39% ±0.88;19/65 | 模型页分项 |
| Vibe Code Bench v1.1 | 81.01% ±3.55;34/129 | 模型页分项 |
| Legal Research Bench | 41.35% ±3.42;35/95 | 模型页分项 |
| HLAB-Vals-1.1 | 12.50% ±2.66;19/39 | 模型页分项 |
| Tax Agent Bench | 34.40% ±3.30;20/86 | 模型页分项 |
| 单次 Index 测试 | $1.72;51 分 31 秒;17.49M tokens | 2026-11-15 榜单快照;成本按腾讯标价 |
Vals Index 的更新记录还保留了 11 月 4 日首发时的旧榜单名次。本文使用 11 月 15 日动态榜单和当前 Hy4 模型页的排名,不混用旧更新中的 13/33 等历史名次。
该结果显示 Hy4 在 Vals Index 选定的任务集上得到中游总分,编码子项内部差异明显,法律分项也不能只看法律行业加权指数。四个行业的权重、任务覆盖和各子基准评分机制都会影响总分;GDP 权重只是 Vals 采用的代理口径。
固定规则让同一子基准下的模型结果可以按该基准方法比较,但这不等于各项评分都由确定性程序产生:EMB Scratch、Legal Research、HLAB 和 Tax Agent 的方法页披露了 LLM 评审参与。测试集也多为封闭集,公开榜单未提供 Hy4 的逐题输出。应把总分、分项、误差、成本和测试条件一起读,不能将单项高分或总名次解释为面向任意用户任务的保证。
在 Tabbit 打开 Vals Index,记录 2026-11-15、v2.2 榜单中 Hy4 一行;从该行打开 Hy4 模型页,核对发布时间、分项分数、误差、名次、成本和推理参数。方法、任务数和样本划分按 Vals Index 及其链接的官方子基准说明记录。动态榜单可能更新;Vals 未公开全部测试集与逐题运行记录,本记录不声称独立重跑或逐题复算。
Hy4