腾讯把内部 WorkIndex 基准、WorkBuddy 用户盲测和若干产品团队案例分别呈现。官方数据支持 Hy4 Flash 在这几组特定日常工作测试中成本较低、完成较快;它们不是独立复测,也不能代表所有任务。
适合判断的任务:腾讯披露的办公类基准、内部用户盲测,以及其列明的公开 Agent 和多模态基准。
不适合外推的任务:未披露环境或工具链的任务、所有用户和业务场景、长程软件工程整体能力,以及与不同 harness 或定价时段直接比较。
适用的模型版本:Hy4 Flash;对照项按附录原名列出。
测试环境或客户端:内部 WorkIndex 的各项测试使用 WorkBuddy CLI;用户盲测由 85 位 WorkBuddy 内部用户完成。公开基准使用的环境因项目而异,见方法说明。
推理档位和参数:附录称各模型均报告其可用的最高推理设置;具体 API 参数、采样参数、模型 revision 未注明。
腾讯称 WorkIndex 是基于 WorkBuddy 典型任务构建的内部评测集,包含 8 项:PPT 制作、PPT 修改、PPT 人机双写、Markdown 人机双写、文档编辑、表格修复、音视频处理、视觉理解。附录将其对应为 PPTGenBench、PPTCoEditBench、PPTFixBench、MdCoEditBench、WordEditBench、ExcelFixBench、AudioVideoBench 和 BuddyVQA Atlas。
附录表格同时列出 7 个模型的分数及每任务成本(人民币)。原图没有解释分数的具体量表;下表照录,不据此解释为百分比。成本基于各模型官方 API 价格和测试用量计算。
正文将 7 个 Open Benchmarks 列为 DeepSWE、ProgramBench、Terminal-Bench 4.0、APEX-Agents、AutomationBench、HLE、OSWorld 2.1;附录另列 2 个 Multimodal 项。它们与 WorkIndex 是不同集合,不应合并解释成同一办公基准。
正文称邀请 85 位 WorkBuddy 内部用户,在 27 类、共 259 个日常工作任务上进行盲测。结果图公布 4 个模型的用户满意度(4 分制)、端到端时长中位数和单任务成本。页面未披露任务分配、盲测随机化和盲法细节、各模型调用参数、评分者人数、离散程度或显著性检验。
| 模型 | 用户满意度(4 分制) | 端到端时长中位数 | 单任务成本 |
|---|---|---|---|
| DeepSeek-V4.1-Flash-1017 | 3.09 | 10.3 分钟 | ¥1.20 |
| Hy4 Flash | 2.79 | 6.7 分钟 | ¥0.26 |
| Claude Haiku 5.5 | 2.81 | 6.8 分钟 | ¥4.73 |
| GLM-5.3-Flash | 2.53 | 7.6 分钟 | ¥0.81 |
图注称外部模型 DeepSeek、Claude Haiku、GLM 均使用 high 档。Hy4 Flash 的满意度比 Claude Haiku 5.5 低 0.02 分,时长少 0.1 分钟;图中成本为 Claude 的约 1/18、DeepSeek 的约 1/4.6、GLM 的约 1/3.1。该图没有给出误差范围,不能据此判断满意度差异是否显著。
每格格式为“分数 / ¥每任务”;“—”表示原附录未提供数据。
| 基准 | Hy4 Flash | Hy4 | Hy4 preview | DeepSeek-V4.1-Flash-1017 | Qwen3.8-Flash-Next | GLM-5.3-Flash | GPT-6 Luna |
|---|---|---|---|---|---|---|---|
| PPTGenBench | 54.2 / 0.169 | 61.5 / 3.969 | 52.3 / 3.484 | 64.4 / 1.672 | 56.0 / 0.830 | 53.6 / 1.460 | 56.8 / 0.753 |
| PPTCoEditBench | 74.0 / 0.105 | 78.9 / 1.714 | 71.5 / 1.711 | 76.8 / 0.459 | 62.9 / 0.213 | 67.3 / 0.489 | 43.5 / 0.303 |
| PPTFixBench | 23.7 / 0.253 | 45.6 / 15.400 | 23.8 / 4.160 | 45.3 / 1.672 | 23.9 / 0.875 | 28.6 / 2.517 | 8.6 / 1.360 |
| MdCoEditBench | 56.9 / 0.057 | 57.7 / 0.899 | 49.2 / 0.681 | 29.2 / 0.194 | 53.8 / 0.080 | 32.3 / 0.133 | 53.1 / 0.120 |
| WordEditBench | 46.2 / 0.629 | 57.2 / 10.304 | 44.2 / 5.725 | 53.5 / 2.237 | 46.3 / 1.430 | 47.6 / 2.840 | 42.7 / 1.360 |
| ExcelFixBench | 15.6 / 0.310 | 27.8 / 6.120 | 11.7 / 4.110 | 20.0 / 1.518 | 12.8 / 1.155 | 9.9 / 2.879 | 6.7 / 0.800 |
| AudioVideoBench | 17.8 / 0.344 | 27.4 / 7.290 | 16.3 / 6.030 | 22.2 / 5.330 | 17.8 / 1.290 | 11.9 / 3.370 | 10.0 / 2.304 |
| BuddyVQA Atlas(without tools) | 48.5 / 0.007 | 55.5 / 0.180 | — | 43.7 / 0.059 | 54.5 / 0.012 | 50.1 / 0.019 | 51.6 / 0.016 |
| 基准 | Hy4 Flash | Hy4 | Hy4 preview | DeepSeek-V4.1-Flash-1017 | Qwen3.8-Flash-Next | GLM-5.3-Flash | GPT-6 Luna |
|---|---|---|---|---|---|---|---|
| DeepSWE v1.1 | 64.6 / 0.290 | 74.9 / 5.409 | 64.3 / 8.951 | 73.8 / 1.304 | 65.1 / 3.251 | 67.8 / 3.230 | 67.1 / 1.535 |
| ProgramBench(almost solved) | 16.0 / 0.561 | 30.0 / 30.281 | 17.5 / 107.063 | 29.0 / 9.214 | 22.0 / 18.432 | 13.0 / 17.959 | 6.0 / 1.024 |
| Terminal-Bench 4.0 | 19.2 / 0.558 | 44.4 / 12.014 | 26.3 / 18.015 | 40.0 / 3.882 | 29.5 / 5.100 | 35.4 / 5.597 | 13.3 / 2.199 |
| APEX-Agents v1.1(pass@1) | 63.1 / 0.087 | 75.2 / 3.104 | 53.9 / 2.123 | 72.9 / 1.465 | 57.6 / 0.349 | 51.5 / 0.485 | 44.7 / 0.188 |
| AutomationBench v1.0.6 | 52.2 / 0.038 | 56.2 / 0.908 | 36.3 / 0.424 | 54.3 / 0.620 | 49.3 / 0.075 | 48.4 / 0.104 | 38.1 / 0.137 |
| HLE-Full(with tools) | 55.2 / 0.060 | 59.1 / 2.300 | — | 57.1 / 0.657 | 54.1 / 0.275 | 52.2 / 0.616 | 49.7 / 0.142 |
| OSWorld 2.1(Full, partial score) | 68.1 / 0.451 | 78.9 / 5.992 | — | 68.4 / 2.073 | 58.8 / 2.644 | 64.0 / 3.803 | 55.7 / 4.960 |
| Multimodal:MMMU-Pro | 75.8 / 0.010 | 78.6 / 0.197 | — | 76.7 / 0.076 | 77.2 / 0.015 | 77.0 / 0.013 | 77.5 / 0.017 |
| Multimodal:ZeroBench-main(with tools, pass@5) | 45.8 / 0.077 | 55.4 / 1.389 | — | 16.5 / 0.095 | 41.7 / 0.159 | 35.3 / 1.861 | 33.6 / 0.327 |
统一设置:各模型取其可用的最高推理设置。内部 Buddy Index 全部使用 WorkBuddy CLI。
DeepSWE v1.1:mini-SWE-agent;每项任务在 8 CPU 核、16 GB 内存沙箱运行。
ProgramBench:以 mini-SWE-agent 报告 Almost Solved 分数。
Terminal-Bench 4.0:Claude Code harness;每次试验最多 500 轮、13 小时;16 CPU、32 GB RAM;3 个依赖 GPU 的任务各配 1 张 H100。
APEX-Agents v1.1:官方参考 Agent harness(Loop),每次最多 250 步;官方双服务 main + world 环境限制为 8 CPU、24 GB RAM,单独 verifier 容器限制为 2 CPU、8 GB RAM。
AutomationBench v1.0.6:Zapier 发布的 600 个公开任务,按官方方法评测。
PPTGenBench:文本生成 PPT;结合总体审美评估和关键错误惩罚,使用 LibreOffice 将 PPT 渲染为 PDF。
PPTCoEditBench:100 项真实 PPT 编辑任务,检查按要求修改且没有重叠形状、悬挂动画等附带损坏;包含在 WorkBuddy 编辑器内选择内容的任务。当前为单轮,多轮仍在开发。
PPTFixBench:50 项任务;每项提供含 25 个以上格式或内容问题的 PPT 文件,要求模型自行识别并修复。
MdCoEditBench:65 项 Markdown 协同编辑任务,覆盖结构调整、局部编辑、续写、选区意图理解、用户编辑感知、反馈泛化、编辑冲突和版本回滚;在 WorkBuddy 编辑器中评测。
WordEditBench:100 项真实 Word(.docx)编辑任务,包含错误修复、跨文档格式、定向编辑、论文格式四类;按文档 XML 的规则检查器计分,奖励所需改动并惩罚无关改动。
ExcelFixBench:60 项真实表格修复任务,检查公式、数据和格式问题修复及无关内容保留;在沙箱编辑,每项按任务 rubric 评分,平均 3 次试验。
AudioVideoBench:容器化端到端音视频制作任务,涵盖剪辑、合成、修复、重构画幅、混音、转写和内容理解。
BuddyVQA Atlas:图像问答,涵盖识别、计数、比较、OCR、空间方向和定位,重点是小字、细线、局部目标等整图直接回答容易失败的情况。
ZeroBench-main:网络隔离的 Jupyter 环境,以图像输出作为工具接口;每轮最多 80 次工具调用;每题独立运行 10 次估算 pass@5。
视觉基准补充说明:原附录注明,对需要视觉能力的基准,在绘图时用 Hy4 Flash 结果代表 Hy4 preview。
附录称按各模型官方 API 价格计算成本,并以固定汇率 1 USD = 7.2 CNY 换算。对有折扣或分时价格的模型,使用固定价格(每百万 Token,输入缓存未命中 / 输入缓存命中 / 输出):DeepSeek-V4.1-Flash-1017 为 ¥2 / ¥0.04 / ¥8(峰时价格);GLM-5.3-Flash 为 ¥0.8 / ¥0.23 / ¥2.8(标准 API 价格)。Hy4 Flash 发布页另列 API 价格:输入缓存命中 ¥0.02、输入 ¥0.5、输出 ¥2 / 百万 Token;Hy4 对应 ¥0.3、¥6、¥18。
成本不是独立运行的计费审计;公开材料未给出各模型完整输入/输出 Token 数、各基准任务权重及所有模型价格快照,因此不能仅凭成本表完全重算结果。
正文称 WorkIndex 单任务成本约为 Hy4 preview 的 1/13、Hy4 的 1/20、DeepSeek-V4.1-Flash-1017(max 档、忙时价格)的 1/8。成本图标注 Hy4 Flash 约 ¥0.2/任务、Hy4 preview 约 ¥3.2/任务、Hy4 约 ¥5.7/任务,并标示前者分别便宜 13.8× 和 24.5×。正文比例与图中倍数并不完全一致;页面没有给出汇总权重或未四舍五入数值,故保留两处原始表述,不自行合并或推导单一比例。
正文另有 WorkBuddy 对 Hy4 的产品侧评测:平均任务时长减少 70%、平均成本约为 Hy4 的 1/15、日常任务效果基本持平,Coding 长程任务略有下降。页面没有说明它与 WorkIndex 或 259 项盲测之间的任务重合、样本量和计算方法,不能视为同一实验。
盲测表明,在腾讯披露的 259 项内部日常任务中,Hy4 Flash 的中位完成时间和单任务成本最低;满意度为 2.79/4,接近 Claude Haiku 5.5 的 2.81/4。未公开方差和盲法细节,不能判断小幅满意度差距的统计意义。
附录的分项结果并非全面领先:Hy4 Flash 在多个 WorkIndex 项目和公开基准中低于 Hy4 或其他模型,说明“性价比”主张不能转述为总体能力领先。
WorkIndex 是腾讯内部集合,WorkBuddy 盲测是另一组真实使用任务,产品团队案例又是各业务自有场景;三者不可混称为同一评测。
表中各公开基准的 harness、资源限制和计分方法不同,成本还受价格口径影响。跨基准横向对照仅代表腾讯公布的这一快照,不等于统一条件下的第三方复测。
此文是厂商原始披露的记录,未独立复现。任务集、原始输出、完整评分 rubric、各任务 token 用量和复测脚本均未在该页公开。
可按原页所列基准名称、harness、资源限制和最高推理设置设计复测,但仅凭该页无法精确复现:WorkIndex 任务集及完整评分规则未公开;盲测任务分布和随机化细节未公开;多数模型的具体 API 版本与请求参数未注明;成本计算所需的任务级 Token 用量和全部价格快照未公开。复测应把上述差异作为独立记录,不直接拿新结果替换原图。
Hy4 Flash