Plotly 报告 Hy4 在其数据分析测评中答对 42/43 题(98%),按总分与 Grok 4.7、Kimi K3.1 Pro 并列;只有 GPT-6.1 Sol 和 GPT-6 Astra 的 43/43 更高。Hy4 完成整套测评花费 $2.11,是该榜单中所有至少答对 42 题的模型里成本最低者,但每题中位耗时 117 秒,测评总时长接近三小时。
适合判断的任务:在多轮工具调用的分析 Agent 中查询合成风电场数据、制图、处理歧义与异常、审计数据质量和发现隐藏模式。
不适合外推的任务:真实企业数据上的成功率、非数据分析任务、不同 Agent 或工具环境的表现,以及稳定性。测试只公布每个模型的一次结果,其他模型重复运行时总分曾有最多 3 分波动。
适用的模型版本:腾讯混元 Hy4 正式版;OpenRouter 上的服务构建未注明。
测试环境或客户端:Plotly Studio Embedded,运行在 Dash 应用上的分析 Agent;使用多轮工具调用,侧重查询和制图,较少考查长文本写作。
推理档位和参数:通过 OpenRouter 默认设置运行;具体采样参数未注明。
Plotly 使用同一套 43 题测评和相同评分方式测试各模型。题目分为六类:分析问题 20 题、含糊问题 5 题、不可能完成的请求 5 题、数据质量检查 3 题、统计陷阱 5 题、隐藏模式 5 题。每题按是否通过计分;文章未公开逐题评分细则。
测试数据是虚构的风电场运营数据仓库,旨在模拟真实运营商数据,避免答案在其他地方出现。题库保持私有以减少答案进入训练数据的风险;Plotly 表示研究者可联系其申请访问。每个模型只运行一次。文章称其他模型的重复运行总分最多相差 3 分,因此 1 分差距应视作平局。
分数与名次:Hy4 得 42/43,98%。据文章列出的分数,GPT-6.1 Sol 与 GPT-6 Astra 得 43/43,Hy4、Grok 4.7 与 Kimi K3.1 Pro 得 42/43;因此 Hy4 按总分为并列第 3,文章没有公布带并列规则的正式名次表。榜单共 37 个模型。
分项:分析问题 20/20、含糊问题 5/5、不可能请求 5/5、数据质量 3/3、统计陷阱 5/5、隐藏模式 4/5。失分题涉及判断某类组件故障是否异常增多;Hy4 找到了显著问题,却没有检查藏有模式的数据部分,并排除了尚未核验的原因。
整套测评成本:Hy4 $2.11;GPT-6.1 Sol $2.61;Grok 4.7 $7.85;Kimi K3.1 Pro $13.47。Hy4 是 37 个模型中至少得 42 分者的最低成本模型。其成本准确率位置位于 Particle-1 与 GPT-6.1 Sol 之间;Plotly 称没有其他已测模型同时比 Hy4 更便宜且更准确。
速度与工具使用:Hy4 每题中位耗时 117 秒,整套测评接近 3 小时;GPT-6.1 Sol 为 18 秒,Grok 4.7 为 38 秒。Hy4 平均每题运行约 24 次查询和制图;隐藏模式题约 64 次,而全体模型中位数为 26 次。有一条笛卡尔积查询运行近一小时;测试执行器没有查询超时限制。
令牌与价格:整套测评约输入 2,270 万个令牌,其中 91% 使用缓存;Hy4 输入、输出和缓存输入单价分别为每百万令牌 $0.42、$1.25 和 $0.021。文章估算每人每年 $123,假设 1,000 人各每天问 10 题、每年工作 250 天,并使用模型运行时 OpenRouter 价格。
| 指标 | Hy4 | 对照或口径 |
|---|---|---|
| 总分 | 42/43(98%) | GPT-6.1 Sol、GPT-6 Astra:43/43;Grok 4.7、Kimi K3.1 Pro:42/43 |
| 分析问题 | 20/20 | 共 20 题 |
| 含糊问题 | 5/5 | 共 5 题 |
| 不可能请求 | 5/5 | 共 5 题 |
| 数据质量检查 | 3/3 | 共 3 题 |
| 统计陷阱 | 5/5 | 共 5 题 |
| 隐藏模式 | 4/5 | 共 5 题 |
| 完整测评成本 | $2.11 | GPT-6.1 Sol $2.61;Grok 4.7 $7.85;Kimi K3.1 Pro $13.47 |
| 每题中位耗时 | 117 秒 | GPT-6.1 Sol 18 秒;Grok 4.7 38 秒 |
| 输入令牌 | 约 2,270 万 | 91% 为缓存输入 |
该结果支持的结论限于 Plotly Studio Embedded 的数据分析工具调用流程和这套合成风电数据题库。评测由 Plotly 发布,且使用 Plotly 自有产品作为测试环境;原文未披露与腾讯存在赞助或合作关系。自有产品环境可能影响工具适配,不能直接等同于独立第三方 Agent 的结果。题库私有、没有公开逐题记录,外部无法完整复算;单次运行也不足以估计 Hy4 自身的分数波动。分数排名、成本与速度均只代表该文章所述测试和当时的 OpenRouter 价格。
可依文章所述在 Plotly Studio Embedded 中使用 OpenRouter 默认设置运行 Hy4,并记录查询、图表、逐题结果、令牌和耗时;但完整复现依赖 Plotly 提供私有题库及评分细则。本文未重跑测评,记录的是 Plotly 于 2026-11-04 发布的单次结果。
Hy4