Plotly 在其 DataAnalyticsBench 中报告,Tencent Hy4 Flash 单次通过 43 题中的 39 题(91%,A),整轮花费 $0.13,中位每题用时 29 秒;这是该基准的一次单样本结果,题目和数据集未公开。
适合判断的任务:在 Plotly Studio Embedded 及其 Dash 数据分析环境中,比较模型对分析问答、歧义处理、拒绝不可能请求、数据质量问题、统计陷阱和隐藏模式的表现。
不适合外推的任务:通用问答、真实企业数据、非 Plotly 工具链、不同提示词或重复运行的平均表现;该结果也不能代表所有数据分析任务。
适用的模型版本:文章所称 Tencent Hy4 flash,2026-11-16 发布;未注明更细的模型快照或 API 版本号。
测试环境或客户端:Plotly Studio Embedded(运行在 Dash 应用上的数据分析 Agent),通过 OpenRouter 调用。
推理档位和参数:未注明推理档位、温度等采样参数。
Plotly 称新模型使用同一套考试、harness 和评分规则。测试由多轮工具调用执行,面向数据分析查询与图表生成,较少强调文本写作。考试共 43 题:常规分析 20 题、歧义问题 5 题、不可能请求 5 题、数据质量问题 3 题、统计陷阱 5 题、隐藏模式 5 题。
考试和答案密钥为私有内容;数据集是模拟的风电机组运营数据,用来避免答案出现在真实数据源中。每个模型只运行一次。Plotly 提到其对其他模型的重复测试中,单次成绩最多相差 3 分,因此 1–2 分差距应视为接近持平。
Hy4 Flash:39/43(91%,A),单次运行 $0.13,中位每题 29 秒;全卷约 33 分钟。
分项得分:常规分析 20/20、歧义问题 5/5、不可能请求 5/5、数据质量 3/3、统计陷阱 4/5、隐藏模式 2/5。
主要失分:3 道隐藏模式题和 1 道统计陷阱题。Plotly 逐题核对了转录和答案密钥,并称这 4 题均为真实失分。
运行开销:平均每题约 8 次模型调用、约 4,800 个输出 token;88% 的输入 token 来自服务商缓存;本轮没有模型错误。
Plotly 的同表比较:Hy4 为 42/43、$2.11、117 秒/题;GPT-6 Luna 为 38/43、$0.13、18 秒/题;Particle-1 为 40/43、$0.35、16 秒/题。不同模型之间的分数差距须结合单样本限制解读。
| 项目 | Plotly 报告值 |
|---|---|
| 总分 | 39/43(91%,A) |
| 常规分析 | 20/20 |
| 歧义问题 | 5/5 |
| 不可能请求 | 5/5 |
| 数据质量 | 3/3 |
| 统计陷阱 | 4/5 |
| 隐藏模式 | 2/5 |
| 单次全卷成本 | $0.13 |
| 中位每题用时 | 29 秒 |
| 全卷用时 | 约 33 分钟 |
| 每题平均模型调用 | 约 8 次 |
| 每题输出 token | 约 4,800 |
| 输入 token 缓存占比 | 88% |
文章列出的 OpenRouter 单价约为每百万输入 token $0.044、每百万输出 token $0.18。整轮 $0.13 是本次测试的运行成本,不应与按 token 单价或其他模型的不同测试配置直接等同。文章还按“1,000 人、每人每天 10 题、每年 250 个工作日、使用测试时 OpenRouter 价格”估算约 $8/人/年;这是情景估算,不是实际用户账单。
结果支持一个有限结论:在 Plotly 这套私有数据分析考试和工具环境中,Hy4 Flash 一次获得 A,成本较低,但隐藏模式得分为 2/5。与 Hy4 相比,它少答对 3 题,报告成本约为其十六分之一,中位每题用时约为四分之一。
考试题目、答案、数据集、完整运行日志及采样参数没有公开,外部读者无法仅凭文章独立复现这 39 题的评分。单次运行也不能给出模型成绩方差;跨模型一至两分的差距不应视为稳定优势。OpenRouter 单价和缓存命中会影响本次成本,换服务商或运行方式后成本与延迟可能不同。
要复现,需取得 Plotly 的私有 DataAnalyticsBench 题库与答案密钥,并使用 Plotly Studio Embedded 的同版 harness、相同 Dash 数据环境、OpenRouter 调用方式及评分规则。文章称题库仅向研究人员分享;其未披露的采样参数和完整执行记录仍是复现边界。本文数据按 2026-11-17 访问时原文记录整理。
Hy4 Flash