Plotly 的 43 题数据分析基准中,Qwen4 Max 单次答对 35 题(81%,B),花费 2.29 美元,每题中位耗时 40 秒。歧义题与无法完成的请求均处理正确,数据质量检查、统计陷阱和隐藏模式仍有失分。
适合判断的任务:在 Plotly 的 Dash 数据分析 Agent 与其合成风电数据仓库上,评估多轮工具调用、图表分析、澄清歧义和拒绝无法完成请求的表现。
不适合外推的任务:其他数据集、业务数据库、不同 Agent 或 API 配置,以及总体模型能力排序。该基准为私有题集,结果仅代表一次运行。
适用的模型版本:文章所称 Qwen4 Max;未给出 API 模型 ID 或快照标识。
测试环境或客户端:Plotly Studio Embedded(运行于 Dash 应用的分析 Agent),通过 OpenRouter 调用;Plotly 称所有参测模型使用同一 harness 和评分方式。
推理档位和参数:未注明。
Plotly 使用其 PlotlyDataAnalyticsBench,共 43 题,运行于面向数据分析查询和图表生成的多轮工具调用 Agent。该基准包含 20 道常规分析题、5 道歧义题、5 道无法完成的请求、3 道数据质量问题、5 道统计陷阱和 5 道隐藏模式题。题目使用虚构风电运营商的数据仓库;Plotly 称题集为私有,并向研究者开放。
本文是 Qwen4 Max 的一次运行。Plotly 说明其他模型的重复运行分数曾有最多 3 分波动,因此单次成绩相差 1–2 分时应视为接近平手。
总分 35/43(81%,B)。分项为:常规分析 19/20,歧义题 5/5,无法完成请求 5/5,数据质量 1/3,统计陷阱 3/5,隐藏模式 2/5。
8 道错题中,一道因时间计算精度损失导致最终数字错误;另有 2 道数据质量问题、2 道统计陷阱及 3 道隐藏模式题未答对。
每题约调用模型 6 次,输出约 3,200 tokens;读取的输入 tokens 中约 92% 来自供应商缓存。全卷耗时约 47 分钟,每题中位耗时 40 秒。
单次全卷成本为 $2.29。按每人每天 10 题、每年 250 个工作日、1,000 人规模折算约 $133/人/年;这是文章给定使用量和运行时 OpenRouter 价格下的估算。
同一文章列出的对照:Qwen 3.8 27B 为 38/43、$1.71、每题中位 53 秒;Kimi K3 为 35/43、$5.01、43 秒;Hy4 为 42/43、$2.11、117 秒。不同模型均为各自单次运行。
文章报告当时 Qwen4 Max 输入/输出价格为每百万 tokens $1.50/$4.50;此价格和单次成本是发布时数据。
| 指标 | Qwen4 Max |
|---|---|
| 总分 | 35/43(81%,B) |
| 常规分析 | 19/20 |
| 歧义题 | 5/5 |
| 无法完成请求 | 5/5 |
| 数据质量 | 1/3 |
| 统计陷阱 | 3/5 |
| 隐藏模式 | 2/5 |
| 单次全卷成本 | $2.29 |
| 每题中位耗时 | 40 秒 |
| 每题模型调用 | 约 6 次 |
| 每题输出 tokens | 约 3,200 |
| 输入 tokens 缓存占比 | 约 92% |
在此测试中,Qwen4 Max 能处理大多数常规问题,并正确处理全部歧义题和无法完成的请求;它在发现数据质量问题、识别统计误导和搜索隐藏模式方面失分。对比文章中的 Qwen 3.8 27B,Qwen4 Max 少 3 分且成本更高,但中位速度更快。该结论限于 Plotly 的 harness、题集和各模型的单次运行,不能推断为通用数据分析能力或稳定的跨模型排名。
复现需要访问 Plotly 的私有 PlotlyDataAnalyticsBench、合成风电数据仓库、评分规则及 Plotly Studio Embedded harness。公开文章未提供完整题目、数据、答案键、运行日志或 Qwen4 Max 的 API 模型 ID、推理档位与请求参数,因此无法仅凭公开内容独立重跑并确认原始成绩。文章称可联系 Plotly 获取研究访问权限。
Qwen4-Max