Spring Prompt 在 2026-11-16 报告的五项自建业务基准中,Qwen4-Max 默认 high 档在 DeckBench、SurveyBench 表现靠前,在 CatalogBench 和 ROASBench 中游偏后;BulletBench 暴露了高延迟问题。公开题目可以复跑一部分,结果只代表该版本、供应商与测试设置。
适合判断的任务:演示文稿生成、问卷规划与分析、商品详情生成、模拟广告预算分配,以及带时限的棋类决策。
不适合外推的任务:通用推理、真实商业回报、编程、长程 Agent;本文没有测这些能力。
适用的模型版本:Qwen4-Max;未给出 API 快照 ID。
测试环境或客户端:Spring Prompt 自建 benchmark;经 OpenRouter 调用 qwen/qwen4-max,由 Alibaba 提供模型服务。
推理档位和参数:未显式发送 reasoning 参数;OpenRouter 与 Alibaba API 的默认档位均为 high。BulletBench 另测 low;该项最佳结果表采用 low。
结果发布日期为 2026-11-16。Spring Prompt 称各项结果由其自行测量;每项榜单分别排名,不应把不同量纲的分数横向比较。DeckBench、SurveyBench、ROASBench 各运行一次;CatalogBench 每个 brief 对 56 件虚构商品重复三次;BulletBench 每个配置通常对战 8–12 局。
| 基准 | 测试内容与样本 | 评分方式 |
|---|---|---|
| DeckBench | 给定分析材料制作演示文稿;6 个任务,每任务 1 份 | 依据数字准确、叙事、程序布局检查和逐页设计评审做两两比较,换算 rating;评审模型为 GPT-6.1 Sol、Claude Opus 5.5、Gemini 3.1 Pro 多数决 |
| SurveyBench | 规划用户调查并分析结果;9 个任务,每任务 1 次 | 检查问卷质量、分析数字、识别数据陷阱和建议;两两比较 rating,评审组同 DeckBench |
| CatalogBench | 用商品 feed、图片和供应商文案生成 56 件虚构商品的上架信息;事实 brief 与销售 brief 各 3 轮 | 主要指标为三轮均可直接发布的商品占比;另计无依据说法、耗时和费用。评审为 GPT-6.1 Sol,并做偏差检查 |
| ROASBench | 模拟某品牌连续 12 个月的广告预算决策;每模型 1 次 | 预算分配、根据上月结果调整和是否超预算,汇总为 100 分制分数 |
| BulletBench | 与 Stockfish 对弈并受真实棋钟限制;每配置 8–12 局 | 按 Elo、走棋耗时、超时和非法着法评估;Blitz 3+2 仅用默认设置 |
价格比较采用每百万 token 输入:输出 = 3:1 的 blended list price。Qwen4-Max 为 $2.25 / 百万 blended tokens;“$1–3”档指该 blended 价格区间。任务费用按运行时价格估算,均不含评审费用。
| 基准与设置 | Qwen4-Max 结果 | 榜单位置 | 相关成本或观察 |
|---|---|---|---|
| DeckBench,high | rating 1,585(95% 区间 1,497–1,708) | 32 个模型中第 1;$1–3 档 6 个模型中第 1 | 每份约 $0.18、约 8 分钟。高于 GPT-6 Astra 的 1,566,但两者区间重叠;Qwen 公开展示的 6 份中 0 份可直接演示,主要因字号小于 12 pt |
| SurveyBench,high | rating 1,395(1,320–1,482);调查计划 95/100、分析 89/100;处理 98.6% 数据陷阱 | 23 个模型中第 5;价位档 4 个模型中第 1 | 每任务约 $0.20、11.5 分钟;9 个公开任务中 3 个无错误,5 个任务的分析含至少一项数据不支持的结论 |
| CatalogBench,事实 brief,high | 三轮均可发布 39.3%(22/56);每商品 0.70 条无依据说法 | 32 个模型中第 19;价位档 6 个模型中第 3 | 每件约 $0.007、21 秒;GPT-6.1 Terra 为 64.3% |
| CatalogBench,销售 brief,high | 三轮均可发布 8.9%;每商品 2.56 条无依据说法 | 32 个模型中第 21;价位档 6 个模型中第 3 | 销售措辞下准确性明显下降 |
| ROASBench,high | 45.8/100;模拟利润 $775,520;12 个月均未超预算 | 32 个模型中第 15;价位档 7 个模型中第 2 | 每次运行约 $0.69;单次模拟,不代表实际投放回报 |
| BulletBench,Blitz 3+2,high | rating 147;8 局中 7 局因超时输棋;中位每步 8.6 秒 | 20 个模型中第 20 | 三分钟加每步 2 秒的棋钟;测的是时限下决策 |
| BulletBench,60 秒,low | rating 147 | 33 个配置中第 25;价位档 6 个配置中第 4 | high 档前四局均超时,故停止且未评分 |
表中总体名次按 review 原文截至 11 月 16 日的快照记录。相应动态基准页当日显示的模型数已不同:DeckBench 33 对原文表的 32,SurveyBench 24 对 23,ROASBench 33 对 32;Qwen 名次未变,但不能把两种榜单行数视为同一截面。
Spring Prompt 将 Qwen4-Max 的综合榜分列为 56 分、第 16/36,但当日仅覆盖 5 组中的 2 组;数据均来自 Spring Prompt 自有基准,综合名次为暂定值。
对 Qwen3.8 Max,文中报告 Qwen4-Max 在已测项目均更高:DeckBench 1,585 对 1,035;SurveyBench 为新测;事实商品上架率 39.3% 对 28.6%;ROASBench 45.8 对 25.4。单个基准样本和运行次数有限。
Spring Prompt 报告国际端点 API 标价为输入 $1.50、输出 $4.50/百万 token,缓存输入 $0.075;此为文章发布日期所列价格,可能变化。市场价位分组用 3:1 blended 口径,不能与单边输入或输出价格直接比较。
Spring Prompt 的公开数据页列出本次 release 2026-11-16-49bdfa045dee,并提供部分基准结果和公开任务数据;许可为 CC BY 4.0。页面注明 CatalogBench 商品图片未纳入下载,ROASBench 与 BulletBench 的任务由模拟器/棋局代码生成,未以任务文件提供。
这份测试支持一个有限判断:在 Spring Prompt 的单次演示文稿和调查分析任务中,Qwen4-Max 得分靠前;商品上架和需要快速响应的任务表现较弱。销售 brief 下无依据陈述增加,说明“写得更会卖”可能降低事实可靠性。
除 CatalogBench 外,多数业务基准只有单次运行;6 份演示文稿、9 份问卷和单次广告模拟不足以稳定推断真实业务成功率。rating 的区间是比较评分的不确定范围,不是多次重复运行的方差。榜单排名基于当日收录模型与各项最佳设置,后续会变动;价位档模型数也很小。测试数据为虚构商品或模拟市场,不代表真实产品目录、调查或投放效果。
可从 Spring Prompt Open Data 获取 release 数据与 DeckBench、SurveyBench、CatalogBench 公开任务,并按相应基准页的指标重跑。目录页明确指出下载包不含 CatalogBench 商品图片,ROASBench 与 BulletBench 的模拟任务未作为任务数据文件公开,且模型输出暂不包含在下载中。因此公开材料便于检查题目与结果,但不足以独立复建全部原始运行。引用数据应注明 Spring Prompt、release 日期和 CC BY 4.0。
Qwen4-Max