在 Atomic Agent 的一个编程任务上,Qwen 4 Max 的 high 与 xhigh 都在三次运行中通过全部 59 项隐藏测试;high 平均耗时约 25 分钟、两次完整记录的平均成本约 0.65 美元,xhigh 没有增加通过数,但耗时接近翻倍且成本更高。
适合判断的任务:单一代码库任务中 high 与 xhigh 的完成情况、耗时和调用成本。
不适合外推的任务:其他代码库、非编程任务、长任务总体成功率,以及模型能力上限。
适用的模型版本:Qwen 4 Max(OpenRouter qwen/qwen4-max,文章称该路由当时仅有 Alibaba 提供方)。
测试环境或客户端:Atomic Agent 0.7.0 所含版本;OpenRouter API;每项档位 3 次运行,每次限时 60 分钟。
推理档位和参数:high(Alibaba 默认值,测试中显式指定)与 xhigh;其他采样参数未注明。
任务是一个约 1,400 行的 stock 库,内置 13 个缺陷并缺少一项功能,以 59 项隐藏测试评分。每个档位各运行三次,单次上限 60 分钟;六次 Qwen 4 Max 运行同时进行。Qwen 3.8 Max 的对照数据来自 11 月 9 日、同一任务和构建版本的另一批测试。
| 模型与档位 | 测试结果 | 耗时 | 成本 |
|---|---|---|---|
| Qwen 4 Max high | 3 次均为 59/59 | 23.7、24.1、27.2 分钟 | 两次完整记录均值约 $0.65($0.62、$0.68);第三次记录不完整 |
| Qwen 4 Max xhigh | 3 次均达到 59/59 | 两次 47.3、47.4 分钟;第三次到 60 分钟上限 | 已记录单次 $0.84–$1.28,记录缺失请求,实际成本更高 |
| Qwen 3.8 Max | 三次完成批次分别为 26、58、24/59;另有一次早期中止批次达到 59/59 | 三次均在 60 分钟停止;早期批次用时 45 分钟 | 未提供完整成本 |
作者称 high 两次完整运行的推理 token 为 34K、41K;xhigh 为至少 78K–133K。该任务在 high 下已通过全部测试,切换 xhigh 未增加通过数。
high:每次均通过 59/59;步骤平均 76 步;两次完整账单 $0.62 和 $0.68。
xhigh:表中每次均记为 59/59;步骤 75 步。第三次虽被 60 分钟限时终止,但代码当时已通过全部测试。
对照:作者称 Qwen 3.8 Max 在已完成的三次 60 分钟批次未完成任务;较早一次批次因 OpenRouter 余额耗尽而中止前通过全部测试。
该案例显示,在这个任务上,high 已足以完成测试,xhigh 带来更长耗时和更高支出。样本只有一个任务、每档三次,不能据此判断普遍成功率或模型能力排名。Qwen 4 Max 六次运行共用一台机器和一个 API key;比较行来自其他日期,且 Kimi 的运行串行进行,因此跨模型耗时只能作粗略参考。成本也有缺失请求,high 的第三次没有完整记录,xhigh 报价是已记录范围而非完整最终账单。
文章说明可用 Atomic Agent、OpenRouter 和 qwen/qwen4-max 选择模型,并在 provider 配置中设置 reasoning.effort 为 xhigh;high 为默认档位。文章未公开该 stock 库的任务输入与 59 项隐藏测试,因此可参考环境和档位复跑同类任务,但无法精确复刻原测试。原文同时指出六次并行运行可能影响耗时。
Qwen4-Max