Plotly 四十三题数据分析考试：Kimi K3.1 Pro 得分 42/43

一句话结论

Plotly 在自建的 PlotlyDataAnalyticsBench 上让标准版 Kimi K3.1 Pro 处理 43 道合成风电数据题，答对 42/43（98%，A）；它找到了全部 5 个隐藏模式和 3 个数据质量问题，但一次运行成本 $13.47、每题中位数 2.5 分钟，准确率、主动分析能力和成本速度之间存在明显取舍。

适用场景

• 适合判断的任务：带 SQL 或数据查询工具的数据分析 Agent；需要识别隐藏模式、数据质量问题、问题歧义和不可回答请求的工作流。

• 不适合外推的任务：所有数据分析任务的总体成功率、真实风电业务数据、通用推理排名、稳定生产成本和延迟。

• 适用的模型版本：标准 Kimi K3.1 Pro；不是 Kimi K3.1 Pro Highspeed。

• 测试环境或客户端：Plotly 的私有数据分析考试；模型通过 OpenRouter 调用，原文未公开完整 harness、工具 schema 和执行日志。

• 推理档位和参数：原文说明 K3.1 Pro 默认最高推理强度并始终推理，但没有公开本次运行的完整请求参数。

测评方法

Plotly 使用同一套考试持续测试新模型。题库背后的数据仓库是合成的风电场数据，设计成接近真实运营商数据；数据和答案不会出现在现实资料中。考试本身保持私有，作者称这是为了避免答案进入训练集，并表示可向 Chris Parmer 申请访问。

本次记录的是标准 K3.1 Pro 在发布日通过 OpenRouter 的一次完整运行。原文没有公开 43 道题逐题文本、答案键、完整系统提示词、工具定义、每一步查询、随机种子或原始输出，因此本文不把考试改写成可直接复制的 prompt，也不声称读者可以完整复现原始分数。

考试结果按以下公式记录：

总分 = 答对题数 / 43 = 42 / 43 = 97.67% ≈ 98%

原文将结果放入 Plotly 的 34 模型排行榜，并与 Kimi K3、Grok 4.7、GPT-6.1 Sol、GPT-6 Astra 和 MiniMax M3.1 Flash 等结果比较。这里的横向数字属于 Plotly 自己的考试和 harness，不能与其他基准的分数直接合并。

关键结果

Plotly 的 34 模型排行榜中，K3.1 Pro 的 42 分与 Grok 4.7 并列第三；GPT-6.1 Sol 和 GPT-6 Astra 得分 43。Plotly 称这是其测试过的中国实验室模型最佳成绩，也高于 MiniMax M3.1 Flash 的 41 分。该排序只描述这套考试截至原文发布时的快照。

原始数据

主结果与主动分析

• K3.1 Pro 答对 42/43，原文显示为 98%（A）。

• 它在 5/5 Hidden needles 中找到了预先埋入数据、但没有在问题中明示的 5 个模式。

• 它在 3/3 Data quality 中识别了重复行、缺失月份最后一天，以及“已退役且无数据”的风机与“确实没有发电”的风机之间的区别。

• 在要求为一台已退役风机计算可靠年度故障率、再据此规划整个机队预算的题目中，它指出这台风机历史过短，改给出机队级故障率。

• 在分析题和歧义题上分别为 20/20 与 5/5；不可回答请求为 5/5。

• 统计陷阱为 4/5，与 Kimi K3 相同。

唯一错误

唯一错题涉及没有固件的 turbine-days。题目要求比较固件 FW-2.4.1 与其他固件上的天数。模型为 FW-2.4.1 组选择了严谨的检验，平均值计算正确；但它把风机尚未安装任何固件之前的 2,775 个 turbine-days 计入“其他固件”组，同时又声称每个 turbine-day 都有固件。

这使“其他固件”组的平均值偏高约 0.0003，刚好超出 Plotly 的容差。该错误是分组条件与模型自述不一致，而不是算术结果整体错误。

调用、查询与耗时

• 平均约 7.5 次模型调用/题，接近 Plotly 已测模型的平均值。

• 在隐藏模式题上，模型会在单个步骤执行多个查询，约 73 次工具调用/题；对照 GPT-6.1 Sol 约 18 次。

• 每题中位耗时约 2.5 分钟，是排行榜第二慢，仅快于 MiniMax M3.1 Flash。

• 约 90% 时间等待模型响应，约 10% 时间运行 SQL；慢主要来自生成推理内容，而不是查询执行。

• 发布日通过 OpenRouter 的生成速度约 64 tokens/s，略低于测试模型中约 72 tokens/s 的中位数，接近 Grok 4.7 的 67 tokens/s。

• 每题约生成 16,500 个输出 token，其中约 62% 为推理内容；输出量约为 Kimi K3 的 5 倍、GPT-6.1 Sol 的 7 倍。

• 直接分析题中约 99% 的时间花在模型响应；隐藏模式题的查询运行时间约占四分之一。

成本

原文采用 OpenRouter 价格：输入 $2.00/百万 token、输出 $10.00/百万 token、缓存输入 $0.20/百万 token。完整考试成本为 $13.47，约 $0.31/题：

平均题目成本 = $13.47 / 43 ≈ $0.313

模型每题读取约 440,000 token，其中 92% 为缓存输入；输出约 16,500 token。输出成本约 $7.10，占总成本的大头。Plotly 还指出，K3.1 Pro 的 OpenRouter 输入价约为 Kimi K3 的 8 倍（$2.00 对 $0.24/百万 token），输出价则接近（$10.00 对 $10.80/百万 token）。

结论与边界

这项独立测试的主要信号是主动分析。K3.1 Pro 继承了 K3 在基础题、歧义题和不可回答请求上的表现，并补上了 K3 没有发现的 5 个隐藏模式和 2 个数据质量问题。它的唯一失分来自一个很具体的固件时间范围分类错误，说明高分不等于每个过滤条件都可靠。

代价也很明确：在 Plotly 的固定题库中，K3.1 Pro 得分接近最高分，但每题写出大量推理 token，导致 $13.47/43 题 和 2.5 分钟/题。这更适合重视完整分析和数据审计的低并发任务；对交互式、成本敏感或严格限时的查询，不能只看 42/43。

原文提到 Moonshot 的 Kimi K3.1 Pro Highspeed 声称具备相同能力、速度为标准版本的 2–3 倍，但 Plotly 没有测试 Highspeed。因此本文的耗时、token、成本和速度结论只属于标准 Pro，不能转移到 Highspeed。

原文还提到完整权重计划于 2026-11-04 发布，且尚未公布许可证。采集日不能把这项计划写成权重已经开放，也不能据此推断本次 OpenRouter 运行使用了公开权重。

复现说明

1. 需要获得 Plotly 私有的 PlotlyDataAnalyticsBench、合成风电仓库、答案键和授权；公开文章没有给出完整题目或数据下载。

2. 固定标准 Kimi K3.1 Pro、OpenRouter provider、发布日对应的模型版本、工具 schema、SQL 执行器、超时、重试和停止规则；不要混入 Highspeed。

3. 记录 43 题逐题结果，并单独记录 analytics、ambiguous、impossible、statistics traps、data quality、hidden needles 六类分项。

4. 保存每题模型调用数、工具调用数、查询数、输入/输出/缓存 token、墙钟时间和成本；区分模型等待时间与 SQL 时间。

5. 对唯一错题核对“无固件时期”的时间范围，确认是否会把 2,775 turbine-days 错分到其他固件组。

6. 若无法取得私有题库，只能做方法学对照，不能声称复现原文的 42/43、$13.47 或 2.5 分钟；也不要根据文章重写逐题 prompt，以免污染后续测试。