Kimi K3.1 Pro · 社区来源 · 独立测量
作者在两个真实仓库中放入 105 个可复现 Bug，让模型自行寻找和修复；在作者公开的这组结果里，Kimi K3.1 Pro max 为 36/105，低于 DeepSeek V4.1 Flash 1017 max 的 42.7、Muse Wonder Full 1.0 max 的 42、Opus 5.5 max 的 41.7，且 Kimi 的实付账单为 $13.76，作者因此认为它的成本缺乏吸引力。
作者在两个真实仓库中放入 105 个可复现 Bug，让模型自行寻找和修复；在作者公开的这组结果里，Kimi K3.1 Pro max 为 36/105，低于 DeepSeek V4.1 Flash 1017 max 的 42.7、Muse Wonder Full 1.0 max 的 42、Opus 5.5 max 的 41.7，且 Kimi 的实付账单为 $13.76，作者因此认为它的成本缺乏吸引力。
适合判断的任务：已有代码仓库中的 Bug 定位、修复和 Agent 编码效率；比较固定 harness 下的修复分数、运行时长和单轮成本。
不适合外推的任务：通用编程能力、未植入缺陷的发现能力、前端视觉质量、所有仓库类型，以及不同 harness 之间的绝对排名。
适用的模型版本：Kimi K3.1 Pro；对照包括 DeepSeek V4.1 Flash 1017、Muse Wonder Full 1.0、Opus 5.5、Muse Spark 1.3，以及作者后续回复中的 Sonnet 5.5。
测试环境或客户端：Bug Hunt Bench；编码基准使用 Claude Code harness。作者说明 Kimi 发布帖也使用 Claude Code，其他基准使用了其他 harness。
推理档位和参数：主结果标为 max；作者另公布了 Opus 和 Sonnet 的 max、xhigh、high、medium、low 结果。未公开完整 system prompt、任务清单、仓库名称、采样参数和逐题记录。
在两个真实仓库中植入 105 个可复现 Bug。
让模型在 Agent 编码环境中自行寻找并修复能发现的问题。
以验证过的植入 Bug 修复数计分；未植入缺陷的修复不加入分数。
对比修复分数、运行墙钟时间和成本。作者在截图中注明榜单显示 128 次运行中的 24 次精选运行，按修复数降序排列。
作者没有公开两个仓库、105 个 Bug 的逐题列表或完整运行日志，因此这里记录的是可见的汇总结果，而不是完整可复现实验包。
主帖给出的汇总分数如下：
| 模型 | 推理档位 | 修复分数 |
|---|---|---|
| DeepSeek V4.1 Flash 1017 | max | 42.7 |
| Muse Wonder Full 1.0 | max | 42 |
| Opus 5.5 | max | 41.7 |
| Kimi K3.1 Pro | max | 36 |
| Muse Spark 1.3 | max | 32.2 |
作者后续回复又列出了同一 Kimi max 的三次分数：36、42、30。该信息说明重复运行存在波动；主帖分数与逐次运行应分开记录，作者没有提供每次运行的完整上下文、顺序和其他模型的同步条件。
同一回复中，作者列出的 Opus 5.5 分数为：max 43/39/43，xhigh 35/37/36，high 32/32/31，medium 30/30/31，low 23/25/19。Sonnet 5.5 为：max 57/54/43，xhigh 39/34/35，high 32/34/37，medium 18/28/24，low 20/17/20。作者特别说明 Sonnet max 的第一组运行比 Astra 多做了 7 倍轮次，并称其是最顽固的组合。
作者还表示，Kimi max 比 DeepSeek V4.1 Flash 1017 的 high effort 更差；通常会继续测试，但这次选择停止，以免继续消耗 Token。
主帖附图的 Bug Hunt Bench 榜单标注为 2026-10-23 更新，列出“只计算植入 Bug”的分数、未计分的未植入缺陷、墙钟分钟数和美元成本。与本条主帖直接相关的行包括：
| 模型 / 运行 | 植入 Bug 修复 | 未计分未植入缺陷 | 墙钟时间 | 成本 |
|---|---|---|---|---|
| DeepSeek V4.1 Flash 1017 max | 42.7/105 | 44 | 62.1 分钟 | $1.84 |
| Opus 5.5 max | 41.7/105 | 9 | 66.9 分钟 | $58.53 |
| Kimi K3.1 Pro max | 36/105 | 29.3 | 64.8 分钟 | $13.76 |
| Sonnet 5.5 max | 51.3/105 | 26.3 | 287.1 分钟 | $154.03 |
截图底部说明：DeepSeek V4.1 Flash 1017、Kimi K3.1 Pro 和 MiMo-V2.6-Pro 的成本是真实账单；其他成本为牌价估算，Grok 4.7 为根据基准下方 CLI 报告上下文占用重建的数值，不是账单。因而不能直接把 $13.76 与 Opus 的 $58.53 或 Sonnet 的 $154.03 当成同一成本口径。
作者在回复中概括了成本差异：过去测试 Kimi K3 时，Moonshot CLI 的成本约为 Claude Code 的 2.9 倍；他也解释选择 Claude Code 是因为 Kimi 发布帖的编码基准使用了该 harness。这个 2.9 倍是作者对既有测试的描述，不是本次 105 个 Bug 实验的独立计费表。
作者认为未植入 Bug 不应计分：有些模型会报告无关的真实“问题”来提高发现数量，其中 99% 是低优先级，修复它们甚至可能损害产品。作者称，植入 Bug 代表他过去实际处理过的重要问题分布，且这些问题在 2026 年初曾被前沿模型忽略。
作者说自己跳过了一次异常运行，未说明这是否影响汇总统计，因此不能自行补算其得分。
面对“为什么用 Claude Code harness”的提问，作者回答：Kimi K3.1 Pro 发布帖的编码基准使用 Claude Code；他过去测试 Kimi K3 时还观察到 Moonshot CLI 成本约为 Claude Code 的 2.9 倍。
作者同意应在较低努力级别继续测试，但本次认为 Kimi max 已低于 DeepSeek V4.1 Flash 1017 high effort，因此停止继续消耗 Token。
作者补充说，Moonshot 的编码基准使用 Claude Code，其他基准使用了其他 harness；因此不同榜单不应直接合并比较。
对“未植入 Bug 是否应计分”的讨论，作者表示无法为其评分，并解释了只统计植入 Bug 的原因。该回复还提到，他不会再投入其他努力级别测试，并好奇 Kimi 在 Vulcan Bench 上的表现。
在这组双仓库、105 个植入 Bug 的实测中，Kimi K3.1 Pro 的主帖汇总分数为 36/105，低于 DeepSeek、Muse Wonder Full 和 Opus 的主帖结果。
Kimi 的三次 max 结果为 36、42、30，显示重复运行存在明显波动；不能只用一次 36 分推断固定成功率。
榜单截图同时给出运行时间和费用。Kimi max 的 64.8 分钟、$13.76 实付账单，与 DeepSeek max 的 62.1 分钟、$1.84 实付账单相比，修复分数更低而账单更高。
Opus 和 Sonnet 的截图成本是牌价估算，Kimi 和 DeepSeek 是真实账单；成本比较只能作为该榜单口径下的观察。
作者的比较依赖 Claude Code harness，而作者也明确说其他基准使用了其他 harness。模型、CLI、上下文管理、工具循环和停止条件的组合会影响结果。
样本只有两个仓库和 105 个植入 Bug，完整仓库、逐题输入、修复补丁、失败原因和每次运行的 token 明细未公开；不能外推到全部代码库或未植入缺陷发现。
作者在可见回复中表示不会继续测试其他努力级别，并好奇 Kimi 在 Vulcan Bench 上的表现；这属于后续计划或兴趣，不是本次结果。
要复现此测评，至少需要作者未公开的两个仓库快照、105 个植入 Bug、验证答案、Claude Code harness 配置、模型版本、权限与停止条件，并分别保存每次运行的修复补丁、验证结果、墙钟时间和账单。当前公开帖子只足以核对汇总分数、榜单截图和作者对成本口径的说明，不能据此声称已完成逐题复现。
“2 repos. 105 replanted bugs. Find and fix what you can.”
“Kimi K3.1 Pro max: 36, 42, 30”
本文中的数字、任务集、推理档位和客户端条件只在所列来源及采集时点内成立。不同版本、不同 harness 或不同提供商的数据不能直接并排比较；未公开的参数保持未知。
需要复测时，请固定模型版本、提供商或客户端、推理档位、工具、任务集版本、样本数和采集日期，并记录失败、重试与人工修正。完整方法和复现步骤见下方来源笔记。
X · Paweł Huryn（@PawelHuryn） · 原文发布日期 2026-10-24 · 本站编辑日期 2026-10-24
打开原始来源Kimi K3.1 Pro
下载 Tabbit 客户端后检查模型可用性
