Kimi K3.1 Pro：PacBench 单文件游戏产物与评分

一句话结论

在 PacBench 的单提示词、单文件 Pac-Man 任务中，Kimi K3.1 Pro 得分 93/100，与 Claude Sonnet 5.5 同分；Kimi 这次运行显示约 11 分钟、$0.68、43k 输出 / 22k 思考，Sonnet 5.5 为约 14 分钟、$1.61。这个结果只说明一次特定 harness 下的单任务表现，不能代表全部编码能力。

适用场景

• 适合判断的任务：单文件 HTML 游戏生成、短任务 Agent 编程的产物完整度、运行稳定性、成本和耗时。

• 不适合外推的任务：多文件仓库维护、长周期 Agent 协作、不同工具链下的成功率，以及一般编码任务的总体排名。

• 适用的模型版本：Kimi K3.1 Pro；请求 ID 为 moonshotai/kimi-k3.1-pro，实际记录为 moonshotai/kimi-k3.1-pro，元数据注明其规范版本为 moonshotai/kimi-k3.1-pro-20261023。

• 测试环境或客户端：OpenRouter / Claude Code，运行在 Cursor cloud VM（Ubuntu 24.04、Claude Code 2.1.303、沙箱内 Node）；无 web tools。

• 推理档位和参数：high；CLAUDE_CODE_MAX_OUTPUT_TOKENS=128000。OpenRouter 固定到 Moonshot AI 标准端点 moonshotai/mxfp4，关闭 fallback。

测评方法

PacBench 页面把任务概括为单 prompt：Create a Pac-Man game in a single html page。仓库实际使用的 完整 fair-cell prompt 要求模型在当前目录创建唯一的 pacman.html，所有 HTML、CSS、JavaScript、图形和声音都内置，不能使用外部脚本、资源、网络请求或构建步骤，并要求实现经典迷宫、四个鬼、能量豆、暂停、计分、生命和关卡等功能。

这是一次单 prompt、单 run 的 fair-cell 运行。Kimi 运行在空的沙箱 git cell 中，17 个响应回合包含 1 次 Write、5 次 Edit 和 10 次 Bash，最终正常退出；元数据记录其输入为完整 fair-cell prompt，prompt SHA-256 前缀为 55c6d2ec。模型在 Node canvas stub 中做了移动、转向、惊吓、鬼眼回家、死亡、完整过关、升级和水果检查；它尝试使用 headless Chrome 三次，但该 VM 因 socket() 权限被阻止。

分数不是简单按代码长度计算。README 说明，基础复测包括约 90 秒自动 playtest，以及源码和迷宫审计；检查项为 Controls 20、Ghosts 25、Pac-Man stuck 20、Maze 20、Sound 15。源码审计通过运行时迷宫网格、可达性、死路、鬼屋、隧道和不同帧率下的真实游戏循环来检查。

评分日期需要和模型运行日期分开看：README 把基础评分协议描述为 Opus 5.5 在 2026-09-28 的复测，v2.md 则明确把 Kimi K3.1 Pro 列为 2026-10-23 的后续新增条目。2026-10-13 的 v3 对没有 major 标记的 Controls/Sound minor 各返还 2 分；同日的 v4 再加入视觉准确度和街机彩蛋。v4 的视觉部分使用匿名截图，由两名互不知晓模型名的评审分别评分；因此整个流程不是端到端盲测，源码审计和运行测试仍带有条目信息。

关键结果

元数据中的未四舍五入值为：Kimi duration_ms=689066、cost_usd=0.6771788、output_tokens=42703、thinking_tokens=21997、html_bytes=40604；Sonnet 5.5 为 duration_ms=865983、cost_usd=1.6051676、output_tokens=123562、thinking_tokens=93156、html_bytes=26587。榜单展示的 11m、$0.68、43k、22k 和 14m、$1.61 是这些元数据的卡片格式化结果。

原始数据

Kimi 的评分明细如下：

• Controls：minor。支持方向键、WASD、Enter/Space/点击开始、P/Esc 暂停和 M 静音，带缓冲转向、即时反向和失焦暂停；鼠标开始后 Start 按钮保持焦点，游戏中按 Space 或 Enter 会再次点击它并重开游戏。

• Ghosts：minor。有四套街机式目标规则、Pinky/Inky 上方向修正、追逐波次、Elroy、隧道减速和鬼眼回家；每次失去生命都会重置鬼屋点数计数，Clyde 因此有 18%–63% 的时间留在鬼屋。

• Pac-Man stuck：ok。固定 1/120 s 步进，在 30–240 fps 都保持 7.64 tiles/s；自动 bot 在每个帧率清掉 244/244 个点。

• Maze：ok。经典 28×31 迷宫，与街机布局一致；0 条死路、244 个点全部可达、左右对称，Pac-Man 不能进入鬼屋。

• Sound：minor。有 master bus、连续渐强 siren、惊吓变体、完整一击音效和静音；开场旋律约 31 个音符中只有 21 个，没有 bass，隐藏标签页仍会继续播放 siren。

v4 记录 Kimi 的视觉扣分为 −7，街机彩蛋加分为 +7，所以 v3 的 93 分在 v4 仍为 93。公开记录没有给出更多可用于推断总体编码排名的数字。

结论与边界

Kimi K3.1 Pro 在这个任务上以较小的输出和较低的记录成本得到与 Sonnet 5.5 相同的 93 分，并通过了迷宫可达性和不同帧率下的移动检查。它的主要缺陷集中在交互焦点、鬼屋释放计数和不完整的街机音频，而不是 Pac-Man 被卡住或迷宫不可通关。

这不是严格同日、同 VM 的跨模型实验：Kimi 的条目在 2026-10-23 运行于 Cursor cloud VM，Sonnet 条目元数据显示运行于 OpenRouter / Claude Code，且两个条目的运行日期分别为 2026-10-23 与 2026-09-28。两者可以作为本任务下的公开对照，不能据此宣称 Kimi 在一般软件开发中更快、更便宜或更强。

复现说明

1. 固定仓库版本和模型版本，使用 bench/prompts/pacman.md 的完整 prompt，在空的沙箱 cell 中只运行一次。

2. 使用仓库的 bench/run_cell.py、bench/add_entry.py 和 playtest/scoring 脚本生成条目，记录 harness、provider、推理档位、token、耗时、成本和 HTML 字节数。

3. 打开 Kimi 可玩条目，再对照 entries/meta.json 中 slug=kimi-k3.1-pro 的原始字段。

4. 按 bench/scoring/v2.md、v3.md 和 v4.md 区分基础复测、minor 调整和视觉/彩蛋调整。

本文是对公开产物和数据的复核，没有再次调用 Kimi 或重新生成条目；复现时应使用自己的日期、模型端点和账单记录，不把本次公开值当作固定价格或稳定成功率。