Kimi K3 · 社区来源 · 个人体验
Reddit 单模型、单提供商、八种 Agent harness 的 25 任务对照。
模型：moonshotai/kimi-k3。
提供商：OpenRouter。
推理：Maximum。
工具：同一套 hosted Composio MCP，覆盖 Gmail、Google Calendar、Google Sheets、Airtable、GitHub、Slack、Notion、Linear、PagerDuty。
任务：每个 harness 25 个有效任务；页面正文另称 30 个 complex tasks，存在口径不一致；总计 200 次计分运行。
harness：Oh My Pi、Kimi Code、Hermes Agent、Claude Code、Pi Agent、OpenCode、Grok Build、Codex。
每个 harness 保持模型、提供商、工具和任务不变，只更换 harness。
每个任务只运行一次；任务覆盖商业应用数据读取和修改，难度从简单到长工作流。
成本按 2026-07-30 OpenRouter 标价计算；页面未公开完整任务输入、harness 版本或 MCP 配置文件。
| Harness | 通过 | 通过率 | 中位完成时间 | 工具调用 | 每次成功成本 |
|---|---|---|---|---|---|
| Oh My Pi | 22/25 | 88% | 231.7s | 248 | $0.52 |
| Kimi Code | 21/25 | 84% | 281.9s | 301 | $0.64 |
| Hermes Agent | 20/25 | 80% | 164.0s | 262 | $0.46 |
| Claude Code | 19/25 | 76% | 330.5s | 293 | $1.96 |
| Pi Agent | 18/25 | 72% | 156.2s | 223 | $0.57 |
| OpenCode | 18/25 | 72% | 270.5s | 299 | $0.72 |
| Grok Build | 18/25 | 72% | 196.2s | 402 | $0.66 |
| Codex | 17/25 | 68% | 233.4s | 297 | $0.66 |
最高与最低通过率相差 20 个百分点；作者还观察到工具调用更多不等于结果更好，Grok Build 402 次调用与 Pi Agent 223 次调用都通过 18 个任务。
Kimi K3 的 Agent 结果不能只归因于模型本身：system instructions、工具结果回传、长任务 context 管理、重试、停止规则和终检都会改变同一模型的成功率、速度和成本。部署 K3 时应把 harness 作为可测量的产品组件，不能只比较模型排行榜。
单模型、单提供商、单次/任务，25 个任务的一个任务就会改变 4 个百分点；结果不具备严谨统计显著性。
任务集中在商业应用 MCP 工作流，不能外推到 coding、视觉或研究任务。
作者使用 Composio MCP，存在工具生态和作者选择偏差；完整任务列表与版本未公开。
同一 harness 搭配其原生模型可能表现不同；不能由此断言 Kimi Code 永远优于 Claude Code/Codex。
复制同一组授权的业务应用任务，固定 K3 路由、工具 schema、权限和停止规则。
在 8 个 harness 中只改变 harness，记录版本、system prompt、context 压缩、重试和终检策略。
每个任务至少重复三次，记录通过率、p50/p95 时间、token、工具调用、失败类型和每成功成本。
单独报告“简单/中等/困难”任务，避免 25 个任务的平均数掩盖难题失败。
Reddit 原帖公开了模型、提供商、Maximum 推理、同一 MCP 工具、25 任务/每 harness、200 次运行和完整通过/耗时/工具调用/成功成本表，并明确列出研究局限。
作者报告：“The gap between the highest and lowest pass rates was 20 percentage points”。
本文中的数字、任务集、推理档位和客户端条件只在所列来源及采集时点内成立。不同版本、不同 harness 或不同提供商的数据不能直接并排比较；未公开的参数保持未知。
需要复测时，请固定模型版本、提供商或客户端、推理档位、工具、任务集版本、样本数和采集日期，并记录失败、重试与人工修正。完整方法和复现步骤见下方来源笔记。
Reddit r/kimi · u/LimpComedian1317 · 原文发布日期 Unknown · 本站编辑日期 2026-09-20
打开原始来源Kimi K3
下载 Tabbit 客户端后检查模型可用性
