Kimi K3.1 Pro · 官方来源 · 厂商自报
Kimi 官方报告 K3.1 Pro 在 Terminal-Bench 4.0 得分 65.7%、BenchCAD(带工具)92.7%、OfficeQA Pro v2 得分 64.4;这些结果来自不同 harness、部分是内部基准或外部引用,适合定位能力方向,不能当作统一条件下的独立胜率。
Kimi 官方报告 K3.1 Pro 在 Terminal-Bench 4.0 得分 65.7%、BenchCAD(带工具)92.7%、OfficeQA Pro v2 得分 64.4;这些结果来自不同 harness、部分是内部基准或外部引用,适合定位能力方向,不能当作统一条件下的独立胜率。
适合判断的任务:长程编码 Agent、带工具的 3D/CAD 生成、金融文档分析、金融建模与研究工作流。
不适合外推的任务:把 Kimi 内部基准外推为日常成功率;把不同 harness、不同模型报告或供应商图表直接合成排名;从案例推断稳定的生产质量。
适用的模型版本:Kimi K3.1 Pro。Kimi K3.1 Pro Highspeed 是同日发布的高速变体,本文分数没有单独证明其与 Pro 完全相同。
测试环境或客户端:Claude-Code、Kimi Code、Kimi API、官方 Kimi Agents/Finance Agent 等,按各项脚注分别指定。
推理档位和参数:除非另有说明,reasoning effort=max、temperature=1.0、top_p=0.95。文章称产品与 API 已可用;完整模型权重计划在 2026-11-04 前发布,采集日不能把权重视为已公开可下载。
这是 Kimi 的发布说明和厂商自测汇总,不是独立重跑。正文称 K3.1 Pro 是 K3 的后训练版本,使用更大的后训练计算,在数百个下游领域进行联合 RL;但未公开完整提示词、逐题输入、随机种子、失败日志或置信区间。
编码:Terminal-Bench 4.0 使用 Claude-Code harness,测试受资源约束的终端编码 Agent,并按任务专属测试严格判分。Kimi Code Bench 3.0 Long-horizon 是 Kimi 内部基准,覆盖多步执行、工具使用和端到端工程问题。
3D:BenchCAD 从完整 17,900 个 Vision2Code 样本中随机抽取 1,000 个子集。带工具使用 Claude Code harness;不带工具使用官方提示词和评分管线的单轮生成;开放模型使用最大推理档位。
金融:OfficeQA Pro v2 的每道题提供完整 PDF 语料,PDF 渲染为图片且不提供机器可读文本;GPT-6 Astra 使用 Codex,其余模型使用 Claude Code。Frontier Finance 使用官方 finance agent v2 harness。
跨来源数据:正文中的 GDPval-AA v2.1、AA-Briefcase v1.1 和 AutomationBench-AA 分数引用 Artificial Analysis,是独立平台的外部记录,不等于 Kimi 在本页重新运行的结果。
| 基准/案例 | Kimi K3.1 Pro | 对照或设置 | 读法与边界 |
|---|---|---|---|
| Terminal-Bench 4.0 | 65.7% | Claude Opus 5.5 66.4%;GPT-6 Astra 58.2% | Claude-Code harness;公开对照分数取各自文章或官方榜单最高值,非同一批原始运行 |
| Kimi Code Bench 3.0 Long-horizon | 61.2% | Kimi K3 55.95% | Kimi 内部基准;官方称覆盖多步执行、工具调用和端到端问题解决,不能外推通用编码成功率 |
| BenchCAD,带工具 | 92.7% | Claude Opus 5.5 96.2%;GPT-6 Astra 95.9% | 1,000/17,900 随机子集,Voxel IoU;Claude Code harness |
| BenchCAD,不带工具 | 72.8% | Claude Opus 5.5 73.0%;Claude Fable 5.1 60.6%;DeepSeek-V4.1-Flash-1017 41.2% | 单轮官方提示词与评分管线;GPT-6 Astra 未报告该项 |
| OfficeQA Pro v2 | 64.4 | 图表称为该项领先 | 金融文档检索、跨文档核验、多步数值推理;各模型 harness 不同 |
| Frontier Finance | 58.6 | 官方图表同时列出 Claude、GPT、GLM、DeepSeek | 官方 finance agent v2 harness;正文没有给出逐题数据 |
| 内部 Financial Modeling | 57.6 | Kimi K3 50.4 | Kimi 图表;正文只另报“提升 7.2 分”,属于内部指标 |
| 内部 Financial Research | 70.4 | Kimi K3 58.8 | Kimi 图表;正文另报提升 11.6 分 |
| 内部 Business Operation | 37.0 | Kimi K3 8.9 | 模拟企业环境的长程管理与决策;正文称约为 K3 的 4.2 倍 |
| Kimi Hallu Bench Hard | 8.3% claim-level hallucination rate | Kimi K3 23.4%;含至少一个事实错误的回答率为 K3 的 42.4% | 内部压力测试,专门构造易错提示;不是日常总体错误率 |
| human-atlas 行走模拟器 | 连续交替步行 11.2 秒 | 167 missions、420 independent reviews | 官方内部案例;模型修正 36 个肩部肌肉力矩臂错误,不等于公开可复现实验的总体成功率 |
文章称 K3.1 Pro 和 Highspeed 当日已在 Kimi.ai、Kimi Work、Kimi Code 与 Kimi API 提供,并给出 API 模型 ID kimi-k3.1-pro / kimi-k3.1-pro-highspeed。同一段写明:“full model weights will be released by Nov 4”。因此,“可通过产品或 API 使用”和“完整权重已经公开”是两件事;截至采集日只能记录前者,不能把后者写成现状。
BenchCAD 图表同时给出带工具和不带工具两组结果;带工具组为 Claude Opus 5.5 96.2、GPT-6 Astra 95.9、K3.1 Pro 92.7、Claude Fable 5.1 92.6、DeepSeek-V4.1-Flash-1017 81.6;不带工具组为 Claude Opus 5.5 73.0、K3.1 Pro 72.8、Claude Fable 5.1 60.6、DeepSeek-V4.1-Flash-1017 41.2。
金融图表给出 OfficeQA Pro v2 的 K3.1 Pro 64.4,Frontier Finance 58.6;内部图表给出 Financial Modeling 57.6 vs 50.4、Financial Research 70.4 vs 58.8、Business Operation 37.0 vs 8.9(K3.1 Pro vs K3)。
Kimi Hallu Bench Hard 图表把 K3.1 Pro 的 claim-level hallucination rate 标为 8.3;正文同时说明 K3 为 23.4,并明确这些是刻意施压的事实性测试。
默认统一口径是 max、temperature=1.0、top_p=0.95。
PostTrainBench v1.2 中,K3.1 Pro 与 DeepSeek-V4.1-Flash-1017 为内部运行,使用 H20 而非 H100;评判模型固定为最大 effort 的 DeepSeek-V4.1-Flash-1017。其余分数来自官方榜单。
BenchCAD 的带工具/不带工具是两套不同运行方式,不能混成一个分数;OfficeQA Pro v2 的 GPT-6 Astra 也使用不同的 Codex harness。
BrowseComp 是特殊参数例外:200K tokens 触发上下文压缩、最多 500 steps,并使用 temperature=1.0、top_p=1.0。
GDP.pdf with python、ZeroBench with python、ChartoGraphy with python 平均五次;其他多模态(with python)基准平均四次。GDPval-AA、AA-Briefcase、AutomationBench-AA 是 Artificial Analysis 的引用数据,和 Kimi 内部 benchmark 的一次或多次运行不能互换。
K3.1 Pro 的官方材料对三个方向给出了有用的定位信号:编码上 Terminal-Bench 接近 Claude Opus 5.5,3D 上带工具的 BenchCAD 为 92.7,金融上 OfficeQA Pro v2 为 64.4 且内部金融任务明显高于 K3。最可用的结论是“值得在长程编码、工具化 3D 和金融 Agent 流程中做受控试用”,而不是“全面领先”。
需要特别保留以下限制:
Terminal-Bench 的对照分数混合了 Kimi 自测、模型发布文章和官方榜单最高值;Kimi Code Bench、内部金融基准和 Hallu Bench 没有独立复核。
BenchCAD 的样本是 17,900 个完整数据集中的 1,000 个随机子集,且带工具与不带工具的 harness 不同;不能把它外推到所有 3D 任务或无工具场景。
OfficeQA、Frontier Finance 和其他 Agent 结果使用不同客户端、工具和评分器;跨模型横比时,harness 差异可能与模型差异同时影响结果。
“7.2 分”“11.6 分”“4.2 倍”等内部对照只说明 K3 到 K3.1 Pro 的发布口径变化;没有逐题样本、方差和失败类型,不能计算普遍提升幅度。
官方图表、案例和 AA 引用不能替代独立测试;不要编造未公开的逐题输入、输出、样本拆分或原始轨迹。
固定 API 模型 ID、客户端版本、harness、工具 schema、最大步数和超时;默认使用 reasoning effort=max、temperature=1.0、top_p=0.95,对 BrowseComp 单独记录 top_p=1.0 与上下文压缩规则。
代码任务至少区分 Terminal-Bench、长程仓库任务和纯代码生成;保存逐题通过/失败、工具调用、token、耗时和人工修复量。
3D 任务分别复跑带工具与不带工具条件,并记录 1,000-case 子集的抽样方式、Voxel IoU、生成脚本和最终资产;不要将两套分数合并。
金融任务分别记录 PDF 渲染方式、检索来源、跨文档核验、数值答案和事实错误;把 OfficeQA、Frontier Finance 与内部金融任务分开报告。
复测时不得把产品/API 可用性写成权重已公开;权重状态按 Kimi 官方文章的 2026-11-04 计划重新核对。
本文中的数字、任务集、推理档位和客户端条件只在所列来源及采集时点内成立。不同版本、不同 harness 或不同提供商的数据不能直接并排比较;未公开的参数保持未知。
需要复测时,请固定模型版本、提供商或客户端、推理档位、工具、任务集版本、样本数和采集日期,并记录失败、重试与人工修正。完整方法和复现步骤见下方来源笔记。
Kimi Tech Blog · Kimi · 原文发布日期 Unknown · 本站编辑日期 2026-10-24
打开原始来源Kimi K3.1 Pro
下载 Tabbit 客户端后检查模型可用性