作者报告,LongCat 2.5 Preview 在 TB 2.1 的 89 项任务各运行三次,单次通过率为 48.7%,三次内至少通过一次的任务占 64.0%;这是配置和原始运行记录不完整的一次独立比较。
适合判断的任务:参考特定 TB 2.1 任务集上的模型比较结果。
不适合外推的任务:其他编程任务、不同运行框架或 LongCat-2.5 正式版的整体能力。
适用的模型版本:原帖标题简称 LongCat 2.5,但数据表明确写的是 LongCat 2.5 Preview;不能直接归为正式版成绩。
测试环境或客户端:TB 2.1;具体客户端、模型服务商和运行环境未注明。
推理档位和参数:未注明。
作者称每个模型运行基准三次,共 89 × 3 = 267 次任务运行。表中 Pass@1 以全部 267 次运行计,Pass@3 以 89 项任务计,表示三次中至少有一次通过。三个模型的运行时间不同,作者在评论中说明 MiMo 的结果复用了上月的测试。
Space Bunny 的 Pass@1 最高;三者 Pass@3 接近。LongCat 2.5 Preview 的超时数最低。作者另称 LongCat 的异常和超时最少,但表格列名是 Failures 和 Timeouts,且 LongCat 的 Failures 为 86,高于另外两者;原帖未解释异常与 Failures 的关系,不能将这句话解读为失败次数最少。
| 模型 | Pass@1 | Pass@3 | Failures | Timeouts |
|---|---|---|---|---|
| Space Bunny | 52.1%(139/267) | 66.3%(59/89) | 44 | 75 |
| LongCat 2.5 Preview | 48.7%(130/267) | 64.0%(57/89) | 86 | 48 |
| MiMo v2.5 | 44.2%(118/267) | 66.3%(59/89) | 85 | 58 |
LongCat 运行窗口为 2026-10-04 22:20 至 2026-10-05 13:17 UTC。作者称本地设备在 query-optimise 任务上持续失败,因此任务图中没有该任务的结果。
数据来自单名用户,原帖未给出完整运行日志、具体配置、失败和超时的判定方式。三个模型并非同时运行,MiMo 数据也来自较早的一次测试。以上结果不能与不同框架或条件下的基准分数直接比较。
可使用同一套 TB 2.1 任务和框架,分别对所选模型运行三次,记录每次结果、超时和失败,并按原帖分母汇总。原帖未公开足够配置和日志,无法严格复现此次结果。
LongCat 2.5