Inferwerk 报告 LongCat 2.5(max)在 2026-11-02 的 EvalMapBench 测试中满足 79.6% 的细节检查项;129 次试验中 51 次满足全部检查项。结果仅反映该私有测试集上的表现。
适合判断的任务:小型代码库维护中,模型能否发现并遵守仓库中未在工单里逐项列出的细节。
不适合外推的任务:所有软件工程任务、复杂问题求解或其他 Agent 环境下的整体能力。
适用的模型版本:原帖标为 LongCat 2.5(max);未注明具体模型 ID,也未说明是正式版还是 Preview,不能据此判定。
测试环境或客户端:关联方法页标为 Harbor 0.24 内的 Terminus-2,并将每轮推理内容传回后续轮次。
推理档位和参数:max;其他参数未注明。
原帖将 EvalMapBench 称为细节关注度测试。其关联方法页描述了两个私有代码库上的 43 个简短维护工单,每个工单运行 3 次,每次限时 20 分钟,共 129 次试验;隐藏验证器检查结果。页面称只公开汇总数据,工单、代码库及检查项不公开,外部无法完整复现。
细节检查项满足率:79.6%,报告的 95% 置信区间为 75.1%–84.2%。
129 次试验中 51 次满足全部检查项,约占 39.5%;这不是上述细节检查项满足率。
原帖报告每次试验 0.10 美元,耗时中位数 18.1 分钟;不应视为其他工作负载的通用成本或延迟。
原帖配图标明测试日期为 2026-11-02、试验数为 129,并呈现 79.6% 和 95% 置信区间 75.1–84.2。关联方法页补充,该行输出 token 中位数为 48k,运行时每轮推理会传回;页面所列输出 token 价格为每百万 1.2 美元,注明是 2026-11-02 的限时折扣价格。价格与每次试验实际成本是不同指标。
这是独立测试者对自有基准的一次汇总报告,而非模型官方结果。私有任务来自一名开发者的两个代码库,任务较小,不能代表全部维护工作。置信区间针对该组试验;不能用它证明模型在其他任务或环境中的表现,也不宜仅凭相近分数判断模型高低。原帖没有披露正式版或 Preview 身份,版本边界保留为未知。
可参考关联方法页核对公开的框架、次数和时间限制;由于工单、仓库和验证检查未公开,不能独立复现此分数。原帖未披露完整模型 ID、调用参数或逐次结果。
LongCat 2.5