LongCat 官方报告,LongCat-2.5 在其评测中较 LongCat-2.0 提升:Terminal Bench v2.1 为 88.4 对 70.8,BrowseComp 为 91.9 对 79.9;这些是厂商报告,不能替代独立复测。
适合判断的任务:代码 Agent、网页信息检索、自动化及视觉转网页等基准的初步比较。
不适合外推的任务:所有真实项目的成功率、运行成本、延迟及不同评测框架下的排名。
适用的模型版本:LongCat-2.5;对照为 LongCat-2.0。
测试环境或客户端:按基准分别使用 Claude Code、官方评测代码或自研轻量 harness,详见下文。
推理档位和参数:除特别说明外,enable_thinking=on、temperature=1.0、top_p=0.95。
Terminal Bench v2.1:Claude Code harness v2.1.280,最大序列长度 512K,三次独立运行取平均。
BrowseComp:自研轻量 harness,包含 Verify 与 Discard-All,后者阈值 256K;最多 1,024 轮,仅开放 search 与 browse_with_goal。
AutomationBench public v1.0.6:全部 600 道公开题,使用官方评测代码。
Vision2Web:Claude Code v2.1.7,temperature=1.0、top_p=0.95、top_k=50,序列长度 256K。
官方将 LongCat-2.5 描述为面向长程 Agent 任务的原生多模态 MoE 模型,总参数 1.6 万亿,每 token 激活约 480 亿参数。官方展示了软件开发和专业办公的端到端演示,但未给出这些演示的完整提示词及成功率。
| 基准 | LongCat-2.5 | LongCat-2.0 | 说明 |
|---|---|---|---|
| Terminal Bench v2.1 | 88.4 | 70.8 | 三次独立运行平均 |
| BrowseComp | 91.9 | 79.9 | 自研 harness,限两种工具 |
| AutomationBench v1.0.6 | 51.8 | 15.8 | 600 道公开题 |
| Vision2Web | 78.6 | 未列出 | 视觉转网页 |
以上数值按原文表格抄录。原文未在这些条目中完整披露样本方差、全部成本或具体模型快照。
这些数据来自模型提供方,属于官方基准,不是独立测评。原文对竞品带星号的分数引用公开技术报告、博客或官方榜单,未带星号的竞品分数由 LongCat 自测;不同来源的配置可能不同,不宜据此断言通用排名。视觉任务、真实开发仓库及实际成本仍需在目标环境中验证。
按原文评测附注使用对应 harness、版本、工具与参数,运行指定基准并报告样本、运行次数和成本。原文未列出所有实现细节,因此仅凭发布文不能保证完全复现。
LongCat 2.5