LongCat-2.0 官方技术博客：架构、国产算力训练与推理部署（发布说明）

一句话结论

官方技术博客给出了 LongCat-2.0 的完整技术底稿（LSA 稀疏注意力、N-gram Embedding、国产算力 6D 并行训练、prefill-decode 分离部署），可用于判断模型的长上下文/Agent 能力设计意图，以及复现官方基准与部署路径。

官方核心内容

发布口径（与模型卡一致）

• 1.6T 总参数、每 token 激活约 48B 的 MoE；完整训练与大规模部署全部使用国产算力集群。

• 预训练：5 万余国产算力芯片、耗时月余、35T+ tokens、全程无回滚、无不可恢复 loss 突刺。

• 长程能力：LongCat 稀疏注意力 + 数千亿 tokens 的百万上下文数据训练 + 专门后训练 → 编程与智能体任务表现强劲。

• 深度适配 Claude Code、OpenClaw、Hermes；在线体验 https://longcat.chat；API 接入 https://longcat.chat/platform/docs/。

架构升级（官方原文要点）

1. LongCat 稀疏注意力（LSA）——由 DeepSeek 稀疏注意力（DSA）演进，针对 DSA 中 Lightning Indexer 的"索引输出不连续 + 二次方索引评分"瓶颈：

   • Streaming-aware Indexing (SI)：硬件对齐连续访问 + 动态随机选择，碎片化显存访问转顺序读取，合并 HBM 访问。

   • Cross-Layer Indexing (CLI)：相邻层注意力显著 Token 分布一致，一次索引供多个连续层复用（训练期跨层蒸馏支撑）。

   • Hierarchical Indexing (HI)：两阶段由粗到细打分（block 级粗召回 → 候选内细选），按需启用。

   • 三组件正交、可独立开关；全部扩展到 3-step MTP 投机解码（Target 模型每 2 层共享索引；3 个 draft 步共用一次索引）。

2. N-gram Embedding：继承自 LongCat-Flash-Lite；n-gram size=5，135B 参数；将 embedding 空间扩展超 100 倍。扩展原则：MoE 稀疏度已过甜点（~97%），N-gram 占比约束在最优区间（<10% 总参数；实验显示 >50% 时优势消失）。

训练（国产算力基建）

• 6D 并行：TP/CP/EP/DP/PP 之外引入 EMBP 并行 N-gram Embedding。

• 超节点：物理超节点最多 48 台机器，节点内全互联、节点间 RoCE；带来约 30% 预训练吞吐提升。

• 显存优化：ZeRO-1、选择性重计算、OOM 自动卸载、填充词元路由至零计算专家。

• Muon 优化器大规模部署（TP 并行、DP 状态去冗余、对称矩阵乘核函数专项优化）。

• 长上下文：LSA 预热 forward-only + KL 损失；all-gather 上下文并行扩展至 512 路以上；计算通信重叠（ScMoE、top-k 索引与 KV all-gather 重叠）。

• 可靠性：通信/计算双路径确定性算子；规约算子二叉树分段累加；比特翻转检测；故障自动识别/切流/恢复，修复链路压测后复用。

推理与部署（服务层）

• 显存受限下百万上下文推理：absorb 计算模式（prefill/decode）、indexer 与 MLA prolog 并行、KV-cache 并行（KVP）切分多卡；ScMoE 用控核能力让 dense 流与 MoE 流完全并行；super kernel 减算子启动开销；Weight Prefetch 利用大 L2 cache 隐藏 I/O 延迟；200Gbps 网卡 layer-wise KV-cache 传输。

• 部署：prefill–decode（PD）分离；Prefill 节点用多节点 Chunked Pipeline Parallel (CPP) 缩小 Expert-Parallel 域 + Attention Sequence Parallelism (SP)；Decode 节点用 KVP 切 KV-cache。

• 官方部署入口：GPU 用 SGLang cookbook，NPU 用 SGLang-FluentLLM；权重在 GitHub https://github.com/meituan-longcat/LongCat-2.0 与 HF 发布（MIT）。

复核与适用边界

• 博客与模型卡同源（同团队、同日发布），技术细节互为印证；与 AlphaSignal 的独立解读（测评 04）在 LSA 三策略、N-gram、MOPD 三专家组等描述上一致（AlphaSignal 补充：N-gram 约 128B vs 官方 135B，存在小口径差）。

• 博客未点名芯片厂商（"国产算力芯片"）；社区据官方致谢 HCCL（华为通信库）推断为华为 Ascend 910C（r/LocalLLaMA 讨论，见测评 14），属推断而非官方确认。

• 适用边界：博客是工程说明而非独立测评，官方吞吐/可靠性数字（如故障率降 70%+）无第三方复核；部署方案面向超大规模集群，对个人开发者仅有 SGLang cookbook 参考价值。

• 关联文档：测评 01（官方基准表）、测评 04（AlphaSignal 核查）。