DeepSeek-V4.1-Flash 官方模型卡基准：Agent 优势与 Harness 边界

一句话结论

官方模型卡显示，DeepSeek-V4.1-Flash 是 552B backbone、每 token 激活 8B（prefill）/16B（decode）的多模态 MoE；在指定最大推理力度和 Agent harness 下，Terminal-Bench 2.1 为 90.6、DeepSWE v1.1 为 74.2，均高于表中的 DeepSeek-V4-Flash，但这些数字证明的是“模型 + harness + 参数”的组合表现，不能外推为所有客户端或普通对话任务的统一能力。

适用场景

• 适合判断的任务：代码 Agent、终端操作、仓库修改、工具调用、自动化，以及在固定评测条件下比较其与模型卡列出对照模型的表现；多模态能力可先用 MMMU-Pro、CVBench、DocVQA 和 RefCOCO-avg 做筛选。

• 不适合外推的任务：把官方 Agent 分数外推到任意 Agent 框架、聊天产品、生产系统、长上下文真实业务或安全关键场景；不同 harness 的结果不能直接视为同一模型的固定分数。

• 适用的模型版本：Hugging Face 上的 deepseek-ai/DeepSeek-V4.1-Flash 开源权重；API、产品端或后续修订版本需单独核对。

• 测试环境或客户端：模型卡所列 Hugging Face 权重和本地推理方式；代码 Agent 结果使用 DeepSeek Harness Minimal mode，DeepSWE v1.1 另按官方要求使用 mini-SWE harness，SEC-Bench Pro 使用 Claude Code harness，视觉 Agent 使用 Claude Code harness。

• 推理档位和参数：Instruct 表全部使用本地模型评测的 reasoning_effort=100；temperature=1.0、top_p=0.95。这不是托管 API 的参数写法，API 使用 low/high/max 等字符串档位。模型卡推荐 top_p=0.95 或 1.0、上下文窗口 1M tokens、max_tokens ≥ 256K。

测评方法

官方把结果分为 Base Model、Instruct Model，以及不同 Agent scaffold 的对照。

Base Model 的所有模型都在官方内部框架、相同评测设置下评估；模型卡规定分数相差不超过 0.3 时视为等效。表中的 shot 数随基准变化，不能把不同基准的分数当作同一尺度。

Instruct Model 支持 1–100 的连续推理力度。模型卡明确说明下表全部使用最大力度 reasoning_effort=100，采样为 temperature=1.0、top_p=0.95。模型卡先把代码 Agent 基准概括为 DeepSeek Harness Minimal mode 与 1M-token 上下文，再明确列出例外：DeepSWE v1.1 为遵循官方设置使用 mini-SWE，SEC-Bench Pro 使用 Claude Code。复现时应按具体基准的例外说明选择 harness。Chartography、BabyVision、ZeroBench 使用 Claude Code harness 和 512K-token 上下文；Agent's Last Exam 与 AutomationBench 使用各自官方 scaffold。模型卡称所有 Agent 评测均使用 temperature=1.0、top_p=0.95。

在 scaffold 对照中，DeepSWE v1.1 每题取 N=8 个样本，Terminal-Bench 2.1 每题取 N=3 个样本；使用 Linux 容器，max_steps=500，上下文上限 1M，采样仍为 temperature=1.0、top_p=0.95。Terminal-Bench 2.1 的该组评测不允许网络访问。

关键结果

模型卡的 Agent 对照表中，DeepSeek-V4.1-Flash 相对同表的 DeepSeek-V4-Flash，在 Terminal-Bench 2.1（90.6 vs 82.7）、Terminal-Bench 3.0（30.0 vs 7.6）、Terminal-Bench 4.0（31.2 vs 7.0）、DeepSWE v1.1（74.2 vs 54.4）、CyberGym（88.1 vs 76.7）和 AutomationBench（54.8 vs 37.7）上更高。HLE 的 36.8 与带 † 的 37.8 属于不同口径，不能直接比较；同为 text-only subset 的分数为 39.1† 与 37.8†。

模型卡还给出了同一模型跨 scaffold 的结果：DeepSWE v1.1 从 Claude Code 的 69.8 到 mini-SWE 的 74.2，Terminal-Bench 2.1 从 Codex 的 84.1 到 DSH Minimal 的 90.6。这个跨度足以说明 Agent scaffold 会改变可观测成绩。

原始数据

以下数字按官方模型卡抄录；— 表示模型卡未给出该列结果，† 是模型卡的脚注标记。

Base Model

Instruct Model：frontier 对照（最大推理力度）

† 官方脚注：HLE 的 text-only subset。

跨 Agent scaffold

结论与边界

1. 官方结果的强信号在 Agent 任务分桶内。 在模型卡列出的固定设置下，V4.1-Flash 的 Terminal-Bench、DeepSWE、CyberGym 和 AutomationBench 成绩高于 V4-Flash，且 Codeforces rating 为 3471；这支持把它列为代码 Agent 和终端任务的候选模型。

2. 基准不是统一能力分数。 Base 表使用不同 shot 数和不同指标；Instruct 表混合了 Pass@1、Pass@5、Resolved、Rating、Score 和 LLM-Judge，不能横向排序后得出单一“综合能力”。

3. Harness 会改变结果。 同一模型在 DeepSWE v1.1 的 scaffold 结果为 65.5–74.2，在 Terminal-Bench 2.1 为 84.1–90.6。复测必须固定 Agent scaffold、工具协议、步数、上下文、网络和采样参数。

4. 最大推理力度限制了外推。 官方 Instruct 结果全部为 reasoning_effort=100，不代表低力度或默认设置的表现；模型卡没有给出各基准随推理力度变化的曲线。

5. 长上下文支持不等于长任务效果。 模型卡给出 1M-token context window 和 45.2 的 LongBench-V2 Base 结果，但没有提供业务数据、长会话失败样本或完整方差，不能据此保证任意 1M-token 工作流。

6. 官方表不提供独立复核所需的全部信息。 页面没有在表格中公开每个基准的完整输入、输出、重复实验、置信区间和所有 harness 实现；其中部分对照列是外部模型名称，评测来源和运行细节不能仅凭表格完全还原。

7. 效率与能力需要分开验证。 模型卡说明 552B 总 backbone、8B/16B 激活和 1M 上下文，但没有在这张结果表中给出统一硬件、量化、并发、吞吐和延迟数据，不能用参数规模直接推导生产成本。

复现说明

1. 固定 Hugging Face 模型仓库的 commit、权重精度、tokenizer、推理引擎和 prompt encoding；模型卡说明该版本没有 Jinja chat template，仓库提供 encoding/encoding.py 参考实现。

2. Instruct 复现先使用模型卡参数：reasoning_effort=100、temperature=1.0、top_p=0.95、1M 上下文；同时记录 max_tokens，不要把不同上下文上限的结果混在一起。

3. 代码 Agent 按模型卡指定 harness 分开运行：DeepSeek Harness Minimal mode、mini-SWE、Claude Code 和各基准官方 scaffold；Terminal-Bench 2.1 复现时关闭网络，记录 Linux 容器、N、max_steps=500 和工具调用日志。

4. 每个任务保存原始输入、模型输出、patch、测试结果、失败原因、工具调用数和 token 用量；对于 Pass@1、Pass@5、Resolved、Rating 等指标分别计算，不自行合并成总分。

5. 先复现公开的 DeepSWE v1.1 与 Terminal-Bench 2.1，再在目标生产 Agent 中重复同一任务集；报告官方结果与自有 harness 结果的差异，并标明采集日期和模型 commit。