官方 0731 更新显示 V4-Flash 的 Agent 基准明显高于 V4-Pro-Preview,但结果依赖 DeepSeek Harness minimal mode 与 max effort,比较时必须把 harness 和参数一起复现。
适合的任务:代码 Agent、终端操作、工具调用、自动化和全栈开发能力的官方版本定位。
不适合的任务:把单一官方 harness 下的分数直接外推到聊天、视觉、多模态或另一套 Agent 框架。
适用的模型版本:公开 beta deepseek-v4-flash 的 0731 API 更新;更新页称模型架构和规模保持不变,仅重新 post-train。
适用的客户端、Agent 或 API:DeepSeek API;官方 DeepSeek Harness minimal mode。
推荐的推理档位和参数:复现官方 Code Agent 条件时使用 max、top_p=0.95、temperature=1.0;普通应用应重新做自己的参数评估。
模型:DeepSeek-V4-Flash 0731 API。
Harness:DeepSeek Harness minimal mode(官方说明当时即将发布)。
推理档位:max。
采样配置:top_p=0.95、temperature=1.0。
任务集合:Terminal Bench 2.1、NL2Repo、CyberGym、DeepSWE、Toolathlon Verified、Agents' Last Exam、Automation Bench Public,以及内部 DSBench-FullStack、DSBench-Hard。
原始输入:各基准的完整任务输入与 harness 实现未在更新页公开,无法仅凭此页重建单题测试。
| 基准 | V4-Flash 0731 |
|---|---|
| Terminal Bench 2.1 | 82.7 |
| NL2Repo | 54.2 |
| CyberGym | 76.7 |
| DeepSWE | 54.4 |
| Toolathlon Verified | 70.3 |
| Agents' Last Exam | 25.2 |
| Automation Bench (Public) | 25.1 |
| DSBench-FullStack(内部) | 68.7 |
| DSBench-Hard(内部) | 59.6 |
该更新支持把 V4-Flash 作为低成本代码 Agent 候选,尤其适合终端、仓库修改和工具编排;但它证明的是“V4-Flash + 官方 harness + 指定参数”的组合表现,而不是裸模型在所有客户端中的统一能力。
官方更新页未给出每道题的输入、输出、失败样本、重复次数、置信区间或完整 harness 代码,因此不能称为独立可复现测评。
DSBench-FullStack 与 DSBench-Hard 是内部集合,外部无法直接复跑。
更新页称比较对象是 V4-Pro-Preview,但未在同一段落给出完整对照表;不要自行补写缺失的对照分数。
0731 API 仅升级 V4-Flash,V4-Pro API 与 APP/Web 模型当时未变化;产品端结果不能直接当作 API 结果。
在 DeepSeek API 中固定模型版本与可用的 0731 endpoint。
记录 API 响应协议、工具描述、超时、重试、上下文裁剪和工作区快照。
让自己的 Agent 尽可能复刻官方的 minimal harness,并固定 max、top_p=0.95、temperature=1.0。
先用公开的 Terminal Bench 2.1、NL2Repo 等任务做多次重复,保存每个任务的 patch、测试结果、工具调用数和 token 用量。
将结果与官方表格并列,同时另跑目标生产 harness;不要只比较一个总分。
更新页原文给出的公开数字为 82.7 / 54.2 / 76.7 / 54.4 / 70.3 / 25.2 / 25.1,并把两个 DSBench 数字标成内部测试;同页明确写出 DeepSeek Harness minimal mode、max effort、topp=0.95、temperature=1.0。
官方把这次更新称为 “significantly enhanced agent capabilities”,同时注明 Flash 0731 “keeps the same model architecture and size ... and was only re-post-trained”。
DeepSeek V4 Flash