Reddit 社区：基于 DeepSWE 基准的 Sonnet 5 任务步数与高 Effort 成本陷阱分析

一句话结论

社区基于 Datacurve DeepSWE 复杂编码基准讨论指出：Sonnet 5 虽然单 token 费率较低，但在高难度长链路任务中往往需要更多步数和试错循环，若盲目开启高 effort 档位，其实际单任务成本反而可能劣于 Opus 4.8。

测试环境

• 讨论依据：Datacurve DeepSWE 基准评测结果（deepswe.datacurve.ai）以及社区重度 Agent 用户的实际账单与步数对比。

• 任务类型：复杂多轮自主软件工程（SWE）任务、代码库重构与单步文档抽取。

• 对比模型：Claude Sonnet 5（不同 effort 档位）vs Claude Opus 4.8。

输入/配置

• 相同难度的长上下文编码 issue。

• 分别设定 Sonnet 5 的 medium/high effort 与 Opus 4.8 的对应档位。

结果数据

• 社区用户对比发现：在 DeepSWE 等高度复杂的任务上，Sonnet 5 在 medium effort 下的平均单任务成本与 Opus 4.8 high effort 接近，但得分低 10 个百分点以上。

• 步数差异：Sonnet 5 处理高难问题时容易产生“绕圈探索”（circling around trying things）现象，完成单个复杂任务所需的 Agent 交互轮数和生成 Token 数明显多于 Opus 4.8。

• 场景分化：在单次结构化提取（如单 Prompt 批量解析多格式文档）中，Sonnet 5 消耗极少思考，单任务成本远低于 Opus；而在开放式长流程自主排错中，高 effort 的 Sonnet 5 成本优势被多出的步数抵消。

结论

不要盲目对所有复杂任务开启 Sonnet 5 的 high/xhigh effort 档位。合理的工程选型是：

1. 单步、有明确输入输出格式的任务使用 Sonnet 5（low/medium effort 或 disabled thinking）。

2. 高度复杂、多模块协同的难题直接使用 Opus 4.8 或旗舰模型，其更快的收敛速度和更少的试错步数在总账单上往往更划算。

局限

• 社区引用的是 DeepSWE 的初期公开汇总，具体逐题 Prompt 与 Agent 框架未全部公开。

• 讨论主要反映了复杂长链路编码的特例，不能全盘否定 Sonnet 5 在标准化中小型任务上的高性价比。

复现步骤

1. 选取 20 个高难度多文件代码缺陷 Issue。

2. 分别在 Sonnet 5 (high effort) 与 Opus 4.8 (medium/high effort) 下运行自主解决 Agent。

3. 统计解决率、平均交互步数、总输入/输出/思考 Token 消耗以及最终美元成本。

4. 绘制单任务成本与成功率散点图。

原始证据与数据

• 社区讨论焦点：“Sonnet 5 med is the same avg cost as Opus 4.8 high while scoring 10+ pctile points worse on DeepSWE.”

• 核心机理解释：“Sonnet is actually cheaper per token, but it takes way more steps and tokens to finish the tasks, so that's what makes it lose its price advantage on hard tasks.”

来源摘录或观察（仅做合规短引）

• 讨论核心观点：“'Cost per task' - That's the difference. Sonnet burns more tokens circling around trying things before it can conclude a task that Opus can finish handily.”

• 结论建议：“You should decompose tasks to the level where they are suitable for smaller models on low/medium reasoning... bigger models orchestrate.”