Cline 表示,在其仓库中的一个真实 bug 上,Ox Alpha 和 Fable 都正确完成修复;但 Ox Alpha 的输出 token 约少三倍、重复推理更少,这是一条值得复测的效率信号,而不是可推广到所有任务的能力排名。
任务:Cline 仓库中的一个真实 bug。
对照模型:Ox Alpha 与 Fable(帖子未给出版本、价格或完整模型 ID)。
结果:帖子称两者都正确修复该 bug。
观察:Fable 在编辑前重复说了 7 次“我找到了根本原因”;Ox Alpha 只陈述一次后就写入修复。
帖子没有公开 bug 编号、仓库 commit、prompt、上下文、工具权限、temperature、effort、超时、重复次数或评判脚本。帖子提到“思考 token”和总输出 token,但没有给出原始计数表,因此“约少三倍”只能按 Cline 自报值记录。
| 观察项 | Cline 帖子中的结果 | 证据边界 |
|---|---|---|
| 修复正确性 | Ox Alpha 与 Fable 都正确修复同一个 bug | 单一任务,无法代表总体通过率 |
| 重复推理 | Fable 重复陈述根因 7 次;Ox Alpha 1 次 | 质性观察,未给完整轨迹 |
| 输出效率 | Ox Alpha 在相近工作量下约少 3 倍输出 token | 自报总量,缺少原始 token 计数与成本账本 |
| 早期定位 | Cline 另称 Ox Alpha 早期基准略优于 Fable 与 GPT | 帖子未公开 benchmark、任务集或分数,不可引用为排名 |
如果你的目标是编码 Agent 的“完成同一修复所需输出量”,这条帖子值得作为一个可复现实验起点:在相同仓库和 bug 上记录工具调用、思考/输出 token、修复后的测试和人工返工。当前证据只能支持“Cline 报告了一次正确且更少重复输出的对照”,不能支持 Ox Alpha 已经普遍优于 Fable 或 GPT。
对 Tabbit 用户而言,适合把 Ox Alpha 放进受控的低成本试验:先用脱敏仓库、固定任务和可回滚分支,确认结果后再扩大任务范围。
只有一个真实 bug,样本量不足,且没有独立复核。
未公开两个模型的版本、上下文、effort、工具 harness 和温度。
“约 3 倍”没有附原始 token 统计,也没有把延迟、重试和人工审查计入总成本。
“早期 benchmark 略优”没有公开分数与方法,不能写成排行榜事实。
Ox Alpha 的匿名提供商、临时免费状态和数据条款仍需单独核验。
固定 Cline 仓库 commit、同一个 bug、相同模型版本和权限;清除旧会话。
分别运行 Ox Alpha 与 Fable,保存 prompt、工具调用、思考/输出 token、耗时和完整 diff。
由测试套件确认修复,再由独立 reviewer 评估副作用和返工时间。
扩展到至少 20 个不同类型的真实任务,报告均值、中位数、失败类型和置信区间;不要把单个 bug 的“约三倍”直接外推。
Ox Alpha