为 Agent 提供最快、最省 Token 的浏览器超越 Codex，达到 SOTA 水平

题目来自 BU Bench 题库 的 100 题集合，不是为这次实验临时编写的。我们从 5 个部分各抽取 5 道题；为减少针对性跑分，本页不公开具体题目。

• 三套方案都使用同一个模型 gpt-5.6-luna、中等思考强度和 30 分钟上限，每次都是全新的模型会话。
• 每道题近同时启动三套方案，三者都结束后才开始下一题。它们共享同一台 Mac 和同一张网络。
• 整套 25 题运行 3 次，每轮使用事先登记的不同题目顺序，不从三轮里挑最好成绩。每套方案 75 次，共 225 次。
• Tabbit 使用固定的本地实例和独立 profile，启动参数带 --use-mock-keychain、--no-proxy-server。
• Codex Chrome 使用专门的实验标签页，每次运行结束后关闭。
• Agent Browser 使用 Vercel Labs agent-browser 0.35.2，作为稍后独立运行的单臂实验。

• 每个方案的答案都交给一个全新的 gpt-5.6-luna 高思考强度会话单独评分。
• 评分时看不到浏览器名称，也不会把三个答案放在一起比较。
• 评分模型看到题目、最终状态、最终答案和提交的来源。GAIA 与 BrowseComp 共 10 题提供标准答案，其余 15 题按题目要求检查最终回答。
• 评分模型没有浏览器工具：不会打开来源网页，也不读取完整操作记录、DOM 或截图。运行方自报 completed 不会自动算对。

把一套方案 75 次尝试消耗的全部时间、Token 和工具调用，除以它最终答对的题数。

Token 不是抽象数字——输入 Token 直接决定每一次调用的账单和上下文压力。三套方案用的是同一个模型，所以差距来自浏览器交给 Agent 的信息：信息更干净，操作路径更短。

每套方案全部 75 次运行，再看只看答对运行时的同一组数字。

• 中位耗时比 Codex Chrome 短 14%，比 Agent Browser 短 42%。
• 长尾差距更明显：Agent Browser 有 10% 的任务拖到 489 秒以上，而 Tabbit 的 P90 是 220.6 秒。
• 整套题跑下来，Tabbit 用了 2.92 小时墙钟时间，Agent Browser 需要 5.29 小时。
• 只看答对的运行：平均 137.0 秒，对比 140.0 秒和 230.6 秒；中位 118.3 秒，对比 131.6 秒和 185.1 秒。

每套方案全部 75 次运行的总量，以及只看答对运行时的平均值。

• Tabbit 的输入 Token 总量只有 Codex Chrome 的 52%、Agent Browser 的 42%。
• 工具调用总数 965 次，对比 1,164 次和 1,875 次，分别少 17% 和 49%。
• 只看答对的运行，平均输入 Token 是 549,906，对比 954,168 和 1,164,035。

每个答案都由不知道方案名称的评分模型裁定，所以自报 completed 从来不算答对。

• 75 次运行答对次数：48 次（64.0%）、47 次（62.7%）、45 次（60.0%）。差距很小，前两名只差一次。
• 同一题三次运行至少两次答对的题目数：16、14、15 道，分母是 25。
• 没有哪套方案在所有题型上都占优。多步检索上 Codex Chrome 拿到 10/15，Tabbit 是 9/15；网页读取上 Tabbit 是 11，Codex Chrome 是 9。

• 三套方案的正确率分别为 64.0%、62.7% 和 60.0%，差异不大。当前样本不足以证明任何方案在正确性上稳定领先。
• 本次只测试了 25 道题。后续还可以增加题目、网站、任务类型和重复批次，让结果更稳健。
• 任务采用串行执行，并复用了浏览器环境。执行顺序、残留会话状态、缓存预热、限流和长时间运行产生的状态漂移，都可能影响后续结果。
• 各方案的浏览器配置、用户数据、缓存以及网站在执行时的实时状态并不完全相同；Agent Browser 还是稍后进行的单臂实验。因此，这不是严格的科学基准测试。

即便存在这些限制，结果仍有方向性的参考价值：在本次测试条件下，Tabbit 完成任务更快，输入 Token 和工具调用也明显更少。速度与资源效率的差异比正确率的小幅差异更清晰，但仍建议用自己的真实任务进一步验证。