為 Agent 提供最快、最省 Token 的瀏覽器超越 Codex，達到 SOTA 水準

題目來自 BU Bench 題庫 的 100 題集合，不是為這次實驗臨時編寫的。我們從 5 個部分各抽取 5 道題；為減少針對性跑分，本頁不公開具體題目。

• 三套方案都使用同一個模型 gpt-5.6-luna、中等思考強度與 30 分鐘上限，每次都是全新的模型工作階段。
• 每道題近乎同時啟動三套方案，三者都結束後才開始下一題。它們共用同一台 Mac 與同一張網路。
• 整套 25 題執行 3 次，每輪使用事先登記的不同題目順序，不從三輪裡挑最好成績。每套方案 75 次，共 225 次。
• Tabbit 使用固定的本機實例與獨立 profile，啟動參數帶 --use-mock-keychain、--no-proxy-server。
• Codex Chrome 使用專門的實驗分頁，每次執行結束後關閉。
• Agent Browser 使用 Vercel Labs agent-browser 0.35.2，作為稍後獨立執行的單臂實驗。

• 每個方案的答案都交給一個全新的 gpt-5.6-luna 高思考強度工作階段單獨評分。
• 評分時看不到瀏覽器名稱，也不會把三個答案放在一起比較。
• 評分模型看到題目、最終狀態、最終答案與提交的來源。GAIA 與 BrowseComp 共 10 題提供標準答案，其餘 15 題依題目要求檢查最終回答。
• 評分模型沒有瀏覽器工具：不會打開來源網頁，也不讀取完整操作紀錄、DOM 或截圖。執行方自報 completed 不會自動算對。

把一套方案 75 次嘗試消耗的全部時間、Token 與工具呼叫，除以它最終答對的題數。

Token 不是抽象數字——輸入 Token 直接決定每一次呼叫的帳單與上下文壓力。三套方案用的是同一個模型，所以差距來自瀏覽器交給 Agent 的資訊：資訊更乾淨，操作路徑更短。

每套方案全部 75 次執行，再看只看答對執行時的同一組數字。

• 中位耗時比 Codex Chrome 短 14%，比 Agent Browser 短 42%。
• 長尾差距更明顯：Agent Browser 有 10% 的任務拖到 489 秒以上，而 Tabbit 的 P90 是 220.6 秒。
• 整套題跑下來，Tabbit 用了 2.92 小時牆鐘時間，Agent Browser 需要 5.29 小時。
• 只看答對的執行：平均 137.0 秒，對比 140.0 秒與 230.6 秒；中位 118.3 秒，對比 131.6 秒與 185.1 秒。

每套方案全部 75 次執行的總量，以及只看答對執行時的平均值。

• Tabbit 的輸入 Token 總量只有 Codex Chrome 的 52%、Agent Browser 的 42%。
• 工具呼叫總數 965 次，對比 1,164 次與 1,875 次，分別少 17% 與 49%。
• 只看答對的執行，平均輸入 Token 是 549,906，對比 954,168 與 1,164,035。

每個答案都由不知道方案名稱的評分模型裁定，所以自報 completed 從來不算答對。

• 75 次執行答對次數：48 次（64.0%）、47 次（62.7%）、45 次（60.0%）。差距很小，前兩名只差一次。
• 同一題三次執行至少兩次答對的題數：16、14、15 道，分母是 25。
• 沒有哪套方案在所有題型上都占優。多步檢索上 Codex Chrome 拿到 10/15，Tabbit 是 9/15；網頁讀取上 Tabbit 是 11，Codex Chrome 是 9。

• 三套方案的正確率分別為 64.0%、62.7% 與 60.0%，差異不大。目前的樣本不足以證明任何方案在正確性上穩定領先。
• 本次只測試了 25 道題。後續還可以增加題目、網站、任務類型與重複批次，讓結果更穩健。
• 任務採用串行執行，並復用了瀏覽器環境。執行順序、殘留工作階段狀態、快取預熱、限流與長時間執行產生的狀態漂移，都可能影響後續結果。
• 各方案的瀏覽器設定、使用者資料、快取以及網站在執行時的即時狀態並不完全相同；Agent Browser 也是稍後進行的單臂實驗。因此，這不是嚴格的科學基準測試。

即使存在這些限制，結果仍有方向性的參考價值：在本次測試條件下，Tabbit 完成任務更快，輸入 Token 與工具呼叫也明顯更少。速度與資源效率的差異比正確率的小幅差異更清晰，但仍建議用自己的真實任務進一步驗證。