Tabbit部落格

如何用 Perceptron Mk1.5 檢查登入中的網頁

以本機 Tabbit Agent 擷取頁面狀態,再把去識別化截圖或 OCR 文字交給 Perceptron Mk1.5 做視覺檢查。

本文目錄
  1. 分開檢查四個連線環節
  2. 整理並選擇頁面證據
  3. 建立具名草稿並停止
  4. 安裝 Tabbit Browser 並連接本機 Agent
  5. 檢查視覺狀態與安全交接

Perceptron Mk1.5 可理解圖片、影片和音訊,也支援函式呼叫,但這不代表它能直接存取桌面瀏覽器的登入工作階段。檢查登入頁面時,請在 Tabbit Browser 所在的電腦上執行本機 Agent,透過 Tabbit CLI 開啟頁面,再只傳送去識別化截圖或擷取文字給模型。Agent 最後建立一份具名草稿,交由人工檢查。

本文介紹本機用戶端、模型路由和瀏覽器連接方式,不代表模型已原生整合 Tabbit。 Perceptron 的發布說明說明輸入包含文字、圖片、影片和音訊,並支援 JSON Schema 函式工具。OpenRouter 目前列出 perceptron/perceptron-mk1.5 和工具呼叫能力。帳號、區域與目前路由仍須自行確認。

分開檢查四個連線環節

層級檢查項目通過條件
模型提供方目前列出的模型與工具帳號可選用,參數有文件
用戶端OpenCode 或可執行本機工具的 Agent可載入技能並呼叫模型
技能~/.agents/skills/tabbit/SKILL.md;OpenCode 使用 @tabbit用戶端確認已載入
瀏覽器~/.local/bin/tabbit-cli連到預期的 Tabbit 環境,網站已登入

四個環節都要分開確認。模型能回答,不代表它能打開瀏覽器。 檢查權限預覽、帳號徽章或狀態標籤等依賴頁面呈現方式的資訊。先用無敏感資料的測試頁,模型不會取得瀏覽器登入資訊。

整理並選擇頁面證據

只交付可見狀態與局部證據。

證據類型傳給模型人工檢查
文字、日期或欄位值本機 Agent 擷取的 DOM/OCR開啟來源 URL 核對
版面、圖示或兩頁差異局部截圖或欄位表去識別化並確認 ID
不完整或衝突摘錄及原始 URL標記待查,不要推論

建立具名草稿並停止

先由你在 Tabbit Browser 登入,再請本機 Agent 讀取指定頁面。提示詞中的頁面和輸出是示例測試資料,不表示已連接真實工作區。

使用 `@tabbit` 與 Tabbit CLI 開啟已授權的預覽頁。擷取可見狀態區域,遮蓋姓名、電郵、token 和無關資料後再交給 Perceptron Mk1.5。建立「權限預覽檢查,草稿 01」表格,欄位為可見標籤、頁面 URL、觀察狀態、信心程度、待人工確認問題。區分畫面事實與推論。不要核准、變更權限或提交。停止並展示草稿。如果不能傳圖,改用本機 OCR 並註明沒有分析圖片。

預期結果: 表格只記錄可見狀態、頁面 URL 和待人工檢查問題,不執行寫入。

在 Tabbit Browser 的獨立任務分頁中開啟已儲存的草稿,逐一重新開啟來源連結,並將文件保留為「需人工檢查」。任務執行期間,你仍可使用其他分頁。

安裝 Tabbit Browser 並連接本機 Agent

建議先安裝 Tabbit Browser,再登入你有權使用的網站。macOS/Linux 的 CLI 入口是 ~/.local/bin/tabbit-cli。技能檔可放在 ~/.agents/skills/tabbit/SKILL.md,OpenCode 使用 @tabbit。其他用戶端可能用 skills 清單或不同語法,不要假設都有 /tabbit。

技能發現、CLI 連線和網站登入是不同檢查點。測試環境中的第二個命名 Tabbit CLI 任務沿用了短時測試登入態,只證明該環境能重用會話,不證明模型與 Tabbit 原生整合。任務分頁獨立,你可以繼續使用其他分頁。參考Tabbit CLI 完整指南、連接 Agent 與現有瀏覽器、首個瀏覽器任務檢查表和瀏覽器 MCP 與 CLI 指南,以及瀏覽器 Agent 安全說明、Agent 瀏覽器工具概覽和Codex CLI 設定。

巴塞爾大學公開的測試紀錄顯示,Perceptron Mk1.5 在資料擷取和轉錄任務中的表現有差異。先用要傳送的截圖或文字格式測試,再把擷取的狀態與原頁比對。 原始測試紀錄

檢查視覺狀態與安全交接

先用無敏感資料的測試頁,確認模型路由、來源和草稿狀態,再考慮真實工作區。 檢查權限預覽、帳號徽章或狀態標籤等依賴頁面呈現方式的資訊。先用無敏感資料的測試頁,模型不會取得瀏覽器登入資訊。

常見問題

模型能自行開啟已登入的 Tabbit 分頁嗎?

不能。本機 Agent 必須用 Tabbit CLI 連接瀏覽器,再把必要資料傳給模型。

哪個 OpenRouter 模型 ID 可用?

OpenRouter 目前列出 `perceptron/perceptron-mk1.5`,但仍須確認帳號、地區和目前服務狀態。

可不可以讓 Agent 提交或修改頁面?

先保持唯讀。確認來源與差異後,再由你單獨批准任何更改。

用戶端無法傳送截圖時怎麼辦?

改用本機 Agent 擷取的 OCR 或 DOM 文字,並註明沒有分析圖片。模型的圖像能力不代表用戶端也能傳圖。

應該先用真實帳戶頁嗎?

不必。先用無敏感資料的測試頁確認模型、技能、啟動器與登入狀態。

本機 Tabbit 任務會佔用我其他分頁嗎?

任務分頁獨立運行,你可以繼續使用 Tabbit Browser 的其他分頁。

下一步

讓 Tabbit 與你並肩工作。

跨分頁調研、自動化重複的瀏覽器工作,讓每一處上下文都觸手可及。