Tabbit部落格

用 LightOnOCR-3 0.8B 讀取網頁截圖

用 OCR 讀取本機圖片,再交給 Tabbit 本機 Agent 與實際頁面核對。

本文目錄
  1. 要點
  2. 設定每种工具的職責
  3. 讀取本地儲存的頁面截圖
  4. 将結果交给啟用 Tabbit 的本機 Agent
  5. 操作前先覆核

LightOnOCR-3 0.8B 不能操作已登入的瀏覽器。它是 OCR 和文档讀取模型。先让它讀取本地儲存的網頁截圖或 PDF 頁面,再把提取文本交给另一個能執行 Tabbit CLI 的本機 Agent。第二個 Agent 可檢查已登入頁面,并准備覆核草稿。LightOn 模型卡介绍了轉錄和定位模式,但没有提供瀏覽器工具。Reddit 上的 OCR 挑战說明了人工覆核的必要性:即使能力较强的識别工具也可能漏掉删除線文字或破坏表格。LightOnOCR-3 模型卡 · OCR 挑战原帖 · Hacker News OCR 讨論

要點

  • LightOnOCR-3 0.8B 讀取圖像并返回文本。它不會規劃瀏覽器步骤、發現技能或调用 Tabbit CLI。

  • 模型卡介绍了頁面文本轉錄模式,以及返回带標签邊界框的定位模式。两者都只是資訊提取,不构成操作授權。

  • 使用本地儲存的截圖或渲染後的 PDF 頁面。不要让 OCR 模型打開網站或處理登入。

  • 另一個本機 Agent(例如啟用了 Tabbit 技能的 Codex)可以将識别結果与網頁對照,再准備命名草稿。

  • 金額、ID、日期、表格順序、删除線和低清扫描內容都要人工覆核。

設定每种工具的職責

組件適合處理不負責處理
LightOnOCR-3 0.8B從本地圖片提取可见文字或带位置的頁面區块。瀏覽、登入、選擇記錄或點击控件。
使用者或本機 Agent選擇來源檔案、修正識别錯誤并决定要核對的記錄。把 OCR 結果當作已驗證的網頁資料。
本機 Agent 中的 Tabbit CLI打開已登入的 Tabbit 設定檔案、讀取對應頁面并准備草稿。未經覆核就傳送或儲存修改。

模型卡称 LightOnOCR-3 使用 Apache 2.0 許可。0.8B 是该系列最小版本,官方文档提供 Transformers image-text-to-text 管線。grounding 提示词會增加標签和邊界框;空提示词會返回 Markdown 頁面文本。按照當前 Transformers 版本的官方說明執行,并先確認本地硬件條件。模型卡和用法示例 · LightOn OCR 程式碼库

讀取本地儲存的頁面截圖

先在电脑上儲存網頁截圖,或将 PDF 中的一頁渲染为圖片。確認檔案只包含获准處理的資料。然後按模型卡中的 Transformers 示例本地執行 OCR。頁面佈局重要時,使用定位模式。将 OCR 輸出与原始檔案分開儲存,便于并排對照。

将以下提示词交给 OCR 模型:

只讀取附件中的本地頁面圖片。不要推測画面中不可见的文字。
返回可见的記錄 ID、日期、狀態、金額和表格行標签。
保留原有順序。不確定字符写 [不清楚],缺失欄位写 [未顯示]。
若頁面有删除線,同時保留删除內容和替换內容,并注明狀態。
如可用,为每個欄位返回大致頁面區域或邊界框。
不要瀏覽網頁、使用工具、登入或提出瀏覽器操作建议。

預期結果是带不確定项標記的簡短轉錄,而不是頁面准確性的證明。Reddit 上一位使用者比较 OCR 工具時發現,有模型未識别删除線,另一個模型破坏了表格佈局。Hacker News 的讨論也提醒,模型可能幻觉或漏字。這些都不是對 LightOnOCR-3 的評測,但說明人工對照很重要。Reddit OCR 挑战 · Hacker News OCR 讨論

将結果交给啟用 Tabbit 的本機 Agent

在目標 Tabbit 設定檔案中打開同一條記錄并自行登入。若使用 Codex,打開 /skills,確認已發現 tabbit 技能。技能選擇器和本機命令權限是两项不同的檢查。按Tabbit CLI 設定指南完成設定,再確認已安裝啟動器能连接預期 Tabbit 實例。其他用戶端請使用各自文档中的技能写法;Pi 使用 /skill:tabbit,OpenCode 文档使用 @tabbit。Codex 設定 · Pi Skills 命令 · OpenCode Skills

把 OCR 文本作为線索交给本機 Agent,而不是當成事實:

使用 Tabbit 技能,打開已登入的[获批網站],只核對 OCR 得到的記錄 [ID]。
不要把 OCR 文本视为已驗證資料。逐项對照頁面可见內容。
不要點击编辑、儲存、提交、批准或傳送。
返回准確的 ID、可见日期、狀態、金額和來源 URL,并標明与 OCR 的差異。
在瀏覽器中准備名为“OCR 對照 — [日期]”的草稿,写入對比和不確定欄位。
不要儲存或傳送。停下并展示草稿及來源頁面供我覆核。

預期結果是一张對照表,包含 OCR 值、網頁值及一致或不一致說明。如果 ID 對不上,不要让 Agent 打開相近記錄。先看首個瀏覽器任務檢查清單和登入狀態複用指南。即便 Tabbit 設定檔案正確,網站會話仍可能过期。连接現有瀏覽器說明了設定檔案邊界。

操作前先覆核

欄位對照方法以下情况必须人工檢查
記錄 ID對照網頁 URL 和標題逐字符核對。OCR 混淆相似字符,或 ID 缺失。
日期和金額核對標點、币种和删除線內容。圖片低對比度,或數字會影响决策。
表格順序確認行標签和值仍在同一行。列合并、旋轉或分隔不明顯。
草稿確認每條內容都能鏈接到網頁。內容只來自 OCR 或模型推斷。

如果需要先轉錄本地截圖或扫描頁,LightOnOCR-3 0.8B 可以作为第一步,之後由使用者或單獨的 Agent 操作真實網站。它不適合規劃瀏覽器步骤或點击。請明確交接順序:本地圖片交给 OCR,識别文本交给使用者或本機 Agent,最後才由 Tabbit 執行只讀檢查并展示草稿。更广泛的架构见Agent 如何控制瀏覽器、CLI 与 Browser MCP 對比和CLI 完整指南。 關于任務隔离,可参阅設定檔案、工作區和標签組指南。

常見問題

LightOnOCR-3 0.8B 能操作瀏覽器嗎?

不能。它讀取圖片並輸出文字,不會瀏覽、登入、規劃或呼叫 Tabbit CLI。

如何把 OCR 結果交給 Tabbit?

將文字作為線索交給另一個本機 Agent,讓它核對實際頁面並準備草稿。

OCR 文字能當成已驗證資料嗎?

不能。請用原圖和實際頁面核對 ID、日期、金額、表格順序和不確定字元。

OCR 模型能呼叫 Tabbit 技能嗎?

目前未驗證此整合。由使用者或另一個本機 Agent 完成交接。

安全的第一個任務是什麼?

先轉錄一張本機圖片,再只讀 Tabbit 中對應記錄,不編輯或傳送。

下一步

讓 Tabbit 與你並肩工作。

跨分頁調研、自動化重複的瀏覽器工作,讓每一處上下文都觸手可及。