Tabbit博客

用 LightOnOCR-3 0.8B 读取网页截图并核对数据

用 LightOnOCR-3 0.8B 读取本地网页截图,再交给本机 Tabbit Agent 核对登录页面。

本文目录
  1. 要点
  2. 设定每种工具的职责
  3. 读取本地保存的页面截图
  4. 将结果交给启用 Tabbit 的本机 Agent
  5. 操作前先复核

LightOnOCR-3 0.8B 不能操作已登录的浏览器。它是 OCR 和文档读取模型。先让它读取本地保存的网页截图或 PDF 页面,再把提取文本交给另一个能运行 Tabbit CLI 的本机 Agent。第二个 Agent 可检查已登录页面,并准备复核草稿。LightOn 模型卡介绍了转录和定位模式,但没有提供浏览器工具。Reddit 上的 OCR 挑战说明了人工复核的必要性:即使能力较强的识别工具也可能漏掉删除线文字或破坏表格。LightOnOCR-3 模型卡 · OCR 挑战原帖 · Hacker News OCR 讨论

要点

  • LightOnOCR-3 0.8B 读取图像并返回文本。它不会规划浏览器步骤、发现技能或调用 Tabbit CLI。

  • 模型卡介绍了页面文本转录模式,以及返回带标签边界框的定位模式。两者都只是信息提取,不构成操作授权。

  • 使用本地保存的截图或渲染后的 PDF 页面。不要让 OCR 模型打开网站或处理登录。

  • 另一个本机 Agent(例如启用了 Tabbit 技能的 Codex)可以将识别结果与网页对照,再准备命名草稿。

  • 金额、ID、日期、表格顺序、删除线和低清扫描内容都要人工复核。

设定每种工具的职责

组件适合处理不负责处理
LightOnOCR-3 0.8B从本地图片提取可见文字或带位置的页面区块。浏览、登录、选择记录或点击控件。
用户或本机 Agent选择来源文件、修正识别错误并决定要核对的记录。把 OCR 结果当作已验证的网页数据。
本机 Agent 中的 Tabbit CLI打开已登录的 Tabbit 配置文件、读取对应页面并准备草稿。未经复核就发送或保存修改。

模型卡称 LightOnOCR-3 使用 Apache 2.0 许可。0.8B 是该系列最小版本,官方文档提供 Transformers image-text-to-text 管线。grounding 提示词会增加标签和边界框;空提示词会返回 Markdown 页面文本。按照当前 Transformers 版本的官方说明运行,并先确认本地硬件条件。模型卡和用法示例 · LightOn OCR 代码库

读取本地保存的页面截图

先在电脑上保存网页截图,或将 PDF 中的一页渲染为图片。确认文件只包含获准处理的数据。然后按模型卡中的 Transformers 示例本地运行 OCR。页面布局重要时,使用定位模式。将 OCR 输出与原始文件分开保存,便于并排对照。

将以下提示词交给 OCR 模型:

只读取附件中的本地页面图片。不要推测画面中不可见的文字。
返回可见的记录 ID、日期、状态、金额和表格行标签。
保留原有顺序。不确定字符写 [不清楚],缺失字段写 [未显示]。
若页面有删除线,同时保留删除内容和替换内容,并注明状态。
如可用,为每个字段返回大致页面区域或边界框。
不要浏览网页、使用工具、登录或提出浏览器操作建议。

预期结果是带不确定项标记的简短转录,而不是页面准确性的证明。Reddit 上一位用户比较 OCR 工具时发现,有模型未识别删除线,另一个模型破坏了表格布局。Hacker News 的讨论也提醒,模型可能幻觉或漏字。这些都不是对 LightOnOCR-3 的评测,但说明人工对照很重要。Reddit OCR 挑战 · Hacker News OCR 讨论

将结果交给启用 Tabbit 的本机 Agent

在目标 Tabbit 配置文件中打开同一条记录并自行登录。若使用 Codex,打开 /skills,确认已发现 tabbit 技能。技能选择器和本机命令权限是两项不同的检查。按Tabbit CLI 配置指南完成设置,再确认已安装启动器能连接预期 Tabbit 实例。其他客户端请使用各自文档中的技能写法;Pi 使用 /skill:tabbit,OpenCode 文档使用 @tabbit。Codex 配置 · Pi Skills 命令 · OpenCode Skills

把 OCR 文本作为线索交给本机 Agent,而不是当成事实:

使用 Tabbit 技能,打开已登录的[获批网站],只核对 OCR 得到的记录 [ID]。
不要把 OCR 文本视为已验证数据。逐项对照页面可见内容。
不要点击编辑、保存、提交、批准或发送。
返回准确的 ID、可见日期、状态、金额和来源 URL,并标明与 OCR 的差异。
在浏览器中准备名为“OCR 对照 — [日期]”的草稿,写入对比和不确定字段。
不要保存或发送。停下并展示草稿及来源页面供我复核。

预期结果是一张对照表,包含 OCR 值、网页值及一致或不一致说明。如果 ID 对不上,不要让 Agent 打开相近记录。先看首个浏览器任务检查清单和登录态复用指南。即便 Tabbit 配置文件正确,网站会话仍可能过期。连接现有浏览器说明了配置文件边界。

操作前先复核

字段对照方法以下情况必须人工检查
记录 ID对照网页 URL 和标题逐字符核对。OCR 混淆相似字符,或 ID 缺失。
日期和金额核对标点、币种和删除线内容。图片低对比度,或数字会影响决策。
表格顺序确认行标签和值仍在同一行。列合并、旋转或分隔不明显。
草稿确认每条内容都能链接到网页。内容只来自 OCR 或模型推断。

如果需要先转录本地截图或扫描页,LightOnOCR-3 0.8B 可以作为第一步,之后由用户或单独的 Agent 操作真实网站。它不适合规划浏览器步骤或点击。请明确交接顺序:本地图片交给 OCR,识别文本交给用户或本机 Agent,最后才由 Tabbit 执行只读检查并展示草稿。更广泛的架构见Agent 如何控制浏览器、CLI 与 Browser MCP 对比和CLI 完整指南。 关于任务隔离,可参阅配置文件、工作区和标签组指南。

常见问题

LightOnOCR-3 0.8B 能操作已登录的浏览器吗?

不能。它读取图像并返回文字,不会浏览、登录、规划网页步骤或调用 Tabbit CLI。

如何把 OCR 结果用于 Tabbit?

将识别文本作为线索交给另一个本机 Agent,让它在 Tabbit 中核对对应记录并准备对照草稿。

OCR 文本可以当成已验证数据吗?

不可以。ID、日期、金额、表格顺序和不确定字符都要与原图及实时页面对照。

OCR 模型本身能调用 Tabbit 技能吗?

目前没有证据表明该 OCR 模型集成了浏览器工具。必须由用户或另一个本机 Agent 完成交接。

安全的首次任务是什么?

先转录一张本地截图或一页 PDF,再让启用 Tabbit 的 Agent 只读一条对应记录,不编辑或发送。

下一步

让 Tabbit 与你并肩工作。

跨标签页调研、自动化重复的浏览器工作,让每一处上下文都触手可及。