Tabbit博客

如何用 Perceptron Mk1.5 检查已登录的网页

让本地 Tabbit Agent 截取页面状态,再把脱敏截图或 OCR 文本交给 Perceptron Mk1.5 做视觉复核。

本文目录
  1. 核心结论
  2. 配置与访问检查
  3. 按场景选择文本或视觉输入
  4. 生成命名草稿并设置复核停点
  5. 安装 Tabbit Browser 并连接本地 Agent
  6. 只读检查时,把截图交给本地 Agent 转交模型

Perceptron Mk1.5 能理解图像、视频和音频,也支持函数调用,但这不等于它能直接访问桌面浏览器的登录会话。检查已登录页面时,应在运行 Tabbit Browser 的同一台电脑上使用本地 Agent,通过 Tabbit CLI 打开页面,再只把脱敏截图或提取出的文字交给模型。Agent 最后生成一份命名草稿,交由人工复核。

本文讲的是本地客户端、模型路由与浏览器连接器如何配合,不代表模型原生集成了 Tabbit。Perceptron 的 Mk1.5 发布说明称模型可接收文本、图像、视频和音频,并支持 JSON Schema 函数工具。OpenRouter 当前列出 perceptron/perceptron-mk1.5,并标有工具调用和一个服务提供方。配置前仍要确认你的账号和地区可用。

核心结论

  • 模型负责理解页面内容并生成草稿,本地 Agent 负责调用 Tabbit CLI。

  • 先确认模型路由、技能发现、启动器连接和目标网站登录态。

  • 第一轮只读,生成带来源 URL 的命名草稿,并在人工复核处停止。

  • 不要把 OpenCode 的 @tabbit 语法推广到所有客户端。

配置与访问检查

层级建议检查通过标准
模型Perceptron Mk1.5 的官方/API 提供方当前账号模型列表可选,参数与工具能力有文档
客户端OpenCode 或其他支持本地工具的宿主可发现技能并调用模型路由
技能~/.agents/skills/tabbit/SKILL.md,OpenCode 使用 @tabbit客户端确认已加载该技能
启动器~/.local/bin/tabbit-cli可诊断并连接预期 Tabbit 环境
网站你获准访问的目标页已由你在对应 Tabbit Browser 环境登录

这几项要分别确认。模型能回答提示词,不代表它有浏览器工具。Tabbit 标签页打开了,也不代表目标站点的登录态有效。在支持 OpenRouter 路由且能运行本地 Shell 工具的客户端中配置 Perceptron Mk1.5。OpenCode 可从 ~/.agents/skills/tabbit/SKILL.md 发现已安装技能,在提示词中用 @tabbit 调用,然后确认技能确实已加载。这一步只验证客户端能发现技能。还要单独检查 ~/.local/bin/tabbit-cli 能否启动并连接预期 Tabbit 实例,最后确认目标网站已在该环境登录。前一项通过,不代表后一项也通过。

按场景选择文本或视觉输入

这套流程适合检查权限预览、账号徽标或状态标签等依赖页面呈现方式的信息。先使用无敏感信息的测试页。模型不会获得浏览器登录态。

页面证据交给模型的内容适用情况风险控制
可读文字和表格本地 Agent 提取的 DOM/OCR 文本标签、日期和字段值过滤无关个人信息,保留 URL
页面布局或徽标状态裁剪并脱敏的截图含义依赖视觉位置或图标先确认客户端支持图片附件
模糊或有冲突的状态少量文本与一张局部截图单一证据无法下结论标为待复核,不替用户推断

如果页面主要是文字,提取 DOM 文本即可,不必上传截图。如果含义依赖布局、图标状态或视觉徽标,先确认客户端能向该提供方发送图片,再由本地 Agent 转交裁剪并脱敏后的截图。不要把模型视觉理解误当成浏览器控制。

生成命名草稿并设置复核停点

先在 Tabbit Browser 中由你自己登录。再让本地 Agent 读取指定页面,调用模型整理资料,最后保存独立草稿。这里的命名与表格是示例测试夹具,不代表已连接你的真实工作区。

在当前 OpenCode 会话中使用本地 Tabbit 技能,通过 Tabbit CLI 在 Tabbit Browser 打开我获准访问的预览页。读取页面标题并仅截取可见的状态区域。发送给 Perceptron Mk1.5 前,先遮盖姓名、邮箱、token 和无关账号信息。创建名为“权限预览复核,草稿 01”的草稿表,列为:可见标签、准确页面 URL、观察到的状态、可信度、需人工确认的问题。把页面可见事实和你的解释分开。不要点击批准、修改权限或提交。停止并展示草稿与脱敏证据。如果无法将图片传给模型,就使用本地 Agent 提取的 OCR 文本,并注明没有分析图片。

预期输出:每个可见状态一行,并记录页面 URL,最后列出“需人工复核”事项。不执行写入操作。

在 Tabbit Browser 的独立任务标签页中打开保存的草稿,逐一重新打开来源链接,并将文档保留为“需人工复核”。复核任务运行时,你仍可使用其他浏览器标签页。

草稿状态含义下一步
有依据页面直接显示了字段或状态人工打开来源确认
不确定页面含相关文字但无法定论留在“需人工复核”
缺失页面未显示目标字段或记录不得自动补齐
可供复核所有结论有 URL,且未执行写入审阅完整草稿后再决定

安装 Tabbit Browser 并连接本地 Agent

推荐先安装 Tabbit Browser,在其中手动登录你有权访问的网站。Tabbit CLI 的本地入口是 macOS/Linux 上的 ~/.local/bin/tabbit-cli;已安装的技能文件可位于 ~/.agents/skills/tabbit/SKILL.md。OpenCode 可用 @tabbit 调用被发现的技能。其他客户端可能使用自己的 skills 列表或不同写法,不能假定存在统一的 /tabbit 命令。

客户端发现技能、CLI 连接浏览器、网站接受现有登录态是三个独立检查。已验证的本地流程中,同一 Tabbit 环境的第二个命名任务可以复用短时测试会话;这只验证 Tabbit CLI 会话复用,不证明 Perceptron Mk1.5 与 Tabbit 的原生集成。任务标签页单独运行,你可以继续使用浏览器的其他标签。关于边界可看Tabbit CLI guide, connect an agent to an existing browser, the first-task checklist, and the browser MCP vs CLI guide. For client-specific setup, see Codex CLI setup. For the browser itself, install Tabbit Browser; review browser-agent security and the browser-for-agent overview before granting tools.

只读检查时,把截图交给本地 Agent 转交模型

巴塞尔大学公开的测试记录里,Perceptron Mk1.5 在信息提取和转录任务中的表现有差异。先用准备发送的截图或文本格式测试,再把提取出的状态与原页对照。 原始测试记录

根据官方资料,Perceptron Mk1.5 的输入和工具能力适合模型侧理解或组织资料;真正打开已登录网页仍由本地 Tabbit Agent 完成。若客户端无法加载技能或提供图片输入,就改用文本提取并如实标注,不要把不可用功能写成已验证。

下一步可以先用无敏感信息的测试页,生成一份“Perceptron Mk1.5 browser review,草稿 01”,人工核对 URL、状态和来源,再决定是否把同一只读配方用于真实工作区。

常见问题

Perceptron Mk1.5 能直接打开我已登录的 Tabbit 标签页吗?

不能。模型支持多模态输入和函数调用,但不会自动继承本地浏览器会话。需要由本地 Agent 使用 Tabbit CLI 截取页面或提取文字。

模型能分析截图吗?

模型服务页面列出了图像输入,但所选 Agent 客户端也必须支持向该服务发送图片。如果不支持,就用本地 OCR 或 DOM 文本,并注明实际使用的证据类型。

应该尝试哪个 API 模型 ID?

Perceptron 自有 API 使用 `perceptron-mk1.5`。OpenRouter 列出的标识是 `perceptron/perceptron-mk1.5`。使用前请核对实时模型列表、地区和账号权限。

Agent 如何发现 Tabbit 技能?

在 OpenCode 中,将技能放到支持的发现目录,例如 `~/.agents/skills/tabbit/SKILL.md`,并用 `@tabbit` 调用。要在客户端确认技能已被发现;启动器和网站登录还需分别检查。

可以让模型批准权限吗?

建议保持只读。用草稿列出可见状态,再由有权限的人打开来源页面,决定是否批准。

复核草稿要记录什么?

记录页面 URL、准确的可见标签、OCR 或视觉证据和不确定项。给草稿取清楚的名字,例如“权限预览复核,草稿 01”,并在任何写入操作前停止。

下一步

让 Tabbit 与你并肩工作。

跨标签页调研、自动化重复的浏览器工作,让每一处上下文都触手可及。