Nemotron VoiceChatでログイン済みブラウザーを使う方法

Nemotron VoiceChatだけではログイン済みブラウザーを開けません。ブラウザーと組み合わせるには、NVIDIAの正確なチェックポイントを選び、音声出力と関数呼び出しに対応するホストで動かし、許可したローカルツールをTabbit CLIにつなぎます。Tabbit Browserでは専用のタスクタブを使えます。ページにアクセスできるか、名前付きの下書きが正しいかは人が確認してください。これは検証が必要な連携パターンであり、VoiceChatやTabbitに標準搭載された接続ではありません。

現在、NVIDIAには関連するVoiceChatの掲載が複数あります。Nemotron 3 VoiceChat Early Accessのページは、条件を満たす開発者向けの12B音声対音声モデルを説明しています。NGCのNemotronLabs Voicechatカードは、ツール呼び出しを別の出力チャネルに出す11Bの研究用モデルを説明しています。実行環境を決める前に、自分のアカウントで利用できる名前とバージョンを確認してください。

先に確認すること

• VoiceChatはストリーミング音声を扱います。ブラウザーツールの実行には別のホストが必要です。

• 12BのEarly Accessと11BのNGC研究用モデルは別の掲載です。重み、アクセス条件、プロバイダーの対応が共通だとは限りません。

• 開発者がMCPを使ったローカルのツール呼び出しを試しています。Tabbit CLIとの連携は実証していません。

• ブラウザー読み取りは、URLと読み取り権限を限定した名前付きローカルタスクで行います。

• 参照元を添えた下書きを人が確認します。モデルに元ページの公開や変更を任せません。

実行できるVoiceChatモデルを確認する

モデル名だけでは、ホストがストリーミング音声を受け付け、関数呼び出しを解析し、ツールの結果を会話へ戻せるか分かりません。モデルカードとホストのドキュメントで各項目を確認します。

NVIDIAの技術ブログもNemotron 3 VoiceChatをEarly Accessと説明しています。これは一般向けのモデルAPIが現在使えることを示しません。リモートホストを設定する前に、最新カタログで正確な識別子を探し、音声入力、出力形式、ツール呼び出しの解析、利用条件を確認してください。

VoiceChatとブラウザーの間にローカル実行ツールを置く

ローカルタスクを実行するマシンに Tabbit Browser をインストールします。

次の流れにします。

VoiceChatが音声を受け取りツールを要求
  -> ホストが関数名と引数を検証
  -> ローカルエージェントが許可URLと読み取り範囲を確認
  -> Tabbit CLIが別タスクタブでページを読む
  -> ホストが結果をVoiceChatに返す
  -> エージェントが人の確認用に名前付き下書きを作る

モデルにはread_authorized_pageのような範囲を限定した操作だけを要求させます。実行するかはツール側が判断します。任意のShellコマンド、任意URLへの移動、送信ボタンを無制限のツールとして公開しないでください。

一次情報の事例からも境界が分かります。Nemotron VoiceChatをApple Remindersにつないだ開発者は、「モデルがツール呼び出しを提案し、ランタイムが実行して結果をモデルに戻す」と書いています。この実験はApple Silicon上でローカルMCPプロバイダーを使いました。ローカルのツール連携を示す事例ですが、ブラウザーやTabbitとの接続を検証したものではありません。元のReddit投稿を参照してください。

投稿へのコメントでは、ツール呼び出し後の再試行で「重複が作られた」という懸念も示されました。可能なら読み取りを冪等にし、結果が不明な呼び出しは再試行前にタスクの実行結果を確認してください。これは一人の懸念であり、測定された失敗率ではありません。

読み取り専用のブラウザータスクを実行する

まずローカルエージェントのクライアントにTabbit skillを入れます。クライアントがskillを検出できるか、CLIがブラウザーへ接続できるか、対象サイトにログインしているかを個別に確認します。Piでは/skill:tabbitを使い、skillsピッカーがあるクライアントではインストール済みのtabbitを選びます。どのクライアントにも同じショートカットがあるとは限りません。設定はTabbit CLIクイックスタートを参照してください。

Tabbitが入ったマシンで、変更を伴わない接続確認を実行します。

"$HOME/.local/bin/tabbit-cli" --version
"$HOME/.local/bin/tabbit-cli" diagnose

CLIがブラウザーに接続できても、サイトへのログインは証明できません。使用するTabbitプロファイルで対象ページを自分で開き、見出しと許可されたレコードを確認します。その後、別のタスクタブで読むようローカルエージェントに頼みます。

インストール済みのtabbit skillとローカルTabbit CLIを使ってください。
新しいタスクタブでは、この許可済みURLだけを開いてください：[正確なURL]
ページに見える見出しとIDが[安定ID]のレコードを読んでください。
参照元URLと、ページで確認できた項目だけを返してください。
「VoiceChatブラウザー確認 - [レコードID]」という名前の下書きを作ってください。
元ページのクリック、送信、ダウンロード、変更はしないでください。
ログインが必要な場合、またはIDが見つからない場合は停止して報告してください。

これは例です。角括弧内を、アクセス権のあるページと識別子に置き換えます。ローカルエージェント側でVoiceChatのツール呼び出しを解析し、インストール済みCLIを起動できることも必要です。プロンプトだけではその機能は追加されません。

設定中にCLIを直接呼ぶ場合は、タスク名とリクエストIDを指定します。

この確認には、表示される見出しと data-testid="sample-record-id" の項目を持つテストページを使います。

"$HOME/.local/bin/tabbit-cli" nodejs \
  --task "VoiceChat authorized page read" \
  --request-id voicechat-read-001 <<'JS'
const url = 'https://example.com/authorized-record';
await page.goto(url, {waitUntil: 'domcontentloaded'});
if (page.url() !== url) return {status: 'unexpected URL'};
const heading = page.getByRole('heading', {level: 1});
const id = page.getByTestId('sample-record-id');
if (await heading.count() !== 1 || await id.count() !== 1 ||
    !(await heading.isVisible()) || !(await id.isVisible())) {
  return {status: 'review required'};
}
return {url, heading: await heading.innerText(), id: await id.innerText()};
JS

実行ごとに新しいリクエストIDを使い、例のURLを置き換えてください。返ったテキストを通常のTabbitタブに表示したページと比べます。別タスクタブで読み取りを進める間も、ブラウザーで作業を続けられます。

各確認で分かること

既存のCodexとTabbit CLIの設定確認では、合成した保護ページを使いました。最初のタスクはHTTP 401を受け取り、別タスクが短期間のテストセッションを設定した後、次のタスクがテストデータを読めました。これはそのプロファイルとテストページにおけるセッション再利用だけを確認したものです。VoiceChatがTabbitを呼べることや、実際のサイトのログインが続くことは示しません。

下書きの確認点をはっきりさせる

名前、参照元URL、安定ID、読み取った項目、不明な値を含めて下書きを返させます。再利用する前に、人が各項目を元ページと照合します。書き込みが必要なら別途承認を行い、送信後のページも改めて確認します。

エージェントを既存ブラウザーにつなぐ方法、Tabbit CLI完全ガイド、ブラウザーエージェント初回タスクのチェックリストも参考になります。接続方式はMCPとCLIの比較とCodex BrowserとTabbit CLIのガイドで比べられます。Tabbit AIブラウザーの概要、Web検索とブラウザー操作の違い、エージェントブラウザーの説明では関連概念を説明します。CMS下書きの手順は公開前の人による確認を扱います。

正確なモデルとホストを確認してから、Nemotron VoiceChatで音声対話を行います。ブラウザーの読み取りは許可したローカルツールに任せ、Tabbitの別タスクで実行し、最後に人がページと下書きを照合します。

Secholar.L

Tabbit グロース&コンテンツ担当

Secholar.L は AI ブラウザとエージェントワークフローについて、実際の調査と検証可能な一次情報に基づく実践的なガイドを執筆しています。