公式3.2 instruct
`mistralai/Mistral-Small-3.2-24B-Instruct-2506`は3.1のマイナーアップデートです。指示追従、反復、function callingの改善が記載されています。
日本語
MISTRAL 24B × SILLYTAVERN
まず24Bの設定を正しく揃える
「Mistral 24B」はMistral Small 3.2、旧3.1、またはMagistryのようなRP向けmergeを指すことがあります。テンプレートやsamplerは同じではありません。正確なモデルを確認してからSillyTavernへ接続します。
MODEL IDから始める
24Bはサイズでありモデル名ではない
設定を変える前に、リポジトリまたはプロバイダーのslugを控えます。3.1のファイルに3.2のテンプレートを適用したり、コミュニティmergeを公式checkpointと混同したりするのを防げます。
前世代の公式版
`mistralai/Mistral-Small-3.1-24B-Instruct-2503`は別のcheckpointです。3.2からテンプレートや挙動を推測しないでください。
コミュニティのRPモデル
Magistry、Cydonia、Magidoniaなどはfine-tuneまたはmergeです。ライセンス、プロンプト形式、samplerは各カードを確認します。
base、instruct、量子化
baseとinstructは別checkpointです。GGUF、AWQ、Q4/Q5/Q6は形式または量子化で、公式の新モデル名ではありません。
設定の順番
SillyTavernの前にサービング層を選ぶ
SillyTavernはチャットUIです。モデルにはローカルサーバーまたはプロバイダーのendpointが必要です。
ローカルGPUまたはMac
公式3.2カードはBF16/FP16で約55GBのGPUメモリを記載しています。GGUFはメモリと速度、品質の交換になるため実ファイルを確認します。
vLLMサーバー
MistralはvLLM 0.9.1以上と`mistral_common` 1.6.2以上を推奨しています。Mistral形式と正確なIDを使います。
プロバイダーまたはOpenAI互換API
正確なmodel slugとendpointをコピーします。「Mistral 24B」という表示だけではテンプレートを決められません。
SillyTavernへ接続
backendがrole messagesを受けるならChat Completionを使います。Text Completionは指定がある場合だけ選び、key、モデル名、contextも確認します。
RPの調整
samplerより先にテンプレート
テンプレートの不一致はモデルの弱さに見えます。形式とcontextを直し、短い同一テストで生成を調整します。
backendのMistral形式を使う
可能ならtokenizerやサーバーにchat templateを適用させます。`<s>`やrole markerが出たら形式を直します。
カードを短く保つ
固定事実、現在の目的、場面の状態を分けます。重複loreとユーザーの行動まで書く指示を削除します。
基準値を記録する
モデルカードまたはfine-tuneカードの値から始めます。公式3.2カードは一般用途で0.15のような低いtemperatureを例示しますが、RPモデルは異なる場合があります。
stop stringはモデルごとに確認
LlamaやChatMLのstop stringはMistralの出力を切ったりmarkerを表示したりします。checkpointの指示を使い、2ターンで試します。
コミュニティではユーザーの代わりに話す、空応答、反復、量子化の遅さなどが報告されています。症状であり、全ファイルに当てはまる規則ではありません。
症状 → 確認 → 対処
壊れている層を見つける
一度に一つだけ変更し、同じ短いプロンプトを繰り返します。名前、endpoint、テンプレートの不一致が最初の確認ポイントです。
| 症状 | 確認 | 次の操作 |
|---|---|---|
| 空の応答 | endpoint、slug、context template、stop string。 | 短い1ターンを送り、backend指定のMistral templateに替えます。 |
| markerが本文に出る | templateをSillyTavern、server、tokenizerの誰が適用しているか。 | 形式の担当を一つにしてraw promptを確認します。 |
| ユーザーの台詞を書く | キャラクターカードと例文。 | ユーザーの裁量を明記し、矛盾した例を削除します。 |
| 反復やループ | 重複lore、context、sampler、量子化。 | ノイズを減らし基準値に戻って、一つずつ変えます。 |
| 遅い、速度が落ちる | 量子化、GPU offload、RAM/VRAM、context。 | 実ファイルの要件と機材を比べます。CPU offloadは遅くなることがあります。 |
| 挙動が違う | base/instruct、3.1/3.2、公式/コミュニティ。 | 完全なIDを記録し、そのカードの設定を使います。 |
研究用ワークスペース、RUNNERではない
モデルカードをチャットの隣に置く
TabbitはSillyTavernの代わりでも、このローカルcheckpointを実行するrunnerでもありません。本ページ確認時の公開モデル一覧にMistralはありません。カード、量子化、メモ、コミュニティ投稿をまとめる用途に使います。
- 1
公式カードと量子化ページを開く
ID、ハードウェア、templateの指示を見える状態にします。公式checkpointを分けてからコミュニティモデルを追加します。
- 2
@でタブとファイルを参照
@でページ、スクリーンショット、ローカルメモをプロンプトに入れ、IDを残したチェックリストを作れます。
- 3
表示されたモデルだけ比較
Tabbitのpickerに実際に表示されるモデルを比較できます。一覧は変わるのでインストール後に確認します。
使う場所を選ぶ
ローカルRP制御か、ブラウザのcontextか
解決する問題が違います。カード、sampler、backendはSillyTavernに任せ、ページとファイルの情報収集はTabbitでまとめます。
| SillyTavern + backend | Tabbit | |
|---|---|---|
| Mistral 24Bをローカル実行 | 互換サーバーがあれば可能 | 保証しない |
| カードとsampler | 細かく制御 | メモを参照 |
| 公式・コミュニティ資料 | 貼り付けまたはアプリ切替 | @タブ、ファイル、ページ |
| モデル比較 | endpointやpresetを変更 | pickerのモデルを比較 |
| ハードウェア診断 | VRAM、offload、tokens/sec | 根拠を整理 |
FAQ
Mistral 24BとSillyTavernの質問
Mistral 24Bとは？+
通常は240億パラメータのMistral Small checkpointですが、3.1、3.2、量子化、RP mergeを指すこともあります。完全なIDを使ってください。
公式モデルはどれ？+
このガイドの公式ページは`mistralai/Mistral-Small-3.2-24B-Instruct-2506`です。3.1のマイナーアップデートで、実際に提供される版を選びます。
1枚のGPUで動く？+
3.1の発表はRTX 4090または32GB Macを挙げ、3.2カードはBF16/FP16で約55GBのGPUメモリを記載しています。量子化は実ファイルを確認します。
Chat CompletionとText Completionのどちら？+
backendとカードに従います。SillyTavernではメッセージをpromptにする方法の違いで、ローカルかクラウドかの違いではありません。
なぜ反復したりユーザーの代わりに話す？+
ID、template、重複カード、samplerの順で確認します。frontendの不一致でも同じ症状が起きます。
TabbitでMistral 24Bを動かせる？+
前提にしないでください。確認時のTabbit公開モデル一覧にMistralはありません。資料収集と比較のために使えます。
checkpoint、template、根拠を一つに
正確なMistral IDを確認し、サービング層を接続してから短いテストでSillyTavernを調整します。カードや量子化ページが散らばるときはTabbitでまとめます。
macOSとWindowsに対応。モデル一覧は変わる場合があります。