공식 3.2 instruct
`mistralai/Mistral-Small-3.2-24B-Instruct-2506`은 3.1의 마이너 업데이트입니다. 지시 따르기, 반복, function calling 개선이 기록되어 있습니다.
한국어
MISTRAL 24B PRESET
preset이 전제하는 조건부터 확인하세요
Mistral 24B preset에는 모델 이름, 작성자 메모, chat template, system prompt와 sampler가 들어갈 수 있습니다. 출처나 버전, 양자화가 다르면 빈 응답, 역할 태그 노출, 반복, 사용자 대신 말하는 문제가 생깁니다. 가져오기 전에 계층별로 확인하세요.
MODEL ID부터 확인
24B는 크기이지 모델 이름이 아닙니다
설정을 바꾸기 전에 저장소나 공급자의 전체 slug를 적어 두세요. 3.1 파일에 3.2 템플릿을 적용하거나 커뮤니티 merge를 공식 checkpoint로 착각하는 일을 막을 수 있습니다.
이전 공식 버전
`mistralai/Mistral-Small-3.1-24B-Instruct-2503`은 별도의 checkpoint입니다. 3.2에서 템플릿이나 동작을 추측하지 마세요.
커뮤니티 RP 파일
Magistry, Cydonia, Magidonia 등은 fine-tune 또는 merge입니다. 라이선스, 프롬프트 형식, sampler는 각 카드에서 확인하세요.
base, instruct, 양자화
base와 instruct는 서로 다른 checkpoint입니다. GGUF, AWQ, Q4/Q5/Q6은 형식 또는 양자화이며 새 공식 Mistral 모델명이 아닙니다.
설정 순서
SillyTavern 전에 서빙 계층을 고르세요
SillyTavern은 채팅 프런트엔드입니다. 모델에는 로컬 서버나 공급자 endpoint가 필요합니다. 하드웨어와 개인정보 요구에 맞춰 선택하세요.
로컬 GPU 또는 Mac
공식 3.2 카드는 BF16/FP16에 약 55GB GPU 메모리를 기록합니다. GGUF는 메모리와 속도, 품질을 바꾸므로 실제 파일을 확인하세요.
vLLM 서버
Mistral은 vLLM 0.9.1 이상과 `mistral_common` 1.6.2 이상을 권장합니다. Mistral 형식과 정확한 ID를 사용하세요.
공급자 또는 OpenAI 호환 API
정확한 model slug와 endpoint를 복사하세요. “Mistral 24B”라는 표시만으로 템플릿을 정할 수 없습니다.
SillyTavern 연결
backend가 role messages를 받으면 Chat Completion을 사용하세요. Text Completion은 문서가 지정할 때만 쓰고 endpoint, 키, 모델명과 context를 확인하세요.
RP 조정
sampler보다 템플릿이 먼저입니다
템플릿이 맞지 않으면 모델이 약해 보입니다. 형식과 context를 고친 뒤 짧은 반복 테스트로 생성을 조정하세요.
backend의 Mistral 형식 사용
가능하면 tokenizer나 서버가 chat template을 적용하게 하세요. `<s>`나 role marker가 나오면 먼저 형식을 고치세요.
카드를 간결하게 유지
고정 사실, 현재 목표, 장면 상태를 나눕니다. 중복 lore와 사용자를 대신해 쓰게 하는 지시를 삭제하세요.
기준값 기록
모델 카드나 fine-tune 카드의 값부터 시작하세요. 공식 3.2 카드는 일반 용도에 0.15처럼 낮은 temperature를 예로 들지만 RP 모델은 다를 수 있습니다.
stop string은 모델별로
Llama나 ChatML의 stop string은 Mistral 응답을 자르거나 marker를 노출할 수 있습니다. checkpoint의 안내를 복사하고 두 턴으로 시험하세요.
커뮤니티에서는 사용자를 대신해 말하기, 빈 응답, 반복, 느린 양자화가 보고됩니다. 모든 파일에 적용되는 규칙은 아닙니다.
증상 → 확인 → 조치
문제의 층을 찾으세요
한 번에 하나만 바꾸고 같은 짧은 프롬프트를 반복하세요. 이름, endpoint, 템플릿 불일치부터 확인하는 것이 빠릅니다.
| 증상 | 확인 | 다음 조치 |
|---|---|---|
| 빈 응답 | endpoint, slug, context template, stop string. | 짧은 한 턴을 보내고 backend의 정확한 Mistral 템플릿으로 바꾸세요. |
| marker가 본문에 표시 | 템플릿 적용 주체가 SillyTavern, 서버, tokenizer 중 어디인지. | 형식 적용 주체를 하나로 정하고 raw prompt를 확인하세요. |
| 사용자 대신 작성 | 캐릭터 카드와 예시. | 사용자 주도권을 명시하고 충돌하는 예시를 삭제하세요. |
| 반복이나 루프 | 중복 lore, context, sampler, 양자화. | 노이즈를 줄이고 기준값으로 돌아가 한 값씩 바꾸세요. |
| 느리거나 속도 저하 | 양자화, GPU offload, RAM/VRAM, context. | 실제 파일 요구량과 장비를 비교하세요. CPU offload는 느려질 수 있습니다. |
| 예상과 다른 동작 | base/instruct, 3.1/3.2, 공식/커뮤니티. | 전체 ID를 적고 해당 카드의 설정을 적용하세요. |
연구 워크스페이스, RUNNER 아님
모델 카드를 채팅 옆에 두세요
Tabbit은 SillyTavern을 대체하거나 이 로컬 checkpoint를 실행하지 않습니다. 이 페이지를 확인할 때 공개 모델 목록에 Mistral은 없었습니다. 카드, 양자화, 메모, 커뮤니티 글을 모으는 데 사용하세요.
- 1
공식 카드와 양자화 페이지 열기
ID, 하드웨어, 템플릿 안내를 보이게 두고 공식 checkpoint를 분리한 뒤 커뮤니티 모델을 추가하세요.
- 2
@로 탭과 파일 참조
@로 페이지, 스크린샷, 로컬 메모를 프롬프트에 넣고 ID를 보존하는 체크리스트를 요청하세요.
- 3
표시된 모델만 비교
Tabbit picker에 실제로 보이는 모델을 비교할 수 있습니다. 목록은 바뀌므로 설치 후 다시 확인하세요.
맞는 화면 고르기
로컬 RP 제어인가, 브라우저 context인가
두 도구의 역할은 다릅니다. 카드, sampler, backend는 SillyTavern에서, 페이지와 파일 수집은 Tabbit에서 처리하세요.
| SillyTavern + backend | Tabbit | |
|---|---|---|
| Mistral 24B 로컬 실행 | 호환 서버가 있으면 가능 | 보장하지 않음 |
| 카드와 sampler | 세밀한 제어 | 메모 참조 |
| 공식·커뮤니티 자료 | 붙여 넣거나 앱 전환 | @ 탭, 파일, 페이지 |
| 모델 비교 | endpoint나 preset 변경 | picker 모델 비교 |
| 하드웨어 진단 | VRAM, offload, tokens/sec | 근거 정리 |
FAQ
Mistral 24B와 SillyTavern 질문
Mistral 24B는 무엇인가요?+
보통 240억 파라미터 Mistral Small checkpoint를 말하지만 3.1, 3.2, 양자화와 RP merge를 뜻하기도 합니다. 전체 ID를 사용하세요.
공식 모델은 무엇을 고르나요?+
이 가이드의 공식 페이지는 `mistralai/Mistral-Small-3.2-24B-Instruct-2506`입니다. 3.1의 마이너 업데이트이며 서버나 공급자가 제공하는 버전을 사용하세요.
GPU 한 장에서 실행되나요?+
3.1 발표는 RTX 4090 한 장 또는 32GB Mac을 언급하고, 3.2 카드는 BF16/FP16에 약 55GB GPU 메모리를 기록합니다. 양자화는 실제 파일을 확인하세요.
Chat Completion과 Text Completion 중 무엇을 쓰나요?+
backend와 카드에 따르세요. SillyTavern에서 선택은 메시지를 prompt로 만드는 방식이며 로컬/클라우드 구분이 아닙니다.
왜 반복하거나 사용자를 대신해 말하나요?+
ID, template, 중복 카드, sampler 순서로 확인하세요. frontend 불일치도 같은 증상을 만듭니다.
Tabbit에서 Mistral 24B를 실행할 수 있나요?+
가정하지 마세요. 확인 당시 Tabbit 공개 모델 목록에 Mistral은 없었습니다. 자료 수집과 비교 용도로 사용하세요.
checkpoint, 템플릿, 근거를 함께 관리하세요
정확한 Mistral ID를 확인하고 서버를 연결한 뒤 짧은 테스트로 SillyTavern을 조정하세요. 카드와 양자화 페이지가 흩어져 있다면 Tabbit으로 모으세요.
macOS와 Windows 지원. 모델 목록은 바뀔 수 있습니다.