feat(voxtral): STT-3B via Transformers (torch cu124, kein Treiber-Upgrade)

Backports brachte keinen neueren Treiber (bleibt 550/CUDA 12.4). Statt Upgrade: Voxtral-Mini-3B-2507 via Transformers mit torch 2.6.0+cu124 (F5-Trick) — laeuft auf 550, ~9 GB bf16 auf GPU 1. Chunked wie whisper mit dem adaptiven M0.1-Endpointer, RVS-Protokoll identisch (drop-in). Ersetzt den vLLM-Realtime-4B-Ansatz (der brauchte 16 GB). Compose: ein Container, GPU-1-gepinnt, Profil 'voxtral'. Transformers-API in einer Methode gekapselt (verify-on-run).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

xtts/voxtral/README.md

@@ -1,70 +1,47 @@
-# Voxtral-STT-Satellit (M0.3)
+# Voxtral-STT-3B-Satellit (Transformers)
 
-Streaming-STT via **Voxtral-Mini-4B-Realtime-2602** (Mistral, Apache 2.0) auf
-vLLM. Ersetzt whisper als STT — genauer (~5,9 % WER vs 7,4 % FLEURS) und mit
-echtem Realtime-Streaming. Deutsch ist in den 13 Sprachen abgedeckt.
+Streaming-STT via **Voxtral-Mini-3B-2507** (Mistral, Apache 2.0) über
+🤗 Transformers. Ersetzt whisper als STT — genauer, und **ohne Treiber-Upgrade**:
+läuft auf dem Trixie-Standardtreiber (550/CUDA 12.4) via **torch 2.6.0+cu124**
+(derselbe Trick wie bei f5tts).
 
-Zwei Container:
-- **`voxtral-vllm`** — das Modell auf vLLM (GPU). Exponiert die Realtime-WS-API.
-- **`voxtral-bridge`** — CPU-Glue: RVS ⇄ vLLM-Realtime-WS. Macht das Endpointing
-  selbst (adaptiver Rausch-Boden-VAD, identisch zur whisper-Bridge / M0.1).
+- Modell ~9 GB (bf16) → **GPU 1** (die 12-GB-Karte; per Compose gepinnt).
+- **F5-TTS + LLM** bleiben auf GPU 0 (8 GB).
+- Arbeitsweise = chunked wie whisper: live PCM → alle ~1 s transkribieren
+  (Partials) → **adaptiver Endpointer** (Rausch-Boden-VAD + semantische
+  Stagnation, aus M0.1) feuert `stt_endpoint`. RVS-Protokoll identisch → drop-in.
 
-## ⚠️ Hardware-Realität — läuft NICHT auf der 3060
-
-Das Realtime-Modell braucht laut [vLLM-Rezept](https://recipes.vllm.ai/mistralai/Voxtral-Mini-4B-Realtime-2602)
-**≥ 16 GB VRAM (BF16, keine Quant)**. Die RTX 3060 hat 12 GB → passt nicht.
-
-- **Interim-gpubox (nur 3060):** whisper (mit M0.1-Fix) + F5-TTS bleiben aktiv.
-  Voxtral NICHT starten.
-- **Ab der 24-GB-Karte:** Voxtral-Profil hochziehen, whisper wird Fallback.
-
-Deshalb liegen beide Services hinter dem Compose-**Profil `voxtral`** und starten
-NUR explizit — sonst würden whisper *und* voxtral dieselben `stt_*`-Messages
-beantworten (Kollision).
-
-## Starten (erst wenn die 24-GB-Karte drin ist)
+## Starten (Profil `voxtral`)
 
 ```bash
 cd xtts
+docker compose stop whisper-bridge          # sonst beantworten beide stt_*
 docker compose --profile voxtral up -d --build
-docker logs -f aria-voxtral-vllm      # laedt Modell (mehrere GB, dauert)
-docker logs -f aria-voxtral-bridge    # "RVS verbunden" + service_status ready
-```
-Whisper vorher stoppen, damit nur eine STT-Engine antwortet:
-```bash
-docker compose stop whisper-bridge
+docker logs -f aria-voxtral-bridge          # Modell laedt (mehrere GB), dann "RVS verbunden"
 ```
+Zurück zu whisper: `docker compose --profile voxtral down && docker compose up -d whisper-bridge`.
 
-## ⚠️ Auf echter Hardware verifizieren (blind gebaut, kein Test hier)
+## ⚠️ Auf echter Hardware verifizieren (blind gebaut)
 
-1. **vLLM-Version ≥ 0.20.0** und die **Serve-Form**. Das Rezept nutzt
-   `vllm serve <model> …`. Falls das `vllm/vllm-openai`-Image einen anderen
-   Entrypoint hat, das `command:` in `docker-compose.yml` anpassen
-   (Rezept-Command steht dort als Kommentar).
-2. **Realtime-WS-Frames.** Die exakten Event-Namen sind in `bridge.py` ganz oben
-   als Konstanten gebündelt (`VLLM_SEND_APPEND`, `VLLM_DELTA_SUFFIXES`, …),
-   modelliert nach dem OpenAI-Realtime-Schema. Gegen das offizielle
-   **vLLM-Realtime-Client-Beispiel** prüfen und dort anpassen — nur an dieser
-   einen Stelle. Das Response-Handling ist bereits defensiv (mehrere Feldnamen).
-3. **Endpoint-URL/Port.** Default `ws://voxtral-vllm:8000/v1/realtime` — prüfen ob
-   vLLM auf 8000 lauscht und `/v1/realtime` registriert (Log-Zeile
-   `Route: /v1/realtime`).
-4. **Endpointing.** Voxtral liefert keine eigene VAD → unser adaptiver Endpointer
-   entscheidet (akustisch + semantisch am Delta-Wachstum). `endpointMs` kommt wie
-   bei whisper aus der App; `voiceFactor` per Session tunebar.
+1. **Transformers-API.** Die exakte Voxtral-Transkriptions-API ist in `bridge.py`
+   in **einer** Methode gekapselt (`VoxtralRunner._transcribe_blocking`), modelliert
+   nach der HF-Modelcard (`apply_transcription_request` → `generate` → `batch_decode`).
+   Beim ersten Lauf gegen die Modelcard prüfen und dort anpassen.
+2. **HF-Gating.** Ist `Voxtral-Mini-3B-2507` gated, `HF_TOKEN` in `xtts/.env` setzen
+   (wird als `HUGGING_FACE_HUB_TOKEN` durchgereicht).
+3. **VRAM/Tempo.** 3B in bf16 ~9 GB auf der 12-GB-Karte — Rest fürs KV-Cache. Ist die
+   Partial-Transkription (alle 1 s) zu schwer, `STREAM_TRANSCRIBE_INTERVAL_MS` hochsetzen.
+4. **torch-Konflikt.** Falls `transformers`/`mistral-common` beim Build torch>2.6
+   erzwingen, meldet der Constraint einen Konflikt → dann brauchen wir doch das
+   Treiber-Upgrade (`bootstrap.sh --upgrade-driver` via NVIDIA-CUDA-Repo) + cu126-torch.
 
 ## Protokoll (RVS, identisch zu whisper — drop-in)
-
 Rein: `stt_stream_start`, `stt_audio_chunk` (16 kHz mono s16le, base64), `stt_stream_end`.
-Raus: `stt_partial`, `stt_endpoint` (das Event, auf das aria-bridge horcht), `stt_stream_done`.
+Raus: `stt_partial`, `stt_endpoint`, `stt_stream_done`.
 
-## TTS-Hinweis
-
-Voxtral-**TTS** (Voice-Cloning) ist hier NICHT enthalten — braucht ebenfalls
-16 GB VRAM und ist ein eigener Bau. Bis zur 24-GB-Karte bleibt **F5-TTS** aktiv.
-Danach: eigener `voxtral-tts`-Satellit (separates Ticket).
+## TTS
+Bleibt **F5-TTS** (klingt gut, passt auf GPU 0). Voxtral-TTS bräuchte ~24 GB — separates Thema.
 
 ## Quellen
-- Rezept: https://recipes.vllm.ai/mistralai/Voxtral-Mini-4B-Realtime-2602
-- vLLM Speech-to-Text: https://docs.vllm.ai/en/latest/serving/online_serving/speech_to_text/
-- Modell: https://huggingface.co/mistralai/Voxtral-Mini-4B-Realtime-2602
+- Modell: https://huggingface.co/mistralai/Voxtral-Mini-3B-2507
+- Transformers-Nutzung: HF-Modelcard (Voxtral) + `mistral-common`