feat(voxtral): STT-3B via Transformers (torch cu124, kein Treiber-Upgrade)

Backports brachte keinen neueren Treiber (bleibt 550/CUDA 12.4). Statt Upgrade: Voxtral-Mini-3B-2507 via Transformers mit torch 2.6.0+cu124 (F5-Trick) — laeuft auf 550, ~9 GB bf16 auf GPU 1. Chunked wie whisper mit dem adaptiven M0.1-Endpointer, RVS-Protokoll identisch (drop-in). Ersetzt den vLLM-Realtime-4B-Ansatz (der brauchte 16 GB). Compose: ein Container, GPU-1-gepinnt, Profil 'voxtral'. Transformers-API in einer Methode gekapselt (verify-on-run). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-08-15 11:01:22 +02:00
parent c255e18a20
commit e37817ceaa
5 changed files with 216 additions and 331 deletions
@@ -1,5 +1,8 @@
-# Voxtral-Bridge ist reine CPU-Glue (RVS-WS <-> vLLM-Realtime-WS). Das Modell
-# selbst laeuft im separaten voxtral-vllm-Container (GPU). Deshalb hier KEIN
-# torch/vllm — nur der WebSocket-Client + numpy fuer die RMS-Energiemessung.
-websockets>=12.0
+# Voxtral-3B via Transformers. torch/torchaudio kommen cu124-gepinnt aus dem
+# Dockerfile (nicht hier, sonst zieht pip das Default-CUDA-Wheel).
+transformers>=4.54
+mistral-common[audio]>=1.8.1
+accelerate>=0.30
+soundfile>=0.12
 numpy>=1.24
+websockets>=12.0