Neuer xtts/voxtral-Container (RVS<->vLLM-Realtime-WS, adaptiver Endpointer), hinter Compose-Profil 'voxtral' (braucht >=16GB VRAM, startet nicht im Default). Bestehende Satelliten auf die zwei 3060 gepinnt: whisper->GPU0, f5tts->GPU1, llama-swap->GPU0. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
6 lines
263 B
Plaintext
6 lines
263 B
Plaintext
# Voxtral-Bridge ist reine CPU-Glue (RVS-WS <-> vLLM-Realtime-WS). Das Modell
|
|
# selbst laeuft im separaten voxtral-vllm-Container (GPU). Deshalb hier KEIN
|
|
# torch/vllm — nur der WebSocket-Client + numpy fuer die RMS-Energiemessung.
|
|
websockets>=12.0
|
|
numpy>=1.24
|