fix(voxtral): PYTORCH_CUDA_ALLOC_CONF=expandable_segments gegen VRAM-OOM

Modell laedt knapp nicht (12GB-Karte hatte 3.13GB durch Fremdprozess belegt). Anti-Fragmentierungs-Schalter reduziert den Peak-Bedarf beim Warmup; zusaetzlich muss GPU 1 frei sein (whisper stoppen). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-08-15 11:16:50 +02:00
parent ba60f793fb
commit 0aac114142
1 changed files with 1 additions and 0 deletions
@@ -166,4 +166,5 @@ services:
      - VOXTRAL_MODEL=mistralai/Voxtral-Mini-3B-2507
      - VOXTRAL_LANGUAGE=${WHISPER_LANGUAGE:-de}
      - HUGGING_FACE_HUB_TOKEN=${HF_TOKEN:-}   # falls das Modell HF-gated ist
+      - PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True   # weniger VRAM-Fragmentierung
    restart: unless-stopped