docs(compute): Whisper-als-STT-Beispiel fuer kleine GPUs
.env.example + README: eigene Beispiel-Zeile "kleine Karte" — COMPOSE_PROFILES=whisper,f5tts (Whisper statt Voxtral, beide auf EINER GPU), Default der Vorlage auf whisper,f5tts gesetzt (Voxtral-3B braucht ~9 GB). GPU-Defaults angepasst (WHISPER_GPU=0 neben F5TTS_GPU=0) + Klarstellung: pro Node genau EIN STT (Voxtral ODER Whisper). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
+14
-9
@@ -6,13 +6,17 @@
|
||||
# ─── Welche Dienste startet DIESER Node? ──────────
|
||||
# Komma-getrennt aus: voxtral, whisper, f5tts, llm
|
||||
# Nur die aufgefuehrten Dienste starten bei `docker compose up -d`.
|
||||
# nur STT-Box → COMPOSE_PROFILES=voxtral
|
||||
# nur TTS-Box → COMPOSE_PROFILES=f5tts
|
||||
# nur LLM-Box → COMPOSE_PROFILES=llm
|
||||
# All-in-One (alte Gamebox) → COMPOSE_PROFILES=voxtral,f5tts,llm
|
||||
# nur STT-Box (Voxtral) → COMPOSE_PROFILES=voxtral
|
||||
# nur STT-Box (Whisper) → COMPOSE_PROFILES=whisper
|
||||
# nur TTS-Box → COMPOSE_PROFILES=f5tts
|
||||
# nur LLM-Box → COMPOSE_PROFILES=llm
|
||||
# Kleine Karte (wenig VRAM): Whisper + F5-TTS auf EINER GPU
|
||||
# → COMPOSE_PROFILES=whisper,f5tts
|
||||
# All-in-One, grosse Karte → COMPOSE_PROFILES=voxtral,f5tts,llm
|
||||
# Hinweis: voxtral UND whisper zusammen NICHT sinnvoll — beide sind STT und
|
||||
# wuerden dieselbe Anfrage doppelt beantworten. Whisper ist der Fallback.
|
||||
COMPOSE_PROFILES=voxtral,f5tts,llm
|
||||
# wuerden dieselbe Anfrage doppelt beantworten. Pro Node genau EINEN STT waehlen:
|
||||
# Voxtral-3B (~9 GB, beste Qualitaet) ODER Whisper (klein, passt neben F5-TTS).
|
||||
COMPOSE_PROFILES=whisper,f5tts
|
||||
|
||||
# ─── Node-Name ────────────────────────────────────
|
||||
# Freier Name dieses Rechners. Erscheint in Diagnostic (Flotten-Anzeige) und
|
||||
@@ -23,9 +27,10 @@ NODE_NAME=gamebox
|
||||
# Setzt NVIDIA_VISIBLE_DEVICES fuer den jeweiligen Container.
|
||||
# Einzelne Karte → "0" oder "1"; mehrere Karten → "0,1".
|
||||
# Braucht das NVIDIA Container Toolkit (registriert die `nvidia`-Runtime).
|
||||
VOXTRAL_GPU=1 # STT-3B ~9 GB → am besten die groessere Karte (z.B. 12 GB)
|
||||
WHISPER_GPU=1 # Fallback-STT (nur relevant mit Profil "whisper")
|
||||
F5TTS_GPU=0 # TTS ist klein → passt auf die kleinere Karte
|
||||
# Nur die GPUs der aktiven Profile (COMPOSE_PROFILES) sind ueberhaupt relevant.
|
||||
WHISPER_GPU=0 # kleines STT → passt neben F5-TTS auf EINE Karte
|
||||
F5TTS_GPU=0 # TTS ist klein → gleiche Karte wie Whisper
|
||||
VOXTRAL_GPU=1 # STT-3B ~9 GB → nur auf einer groesseren Karte (z.B. 12 GB)
|
||||
LLM_GPU=0 # lokales LLM (teilt sich ggf. die Karte mit F5-TTS)
|
||||
|
||||
# ─── RVS-Verbindung (gleiche Daten wie auf der ARIA-VM) ───
|
||||
|
||||
Reference in New Issue
Block a user