duffyduckandClaude Opus 4.8
e75f1eeb6a
Die feste "Gamebox" wird zu beliebig vielen Compute-Nodes. Jeder Node startet
ueber COMPOSE_PROFILES nur die Dienste, die er anbieten soll, und pinnt sie per
*_GPU auf bestimmte Grafikkarten.
- xtts/docker-compose.yml: jeder GPU-Dienst hinter einem Profil
(voxtral/whisper/f5tts/llm); deploy.devices-Block ersetzt durch
runtime: nvidia + NVIDIA_VISIBLE_DEVICES=${SVC_GPU} (erlaubt auch "0,1");
NODE_NAME an alle RVS-Dienste.
- xtts/.env.example: COMPOSE_PROFILES, NODE_NAME, VOXTRAL/WHISPER/F5TTS/LLM_GPU
mit Beschreibungen; Beispiele STT-Box / TTS-Box / LLM-Box / All-in-One.
- README: "Gamebox-Stack" → "Compute-Nodes"; Diagramm, Deploy-Tabelle und
Setup-Abschnitt auf Multi-Node umgeschrieben.
Stage 1 von 3 (Aufteilung+Config+Docs). Reine Config/Docs, kein Verhaltens-
Risiko: Single-Node mit COMPOSE_PROFILES=voxtral,f5tts,llm laeuft wie bisher.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
43 lines
2.4 KiB
Bash
43 lines
2.4 KiB
Bash
# ════════════════════════════════════════════════
|
|
# ARIA Compute-Node — Konfiguration
|
|
# Kopieren nach .env und anpassen (pro Worker-Node eine eigene .env)
|
|
# ════════════════════════════════════════════════
|
|
|
|
# ─── Welche Dienste startet DIESER Node? ──────────
|
|
# Komma-getrennt aus: voxtral, whisper, f5tts, llm
|
|
# Nur die aufgefuehrten Dienste starten bei `docker compose up -d`.
|
|
# nur STT-Box → COMPOSE_PROFILES=voxtral
|
|
# nur TTS-Box → COMPOSE_PROFILES=f5tts
|
|
# nur LLM-Box → COMPOSE_PROFILES=llm
|
|
# All-in-One (alte Gamebox) → COMPOSE_PROFILES=voxtral,f5tts,llm
|
|
# Hinweis: voxtral UND whisper zusammen NICHT sinnvoll — beide sind STT und
|
|
# wuerden dieselbe Anfrage doppelt beantworten. Whisper ist der Fallback.
|
|
COMPOSE_PROFILES=voxtral,f5tts,llm
|
|
|
|
# ─── Node-Name ────────────────────────────────────
|
|
# Freier Name dieses Rechners. Erscheint in Diagnostic (Flotten-Anzeige) und
|
|
# in den Logs, und bildet die Instanz-ID der Dienste (z.B. f5tts@gamebox).
|
|
NODE_NAME=gamebox
|
|
|
|
# ─── GPU-Zuordnung pro Dienst ─────────────────────
|
|
# Setzt NVIDIA_VISIBLE_DEVICES fuer den jeweiligen Container.
|
|
# Einzelne Karte → "0" oder "1"; mehrere Karten → "0,1".
|
|
# Braucht das NVIDIA Container Toolkit (registriert die `nvidia`-Runtime).
|
|
VOXTRAL_GPU=1 # STT-3B ~9 GB → am besten die groessere Karte (z.B. 12 GB)
|
|
WHISPER_GPU=1 # Fallback-STT (nur relevant mit Profil "whisper")
|
|
F5TTS_GPU=0 # TTS ist klein → passt auf die kleinere Karte
|
|
LLM_GPU=0 # lokales LLM (teilt sich ggf. die Karte mit F5-TTS)
|
|
|
|
# ─── RVS-Verbindung (gleiche Daten wie auf der ARIA-VM) ───
|
|
RVS_HOST=mobil.hacker-net.de
|
|
RVS_PORT=444
|
|
RVS_TLS=true
|
|
RVS_TLS_FALLBACK=true
|
|
RVS_TOKEN=dein_token_hier
|
|
|
|
# ─── Optional ─────────────────────────────────────
|
|
# HF_TOKEN= # nur falls ein HF-gated Modell (z.B. Voxtral) geladen wird
|
|
# WHISPER_MODEL=small # tiny|base|small|medium|large-v3 (Hot-Swap via Diagnostic)
|
|
# WHISPER_LANGUAGE=de
|
|
# LLM_MODEL=qwen3-8b # Key aus llama-swap/config.yaml
|