duffyduckandClaude Opus 4.8
9d93c3fe3d
Damit eine AI-Box (f5tts/whisper/voxtral/llm-adapter) auch im selben Netz wie der RVS direkt auf dessen interne IP verbinden kann (kein NAT-Hairpin ueber den externen Hostnamen), ohne am SNI/Cert zu scheitern: RVS_HOST=<ip> + RVS_SNI=<name>. server_hostname im ssl-Context, gated auf use_tls (respektiert den TLS-Fallback). Leer = Verhalten wie bisher. Szenario: zweite Box im RZ + eine zuhause. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
59 lines
3.4 KiB
Bash
59 lines
3.4 KiB
Bash
# ════════════════════════════════════════════════
|
|
# ARIA Compute-Node — Konfiguration
|
|
# Kopieren nach .env und anpassen (pro Worker-Node eine eigene .env)
|
|
# ════════════════════════════════════════════════
|
|
|
|
# ─── Welche Dienste startet DIESER Node? ──────────
|
|
# Komma-getrennt aus: voxtral, whisper, f5tts, llm
|
|
# Nur die aufgefuehrten Dienste starten bei `docker compose up -d`.
|
|
# nur STT-Box (Voxtral) → COMPOSE_PROFILES=voxtral
|
|
# nur STT-Box (Whisper) → COMPOSE_PROFILES=whisper
|
|
# nur TTS-Box → COMPOSE_PROFILES=f5tts
|
|
# nur LLM-Box → COMPOSE_PROFILES=llm
|
|
# Kleine Karte (wenig VRAM): Whisper + F5-TTS auf EINER GPU
|
|
# → COMPOSE_PROFILES=whisper,f5tts
|
|
# All-in-One, grosse Karte → COMPOSE_PROFILES=voxtral,f5tts,llm
|
|
# Hinweis: voxtral UND whisper zusammen NICHT sinnvoll — beide sind STT und
|
|
# wuerden dieselbe Anfrage doppelt beantworten. Pro Node genau EINEN STT waehlen:
|
|
# Voxtral-3B (~9 GB, beste Qualitaet) ODER Whisper (klein, passt neben F5-TTS).
|
|
COMPOSE_PROFILES=whisper,f5tts
|
|
|
|
# ─── Node-Name ────────────────────────────────────
|
|
# Freier Name dieses Rechners. Erscheint in Diagnostic (Flotten-Anzeige) und
|
|
# in den Logs, und bildet die Instanz-ID der Dienste (z.B. f5tts@ai-box).
|
|
NODE_NAME=ai-box
|
|
|
|
# ─── GPU-Zuordnung pro Dienst ─────────────────────
|
|
# Setzt NVIDIA_VISIBLE_DEVICES fuer den jeweiligen Container.
|
|
# Einzelne Karte → "0" oder "1"; mehrere Karten → "0,1".
|
|
# Braucht das NVIDIA Container Toolkit (registriert die `nvidia`-Runtime).
|
|
# Nur die GPUs der aktiven Profile (COMPOSE_PROFILES) sind ueberhaupt relevant.
|
|
WHISPER_GPU=0 # kleines STT → passt neben F5-TTS auf EINE Karte
|
|
F5TTS_GPU=0 # TTS ist klein → gleiche Karte wie Whisper
|
|
VOXTRAL_GPU=1 # STT-3B ~9 GB → nur auf einer groesseren Karte (z.B. 12 GB)
|
|
LLM_GPU=0 # lokales LLM (teilt sich ggf. die Karte mit F5-TTS)
|
|
|
|
# ─── RVS-Verbindung ───────────────────────────────────────
|
|
# WICHTIG: Host, Port UND Token muessen EXAKT mit dem ARIA-Stack (Bridge/
|
|
# Diagnostic) uebereinstimmen — das RVS gruppiert Clients pro Server+Token in
|
|
# einen Raum. Bei abweichendem Port/Host landet die Box in einem ANDEREN Raum
|
|
# und taucht nicht in der Compute-Flotte auf.
|
|
RVS_HOST=example.com
|
|
RVS_PORT=444
|
|
RVS_TLS=true
|
|
RVS_TLS_FALLBACK=true
|
|
RVS_TOKEN=dein_token_hier
|
|
# RVS_SNI: nur noetig, wenn die Box im SELBEN Netz wie der RVS steht und direkt
|
|
# auf dessen interne IP verbinden soll (kein NAT-Hairpin ueber den externen
|
|
# Hostnamen). Dann RVS_HOST=<interne-ip> und hier den Zertifikats-/Hostnamen, fuer
|
|
# den Caddy sein Cert hat. Zuhause / normal: leer lassen.
|
|
# RVS_HOST=10.0.0.2
|
|
# RVS_SNI=example.com
|
|
RVS_SNI=
|
|
|
|
# ─── Optional ─────────────────────────────────────
|
|
# HF_TOKEN= # nur falls ein HF-gated Modell (z.B. Voxtral) geladen wird
|
|
# WHISPER_MODEL=small # tiny|base|small|medium|large-v3 (Hot-Swap via Diagnostic)
|
|
# WHISPER_LANGUAGE=de
|
|
# LLM_MODEL=qwen3-8b # Key aus llama-swap/config.yaml
|