feat(llm): ein Modell pro Karte, Clients waehlen nur aus — und Doku fuer Drittprogramme

Bisher konnte jeder Client per Modellname llama-swap zum Wechseln bringen —
ein Fremdprogramm haette ARIA das Modell unter den Fuessen weggetauscht.
Jetzt:

- Jede LLM-Karte einer Box (LLM_GPUS=1,2, alt LLM_GPU=1) haelt GENAU ein
  Modell, dauerhaft. Welches, legt nur die Diagnostic fest. Karten, die nicht
  fuers LLM vorgesehen sind, tauchen beim LLM nicht auf und werden als Ziel
  abgelehnt.
- Clients (ARIA, Fremdprogramme ueber RVS, OpenHands ueber den OpenAI-Port)
  sehen nur die geladenen Modelle und laden nie: Anfrage fuer ein anderes →
  model_not_loaded mit Liste des Geladenen (RVS) bzw. HTTP 404 (OpenAI-Port).
  Nichts wird verdraengt.
- Mehrere Clients koennen dasselbe Modell gleichzeitig nutzen.

llm-adapter: Belegung in /models/aria_slots.json. Die llama-swap-Config
enthaelt nur belegte Karten: pro Modell CUDA_VISIBLE_DEVICES=<Karte>, ttl 0,
groups.swap=false, hooks.on_startup.preload. Alles gegen llama-swap
ausprobiert (zwei Modelle gleichzeitig ready, keins verdraengt, Unbekanntes
404, env kommt beim jeweiligen llama-server an). llama-swap laeuft mit
--watch-config; die frueher aufgerufenen Reload-Endpunkte (/reload,
/api/config/reload) gibt es nicht (404). Neu: llm_unload_model (Karte leeren),
llm_models_request → llm_models (Erkundung, jede Box antwortet einzeln).
Fehlgeschlagenes Laden setzt die Karte auf ihr vorheriges Modell zurueck,
sonst risse jedes Neuladen die anderen Karten mit. Uebernahme: ohne
Belegungsdatei landet LLM_MODEL auf der ersten LLM-Karte.

Compose: llama-swap sieht alle Karten (NVIDIA_VISIBLE_DEVICES=all) und
zaehlt sie wie nvidia-smi (CUDA_DEVICE_ORDER=PCI_BUS_ID); das Pinnen pro
Modell macht der Adapter.

Bridge: uebernimmt models/slots auch aus worker_ping (nach "Entladen" sonst
30 s veraltet) und sagt sofort ab, wenn das Modell auf keiner Box liegt,
statt per Broadcast in den Timeout zu laufen.

Diagnostic: Flotte zeigt pro LLM-Karte Modell + Zustand + "Entladen";
Katalog waehlt eine Ziel-KARTE (leere vorausgewaehlt, Ersetzen mit
Rueckfrage); Download-Fenster nennt Karte und was ersetzt wird.

RVS: llm_unload_model, llm_models_request, llm_models freigegeben.

docs/LLM-SCHNITTSTELLE.md: Schnittstelle fuer Drittprogramme (RVS + OpenAI-
Port), Fehlercodes, Gleichzeitigkeit, Python-Beispiel.

Tests: 23 gegen llama-swap (Adapter direkt) + Ende-zu-Ende ueber den echten
RVS mit dem Adapter als Prozess: Laden per RVS mit Fortschritt, das
Doku-Beispiel unveraendert (nur Adresse) findet beide Karten und bekommt eine
Antwort, Absage/Schweigen wie dokumentiert, zwei Clients parallel.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

xtts/docker-compose.yml

@@ -133,12 +133,20 @@ services:
     volumes:
       - ./models:/models                                   # HF-Cache + generierte Config
     environment:
-      - NVIDIA_VISIBLE_DEVICES=${LLM_GPU:-0}
+      # Alle Karten sichtbar — welches Modell auf welcher Karte laeuft, legt der
+      # llm-adapter pro Modell fest (CUDA_VISIBLE_DEVICES=<Karte> in der
+      # generierten Config). Erlaubt sind nur die LLM-Karten aus LLM_GPUS.
+      - NVIDIA_VISIBLE_DEVICES=all
       - NVIDIA_DRIVER_CAPABILITIES=compute,utility
+      # CUDA zaehlt Karten sonst "schnellste zuerst" — dann waere CUDA-Karte 0
+      # nicht unbedingt nvidia-smi-Karte 0. PCI-Reihenfolge = wie nvidia-smi.
+      - CUDA_DEVICE_ORDER=PCI_BUS_ID
       - LLAMA_CACHE=/models                                # llama-server legt -hf-Downloads hier ab
-    # Liest die vom llm-adapter generierte Config. Beim allerersten Boot faengt
-    # restart: unless-stopped die Reihenfolge ab, bis der Adapter sie geschrieben hat.
-    command: ["--config", "/models/llama-swap.config.yaml", "--listen", "0.0.0.0:8080"]
+    # Liest die vom llm-adapter generierte Config. --watch-config: Aenderungen
+    # (Modell in Karte geladen/entladen) greifen von selbst — einen Reload-
+    # Endpunkt hat llama-swap nicht. Beim allerersten Boot faengt restart:
+    # unless-stopped die Reihenfolge ab, bis der Adapter die Config geschrieben hat.
+    command: ["--config", "/models/llama-swap.config.yaml", "--listen", "0.0.0.0:8080", "--watch-config"]
     # OpenAI-kompatibler Endpunkt (/v1/chat/completions, /v1/models) — damit
     # koennen Fremd-Tools wie OpenHands, Continue oder Open WebUI direkt auf das
     # lokale LLM. Standardmaessig NUR auf localhost gebunden (sicher); fuer
@@ -178,8 +186,10 @@ services:
       - LLM_REGISTRY=/models/aria_models.json
       # Erster Load eines Modells kann ein GGUF ziehen (mehrere GB) — grosszuegig.
       - LLM_TIMEOUT_SEC=${LLM_TIMEOUT_SEC:-600}
-      # Auf welche Karte llama-swap gepinnt ist — fuer die Meldung „in Karte N
-      # geladen" samt VRAM nach dem Laden. Dieselbe Variable wie bei llama-swap.
+      # Welche Karten dem LLM gehoeren. Jede haelt genau ein Modell, geladen
+      # wird nur ueber die Diagnostic. Mehrere: LLM_GPUS=1,2 — eine: LLM_GPU=1
+      # (alte Schreibweise, gilt weiter, wenn LLM_GPUS leer ist).
+      - LLM_GPUS=${LLM_GPUS:-}
       - LLM_GPU=${LLM_GPU:-0}
       # Fuer gesperrte (gated) HF-Repos: die Dateiliste fuer den Fortschritt.
       - HF_TOKEN=${HF_TOKEN:-}