From c72d10cf58c3a9b9eecd908ba06e8a4e33e1292d Mon Sep 17 00:00:00 2001 From: duffyduck Date: Sat, 11 Jul 2026 11:41:22 +0200 Subject: [PATCH] =?UTF-8?q?docs:=20ENTSCHIEDEN=20=E2=80=94=20manuelle=20GP?= =?UTF-8?q?U-Platzierung=20(Compose-Profiles)=20+=20read-only=20Dashboard?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Semi-Auto-Controller verworfen (Host wechselt selten). Pin via Compose-Profiles pro Host (.env COMPOSE_PROFILES), Verschiebe-Regel up-neu + rm-alt gegen Reboot-Wiederauferstehung, GPU-Dashboard aus Heartbeats (read-only). Skaliert auf Gamebox3/4x3060 ohne Orchestrator. Co-Authored-By: Claude Opus 4.8 --- docs/plan-local-llm-router.md | 18 ++++++++++++++++++ 1 file changed, 18 insertions(+) diff --git a/docs/plan-local-llm-router.md b/docs/plan-local-llm-router.md index ee2397a..849c91f 100644 --- a/docs/plan-local-llm-router.md +++ b/docs/plan-local-llm-router.md @@ -213,6 +213,24 @@ deckt `llama-swap` innerhalb eines Hosts (B0.5). Waechst die Flotte: erst den billigen Heartbeat-Teil; fuer echte Orchestrierung Docker Swarm / Nomad nehmen statt selbst einen Scheduler zu bauen. +### ENTSCHIEDEN: manuelle Platzierung + read-only GPU-Dashboard (kein Auto) + +Statt Auto-Controller (Semi-Auto verworfen — Host wechselt selten, Komplexitaet +lohnt nicht): +- **Pin = Docker Compose Profiles.** Services kriegen `profiles: [...]`, jeder + Host setzt `COMPOSE_PROFILES=` in der `.env`; `docker compose up` + startet nur die eigenen. „In Config gepinnt", nativ, kein Code. +- **Verschiebe-Regel:** `up` auf neuem Host + `docker compose rm -sf ` auf + altem (sonst holt `restart: unless-stopped` den Dienst beim Reboot zurueck → + Broadcast-Kollision; Profile gelten nur beim `up`, nicht beim Daemon-Restart). +- **GPU-Dashboard in Diagnostic (read-only):** jeder GPU-Host sendet periodisch + einen Heartbeat via RVS (Host, GPU-Util, VRAM frei/belegt, laufende + GPU-Container). Diagnostic zeigt pro Host VRAM-Balken + Dienste + „Host X hat + N GB frei". Kein Start/Stop, nur Sicht + Hinweis wohin verschiebbar. +- **Zukunft (Gamebox3, 4×3060 = 48 GB):** neuer Host, eigenes Profil, `up` → + erscheint im Dashboard; grosses lokales LLM oder FLUX-Vollausbau dorthin. + Ohne Orchestrator. + ## Nicht-Ziele - Kein echter Gemini-Live-Duplex-Klon (Text-Modell als Hirn).