docs: Verschieben-Button reboot-sicher via Platzierungs-Config + dummem Reconcile-Agent

Button = remote start/stop = braucht Agent pro Host, aber dumme Variante:
gpu_placement.json als Single Source of Truth, Agent reconciled nur (Mensch =
Scheduler). Loest die Reboot-Falle (Laufzeit-Move vs statische Config). Deploy:
Code ueberall via git, Config entscheidet Platzierung. Nach B0/B1; Fallback =
COMPOSE_PROFILES manuell.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

aria-brain/local_llm.py

@@ -0,0 +1,61 @@
+"""
+Local-LLM-Client (Plan B) — Brain-Seite.
+
+Ruft das schnelle lokale LLM (Qwen3 auf der Gamebox) ueber die Bridge:
+  Brain → HTTP /internal/local-llm → Bridge → RVS → llm-adapter → llama.cpp
+
+Analog zum Claude-`proxy_client`, nur ueber die Bridge (die ist der RVS-Client;
+das Brain bleibt HTTP-only). Der Router im Brain (B1) entscheidet, welche Turns
+hierher gehen (einfach) und welche an Claude (schwer / Tool-Bedarf).
+
+Rueckgabe von local_llm_chat: {ok, content, model?, elapsedMs?} oder {ok:False, error}.
+Nie werfen — der Aufrufer entscheidet bei ok=False, ob er auf Claude eskaliert.
+"""
+
+from __future__ import annotations
+
+import json
+import logging
+import os
+import urllib.error
+import urllib.request
+
+logger = logging.getLogger(__name__)
+
+BRIDGE_URL = os.environ.get("BRIDGE_URL", "http://aria-bridge:8090")
+# Etwas ueber dem Bridge-seitigen _LLM_TIMEOUT_S (30s), damit der HTTP-Call nicht
+# vor dem eigentlichen LLM-Timeout abbricht.
+LOCAL_LLM_HTTP_TIMEOUT_SEC = float(os.environ.get("LOCAL_LLM_HTTP_TIMEOUT_SEC", "35"))
+
+
+def local_llm_chat(messages: list, *, max_tokens: int = 512,
+                   temperature: float = 0.7, stop=None) -> dict:
+    """Ein Chat-Call ans lokale LLM. messages = [{role, content}, ...].
+    Blockierend (urllib) — im Brain laeuft chat() ohnehin im Executor-Thread."""
+    if not isinstance(messages, list) or not messages:
+        return {"ok": False, "error": "messages leer/ungueltig"}
+    req = {"messages": messages, "max_tokens": max_tokens, "temperature": temperature}
+    if stop:
+        req["stop"] = stop
+    try:
+        body = json.dumps(req).encode("utf-8")
+        http_req = urllib.request.Request(
+            f"{BRIDGE_URL}/internal/local-llm", data=body, method="POST",
+            headers={"Content-Type": "application/json"},
+        )
+        with urllib.request.urlopen(http_req, timeout=LOCAL_LLM_HTTP_TIMEOUT_SEC) as resp:
+            result = json.loads(resp.read().decode("utf-8", "ignore"))
+    except urllib.error.HTTPError as exc:
+        try:
+            err_data = json.loads(exc.read().decode("utf-8", "ignore"))
+            err = err_data.get("error") or str(exc)
+        except Exception:
+            err = str(exc)
+        return {"ok": False, "error": f"local-llm: {err}"}
+    except Exception as exc:
+        logger.warning("local_llm_chat HTTP-Call fehlgeschlagen: %s", exc)
+        return {"ok": False, "error": f"local-llm nicht erreichbar ({exc})"}
+
+    if not isinstance(result, dict) or not result.get("ok"):
+        return {"ok": False, "error": (result or {}).get("error", "unbekannt")}
+    return result

bridge/aria_bridge.py

@@ -643,6 +643,11 @@ class ARIABridge:
         # flux-bridge service_status: True wenn ready. Render-Timeouts werden
         # bei 'loading' deutlich grosszuegiger gesetzt (Modell-Download ~24 GB).
         self._remote_flux_ready: bool = False
+        # Lokales LLM (Plan B): requestId → Future mit dem llm_response-Payload.
+        # Analog zu _pending_flux — Brain ruft /internal/local-llm, wir relayen
+        # llm_request via RVS an den llm-adapter (Gamebox) und warten auf
+        # llm_response.
+        self._pending_llm: dict[str, asyncio.Future] = {}
         # User-Message-Counter fuer Auto-Compact. Bei zu langer Konversation
         # sprengt die argv-Liste beim Claude-Subprocess-Spawn (E2BIG). Bei
         # COMPACT_AFTER erreicht → Sessions reset + Container restart.
@@ -2963,6 +2968,15 @@ class ARIABridge:
             future.set_result(payload)
             return
 
+        elif msg_type == "llm_response":
+            # Antwort des llm-adapter (Gamebox) auf unseren llm_request.
+            request_id = payload.get("requestId", "")
+            future = self._pending_llm.get(request_id)
+            if future is None or future.done():
+                return
+            future.set_result(payload)
+            return
+
         elif msg_type == "service_status":
             # Gamebox-Bridges (whisper / f5tts / flux) melden ihren Lade-Status.
             # Wir nutzen das fuer den dynamischen STT-Timeout: solange whisper
@@ -3346,6 +3360,59 @@ class ARIABridge:
     _FLUX_TIMEOUT_READY_S = 240.0      # 4 min nach erstem Render
     _FLUX_TIMEOUT_LOADING_S = 900.0    # 15 min beim allerersten Mal (Modell-Download)
 
+    # ── Local-LLM-Roundtrip: Brain → Bridge → RVS → llm-adapter → zurueck ──
+    # Qwen3 auf der Gamebox antwortet auf kurze Turns in <1 s. Grosszuegiger
+    # Timeout deckt Kaltstart / laengere Antworten / Netz-Jitter (Gamebox@home)
+    # ab. Bei Timeout faellt der Router im Brain per Escalation auf Claude.
+    _LLM_TIMEOUT_S = 30.0
+
+    async def _local_llm(self, messages: list, max_tokens: int = 512,
+                         temperature: float = 0.7, stop=None) -> dict:
+        """Schickt einen llm_request an den llm-adapter (Gamebox), wartet auf
+        llm_response. Rueckgabe: {ok, content, model, elapsedMs} oder {ok:False, error}."""
+        if self.ws_rvs is None:
+            return {"ok": False, "error": "RVS-Verbindung nicht aktiv"}
+        if not isinstance(messages, list) or not messages:
+            return {"ok": False, "error": "messages leer/ungueltig"}
+
+        request_id = str(uuid.uuid4())
+        loop = asyncio.get_event_loop()
+        future: asyncio.Future = loop.create_future()
+        self._pending_llm[request_id] = future
+        try:
+            req_payload = {
+                "requestId": request_id,
+                "messages": messages,
+                "max_tokens": max_tokens,
+                "temperature": temperature,
+            }
+            if stop:
+                req_payload["stop"] = stop
+            logger.info("[rvs] llm_request → llm-adapter (id=%s, msgs=%d, max_tokens=%d)",
+                        request_id[:8], len(messages), max_tokens)
+            ok = await self._send_to_rvs({
+                "type": "llm_request",
+                "payload": req_payload,
+                "timestamp": int(time.time() * 1000),
+            })
+            if not ok:
+                return {"ok": False, "error": "llm_request konnte nicht gesendet werden"}
+            try:
+                result = await asyncio.wait_for(future, timeout=self._LLM_TIMEOUT_S)
+            except asyncio.TimeoutError:
+                return {"ok": False, "error": f"Timeout ({self._LLM_TIMEOUT_S:.0f}s) — Gamebox nicht erreichbar?"}
+            if not isinstance(result, dict) or not result.get("ok"):
+                err = (result or {}).get("error") if isinstance(result, dict) else "leeres Resultat"
+                return {"ok": False, "error": err or "llm-adapter Fehler"}
+            return {
+                "ok": True,
+                "content": result.get("content", ""),
+                "model": result.get("model"),
+                "elapsedMs": result.get("elapsedMs"),
+            }
+        finally:
+            self._pending_llm.pop(request_id, None)
+
     async def _flux_generate(self, prompt: str, width: int, height: int,
                              steps: Optional[int], guidance: Optional[float],
                              seed: Optional[int], model: Optional[str] = None) -> dict:
@@ -3797,6 +3864,33 @@ class ARIABridge:
                     )
                     status = 200 if result.get("ok") else 502
                     await _send_response(writer, status, result)
+                elif method == "POST" and path == "/internal/local-llm":
+                    # Vom Brain (Router / Testchat) gefeuert. Wir relayen den
+                    # Chat-Request via RVS an den llm-adapter (Gamebox Qwen3),
+                    # warten synchron auf llm_response und geben content zurueck.
+                    try:
+                        data = json.loads(body.decode("utf-8", "ignore"))
+                    except Exception as exc:
+                        await _send_response(writer, 400, {"error": f"bad json: {exc}"})
+                        return
+                    messages = data.get("messages")
+                    if not isinstance(messages, list) or not messages:
+                        await _send_response(writer, 400, {"error": "messages (nicht-leere Liste) erforderlich"})
+                        return
+                    try:
+                        max_tokens = int(data.get("max_tokens") or 512)
+                    except (TypeError, ValueError):
+                        max_tokens = 512
+                    try:
+                        temperature = float(data.get("temperature"))
+                    except (TypeError, ValueError):
+                        temperature = 0.7
+                    result = await self._local_llm(
+                        messages=messages, max_tokens=max_tokens,
+                        temperature=temperature, stop=data.get("stop"),
+                    )
+                    status = 200 if result.get("ok") else 502
+                    await _send_response(writer, status, result)
                 elif method == "POST" and path == "/internal/delete-chat-message":
                     try:
                         data = json.loads(body.decode("utf-8", "ignore"))

docs/plan-local-llm-router.md

@@ -58,32 +58,81 @@ eskalieren (z.B. Antwort `<<ESCALATE>>`). Das Brain routet den Turn dann an
 Claude. So sind Fehlklassifikationen billig — lieber einmal lokal→Claude als
 eine falsche lokale Antwort.
 
+**Modus „Nur lokales LLM" (Diagnostic-Checkbox, Eval-Schalter):** Ein Flag
+`localLlmOnly` (in Diagnostic setzbar, vom Brain beim Routen gelesen). Ist es an:
+JEDER Turn geht ans lokale LLM, `<<ESCALATE>>` / „zu schwer" werden ignoriert
+(kein Claude-Fallback) — damit Stefan die echte Staerke/Schwaeche des lokalen
+Modells sieht, ohne dass Claude die schweren Turns rettet. Haken aus = normale
+Heuristik + Escalation. Ehrlicher Hinweis: im Nur-lokal-Modus funktionieren
+werkzeug-abhaengige Turns (Wetter, Timer, Memory, Bild) nicht — das lokale Tier
+hat keine Tools; das ist ein Gespraechs-Eval-Modus, kein Voll-ARIA. Fast-Path
+(Spotify etc.) laeuft davon unberuehrt weiter.
+
 ## Persona auf BEIDEN Modellen
 
 Das lokale Modell braucht ARIAs Identität, sonst bricht es aus der Rolle
 (gelernt aus dem `--system-prompt`-Debakel). Aber **schlanker**:
 - IDENTITY_SEED + Kern-Persona: ja.
-- Volles Memory / alle Skill-Schemas / Tool-Block: **nein** (Tier 1 macht keine
-  Tools). Hält den lokalen Prompt klein → schnell.
+- Volles Memory / ALLE Skill-Schemas: **nein** — nur eine **kuratierte, kleine
+  Tool-Auswahl** (siehe unten). Haelt den lokalen Prompt klein → schnell.
 - Persona kommt lokal auch als echter System-Prompt (llama.cpp `system`-Rolle).
 
+## Tool-Calling lokal (kuratierte Auswahl)
+
+Das lokale LLM DARF Werkzeuge nutzen (Qwen3 = natives OpenAI-Tool-Calling, von
+llama.cpp `--jinja` unterstuetzt). Ablauf wie bei Claude: Brain schickt
+messages + tools → Qwen antwortet mit `tool_calls` → Brain fuehrt via
+`_dispatch_tool` aus → Ergebnis zurueck → finale Antwort. Tool-Loop im Brain,
+Ziel = lokales LLM statt Claude-Proxy.
+
+**Awareness ≠ Authority.** Das lokale Modell soll WISSEN, was ARIA alles kann
+(damit es gezielt eskaliert statt zu halluzinieren), aber nicht alles ausfuehren.
+
+**Harte Grenze = Kontext/VRAM, nicht Misstrauen.** Das volle Tool-Schema sind
+~15-20 K Tokens. Qwens Kontext steht auf 8 K (`LLM_CTX=8192`) — es passt nicht
+rein. Hochdrehen auf 32 K kostet mehrere GB KV-Cache extra → OOM auf der
+geteilten 12-GB-3060 (Whisper + F5-TTS liegen mit drauf). Claude im RZ hat
+200 K-1 M Kontext und ist zuverlaessig → kann sich das ganze Arsenal leisten;
+das lokale 8B auf Heim-Hardware nicht. Andere Hardware-Klasse, anderes Budget.
+
+**Design (gibt „im Bilde" ohne VRAM zu sprengen):**
+- **Ausfuehrbar lokal:** kleiner, risikoarmer Start-Satz — Wetter, Uhrzeit,
+  `memory_search` (lesen), `trigger_timer`, Spotify-Steuerung, Licht/Smart-Home.
+- **Awareness-Liste (billig, ~paar hundert Tokens im System-Prompt):** kurze
+  Aufzaehlung des Rests — „ARIA kann ausserdem: Skills bauen, OAuth, Projekte,
+  Bilder, ins Gedaechtnis schreiben — dafuer `<<ESCALATE>>`." Kein volles Schema.
+- **Bleibt bei Claude (Authority):** `skill_create/update/delete`, `oauth_*`,
+  `project_*`, `flux_generate`, `memory_save`.
+
+Escalation-Netz bleibt: braucht ein Turn ein Tool, das lokal nicht ausfuehrbar
+ist → `<<ESCALATE>>` → Claude mit vollem Arsenal. Der „Nur lokales LLM"-Haken
+dient dazu, spaeter datengetrieben zu messen, ob der ausfuehrbare Satz erweitert
+werden kann.
+
+Implementierung (B1): Adapter reicht `tools` an llama.cpp + gibt `tool_calls`
+zurueck; Bridge schleust beides durch (llm_request/llm_response); Brain-Tool-Loop
+mit Ziel lokal.
+
 ## Phasen
 
 - **B0 — Infra:** llama.cpp-Container + RVS-Adapter auf der Gamebox,
   `ALLOWED_TYPES`, `local_llm_chat()` im Brain. Isoliert testen („sag hallo").
-- **B1 — Router:** Heuristik Tier-1/2 + Escalation, schlanke Persona lokal.
-  Einfache Turns → lokal. Messen: Trefferquote & Latenz.
+- **B1 — Router + lokale Tools:** Heuristik Tier-1/2 + Escalation, schlanke
+  Persona lokal, **kuratierte Tool-Auswahl lokal** (Adapter/Bridge/Brain-Tool-
+  Loop, siehe oben) + „Nur lokales LLM"-Checkbox. Einfache Turns → lokal.
+  Messen: Trefferquote, Tool-Zuverlaessigkeit & Latenz.
 - **B2 — Streaming/Voice:** `llm_partial` → TTS beginnt beim ersten Satz →
   der „live"-Sprung. **Hier den Gong-/Ohr-Re-Arm-Bug mit-fixen** (Barge-In,
   sauberes Re-Listen).
-- **B3 (optional):** dem lokalen Modell ein paar schnelle, sichere Tools geben.
+- **B3 (optional):** lokalen Tool-Satz erweitern, sobald Qwen sich als
+  zuverlaessig erweist (z.B. `memory_save`).
 
 ## Offene Entscheidungen (für Stefan)
 
 1. **Modell:** Qwen3 8B (Tool-Calling) — oder doch Mistral Small 3 7B (Speed)?
-2. **Routing v1:** rein heuristisch + Escalation (empfohlen) — oder gleich ein
-   Mini-Classifier?
-3. **Tools lokal:** in v1 bewusst KEINE (alles Tool-artige → Claude) — ok?
+2. **Routing v1:** rein heuristisch + Escalation (entschieden).
+3. **Tools lokal:** kuratierte kleine Auswahl (entschieden — Start-Satz oben;
+   Stefan bestaetigt/justiert die konkrete Liste vor dem B1-Bau).
 
 ## Folge-Baustein: Modell-Auswahl in ARIA Diagnostic (B0.5)
 
@@ -109,9 +158,104 @@ zeigt statt auf `llama:8081` auf `llama-swap`.
   `model`-Feld seiner llama-swap-Requests → swap/Download passiert automatisch.
 - Status zurück an Diagnostic (lädt / bereit / VRAM-OOM), analog whisper-Status.
 
+**Konkret gewünschte UI (Stefan):**
+- Modell-Status sichtbar: **lädt (mit Fortschrittsbalken) → heruntergeladen →
+  aktiviert**. Ist ein Modell schon im Cache: **nicht neu laden, nur
+  aktivieren** (llama.cpp/llama-swap macht das nativ ueber den Cache).
+- **Testchat-Zeile** in Diagnostic: kurze Nachricht direkt ans lokale LLM
+  schicken, Antwort + Latenz anzeigen. Nutzt denselben RVS-Pfad
+  (`llm_request`/`llm_response`) wie der Self-Test — kein neuer Kanal noetig.
+
 Bis dahin: **ein** Modell via `-hf` Auto-Download (B0, erledigt). Erst end-to-end
 grün, dann dieser Komfort-Layer.
 
+## Skalierung: VRAM, Multi-GPU, „Cluster"
+
+**Wichtige Klarstellung:** Roher VRAM/GPU ist NICHT ueber RVS teilbar. RVS ist ein
+Nachrichten-Relay; GPUs werden lokal per CUDA/PCIe angesprochen. Ueber RVS teilt
+man **Inferenz-Faehigkeit** (transkribiere/vervollstaendige), nicht VRAM. Es gibt
+daher keinen „GPU-Broker-Container", der Karten uebers Netz verleiht.
+
+Skalierungspfade (echt):
+- **Mehr Karten in EINER Box → VRAM-Pool.** llama.cpp/vLLM splitten ein Modell
+  ueber mehrere GPUs (`--tensor-split`). 2×3060 = 24 GB → groesseres Modell ODER
+  Qwen8B mit grossem Kontext → **volles Tool-Schema passt rein**. Das ist der
+  Weg zum „vollen Arsenal lokal".
+- **Ein Modell ueber mehrere HOSTS splitten** (llama.cpp `--rpc`): moeglich, aber
+  langsam (Layer-Grenzen ueber's Netz) — nur schnelles LAN, fuer „schnell"
+  ungeeignet. Nicht empfohlen.
+- **Mehrere eigenstaendige Modell-Server, je einer pro GPU/Host, Router waehlt:**
+  einfach, = unser RVS-Muster. Zweiter GPU-Host = noch ein llm-adapter, meldet
+  sich am RVS an, Router load-balanced. Das ist der sinnvolle „Cluster".
+- **Innerhalb eines Hosts:** ein geteilter Inferenz-Server (`llama-swap`/vLLM)
+  statt VRAM-Duplikat pro Container — kommt mit B0.5.
+
+**Diagnostic ⓘ (Feature):** Checkbox „volleres Arsenal" + Info-Icon mit
+VRAM-Bedarf: 12 GB (1×3060) = kuratierte Tools; 24 GB (2×3060, eine Box) = Qwen
+mit grossem Kontext/volles Schema oder groesseres Modell; Cluster = weitere
+GPU-Hosts als Modell-Server ueber RVS. (B0.5/B1-UI.)
+
+### „Waechter" / Orchestrator (Ausbaustufe, gestaffelt)
+
+Idee: ein Dienst, der auf den am RVS angemeldeten Hosts Container startet/stoppt.
+Zerfaellt in zwei Teile:
+- **Billig & bald nuetzlich — Registrierung + Heartbeat:** jeder GPU-Host meldet
+  dem RVS „lebe, GPUs, VRAM frei, laufende Dienste" (kleine Erweiterung der
+  Adapter; whisper broadcastet schon Status). Nutzen: Diagnostic zeigt die
+  Flotte (Live-Daten fuers ⓘ), Router weiss ob lokal erreichbar (sonst Claude).
+- **Teuer & aufschiebbar — Steuerung (Container start/stop):** Agent pro Host
+  (Docker-Socket) + Controller mit Placement-Policy + Reconciliation +
+  Broadcast-Kollisions-Vermeidung (nicht 2× dieselbe Faehigkeit). = Mini-Nomad.
+
+**Empfehlung:** Fuer 2 Gameboxen NICHT bauen — statische Platzierung reicht
+(Gamebox1=LLM, Gamebox2=Voice). Dynamisches Laden/Entladen zum VRAM-Freimachen
+deckt `llama-swap` innerhalb eines Hosts (B0.5). Waechst die Flotte: erst den
+billigen Heartbeat-Teil; fuer echte Orchestrierung Docker Swarm / Nomad nehmen
+statt selbst einen Scheduler zu bauen.
+
+### ENTSCHIEDEN: manuelle Platzierung + read-only GPU-Dashboard (kein Auto)
+
+Statt Auto-Controller (Semi-Auto verworfen — Host wechselt selten, Komplexitaet
+lohnt nicht):
+- **Pin = Docker Compose Profiles.** Services kriegen `profiles: [...]`, jeder
+  Host setzt `COMPOSE_PROFILES=<seins>` in der `.env`; `docker compose up`
+  startet nur die eigenen. „In Config gepinnt", nativ, kein Code.
+- **Verschiebe-Regel:** `up` auf neuem Host + `docker compose rm -sf <svc>` auf
+  altem (sonst holt `restart: unless-stopped` den Dienst beim Reboot zurueck →
+  Broadcast-Kollision; Profile gelten nur beim `up`, nicht beim Daemon-Restart).
+- **GPU-Dashboard in Diagnostic (read-only):** jeder GPU-Host sendet periodisch
+  einen Heartbeat via RVS (Host, GPU-Util, VRAM frei/belegt, laufende
+  GPU-Container). Diagnostic zeigt pro Host VRAM-Balken + Dienste + „Host X hat
+  N GB frei". Kein Start/Stop, nur Sicht + Hinweis wohin verschiebbar.
+- **Zukunft (Gamebox3, 4×3060 = 48 GB):** neuer Host, eigenes Profil, `up` →
+  erscheint im Dashboard; grosses lokales LLM oder FLUX-Vollausbau dorthin.
+  Ohne Orchestrator.
+
+### Verschieben-Button (Semi-Auto) — reboot-sicher via Platzierungs-Config
+
+Wenn ein „Verschieben"-Button in Diagnostic gewuenscht ist (Dropdown Ziel-Host +
+Button = hier stoppen, dort starten), braucht das remote Container-Steuerung →
+**kleiner Agent pro GPU-Host** (Docker-Zugriff, hoert RVS-Befehle). Das ist der
+zuvor „teure" Teil, aber in der DUMMEN Variante:
+
+- **Eine Platzierungs-Config ist Single Source of Truth:**
+  `/shared/config/gpu_placement.json` = `{service: host}`.
+- **Dummer Reconcile-Agent pro Host:** bei Start UND Config-Aenderung — starte
+  die mir zugewiesenen Dienste, stoppe die anderen. Keine Policy, kein
+  VRAM-Placement. Mensch = Scheduler (Button), Agent = befolgt nur Config.
+- **Button aendert nur die Config** → Agenten reconcilen (alt stoppt, neu
+  startet). **Reboot liest Config** → kein Divergieren, keine Kollision.
+- **Reboot-Falle vermieden:** NIE Laufzeit-Move ohne Config-Update (sonst holt
+  `restart: unless-stopped` den Dienst beim Reboot zurueck). Config = Wahrheit.
+
+Deploy-Story: Code liegt via git auf allen Hosts (`pull`+`build`), aber `up -d`
+startet nichts GPU-maessig von selbst — die Platzierungs-Config (bzw.
+`COMPOSE_PROFILES`) entscheidet, was wo laeuft. Neuer Host = zuweisen, Agent
+startet.
+
+**Reihenfolge:** NACH B0/B1. Fallback ohne Button: reine `COMPOSE_PROFILES` pro
+Host + Verschieben von Hand (null neue Infra).
+
 ## Nicht-Ziele
 
 - Kein echter Gemini-Live-Duplex-Klon (Text-Modell als Hirn).

xtts/llm-adapter/adapter.py

@@ -47,6 +47,14 @@ RVS_TOKEN = os.getenv("RVS_TOKEN", "").strip()
 LLAMA_URL = os.getenv("LLAMA_URL", "http://llama:8081").rstrip("/")
 LLM_MODEL = os.getenv("LLM_MODEL", "qwen3-8b")
 LLM_TIMEOUT_SEC = float(os.getenv("LLM_TIMEOUT_SEC", "60"))
+# Qwen3 hat Thinking-Mode default AN — dann verbraet es Tokens in einem
+# <think>-Block und liefert (bei kleinem max_tokens) leeren/abgeschnittenen
+# content, ausserdem 3x langsamer. ARIAs schnelles Tier will KEIN Grübeln
+# (grübeln = harter Turn = Claude). Wir schalten Thinking daher per
+# chat_template_kwargs ab (Qwen3-Template versteht enable_thinking=false;
+# andere Templates ignorieren das kwarg). Bei einem Modell, das darauf
+# empfindlich reagiert: LLM_DISABLE_THINKING=false setzen.
+LLM_DISABLE_THINKING = os.getenv("LLM_DISABLE_THINKING", "true").lower() == "true"
 
 
 async def _send(ws, mtype: str, payload: dict) -> None:
@@ -73,6 +81,10 @@ async def _call_llama(messages: list, *, max_tokens: int, temperature: float,
     }
     if stop:
         body["stop"] = stop
+    if LLM_DISABLE_THINKING:
+        # llama.cpp (--jinja) reicht chat_template_kwargs an die Chat-Vorlage
+        # weiter. Qwen3 unterdrueckt damit den <think>-Block.
+        body["chat_template_kwargs"] = {"enable_thinking": False}
     try:
         async with httpx.AsyncClient(timeout=LLM_TIMEOUT_SEC) as client:
             r = await client.post(f"{LLAMA_URL}/v1/chat/completions", json=body)