# llama-swap Modell-Liste fuer ARIA (Plan B, B0.5).
# Welches Modell geladen wird, bestimmt das `model`-Feld im Request (das Brain
# schickt es aus /shared/config/local_llm.json mit). llama-swap laedt es
# on-demand, swappt bei Bedarf (nur eins passt gleichzeitig in die 12 GB).
# Erster Load zieht das GGUF via -hf von Hugging Face (Cache unter /models).
#
# Die Modell-KEYS hier muessen zu local_models.json (Diagnostic-Dropdown) passen.
#
# healthCheckTimeout: Sekunden, die llama-swap auf "Modell bereit" wartet.
# GROSSZUEGIG, weil der erste Load ein GGUF (mehrere GB) herunterlaedt. Wenn der
# erste Download laenger dauert und abbricht: hier hochsetzen.
healthCheckTimeout: 1800

models:
  # Standard — Qwen3 8B (~6 GB Q4). Bestes Tool-Calling, passt auf 12 GB.
  "qwen3-8b":
    cmd: |
      llama-server --port ${PORT} --host 127.0.0.1
      -hf Qwen/Qwen3-8B-GGUF:Q4_K_M
      -ngl 99 -c 8192 --jinja
    ttl: 3600   # nach 1h Idle entladen (VRAM freigeben)

  # Kleiner + schneller — Qwen3 4B (~3 GB). Fuer noch flottere Antworten,
  # etwas schwaecher. Guter A/B-Vergleich gegen 8B.
  "qwen3-4b":
    cmd: |
      llama-server --port ${PORT} --host 127.0.0.1
      -hf Qwen/Qwen3-4B-GGUF:Q4_K_M
      -ngl 99 -c 8192 --jinja
    ttl: 3600

  # ── Vorlagen fuer spaeter (auskommentiert; brauchen mehr VRAM / 2. Karte) ──
  # "qwen3-14b":
  #   cmd: |
  #     llama-server --port ${PORT} --host 127.0.0.1
  #     -hf Qwen/Qwen3-14B-GGUF:Q4_K_M -ngl 99 -c 8192 --jinja
  #   ttl: 3600
  # "mistral-small-3":
  #   cmd: |
  #     llama-server --port ${PORT} --host 127.0.0.1
  #     -hf <mistral-small-3-gguf-repo>:Q4_K_M -ngl 99 -c 8192 --jinja
  #   ttl: 3600