feat(llm): Kontextfenster pro Karte einstellbar + Fehlerart context_exceeded

Anlass: die Software-Schmiede bekam "request (8274 tokens) exceeds the
available context size (8192 tokens)". Sie holt ctx vom Cluster zwar ab,
kuerzt aber nach einem eigenen, von Hand eingetragenen Wert (32768).

ARIA-Seite:
- Neue Fehlerart context_exceeded (statt model_error) mit promptTokens und ctx
  — Programme koennen automatisch kuerzen und nochmal senden, statt Text
  auszuwerten. llm-adapter liest es aus llama.cpps exceed_context_size_error,
  der Cluster-Router reicht es durch und wiederholt es nicht anderswo.
- Diagnostic → LLM-Karten: Kontextfenster pro Karte (4k … 128k). Laedt das
  Modell mit neuem -c; Programme sehen den neuen Wert ueber ctx. Passt es
  nicht in den Grafikspeicher, setzt die Box zurueck — jetzt inkl. Registry
  (vorher blieb bei einem Fehlschlag der zu grosse ctx in aria_models.json
  stehen und waere beim naechsten Start wieder gescheitert).
- Doku: context_exceeded, ctx kann sich aendern, "danach kuerzen, nicht nur
  anzeigen".

Getestet gegen llama-swap: Kontext 512 → 1024 (gleiche Karte), Fehlschlag
bei 65536 → Registry + Config wieder 1024, zu langer Verlauf →
context_exceeded mit promptTokens=6030, ctx=1024.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-19 13:32:37 +02:00
co-authored by Claude Opus 5.5
parent f8ae2f4613
commit 79a901089b
4 changed files with 71 additions and 7 deletions
+2 -1
View File
@@ -211,7 +211,8 @@ class LlmCluster:
res = await self.route(payload)
out = {"requestId": rid, "ok": bool(res.get("ok"))}
for k in ("content", "tool_calls", "model", "node", "gpu", "instanceId", "usage",
"elapsedMs", "attempts", "error", "errorCode", "available"):
"elapsedMs", "attempts", "error", "errorCode", "available",
"promptTokens", "ctx"):
if res.get(k) is not None:
out[k] = res[k]
await self.b._send_to_rvs({"type": "llm_cluster_response", "payload": out,