feat(llm): Kontextfenster pro Karte einstellbar + Fehlerart context_exceeded
Anlass: die Software-Schmiede bekam "request (8274 tokens) exceeds the available context size (8192 tokens)". Sie holt ctx vom Cluster zwar ab, kuerzt aber nach einem eigenen, von Hand eingetragenen Wert (32768). ARIA-Seite: - Neue Fehlerart context_exceeded (statt model_error) mit promptTokens und ctx — Programme koennen automatisch kuerzen und nochmal senden, statt Text auszuwerten. llm-adapter liest es aus llama.cpps exceed_context_size_error, der Cluster-Router reicht es durch und wiederholt es nicht anderswo. - Diagnostic → LLM-Karten: Kontextfenster pro Karte (4k … 128k). Laedt das Modell mit neuem -c; Programme sehen den neuen Wert ueber ctx. Passt es nicht in den Grafikspeicher, setzt die Box zurueck — jetzt inkl. Registry (vorher blieb bei einem Fehlschlag der zu grosse ctx in aria_models.json stehen und waere beim naechsten Start wieder gescheitert). - Doku: context_exceeded, ctx kann sich aendern, "danach kuerzen, nicht nur anzeigen". Getestet gegen llama-swap: Kontext 512 → 1024 (gleiche Karte), Fehlschlag bei 65536 → Registry + Config wieder 1024, zu langer Verlauf → context_exceeded mit promptTokens=6030, ctx=1024. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -100,7 +100,7 @@ Antwort:
|
||||
| Feld | Bedeutung |
|
||||
|---|---|
|
||||
| `model` | Name — genau so in der Anfrage angeben. **Das** zeigst du dem Nutzer zur Auswahl. |
|
||||
| `ctx` | **Kontextfenster in Tokens** (Eingabe + Ausgabe zusammen). Das kleinste unter allen Karten mit diesem Modell — darauf kannst du dich verlassen, egal wohin verteilt wird. Nicht mehr annehmen. `0` = unbekannt. |
|
||||
| `ctx` | **Kontextfenster in Tokens** (Eingabe + Ausgabe zusammen). Das kleinste unter allen Karten mit diesem Modell — darauf kannst du dich verlassen, egal wohin verteilt wird. Nicht mehr annehmen. `0` = unbekannt. **Kann sich ändern** (der Betreiber stellt es pro Karte ein) — vor längeren Aufträgen neu holen. |
|
||||
| `available` | auf wie vielen Karten es gerade liegt |
|
||||
| `cards` | nur zur Info (Anzeige, Fehlersuche) — für die Anfrage nicht nötig |
|
||||
|
||||
@@ -165,7 +165,8 @@ Fehler — `ok: false`, dazu `error` (Text für Menschen) und `errorCode`:
|
||||
| `bad_request` | Anfrage unvollständig, z.B. `messages` leer oder `model` fehlt bei mehreren Modellen | Anfrage korrigieren |
|
||||
| `timeout` | Keine Antwort innerhalb der Frist (Standard 600 s) — auch nach Ersatzversuch | später nochmal |
|
||||
| `box_offline` | Box ist während der Anfrage weggefallen, und es gab keine Ersatz-Box | später nochmal |
|
||||
| `model_error` | Das Modell selbst hat einen Fehler gemeldet, z.B. Kontext zu lang. Wird nicht anderswo wiederholt — wäre dort genauso. | `error` lesen |
|
||||
| `context_exceeded` | Der Verlauf ist länger als das Kontextfenster. Dazu `promptTokens` (so lang war die Anfrage) und `ctx` (so viel geht). | Verlauf kürzen und nochmal senden — z.B. auf ~80 % von `ctx` abzüglich der gewünschten Antwortlänge. |
|
||||
| `model_error` | Das Modell selbst hat einen anderen Fehler gemeldet. Wird nicht anderswo wiederholt — wäre dort genauso. | `error` lesen |
|
||||
|
||||
**Fehler nie als Antwort der KI behandeln.** Zeig `error` dem Nutzer als
|
||||
Fehlermeldung an, aber schreib ihn nicht als Assistant-Nachricht in den
|
||||
@@ -247,8 +248,12 @@ Wer schon gegen Abschnitt C gebaut hat (`llm_models_request` /
|
||||
2. **Auswahl:** Dem Nutzer nur den **Modellnamen** zeigen — nicht mehr
|
||||
„Modell · Karte · Box". Wo es läuft, entscheidet der Cluster.
|
||||
3. **Kontextfenster:** `ctx` aus der Liste übernehmen statt einen eigenen Wert
|
||||
einzustellen. Die Box gibt nur so viel her, wie dort steht — rechnet ein
|
||||
Programm mit mehr, scheitern lange Aufträge oder werden falsch gekürzt.
|
||||
einzustellen — und **danach kürzen**, nicht nur anzeigen. Die Box gibt nur
|
||||
so viel her, wie dort steht; rechnet ein Programm mit mehr, kommt
|
||||
`context_exceeded`. Den Fehler zusätzlich abfangen: kürzen und nochmal
|
||||
senden (`promptTokens`/`ctx` stehen dabei). Tokens grob schätzen reicht
|
||||
nicht immer — Code und Deutsch brauchen mehr Tokens pro Zeichen als
|
||||
englischer Fließtext.
|
||||
4. **Anfrage:** `llm_cluster_request` statt `llm_request`; **kein**
|
||||
`targetInstance` mehr. Die Antwort kommt als `llm_cluster_response`.
|
||||
5. **Fehler:** `ok: false` als Fehler anzeigen, nicht als Antwort in den
|
||||
|
||||
Reference in New Issue
Block a user