feat(models): Test-Knopf — zeigt, welches Modell wirklich geantwortet hat

Bisher liess sich nicht nachsehen, ob eine Modell-Einstellung ueberhaupt
greift. Der Proxy hat die Information sogar aktiv weggeworfen:
normalizeModelName() nahm den echten Namen aus modelUsage (z.B.
"claude-opus-5-5") und schrieb ihn auf "claude-opus-4" um. Das `model`-Feld
der Antwort log also — und damit war jede Ueberpruefung unmoeglich.

- normalizeModelName gibt den echten Namen durch. Im OpenAI-Protokoll soll
  `model` das Modell nennen, das geantwortet HAT; ein erfundener Name ist
  schlechter als keiner.
- Zusatzfelder aria_model / aria_error / aria_context_window / aria_max_output
  aus modelUsage.canonicalModel. Noetig, weil die CLI bei einem unbekannten
  Modell gar nicht bis zum Call kommt und ihre Begruendung einfach in den
  Antworttext legt — ohne Flag waere ein Fehlschlag nicht von einer Antwort
  zu unterscheiden.
- Knopf "🔬 Testen" neben Dropdown und Freitextfeld. Er schickt eine echte
  Mini-Anfrage durch den GANZEN Weg (Diagnostic → Proxy → extractModel →
  claude CLI → Anthropic).

Ausdruecklich NICHT gemacht: das Modell nach seiner eigenen Version fragen.
Darauf ist kein Verlass — Modelle kennen ihren Versionsstring oft nicht und
raten. Und den Dropdown-Wert zurueckzugeben waere sinnlos. Die Wahrheit kommt
aus modelUsage der CLI.

Vier unterscheidbare Ergebnisse:
  Tier-Alias      gruen  — zeigt die aufgeloeste Version ("opus" → Opus 5.5)
  exakte Version  gruen  — angefragt == geantwortet
  nicht erkannt   GELB   — der Proxy hat still "opus" eingesetzt; warnt
                           ausdruecklich davor, die ID so zu setzen
  ungueltig       ROT    — CLI-Begruendung im Klartext

Der gelbe Fall war wichtig: ein Name, der nicht wie ein Claude-Modell aussieht,
faellt auf "opus" zurueck und haette sonst als Erfolg gegolten — man setzt dann
eine ID, die nie benutzt wird, und merkt es nie.

Geprueft gegen ECHTE CLI-Ausgaben aus dem Proxy-Container (9 Faelle: Alias,
exakte Version, Tippfehler) plus 7 Faelle fuer die Anzeige-Logik. Nebenbefund:
`--model opus` loest derzeit auf claude-opus-5-5 auf.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
2026-10-03 10:54:22 +02:00
co-authored by Claude Opus 5
parent 09d06011d5
commit 752e2abc5f
3 changed files with 184 additions and 9 deletions
+31 -8
View File
@@ -100,9 +100,13 @@ function _parseToolCalls(text) {
}
export function cliResultToOpenai(result, requestId) {
const modelName = result.modelUsage
? Object.keys(result.modelUsage)[0]
: "claude-sonnet-4";
// modelUsage ist die Wahrheit: die CLI tragt dort den Namen ein, unter dem
// der Request wirklich lief — bei einem Alias also die aufgeloeste Version
// ("opus" -> "claude-opus-5-5"). Leer bleibt es, wenn gar kein Call
// zustande kam (z.B. unbekanntes Modell).
const usage = result.modelUsage || {};
const usedKey = Object.keys(usage)[0];
const modelName = (usedKey && (usage[usedKey]?.canonicalModel || usedKey)) || "";
const rawText = result.result || "";
const { tool_calls, rest } = _parseToolCalls(rawText);
@@ -134,13 +138,32 @@ export function cliResultToOpenai(result, requestId) {
total_tokens:
(result.usage?.input_tokens || 0) + (result.usage?.output_tokens || 0),
},
// ARIA-Zusatzfelder (ausserhalb des OpenAI-Schemas, Clients ignorieren
// sie). Damit kann die Diagnostic pruefen, ob ein Modell wirklich
// gelaufen ist: bei einem unbekannten Namen kommt die CLI gar nicht bis
// zum Call, dann ist modelUsage leer und is_error gesetzt. Ohne das
// koennte man einen Fehlschlag nicht von einer Antwort unterscheiden —
// die Fehlermeldung steht naemlich einfach im content.
aria_model: modelName,
aria_error: result.is_error === true,
aria_context_window: (usedKey && usage[usedKey]?.contextWindow) || 0,
aria_max_output: (usedKey && usage[usedKey]?.maxOutputTokens) || 0,
};
}
/**
* Modellname fuer die Antwort.
*
* Hier wurde der Name FRUEHER umgeschrieben: alles mit "opus" drin wurde zu
* "claude-opus-4", Sonnet zu "claude-sonnet-4" usw. Damit log das Feld — die
* CLI liefert in modelUsage den tatsaechlich benutzten Namen (z.B.
* "claude-opus-5-5"), und genau der wurde weggeworfen. Im OpenAI-Protokoll
* soll `model` das Modell nennen, das geantwortet HAT; ein erfundener Name
* macht jede Ueberpruefung unmoeglich ("welches Modell lief gerade?").
*
* Jetzt bleibt der echte Name stehen; nur wenn gar keiner da ist, gibt es
* einen neutralen Platzhalter.
*/
function normalizeModelName(model) {
const m = model || "claude-sonnet-4";
if (m.includes("opus")) return "claude-opus-4";
if (m.includes("sonnet")) return "claude-sonnet-4";
if (m.includes("haiku")) return "claude-haiku-4";
return m;
return model || "unknown";
}