fix(diagnostic): Karten kommen im Browser an, lokales Modell springt nicht zurueck
1. "Die LLM-Box meldet noch keine Karten": die Box schickte die Karten-
Belegung, aber workerList() im Diagnostic-Server gibt nur eine feste
Feldliste an den Browser — slots stand nicht drauf. Meine UI-Tests haben
die Flotte direkt im Browser gesetzt und sind an genau dieser Stelle
vorbeigelaufen. Jetzt Ende-zu-Ende getestet: echter Diagnostic-Server +
RVS + Box-Meldung → Browser (per DevTools-Protokoll gelesen).
2. Lokales Modell sprang auf "Qwen3 8B" zurueck: die Auswahl wurde gespeichert,
aber die Seite behielt intern das alte Modell und stellte das Dropdown beim
naechsten Lebenszeichen der Box (10 s) darauf zurueck. Dazu wie gewuenscht
umgebaut: nur Modelle, die im Cluster geladen sind, jedes einmal, ohne
Karte. Ist das gewaehlte gerade nirgends geladen: "(offline)" — geht
automatisch weiter, sobald eine Box es hat. Nichts da: "kein Modell
verfuegbar". Waehrend die Auswahl offen ist, wird nicht umgebaut.
3. "Bereit", aber Karte leer: der llm-adapter meldet pro Karte den belegten
VRAM. Laeuft ein Modell "ready" und die Karte bleibt unter 400 MB, rechnet
llama.cpp auf der CPU (Treiber zu alt fuer das CUDA im Image) — das sagt
llama.cpp nicht nach aussen. Diagnostic zeigt es jetzt in Flotte,
LLM-Karten und Modell-Auswahl ("laeuft auf der CPU").
4. bootstrap.sh: der normale Lauf meldete "✓ Treiber aktiv", auch wenn er fuer
das LLM zu alt ist. Jetzt Warnung mit Version und dem Befehl
(--upgrade-driver), wenn das LLM-Profil aktiv ist.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -444,6 +444,26 @@ def _model_ctx(key: str) -> int:
|
||||
return int(m.group(1)) if m else 0
|
||||
|
||||
|
||||
async def _vram_used() -> dict:
|
||||
"""{index: belegte MB} — frisch bei jedem Aufruf (aendert sich laufend)."""
|
||||
try:
|
||||
proc = await asyncio.create_subprocess_exec(
|
||||
"nvidia-smi", "--query-gpu=index,memory.used", "--format=csv,noheader,nounits",
|
||||
stdout=asyncio.subprocess.PIPE, stderr=asyncio.subprocess.DEVNULL)
|
||||
out, _ = await asyncio.wait_for(proc.communicate(), 10)
|
||||
return {a.strip(): int(float(b)) for a, b in
|
||||
(l.split(",", 1) for l in out.decode().splitlines() if "," in l)}
|
||||
except Exception:
|
||||
return {}
|
||||
|
||||
|
||||
# Ein geladenes Modell belegt GB auf seiner Karte. Bleibt die Karte trotz
|
||||
# "ready" praktisch leer, rechnet llama.cpp auf der CPU — typisch, wenn der
|
||||
# Treiber zu alt fuer das CUDA im Image ist ("forward compatibility …").
|
||||
# llama.cpp meldet das nicht nach aussen; wir sehen es nur am Speicher.
|
||||
ON_CPU_BELOW_MB = 400
|
||||
|
||||
|
||||
async def _slots_info() -> list:
|
||||
"""Pro LLM-Karte: [{gpu, gpuName, model, state}]. state aus llama-swap
|
||||
/running: ready | starting | stopping | stopped; "unknown", wenn llama-swap
|
||||
@@ -452,12 +472,16 @@ async def _slots_info() -> list:
|
||||
running = await _fetch_loaded()
|
||||
rmap = {r["model"]: r["state"] for r in running} if running is not None else None
|
||||
gpus = await _gpu_names()
|
||||
used = await _vram_used()
|
||||
out = []
|
||||
for card in _llm_cards():
|
||||
m = slots.get(card, "")
|
||||
state = "" if not m else ("unknown" if rmap is None else rmap.get(m, "stopped"))
|
||||
g = gpus.get(card) or {}
|
||||
u = used.get(card)
|
||||
on_cpu = bool(m and state == "ready" and u is not None and u < ON_CPU_BELOW_MB)
|
||||
out.append({"gpu": card, "gpuName": g.get("name", ""), "vramMB": g.get("vramMB", 0),
|
||||
"vramUsedMB": u if u is not None else -1, "onCpu": on_cpu,
|
||||
"model": m, "state": state, "ctx": _model_ctx(m) if m else 0})
|
||||
return out
|
||||
|
||||
@@ -504,7 +528,8 @@ async def _announce(ws) -> None:
|
||||
"openaiKeySet": bool(_openai_key()),
|
||||
"openaiEnvLocked": bool(_OPENAI_KEY_ENV),
|
||||
})
|
||||
logger.info("worker_hello: %s", ", ".join(f"Karte {x['gpu']}={x['model'] or '-'}({x['state'] or 'leer'})" for x in info))
|
||||
logger.info("worker_hello: %s", ", ".join(
|
||||
f"Karte {x['gpu']}={x['model'] or '-'}({x['state'] or 'leer'}{', CPU!' if x.get('onCpu') else ''})" for x in info))
|
||||
|
||||
|
||||
async def _worker_register(ws) -> None:
|
||||
|
||||
Reference in New Issue
Block a user