From 766a2c985fbbc6b3598851b809c9a78fb802302f Mon Sep 17 00:00:00 2001 From: duffyduck Date: Thu, 19 Nov 2026 18:23:59 +0100 Subject: [PATCH] fix(diagnostic): MoE-Rueckfrage auch bei Modellen ohne verraeterischen Namen Die Frage "Experten in den RAM auslagern?" kam nur, wenn der Name nach MoE aussah (A3B, moe, mixtral). Imperum-CybersecurityLLM (Qwen3.6-35B-A3B) hat das nicht: keine Rueckfrage, alles auf die 12-GB-Karte, Laden scheiterte. Jetzt zaehlt auch, was die Box ueber die heruntergeladene GGUF weiss (Profil moe), und ein Schlagwort "moe" im Katalog. Co-Authored-By: Claude Opus 5.5 --- diagnostic/index.html | 18 +++++++++++++----- 1 file changed, 13 insertions(+), 5 deletions(-) diff --git a/diagnostic/index.html b/diagnostic/index.html index c2eb367..49d1127 100644 --- a/diagnostic/index.html +++ b/diagnostic/index.html @@ -10993,7 +10993,7 @@ cpuMoe = sl.cpuMoe > 0 ? -2 : (sl.cpuMoe || 0); // teilweise aufgeteilt → fuer den neuen Kontext neu rechnen } else { const vramGB = sl.vramMB ? sl.vramMB / 1024 : 0; - cpuMoe = await askCpuMoe(m, sl.vramMB || 0); + cpuMoe = await askCpuMoe(m, sl.vramMB || 0, onlineLlmBoxes().find(b => b.instanceId === target)); if (cpuMoe === null) return; const warn = (!cpuMoe && vramGB && m.sizeGB && m.sizeGB > vramGB * 0.92) ? `\n\n⚠ ${m.id} ist etwa ${m.sizeGB} GB groß, die Karte hat ${vramGB.toFixed(0)} GB — wahrscheinlich passt es nicht.` : ''; @@ -11070,12 +11070,20 @@ // "Experten" duerfen darum in den Arbeitsspeicher, ohne dass es unbrauchbar // langsam wird. Erkennung am Namen (A3B, A4B, MoE …); sicher weiss es die Box // erst nach dem Laden (slot.moe). - function looksMoe(m) { return /(\bA\d+(\.\d+)?B\b|moe|mixtral)/i.test((m.id || '') + ' ' + (m.hfRepo || '')); } + // MoE? Am Namen erkennbar (A3B, moe, mixtral) — ODER die Box weiss es schon, + // weil die Datei dort liegt (Profil aus der GGUF). Nur am Namen zu raten hat + // z.B. Imperum-CybersecurityLLM (Qwen3.6-35B-A3B) verpasst: keine Rueckfrage, + // alles auf die Karte, Laden scheitert. + function looksMoe(m, box) { + if (/(\bA\d+(\.\d+)?B\b|moe|mixtral)/i.test((m.id || '') + ' ' + (m.hfRepo || ''))) return true; + if (Array.isArray(m.tags) && m.tags.some(t => String(t).toLowerCase() === 'moe')) return true; + return !!(box && _ctxChoices(m.id, box, null).moe); + } /** Promise: 0 = normal laden, -2 = Experten automatisch aufteilen, null = abbrechen. * Eigener Dialog mit drei Knoepfen — bei confirm() hiess "Abbrechen" frueher * "normal laden", und das liest jeder als "gar nicht laden". */ - function askCpuMoe(m, vramMB) { - if (!looksMoe(m) || !vramMB || !m.sizeGB || m.sizeGB * 1024 <= vramMB * 0.85) return Promise.resolve(0); + function askCpuMoe(m, vramMB, box) { + if (!looksMoe(m, box) || !vramMB || !m.sizeGB || m.sizeGB * 1024 <= vramMB * 0.85) return Promise.resolve(0); return new Promise(resolve => { const bg = document.createElement('div'); bg.style.cssText = 'position:fixed;inset:0;z-index:10000;background:rgba(0,0,0,.6);display:flex;align-items:center;justify-content:center;padding:16px;'; @@ -11158,7 +11166,7 @@ !await uiConfirm(`Karte ${gpu} auf ${tgt.box.node} hält gerade ${tgt.slot.model}.\n\n` + `${m.id} ersetzt es. Clients, die ${tgt.slot.model} nutzen, verlieren es dann.\n` + `Die anderen Karten dieser Box starten dabei kurz neu.\n\nErsetzen?`)) return; - const cpuMoe = await askCpuMoe(m, (tgt && tgt.slot && tgt.slot.vramMB) || 0); + const cpuMoe = await askCpuMoe(m, (tgt && tgt.slot && tgt.slot.vramMB) || 0, tgt && tgt.box); if (cpuMoe === null) return; const st = document.getElementById('llm-catalog-status'); const ctxSel = document.getElementById('llm-cat-ctx-' + i);