fix(diagnostic): MoE-Rueckfrage auch bei Modellen ohne verraeterischen Namen

Die Frage "Experten in den RAM auslagern?" kam nur, wenn der Name nach MoE
aussah (A3B, moe, mixtral). Imperum-CybersecurityLLM (Qwen3.6-35B-A3B) hat
das nicht: keine Rueckfrage, alles auf die 12-GB-Karte, Laden scheiterte.

Jetzt zaehlt auch, was die Box ueber die heruntergeladene GGUF weiss
(Profil moe), und ein Schlagwort "moe" im Katalog.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-11-19 18:23:59 +01:00
co-authored by Claude Opus 5.5
parent 157d702f5b
commit 766a2c985f
+13 -5
View File
@@ -10993,7 +10993,7 @@
cpuMoe = sl.cpuMoe > 0 ? -2 : (sl.cpuMoe || 0); // teilweise aufgeteilt → fuer den neuen Kontext neu rechnen
} else {
const vramGB = sl.vramMB ? sl.vramMB / 1024 : 0;
cpuMoe = await askCpuMoe(m, sl.vramMB || 0);
cpuMoe = await askCpuMoe(m, sl.vramMB || 0, onlineLlmBoxes().find(b => b.instanceId === target));
if (cpuMoe === null) return;
const warn = (!cpuMoe && vramGB && m.sizeGB && m.sizeGB > vramGB * 0.92)
? `\n\n⚠ ${m.id} ist etwa ${m.sizeGB} GB groß, die Karte hat ${vramGB.toFixed(0)} GB — wahrscheinlich passt es nicht.` : '';
@@ -11070,12 +11070,20 @@
// "Experten" duerfen darum in den Arbeitsspeicher, ohne dass es unbrauchbar
// langsam wird. Erkennung am Namen (A3B, A4B, MoE …); sicher weiss es die Box
// erst nach dem Laden (slot.moe).
function looksMoe(m) { return /(\bA\d+(\.\d+)?B\b|moe|mixtral)/i.test((m.id || '') + ' ' + (m.hfRepo || '')); }
// MoE? Am Namen erkennbar (A3B, moe, mixtral) — ODER die Box weiss es schon,
// weil die Datei dort liegt (Profil aus der GGUF). Nur am Namen zu raten hat
// z.B. Imperum-CybersecurityLLM (Qwen3.6-35B-A3B) verpasst: keine Rueckfrage,
// alles auf die Karte, Laden scheitert.
function looksMoe(m, box) {
if (/(\bA\d+(\.\d+)?B\b|moe|mixtral)/i.test((m.id || '') + ' ' + (m.hfRepo || ''))) return true;
if (Array.isArray(m.tags) && m.tags.some(t => String(t).toLowerCase() === 'moe')) return true;
return !!(box && _ctxChoices(m.id, box, null).moe);
}
/** Promise: 0 = normal laden, -2 = Experten automatisch aufteilen, null = abbrechen.
* Eigener Dialog mit drei Knoepfen — bei confirm() hiess "Abbrechen" frueher
* "normal laden", und das liest jeder als "gar nicht laden". */
function askCpuMoe(m, vramMB) {
if (!looksMoe(m) || !vramMB || !m.sizeGB || m.sizeGB * 1024 <= vramMB * 0.85) return Promise.resolve(0);
function askCpuMoe(m, vramMB, box) {
if (!looksMoe(m, box) || !vramMB || !m.sizeGB || m.sizeGB * 1024 <= vramMB * 0.85) return Promise.resolve(0);
return new Promise(resolve => {
const bg = document.createElement('div');
bg.style.cssText = 'position:fixed;inset:0;z-index:10000;background:rgba(0,0,0,.6);display:flex;align-items:center;justify-content:center;padding:16px;';
@@ -11158,7 +11166,7 @@
!await uiConfirm(`Karte ${gpu} auf ${tgt.box.node} hält gerade ${tgt.slot.model}.\n\n`
+ `${m.id} ersetzt es. Clients, die ${tgt.slot.model} nutzen, verlieren es dann.\n`
+ `Die anderen Karten dieser Box starten dabei kurz neu.\n\nErsetzen?`)) return;
const cpuMoe = await askCpuMoe(m, (tgt && tgt.slot && tgt.slot.vramMB) || 0);
const cpuMoe = await askCpuMoe(m, (tgt && tgt.slot && tgt.slot.vramMB) || 0, tgt && tgt.box);
if (cpuMoe === null) return;
const st = document.getElementById('llm-catalog-status');
const ctxSel = document.getElementById('llm-cat-ctx-' + i);