fix(diagnostic): MoE-Rueckfrage auch bei Modellen ohne verraeterischen Namen
Die Frage "Experten in den RAM auslagern?" kam nur, wenn der Name nach MoE aussah (A3B, moe, mixtral). Imperum-CybersecurityLLM (Qwen3.6-35B-A3B) hat das nicht: keine Rueckfrage, alles auf die 12-GB-Karte, Laden scheiterte. Jetzt zaehlt auch, was die Box ueber die heruntergeladene GGUF weiss (Profil moe), und ein Schlagwort "moe" im Katalog. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
+13
-5
@@ -10993,7 +10993,7 @@
|
||||
cpuMoe = sl.cpuMoe > 0 ? -2 : (sl.cpuMoe || 0); // teilweise aufgeteilt → fuer den neuen Kontext neu rechnen
|
||||
} else {
|
||||
const vramGB = sl.vramMB ? sl.vramMB / 1024 : 0;
|
||||
cpuMoe = await askCpuMoe(m, sl.vramMB || 0);
|
||||
cpuMoe = await askCpuMoe(m, sl.vramMB || 0, onlineLlmBoxes().find(b => b.instanceId === target));
|
||||
if (cpuMoe === null) return;
|
||||
const warn = (!cpuMoe && vramGB && m.sizeGB && m.sizeGB > vramGB * 0.92)
|
||||
? `\n\n⚠ ${m.id} ist etwa ${m.sizeGB} GB groß, die Karte hat ${vramGB.toFixed(0)} GB — wahrscheinlich passt es nicht.` : '';
|
||||
@@ -11070,12 +11070,20 @@
|
||||
// "Experten" duerfen darum in den Arbeitsspeicher, ohne dass es unbrauchbar
|
||||
// langsam wird. Erkennung am Namen (A3B, A4B, MoE …); sicher weiss es die Box
|
||||
// erst nach dem Laden (slot.moe).
|
||||
function looksMoe(m) { return /(\bA\d+(\.\d+)?B\b|moe|mixtral)/i.test((m.id || '') + ' ' + (m.hfRepo || '')); }
|
||||
// MoE? Am Namen erkennbar (A3B, moe, mixtral) — ODER die Box weiss es schon,
|
||||
// weil die Datei dort liegt (Profil aus der GGUF). Nur am Namen zu raten hat
|
||||
// z.B. Imperum-CybersecurityLLM (Qwen3.6-35B-A3B) verpasst: keine Rueckfrage,
|
||||
// alles auf die Karte, Laden scheitert.
|
||||
function looksMoe(m, box) {
|
||||
if (/(\bA\d+(\.\d+)?B\b|moe|mixtral)/i.test((m.id || '') + ' ' + (m.hfRepo || ''))) return true;
|
||||
if (Array.isArray(m.tags) && m.tags.some(t => String(t).toLowerCase() === 'moe')) return true;
|
||||
return !!(box && _ctxChoices(m.id, box, null).moe);
|
||||
}
|
||||
/** Promise: 0 = normal laden, -2 = Experten automatisch aufteilen, null = abbrechen.
|
||||
* Eigener Dialog mit drei Knoepfen — bei confirm() hiess "Abbrechen" frueher
|
||||
* "normal laden", und das liest jeder als "gar nicht laden". */
|
||||
function askCpuMoe(m, vramMB) {
|
||||
if (!looksMoe(m) || !vramMB || !m.sizeGB || m.sizeGB * 1024 <= vramMB * 0.85) return Promise.resolve(0);
|
||||
function askCpuMoe(m, vramMB, box) {
|
||||
if (!looksMoe(m, box) || !vramMB || !m.sizeGB || m.sizeGB * 1024 <= vramMB * 0.85) return Promise.resolve(0);
|
||||
return new Promise(resolve => {
|
||||
const bg = document.createElement('div');
|
||||
bg.style.cssText = 'position:fixed;inset:0;z-index:10000;background:rgba(0,0,0,.6);display:flex;align-items:center;justify-content:center;padding:16px;';
|
||||
@@ -11158,7 +11166,7 @@
|
||||
!await uiConfirm(`Karte ${gpu} auf ${tgt.box.node} hält gerade ${tgt.slot.model}.\n\n`
|
||||
+ `${m.id} ersetzt es. Clients, die ${tgt.slot.model} nutzen, verlieren es dann.\n`
|
||||
+ `Die anderen Karten dieser Box starten dabei kurz neu.\n\nErsetzen?`)) return;
|
||||
const cpuMoe = await askCpuMoe(m, (tgt && tgt.slot && tgt.slot.vramMB) || 0);
|
||||
const cpuMoe = await askCpuMoe(m, (tgt && tgt.slot && tgt.slot.vramMB) || 0, tgt && tgt.box);
|
||||
if (cpuMoe === null) return;
|
||||
const st = document.getElementById('llm-catalog-status');
|
||||
const ctxSel = document.getElementById('llm-cat-ctx-' + i);
|
||||
|
||||
Reference in New Issue
Block a user