feat(llm): "Nur downloaden" im Katalog, Karten-Liste "nur heruntergeladene"
Katalog: "Laden" heisst jetzt "Download + Laden", daneben "Nur downloaden": das Modell kommt auf die Platte der Box (aus der Ziel-Karten-Auswahl), in keine Karte. Liegt es schon dort, ein Hinweis statt Download. llm-adapter: llm_provision_model mit downloadOnly → _download_only: Dateiliste, Plattenpruefung, paralleler Download (strict: ohne Fallback auf llama.cpp, jeder Fehler kommt als Grund zurueck), keine Karte, keine Registry. Download-Fenster: "Heruntergeladen — liegt auf der Box". Karten-Modellwahl: Haken "nur heruntergeladene" in der Liste, Standard an. Zeigt nur, was schon auf dieser Box liegt; "— leer —" und die aktuelle Auswahl bleiben immer sichtbar. Meldet die Box keine Platte (alter Adapter), ist der Haken aus und gesperrt. Getestet: download-only gegen HuggingFace (tiny-llamas) und mit falschem Repo; Haken/Suche/Knoepfe in headless Chromium mit der echten Seite. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -3598,13 +3598,14 @@ wss.on("connection", (ws) => {
|
||||
// Sofort als "angefragt" fuehren: kommt danach nie etwas von der Box,
|
||||
// sieht man das im Download-Fenster, statt dass einfach nichts passiert.
|
||||
const queued = llmJobUpdate(msg.targetInstance || "", msg.key || "",
|
||||
{ phase: "queued", requestedAt: Date.now() });
|
||||
{ phase: "queued", requestedAt: Date.now(), downloadOnly: !!msg.downloadOnly });
|
||||
if (queued) broadcast({ type: "llm_provision_progress", payload: queued });
|
||||
sendToRVS_raw({ type: "llm_provision_model", payload: {
|
||||
targetInstance: msg.targetInstance || "",
|
||||
key: msg.key, hfRepo: msg.hfRepo, quant: msg.quant, ctx: msg.ctx, ngl: msg.ngl,
|
||||
cpuMoe: msg.cpuMoe ?? 0, // MoE: 0 Karte, -1 alle Experten in den RAM, -2 automatisch verteilen
|
||||
gpu: msg.gpu ?? "", // Ziel-Karte auf der Box
|
||||
downloadOnly: !!msg.downloadOnly, // nur auf die Platte, in keine Karte
|
||||
}, timestamp: Date.now() });
|
||||
log("info", "llm", `provision '${msg.key}' (${msg.hfRepo}) → ${msg.targetInstance || "?"}`);
|
||||
} else if (msg.action === "llm_unload_model") {
|
||||
|
||||
Reference in New Issue
Block a user