Hacker-Software/ARIA-AGENT
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases 236 Wiki Activity

docs: B0.5-Wuensche festgehalten (Modell-Status/aktiviert + Testchat-Zeile in Diagnostic)

Browse Source 
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
duffyduck
2026-07-11 11:12:10 +02:00
co-authored by Claude Opus 4.8
parent 45e63b6def
commit 436759306e
1 changed files with 8 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/plan-local-llm-router.md
+8
View File
@@ -109,6 +109,14 @@ zeigt statt auf `llama:8081` auf `llama-swap`.
`model`-Feld seiner llama-swap-Requests → swap/Download passiert automatisch. `model`-Feld seiner llama-swap-Requests → swap/Download passiert automatisch.
- Status zurück an Diagnostic (lädt / bereit / VRAM-OOM), analog whisper-Status. - Status zurück an Diagnostic (lädt / bereit / VRAM-OOM), analog whisper-Status.
**Konkret gewünschte UI (Stefan):**
- Modell-Status sichtbar: **lädt (mit Fortschrittsbalken) → heruntergeladen →
aktiviert**. Ist ein Modell schon im Cache: **nicht neu laden, nur
aktivieren** (llama.cpp/llama-swap macht das nativ ueber den Cache).
- **Testchat-Zeile** in Diagnostic: kurze Nachricht direkt ans lokale LLM
schicken, Antwort + Latenz anzeigen. Nutzt denselben RVS-Pfad
(`llm_request`/`llm_response`) wie der Self-Test — kein neuer Kanal noetig.
Bis dahin: **ein** Modell via `-hf` Auto-Download (B0, erledigt). Erst end-to-end Bis dahin: **ein** Modell via `-hf` Auto-Download (B0, erledigt). Erst end-to-end
grün, dann dieser Komfort-Layer. grün, dann dieser Komfort-Layer.