Hacker-Software/ARIA-AGENT
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases 267 Wiki Activity

fix(xtts): --upgrade-driver holt den Treiber von NVIDIA statt aus den Backports

Browse Source 
Das lokale LLM rechnete auf der KI-Box die ganze Zeit auf der CPU: Treiber
550 (Debian, auch trixie-backports — mehr gibt es dort nicht) kann CUDA 12.4,
die llama.cpp-/llama-swap-Images brauchen 12.8/12.9. llama.cpp meldet dann
"failed to initialize CUDA … forward compatibility …", findet keine Karte
und laeuft still auf der CPU weiter — "ready" meldet es trotzdem. Whisper und
F5-TTS (CUDA 12.2) waren nicht betroffen.

--upgrade-driver installierte bisher "nvidia-driver" aus den Backports und
meldete Erfolg — es kam aber derselbe 550er. Jetzt: NVIDIAs Paketquelle fuer
Debian 13 (Treiber 615), Upgrade an Ort und Stelle.

Vorher auf der Box simuliert (apt -s in einem Temp-Verzeichnis, nichts
veraendert): ALLE installierten NVIDIA-Pakete mit hochzuziehen scheitert an
Konflikten — NVIDIA hat Debians Teilpakete (nvidia-driver-bin,
nvidia-alternative, …) zusammengefasst. Nur nvidia-driver, nvidia-kernel-dkms,
nvidia-smi, libcuda1 (+ persistenced/modprobe, wenn installiert) anfordern →
apt loest es sauber: 30 aktualisiert, 8 neu, 10 Altpakete entfernt,
Container-Toolkit unberuehrt.

Sicherungen: spielt erst durch (apt -s); bricht OHNE Aenderung ab und nimmt
die Paketquelle wieder raus, wenn apt keinen Weg findet oder das
Container-Toolkit anfassen wuerde. Zeigt den Plan und fragt nach (--yes zum
Ueberspringen). Prueft danach Version und DKMS-Build. Ablauf in einem
frischen Debian-13-Container getestet (Installation abgefangen).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
duffyduck
2026-10-19 01:43:09 +02:00
co-authored by Claude Opus 5.5
parent c26b27f09f
commit 901cd1c16b
2 changed files with 111 additions and 31 deletions
Download Patch File Download Diff File Expand all files Collapse all files
xtts/README.md
+27
View File
@@ -46,6 +46,33 @@ GPU-Test + Stack-Start.
| `--up` | am Ende `docker compose up -d --build` (Default-Profil) |
| `--token <TOK>` | `RVS_TOKEN` in `xtts/.env` eintragen (auch via `RVS_TOKEN=…` env) |
| `--rvs-host <H>` | `RVS_HOST` setzen |
| `--upgrade-driver` | NVIDIA-Treiber aus **NVIDIAs** Paketquelle für Debian 13 (siehe unten). Spielt erst durch, zeigt den Plan, fragt nach. Danach Reboot. |
| `--yes` | bei `--upgrade-driver` nicht nachfragen |
## Treiber für das lokale LLM: `--upgrade-driver`
Debian hat höchstens Treiber **550** (CUDA 12.4). Die aktuellen llama.cpp- und
llama-swap-Images brauchen CUDA 12.8/12.9. Mit 550 meldet llama.cpp beim Start
`failed to initialize CUDA … forward compatibility …`, findet **keine** Karte und
rechnet still auf der **CPU** — das Modell meldet trotzdem „bereit". Erkennbar
daran, dass `nvidia-smi` auf der LLM-Karte kaum Speicher belegt zeigt.
```bash
cd ARIA-AGENT/xtts
sudo ./bootstrap.sh --upgrade-driver
sudo reboot
nvidia-smi # zeigt den neuen Treiber und eine CUDA-Version >= 12.9
docker compose up -d
```
Das Script trägt NVIDIAs Paketquelle ein und aktualisiert Treiber, Kernelmodul,
`nvidia-smi` und `libcuda1` an Ort und Stelle (gleiche Paketnamen, neuere
Version). Alte Debian-Teilpakete, die in den neuen aufgegangen sind, werden
entfernt. Das **NVIDIA-Container-Toolkit bleibt unberührt** — würde apt es
anfassen wollen, bricht das Script ab, ohne etwas zu ändern. Ebenso, wenn apt
keinen sauberen Weg findet; die Paketquelle wird dann wieder entfernt.
Whisper und F5-TTS laufen mit dem neuen Treiber weiter (neuere Treiber können
ältere CUDA-Versionen).
## Wichtig