diff --git a/diagnostic/index.html b/diagnostic/index.html index 289ac05..6039bf7 100644 --- a/diagnostic/index.html +++ b/diagnostic/index.html @@ -233,7 +233,7 @@
Wird der Verlauf länger, muss das Programm kürzen — meist die ältesten Teile. Die sind für das Modell dann weg. Ist der Verlauf trotzdem zu lang, lehnt die Box die Anfrage ab (Fehler context_exceeded).
Großer Schreibtisch ≠ besseres Gedächtnis. In sehr langen Verläufen übersehen Modelle eher etwas — besonders in der Mitte —, und jede Anfrage wird langsamer, weil der ganze Verlauf erst verarbeitet werden muss. Lieber so groß wie nötig als so groß wie möglich.
Mehr Kontext = das Modell überblickt in einer Anfrage mehr vom Verlauf, es muss seltener gekürzt werden. Es kostet aber Grafikspeicher (die GB-Angabe in der Auswahl ist eine Schätzung für Modell + Kontext). Passt es nicht auf die Karte, setzt die Box sie von selbst auf den alten Wert zurück.
Höchstens so viel, wie das Modell gelernt hat (steht in der Modelldatei, z.B. Gemma 4 12B: 256k). Angebundene Programme bekommen den eingestellten Wert automatisch mitgeteilt.