Was ist ein Kontextfenster?
Auch: Token-Limit, Kontextlänge
Das Kontextfenster ist die maximale Textmenge, gemessen in Tokens, die ein Sprachmodell auf einmal lesen und nutzen kann, einschließlich der Frage und der abgerufenen Seiten. Weil es begrenzt ist, wählt der Abruf nur die relevantesten Abschnitte aus. Kurze, in sich geschlossene Abschnitte passen besser als lange Seiten mit versteckter Antwort.
Schreiben fürs Kontextfenster
Stell die Antwort an den Anfang, halte Absätze fokussiert und vermeide Füllsätze vor der Pointe. Abschnitte, die den Rest der Seite zum Verständnis brauchen, sind schwerer zu nutzen.
Beispiel: Ein Modell mit begrenztem Kontextfenster bekommt von einer langen Seite nur die fünf relevantesten Abschnitte, nicht die ganze Seite.