Grundlagen
Kontextfenster
Auch: Context Window
Die Menge an Text, die ein Modell bei einer Anfrage gleichzeitig berücksichtigen kann.
Das Kontextfenster ist die Obergrenze aus Eingabe und Antwort zusammen, gemessen in Tokens. Alles, was das Modell für eine Antwort berücksichtigen soll, muss hineinpassen: Systemanweisung, Gesprächsverlauf, angehängte Dokumente und die Antwort selbst.
Große Fenster lösen nicht automatisch alle Probleme. Modelle finden Informationen am Anfang und am Ende eines langen Kontexts zuverlässiger als in der Mitte, und jeder mitgeschickte Token kostet Geld und Zeit. Ein gezielt zusammengestellter Kontext schlägt in der Praxis meist das Hineinwerfen ganzer Ordner.
Wenn ein langes Gespräch schlechter wird, ist oft das Fenster die Ursache: Ältere Teile fallen heraus oder werden zusammengefasst. Ein neuer Chat mit einem sauber aufgesetzten Prompt ist dann schneller als weiterdiskutieren.
Verwandte Begriffe
- Token
Die Recheneinheit eines Sprachmodells: ein Wortteil, nach dem Preise und Längenlimits bemessen werden.
- RAG
Passende Ausschnitte aus eigenen Dokumenten suchen und dem Modell als Kontext mitgeben, statt es aus dem Gedächtnis antworten zu lassen.
- Prompt
Die Eingabe an ein Modell, aus der die Antwort entsteht.
In der Praxis üben
In der AI Masterclass kommt dieser Begriff nicht als Definition vor, sondern in einer Session, in der damit gearbeitet wird.