Grundlagen
Token
Die Recheneinheit eines Sprachmodells: ein Wortteil, nach dem Preise und Längenlimits bemessen werden.
Modelle lesen und schreiben keine Buchstaben und keine Wörter, sondern Tokens. Ein Token ist ein Wortteil. Im Deutschen sind es grob 0,7 Wörter pro Token, bei Fachbegriffen und Umlauten eher weniger, weil das Modell sie in mehr Teile zerlegt.
Tokens sind die Einheit, in der abgerechnet wird, und die Einheit, in der Limits gelten. Wenn eine API-Rechnung überrascht, liegt es fast immer daran, dass lange Kontexte bei jedem Aufruf mitgeschickt werden. Deutsche Texte sind dabei systematisch teurer als englische, weil sie in mehr Tokens zerfallen.
Verwandte Begriffe
- Kontextfenster
Die Menge an Text, die ein Modell bei einer Anfrage gleichzeitig berücksichtigen kann.
- LLM
Ein Modell, das aus sehr großen Textmengen gelernt hat, das jeweils nächste Textstück vorherzusagen.
- Inferenz
Das Ausführen eines fertig trainierten Modells, also jede einzelne Anfrage.
In der Praxis üben
In der AI Masterclass kommt dieser Begriff nicht als Definition vor, sondern in einer Session, in der damit gearbeitet wird.