Auf der Startseite läuft rechts eine kleine Anzeige, die einen Satz zerlegt. Das ist kein Effekt, sondern der Punkt, an dem viele Missverständnisse anfangen. Ein Sprachmodell sieht keine Wörter. Es sieht Tokens.
Was ein Token ist
Bevor Text in ein Modell geht, wird er zerlegt. Nicht in Wörter und nicht in Buchstaben, sondern in Stücke, die im Trainingstext häufig zusammen vorkamen. Häufige Wörter bleiben ganz, seltene zerfallen.
Ein Beispiel, mit dem Tokenizer von GPT-4o berechnet:
| Text | Zeichen | Tokens |
|---|---|---|
| Künstliche Intelligenz verändert unsere Arbeit. | 47 | 10 |
| Angebotsprüfung dauert heute zwei Minuten. | 42 | 9 |
| ÖNORM B 5019, Abschnitt 6.3 | 27 | 13 |
„Künstliche" wird zu K + ünst + liche. „Intelligenz" zu Int + elligen + z. Und der Normverweis, der für einen Techniker eine einzige Information ist, zerfällt in dreizehn Teile.
Jedes Token bekommt eine Nummer. Das Modell rechnet nie mit Buchstaben, sondern mit diesen Nummern. Am Ende wird zurückübersetzt.
Drei Dinge, die daraus folgen
Deutsch ist teurer als Englisch. Abrechnung und Grenzen laufen über Tokens. Deutsche Komposita und Umlaute zerfallen stärker als englische Wörter. Derselbe Inhalt kostet auf Deutsch also spürbar mehr Tokens. Bei Fachtexten mit Normbezeichnungen und Zahlen wird es besonders ungünstig, wie das Beispiel oben zeigt.
Das Kontextfenster ist in Tokens gemessen. Wie viel ein Modell auf einmal überblicken kann, wird in Tokens angegeben, nicht in Seiten. Wer eine Faustregel braucht: Bei deutschem Fachtext rechne ich grob mit anderthalb bis zwei Tokens je Wort. Ein 30-seitiges Leistungsverzeichnis liegt damit schnell im fünfstelligen Bereich.
Buchstaben zählen kann es schlecht. Die berühmte Frage, wie viele „r" in „Erdbeere" stecken, ist deshalb schwer: Das Modell sieht das Wort nicht als Buchstabenkette, sondern als zwei oder drei Blöcke. Es ist, als würde man jemanden bitten, die Buchstaben in einem Wort zu zählen, das er nur als Bild kennt.
Was das im Alltag heißt
Wenn ich abschätze, was ein Vorhaben kostet, rechne ich in Tokens, nicht in Dokumenten. Ein Ordner mit tausend Seiten Normtext ist etwas völlig anderes als tausend Seiten Fließtext.
Wenn eine Antwort mitten im Satz abbricht, ist meist eine Tokengrenze erreicht, nicht die Geduld des Modells.
Und wenn jemand eine Aufgabe stellt, bei der es auf einzelne Zeichen ankommt, etwa Prüfziffern oder Zeichenketten vergleichen, gebe ich das nicht dem Sprachmodell, sondern einem kleinen Programm. Das kostet fünf Zeilen Code und ist zu hundert Prozent zuverlässig.
Wer selbst nachsehen will: Die Anzeige auf der Startseite rechnet mit echten Werten. Es gibt auch Tokenizer zum Ausprobieren im Netz, bei denen man eigenen Text einwerfen kann.