Als ich 2023 zum ersten Mal einen Prüfbericht in ein Sprachmodell gegeben habe, kam ein Text zurück, der besser formuliert war als meiner. Und mittendrin stand eine Norm, die es nicht gibt. Genau diese Mischung hat mich nicht mehr losgelassen. Wie kann etwas so gut schreiben und gleichzeitig so falsch liegen?
Die Antwort steckt darin, was so ein Modell überhaupt tut. Und das ist erstaunlich wenig.
Es rät das nächste Stück Text
Ein Sprachmodell hat aus riesigen Textmengen eine einzige Fähigkeit gelernt: vorherzusagen, welches Stück Text mit welcher Wahrscheinlichkeit als nächstes kommt. Mehr nicht. Schreibt man „Die Hauptstadt von Österreich ist", ist die Wahrscheinlichkeit für „Wien" sehr hoch, für „Salzburg" niedrig, für „Traktor" fast null. Das Modell würfelt aus diesen Wahrscheinlichkeiten, hängt das Ergebnis an und rechnet von vorne.
Ein Satz entsteht also Stück für Stück, ohne dass am Anfang feststeht, wo er endet. Es gibt keinen Plan, keine Absicht, keine Überprüfung. Es gibt eine sehr, sehr gute Statistik über Sprache.
Dass daraus brauchbare Texte entstehen, ist die eigentliche Überraschung. Wer genug Sprache gesehen hat, hat nebenbei auch gelernt, wie Argumente gebaut sind, wie eine Zusammenfassung aussieht, wie ein Vertrag formuliert wird. Das steckt alles in der Statistik.
Warum das erklärt, was danach kommt
Fast jede Eigenheit, über die man später stolpert, folgt aus diesem einen Punkt:
Es klingt immer sicher. Sprache, die zögert, ist selten. Also gibt das Modell auch dann eine flüssige Antwort, wenn seine Wahrscheinlichkeiten dünn sind.
Es erfindet. Wenn keine Norm mit passendem Namen im Trainingstext war, bildet es eine, die so aussieht wie eine echte. Dazu gibt es einen eigenen Beitrag.
Es rechnet nicht. Rechnen ist keine Sprachstatistik. Ein reines Modell schätzt, wie ein Ergebnis aussehen könnte. Moderne Systeme rufen deshalb für Rechenaufgaben einen echten Rechner auf.
Es kennt nur, was es gesehen hat. Was nach dem Trainingsschluss passiert ist oder in Ihrem Aktenschrank liegt, ist nicht enthalten. Es sei denn, man gibt es mit. Genau das macht eine Wissensdatenbank.
Was unter der Haube steckt
Die Bauform hinter den heutigen Modellen heißt Transformer und stammt aus einer Arbeit von 2017. Ihr Kern ist ein Mechanismus, der beim Vorhersagen des nächsten Stücks entscheidet, welche Teile des bisherigen Textes wichtig sind. Deshalb kann ein Modell einen Bezug über mehrere Absätze halten und weiß bei „die Anlage" noch, welche gemeint war.
Trainiert wird mit sehr viel Text. Meta hat für Llama 3 nach eigenen Angaben über 15 Billionen Texteinheiten verwendet. Diese Größenordnung ist der Grund, warum es funktioniert, und zugleich der Grund, warum niemand genau sagen kann, was drinsteckt.
Was ich mir daraus mitgenommen habe
Wer versteht, dass da eine Wahrscheinlichkeitsrechnung arbeitet und kein Nachschlagewerk, geht anders damit um. Man erwartet keine Wahrheit, sondern einen guten Entwurf. Man prüft alles, was eine Zahl, ein Name oder eine Fundstelle ist. Und man baut Systeme so, dass die Prüfung eingebaut ist statt der Hoffnung.
Die Begriffe „denken" und „verstehen" benutze ich seither nicht mehr für Sprachmodelle. Nicht aus Prinzipienreiterei, sondern weil sie einen falschen Erwartungshorizont aufmachen. Und falsche Erwartungen sind bei KI-Vorhaben teurer als jede Lizenz.
Quellen: Vaswani u. a., „Attention Is All You Need", 2017 · Meta zu Llama 3, 2024