Textgenerierung

Ein Sprachmodell weiß nichts. Es rechnet Wort für Wort.

Unten läuft ein sehr kleines Sprachmodell in Ihrem Browser. Es kennt nur die Sätze, die weiter unten im Textfeld stehen, und sonst nichts. Sie können Wort für Wort mitgehen und dabei zusehen, wie die Entscheidung zustande kommt.

Wie Text zerlegt wird, bevor es soweit ist, steht als Schaubild auf der Startseite. Hier geht es um den Schritt danach: welches Stück als nächstes kommt.

Für dieses Schaubild braucht es JavaScript. Ohne das steht das Modell still; was es tut, steht darunter in Worten.

3-Gramm-Modell, läuft im Browser Trainiert auf 885 Wörtern

Erstens, Satzanfang wählen

Zweitens, der Satz entsteht

Drittens, das Modell schlägt vor und Sie wählen

Temperatur 0,85 normal

Was dabei wirklich passiert

Fünf Schritte, und der letzte ist der wichtigste.

Zerlegen

Der Text wird in Bausteine zerlegt, sogenannte Tokens. Echte Modelle schneiden auch innerhalb von Wörtern, aus „Wahrscheinlichkeit" werden mehrere Stücke. Dieses Modell arbeitet der Übersicht halber mit ganzen Wörtern. Was ein Token ist und warum das die Kosten bestimmt, steht im Beitrag Tokens: warum die KI keine Wörter liest.
Zusammenhang herstellen

Das Modell schaut auf die zwei Wörter davor. Daher der Name: ein 3-Gramm-Modell betrachtet drei Wörter am Stück, zwei bekannte und das gesuchte.

Nur diese eine Zählung zu nehmen, wäre zu wenig. In 121 Sätzen kommen die meisten Wortpaare genau einmal vor, und dann gäbe es genau eine Fortsetzung mit hundert Prozent. Deshalb wird vermischt: die Zählung über zwei Wörter mit 76 Prozent, die über ein Wort mit 20, die blosse Worthäufigkeit mit 4. Das nennt man Glättung, und es ist bei Zählmodellen die übliche Antwort auf genau dieses Problem.

Es macht das Modell auch ähnlicher zu einem grossen: Dort hat jedes Wort immer eine Wahrscheinlichkeit, wenn auch eine verschwindend kleine. Eine harte Null gibt es nur beim blossen Zählen. Welche Ebene gerade wie stark trägt, steht unter den Balken.
Wahrscheinlichkeiten berechnen

Für jedes mögliche nächste Wort entsteht eine Zahl. Das sind die Balken. Es wird nichts in einer Datenbank nachgeschlagen, es werden Häufigkeiten ausgewertet, die beim Training entstanden sind.
Auswählen

Gezogen wird, nicht einfach der stärkste Kandidat genommen. Deshalb kommt bei derselben Frage nicht jedes Mal wortgleich dasselbe heraus. Wer das für einen Fehler hält, hat die Sache verstanden: Es ist Absicht.
Von vorne

Das gewählte Wort wird angehängt, und der ganze Vorgang beginnt neu. Für jedes einzelne Wort der Antwort. Ein Absatz von hundert Wörtern sind hundert solcher Durchläufe, einer nach dem anderen.

Die Temperatur, streng oder wild

Schieben Sie den Regler und schauen Sie auf die Balken. Niedrige Temperatur macht den Favoriten übermächtig, das Modell wird berechenbar und langweilig. Hohe Temperatur ebnet die Balken ein, es wird beweglicher und gleichzeitig unzuverlässiger. Für Prüfaufgaben will man niedrig, für einen ersten Entwurf eher höher. Das ist der Regler, an dem in der Praxis am häufigsten gedreht wird.

Der Regler hier rechnet nicht nach, er rechnet mit. Er nimmt jede Wahrscheinlichkeit hoch 1/T und normiert neu. Weil eine Wahrscheinlichkeit aus einer Exponentialfunktion stammt, ergibt das genau dieselbe Formel, die ein echtes Modell verwendet. Es ist dieselbe Rechnung, nur an einer viel kleineren Verteilung.

Ändern Sie, was das Modell weiß

Im Textfeld steht der gesamte Wissensstand dieses Modells. Nicht ein Auszug davon, sondern alles. Löschen Sie Sätze oder schreiben Sie eigene dazu, drücken Sie auf neu trainieren, und die Vorschläge oben ändern sich sofort.

Das ist der eigentliche Punkt dieser Seite. Genau so verhält sich auch ein großes System, das mit Firmenunterlagen gefüttert wird: Es kann nur wiedergeben, was in seinem Material steckt. Was nicht drinsteht, kann es nicht wissen, und es sagt Ihnen das nicht.

885Wörter gelernt

254verschiedene Wörter

631gelernte Übergänge

Der gesamte Wissensstand, ein Satz je Zeile

Die Fachbauaufsicht prüft die ausgeführte Leistung auf der Baustelle.
Die Fachbauaufsicht prüft die Übereinstimmung mit dem Leistungsverzeichnis.
Die Fachbauaufsicht prüft die Ausführung vor dem Verschließen der Schächte.
Die Fachbauaufsicht hat den Mangel schriftlich festgehalten.
Die Fachbauaufsicht hat die Ausführung bemängelt.
Die Fachbauaufsicht dokumentiert jeden Befund mit Foto und Datum.
Die Fachbauaufsicht fordert eine Stellungnahme der ausführenden Firma.
Die Fachbauaufsicht war bei der Druckprobe anwesend.
Die Fachbauaufsicht erteilt keine Freigabe ohne vollständige Unterlagen.
Der Auftragnehmer hat die Leistung mangelhaft ausgeführt.
Der Auftragnehmer hat die Frist nicht eingehalten.
Der Auftragnehmer hat die Behebung des Mangels zugesagt.
Der Auftragnehmer hat die Unterlagen bis heute nicht übermittelt.
Der Auftragnehmer wurde schriftlich zur Behebung aufgefordert.
Der Auftragnehmer stellt die Leistung bis zum vereinbarten Termin fertig.
Der Auftragnehmer bestreitet den Mangel.
Der Auftraggeber verlangt die Behebung binnen zwei Wochen.
Der Auftraggeber hat die Abnahme verweigert.
Der Auftraggeber wurde über den Befund informiert.
Die Lüftungsanlage wurde nach dem Stand der Technik ausgeführt.
Die Lüftungsanlage wurde eingeregelt und protokolliert.
Die Lüftungsanlage erreicht die geforderten Luftmengen nicht.
Die Lüftungsanlage ist im Leistungsverzeichnis vollständig beschrieben.
Die Lüftungsanlage läuft im Probebetrieb.
Die Lüftungsleitung wurde ohne Brandschutzklappe durch die Wand geführt.
Die Lüftungsleitung ist nicht ausreichend gedämmt.
Die Lüftungsleitung verläuft unter der Decke im Gang.
Die Luftmengen wurden gemessen und dokumentiert.
Die Luftmengen weichen erheblich von der Planung ab.
Die Heizungsanlage wurde hydraulisch abgeglichen.
Die Heizungsanlage erreicht die geforderte Vorlauftemperatur.
Die Heizungsanlage wurde in Betrieb genommen.
Die Heizungsanlage ist im Plan anders dargestellt als ausgeführt.
Der hydraulische Abgleich wurde nicht nachgewiesen.
Der hydraulische Abgleich ist im Leistungsverzeichnis enthalten.
Die Verteilerleitung wurde ohne Dämmung verlegt.
Die Verteilerleitung verläuft im Schacht.
Die Rohrleitung wurde ohne Befestigung verlegt.
Die Rohrleitung ist nicht fachgerecht gedämmt.
Die Rohrleitung kreuzt den Kanal im Schacht.
Die Rohrleitung wurde bereits verschlossen.
Die Dämmung fehlt an mehreren Stellen.
Die Dämmung entspricht nicht der Ausschreibung.
Die Dämmung wurde nachträglich ergänzt.
Die Brandschutzklappe wurde nicht eingebaut.
Die Brandschutzklappe ist nicht zugänglich.
Die Brandschutzklappe wurde falsch eingebaut.
Die Revisionsöffnung fehlt bei der Brandschutzklappe.
Die Revisionsöffnung ist zu klein ausgeführt.
Die Revisionsöffnung wurde zugemauert.
Im Leistungsverzeichnis ist die Position nicht enthalten.
Im Leistungsverzeichnis ist die Dämmung ausgeschrieben.
Im Leistungsverzeichnis ist die Brandschutzklappe ausgeschrieben.
Im Leistungsverzeichnis ist die Einregulierung enthalten.
Im Leistungsverzeichnis steht eine andere Ausführung.
Im Plan ist die Leitung anders geführt.
Im Plan fehlt die Angabe zur Dämmstärke.
Im Plan ist der Schacht größer dargestellt.
Der Plan wurde zwischenzeitlich geändert.
Der Plan entspricht nicht der Ausführung.
Die Ausführung entspricht nicht der Planung.
Die Ausführung entspricht nicht dem Leistungsverzeichnis.
Die Ausführung wurde vor Ort geprüft.
Die Ausführung wurde freigegeben.
Die Ausführung ist mangelhaft.
Der Mangel wurde am Vortag festgestellt.
Der Mangel wurde noch nicht behoben.
Der Mangel betrifft die gesamte Etage.
Der Mangel ist im Protokoll festgehalten.
Der Mangel wurde behoben und nachgeprüft.
Die Behebung wurde für nächste Woche zugesagt.
Die Behebung erfolgt auf Kosten der ausführenden Firma.
Die Abnahme kann so nicht erfolgen.
Die Abnahme wurde auf nächste Woche verschoben.
Die Abnahme erfolgt nach Vorlage der Prüfprotokolle.
Die Abnahme wurde mit Vorbehalt erklärt.
Das Prüfprotokoll liegt nicht vor.
Das Prüfprotokoll wurde nachgereicht.
Das Prüfprotokoll ist unvollständig ausgefüllt.
Die Unterlagen wurden bis heute nicht übermittelt.
Die Unterlagen sind vollständig eingelangt.
Die Baustelle wurde am Montag begangen.
Die Baustelle war zum Zeitpunkt der Begehung nicht zugänglich.
Bei der Begehung wurden mehrere Mängel festgestellt.
Bei der Begehung war die Firma nicht anwesend.
Bei der Begehung wurde die Ausführung fotografiert.
Die Begehung erfolgte gemeinsam mit dem Auftraggeber.
Die Frist läuft am Freitag ab.
Die Frist wurde einmal verlängert.
Die Frist ist ungenutzt verstrichen.
Die Kosten trägt die ausführende Firma.
Die Kosten sind im Angebot nicht ausgewiesen.
Das Angebot enthält keine Position für die Einregulierung.
Das Angebot weicht vom Leistungsverzeichnis ab.
Das Angebot wurde geprüft und freigegeben.
Die Position wurde nachträglich hinzugefügt.
Die Position ist nicht ausgeschrieben.
Die Position wird als Regieleistung abgerechnet.
Der Schacht ist nicht zugänglich.
Der Schacht wurde bereits verschlossen.
Der Schacht enthält Leitungen mehrerer Gewerke.
Die Wanddurchführung ist nicht fachgerecht verschlossen.
Die Wanddurchführung entspricht nicht dem Prüfzeugnis.
Die Sanitärgegenstände wurden montiert.
Die Sanitärgegenstände fehlen im zweiten Obergeschoss.
Die Sanitärleitung wurde gespült und desinfiziert.
Die Sanitärleitung ist noch nicht dicht.
Die Druckprobe wurde erfolgreich durchgeführt.
Die Druckprobe wurde nicht protokolliert.
Die Druckprobe erfolgt vor dem Verschließen.
Die Elektroinstallation wurde vom Fachbetrieb ausgeführt.
Die Elektroinstallation ist noch nicht fertiggestellt.
Die Regelung wurde noch nicht parametriert.
Die Regelung funktioniert im Handbetrieb.
Die Anlage läuft im Probebetrieb ohne Beanstandung.
Die Anlage wurde übergeben.
Die Anlage ist noch nicht betriebsbereit.
Der Termin wurde mit der Firma abgestimmt.
Der Termin wurde kurzfristig abgesagt.
Der Befund wurde dem Auftraggeber übermittelt.
Der Befund ist im Protokoll dokumentiert.

Was diese Seite nicht zeigt

Der Maßstab fehlt vollständig. Hier werden Häufigkeiten von Wortpaaren gezählt, in 885 Wörtern. Ein heutiges Modell hat Milliarden Stellschrauben und bezieht ein Vielfaches an Text gleichzeitig ein; Anthropic nennt das Kontextfenster ausdrücklich das Arbeitsgedächtnis des Modells und nicht seine Trainingsdatenmenge (Anthropic, Context windows). Das Prinzip stimmt, die Größenordnung nicht einmal annähernd.

Bedeutung entsteht hier keine. Ob große Modelle intern etwas aufbauen, das man Verständnis nennen könnte, ist fachlich umstritten. Dieses Zählmodell tut es sicher nicht. Es weiß nicht, was eine Brandschutzklappe ist, es weiß nur, welche Wörter in seinen Sätzen danebenstehen.

Eines überträgt sich aber eins zu eins. Ein plausibel klingender Satz und ein richtiger Satz entstehen auf demselben Weg. Das Modell kennt den Unterschied nicht und meldet auch keinen Zweifel an. Warum das kein Kinderfehler ist, der sich mit der nächsten Version erledigt, steht im Beitrag Warum KI erfindet und es selbst nicht merkt.

Der Trainingstext besteht aus Sätzen, wie sie in der Fachbauaufsicht vorkommen: Mängel, Fristen, Abnahmen, Brandschutzklappen. Das ist Absicht. An fremden Beispielsätzen sieht man die Mechanik, an den eigenen sieht man, was sie für die eigene Arbeit bedeutet.

Wenn Sie wissen wollen, wie eine Maschine aus einem Dokumentenstapel die richtige Stelle findet, statt einen Satz zu erfinden: das steht auf der Seite zur Wissensdatenbank.

Weiterlesen Die Grundlagen der Reihe nach

Ein Sprachmodell weiß nichts. Es rechnet Wort für Wort.

Was dabei wirklich passiert

Zerlegen

Zusammenhang herstellen

Wahrscheinlichkeiten berechnen

Auswählen

Von vorne

Die Temperatur, streng oder wild

Ändern Sie, was das Modell weiß

Was diese Seite nicht zeigt