Ein Besprechungsprotokoll lasse ich mir heute aus der Aufnahme schreiben. Früher waren das 60 bis 90 Minuten, heute höchstens zehn, samt Korrekturlesen. Das Korrekturlesen ist der Teil, den ich nie auslasse. Angenommen, im Original legt die ausführende Firma die Druckprobe bis Freitag vor. In der Zusammenfassung steht: der Planer, bis Monatsende. Beides klingt vernünftig. Beides ist falsch. Und wer den Text nur überfliegt, merkt es nicht.
Warum ein Modell so etwas tut, steht in Warum KI erfindet, wie man besser fragt, in Wie man fragt. Hier geht es nur um die Handgriffe danach.
Was dahintersteckt
Eine Zusammenfassung ist keine Kopie. Das Modell schreibt den Text neu, und beim Neuschreiben rutschen Zahlen, Namen und Fristen an Stellen, an denen sie glatt klingen. Ein Freitag wird zum Monatsende, weil Fristen oft am Monatsende liegen. Eine Firma wird zum Planer, weil im Absatz davor der Planer stand. Der Text bleibt flüssig, gerade deshalb fällt der Fehler nicht auf.
Kalai, Nachum, Vempala und Zhang argumentieren 2025, dass Training und Bewertung von Sprachmodellen das Raten belohnen gegenüber dem Eingeständnis von Unsicherheit. Ein Modell, das bei Unsicherheit tippt, schneidet in Tests besser ab. Also tippt es (Kalai u. a., Why Language Models Hallucinate, arXiv:2509.046641).
Dazu kommt ein zweiter Effekt. Sharma und Kollegen haben 2023 an fünf Assistenten gezeigt, dass diese dazu neigen, dem Nutzer zuzustimmen, auch wenn er falsch liegt. Menschliche Bewerter und die daraus gelernten Bewertungsmodelle bevorzugten in einem nennenswerten Teil der Fälle die überzeugend geschriebene zustimmende Antwort gegenüber der richtigen (Sharma u. a., Towards Understanding Sycophancy in Language Models, arXiv:2310.135482). Für das Prüfen heißt das: Von der Frage „Stimmt das so?" halte ich wenig, weil sie dem Modell die gewünschte Antwort schon mitliefert. Oft genug sagt es ja.
Die Handgriffe
Original daneben legen. Zwei Fenster, links die Aufnahme oder das Rohprotokoll, rechts die Zusammenfassung. Ohne Original prüfe ich nur, ob der Text plausibel klingt. Plausibel klingt er immer.
Zahlen, Namen, Fristen einzeln abhaken. Nicht den Text lesen, sondern jede Zahl, jeden Namen, jedes Datum im Ergebnis suchen und im Original wiederfinden. Was ich nicht finde, fliegt raus oder wird nachgefragt. Das dauert ein paar Minuten und fängt bei mir das meiste ab.
Fundstelle verlangen. Bei längeren Texten lasse ich mir zu jeder Aussage die Stelle nennen, aus der sie stammt: Zeitmarke, Absatz, Seite. Eine Aussage ohne Fundstelle ist eine Aussage, die ich selbst nachschlagen muss. Die Fundstelle selbst schlage ich stichprobenweise nach, denn auch eine Zeitmarke kann erfunden sein. Bei der Wissensdatenbank war das der Grund, warum die Leute dem System überhaupt trauen.
Eine Gegenfrage, die eine andere Antwort erzwingt. Statt „Ist die Frist richtig?" frage ich „Welche Fristen stehen im Original, und welche davon fehlen in der Zusammenfassung?" Auf die erste Frage passt ein Ja. Auf die zweite muss das Modell arbeiten.
Vor- und Nachteile statt eines Urteils. Wenn ich eine Einschätzung brauche, frage ich nicht „Ist Variante A besser?" Ich frage nach den Argumenten für A und gegen A, getrennt. Sonst bekomme ich das Urteil, das schon in meiner Frage steckt.
Erst Analyse, dann Entscheidung
Ich lasse das Modell erst zerlegen, vergleichen und auflisten und erst dann urteilen. Frage ich zuerst nach dem Urteil, wird die Begründung hinterher passend gebaut. Frage ich zuerst nach der Analyse, sehe ich die Begründung, bevor das Urteil da ist, und kann noch eingreifen.
Bei der Druckprobe wäre die Frage also nicht „Passt das Protokoll?", sondern „Liste alle Zuständigkeiten mit Frist aus dem Original auf". Dann steht dort die Firma und der Freitag, und der Planer mit dem Monatsende ist erledigt, bevor jemand den Text verschickt.
Wie das Protokoll aus der Aufnahme überhaupt entsteht, steht in Das Besprechungsprotokoll aus der Aufnahme. Dort geht es um das Schreiben. Hier ging es um die paar Minuten Prüfen, die das Ergebnis brauchbar machen.
