Der Fall ist inzwischen berühmt: 2023 reichten zwei New Yorker Anwälte einen Schriftsatz ein, in dem sechs Gerichtsentscheidungen zitiert wurden. Aktenzeichen, Zitate, alles vorhanden. Nur existierten die Urteile nicht. ChatGPT hatte sie erfunden. Das Gericht verhängte 5.000 Dollar Strafe.
Das Interessanteste daran ist nicht der Fehler, sondern was davor passierte: Die Anwälte hatten nachgefragt, ob die Urteile echt seien. Die KI hatte bejaht.
Es ist kein Fehler, es ist die Funktionsweise
Wer weiß, dass ein Sprachmodell das nächste Stück Text errät, sieht sofort, warum das passiert. Ein Aktenzeichen hat eine Form. Ein Urteilstitel hat eine Form. Wenn im Trainingstext tausende davon vorkamen, kann das Modell diese Form perfekt nachbilden, auch ohne dass es dieses eine Urteil je gesehen hat. Es erzeugt etwas, das aussieht wie ein Urteil.
Dazu kommt: Das Modell hat keinen Zugriff auf die Frage, ob etwas wahr ist. Es hat nur Wahrscheinlichkeiten über Sprache. „Ist das echt?" ist für das Modell wieder nur eine Frage, auf die eine wahrscheinliche Antwort folgt. Und die wahrscheinliche Antwort auf „ist das echt" ist in den allermeisten Texten: ja.
Warum es nicht einfach „weiß ich nicht" sagt
Das ist der Punkt, den ich am spannendsten finde, und er kommt von OpenAI selbst. In einer Arbeit von 2025 beschreiben sie, dass die üblichen Bewertungsverfahren das Raten belohnen. Modelle werden an Testfragen gemessen, bei denen eine richtige Antwort Punkte gibt und eine falsche null. Ein „weiß ich nicht" gibt ebenfalls null.
Damit ist Raten immer die bessere Strategie. Ein Modell, das bei Unsicherheit schweigt, schneidet in den Ranglisten schlechter ab als eines, das selbstbewusst rät. Also wird auf Raten hin optimiert. Das ist kein Kinderfehler, der sich mit der nächsten Version erledigt, sondern eine Folge davon, wie gemessen wird.
Was wirklich hilft
Belege verlangen, statt der Antwort zu glauben. Deshalb ist die Fundstelle für mich die wichtigste Eigenschaft eines KI-Systems. Wenn zu jeder Aussage steht, aus welchem Dokument und von welcher Seite sie stammt, fällt eine Erfindung beim ersten Nachschlagen auf. Ohne Beleg fällt sie erst auf, wenn es teuer wird.
Die Frage auf bekannte Unterlagen einschränken. Ein System, das nur aus Ihren Dokumenten antwortet, kann sich weniger ausdenken als eines, das aus dem allgemeinen Sprachwissen schöpft. Es kann trotzdem den falschen Absatz erwischen, aber der falsche Absatz existiert wenigstens.
Bei Zahlen, Namen und Normen immer nachsehen. Das sind die Stellen, an denen Erfindungen sitzen. Fließtext ist meist harmlos, ein Aktenzeichen nie.
Fragen, die auf Nichtwissen zielen. Wenn ich ein neues Werkzeug ausprobiere, stelle ich absichtlich eine Frage, deren Antwort es nicht kennen kann. Was dann kommt, sagt mehr über das System als jede Werbeaussage.
Und die vielleicht wichtigste Konsequenz: Ich lasse KI keine Auskunft geben, die jemand ungeprüft weiterverwendet. Entwurf ja, Beleg ja, Entscheidung nein.
Quellen: Mata v. Avianca, US-Bezirksgericht New York, 2023 · OpenAI, „Why language models hallucinate", 2025