Vor einiger Zeit habe ich in meinem Arbeitsumfeld eine Wissensdatenbank gebaut: knapp 2.000 Dokumente, Normen, Verträge, Protokolle, Handbücher. Wer vorher etwas suchte, war 20 bis 30 Minuten beschäftigt. Dateinamen durchgehen, Volltextsuche, oder den Kollegen fragen, der es vielleicht weiß. Heute dauert dieselbe Frage rund zwei Minuten.
Was ich vorher nicht wusste: Das Sprachmodell ist der uninteressanteste Teil daran. Fünf andere Dinge entscheiden, ob so ein System benutzt wird oder nach zwei Wochen wieder liegen bleibt.
1. Ohne Fundstelle glaubt niemand die Antwort
Das war die wichtigste Lehre. Eine KI, die einen schönen Absatz ausgibt, hilft auf der Baustelle keinem Menschen. Niemand unterschreibt eine Auskunft, die er nicht belegen kann.
Deshalb steht bei jeder Antwort, woher sie stammt: Datei, Kapitel, Seite. Ein Klick öffnet das Original genau an der richtigen Stelle. Das klingt nach einer Kleinigkeit, ist aber der Unterschied zwischen einem Spielzeug und einem Werkzeug. Und es hat einen zweiten Nutzen: Ein falscher Treffer fällt beim Nachschlagen sofort auf. Eine erfundene Auskunft ohne Beleg nicht.
2. Das Zerlegen entscheidet über die Qualität
Bevor irgendetwas durchsucht werden kann, wird jedes Dokument in kleine Abschnitte zerlegt. Wie man das macht, bestimmt, was später gefunden wird.
Zerlegt man zu grob, kommt eine ganze Seite als Antwort, und die gesuchte Zeile steht irgendwo darin. Zerlegt man zu fein, reißt man Sätze auseinander, und der Zusammenhang geht verloren. Besonders unangenehm sind Tabellen: Wer eine Tabelle mitten in einer Zeile zerschneidet, produziert Abschnitte, die für sich genommen Unsinn ergeben.
Ich habe an dieser Stelle mehr Zeit verbracht als an allem anderen. Es hat sich gelohnt.
3. Scans sind der Knackpunkt, nicht die schönen PDFs
Das saubere PDF aus dem Textprogramm ist der einfache Fall. Interessant wird es beim eingescannten Ordner aus den Neunzigern, in dem streng genommen nur ein Foto vom Text steckt: schief eingezogen, Stempel quer über der Seite, verblasste Kopie einer Kopie.
Für solche Unterlagen braucht es eine Texterkennung, und man muss stichprobenartig prüfen, was dabei herauskommt. Bei einem Teil der alten Bestände war das Ergebnis brauchbar, bei einem kleineren Teil nicht. Diese Fälle muss man kennen, sonst antwortet das System eines Tages aus einem Dokument, das es nur halb gelesen hat.
4. Was nicht eingelesen ist, existiert nicht
Klingt selbstverständlich, wird aber im Alltag regelmäßig vergessen. Fehlt die aktuelle Fassung einer Norm, antwortet das System aus der alten. Und zwar mit derselben Selbstsicherheit wie sonst auch.
Die Pflege der Quellen ist deshalb keine Nebensache, sondern die eigentliche Arbeit. Wer die neue Fassung nicht nachlädt, hat kein KI-Problem, sondern ein Ablageproblem, nur schneller.
5. Der Kostendeckel gehört von Anfang an hinein
Jede Frage kostet etwas. Solange zwanzig Leute normal arbeiten, sind das überschaubare Beträge. Eine unbedachte Schleife, die sich selbst immer wieder aufruft, kann über Nacht eine Rechnung produzieren, über die man sich am Morgen ärgert.
Tageslimit, Monatslimit, Grenzen pro Nutzer, ein Not-Aus-Schalter. Das baut man ein, bevor das System in Betrieb geht, nicht danach.
Was ich beim nächsten Mal anders machen würde
Kleiner anfangen. Ich habe zu Beginn zu viel auf einmal hineingegeben. Sinnvoller wäre gewesen: der eine Dokumentenberg, der am meisten wehtut, zuerst. Wenn der funktioniert und die Leute ihn benutzen, kommt der nächste dazu.
Wie so ein System technisch arbeitet, vom Einlesen über das Sortieren bis zur Antwort, habe ich auf einer eigenen Seite mit einem Schaubild aufgeschrieben: Die Wissensdatenbank erklärt.