In meiner Wissensdatenbank habe ich nach „Leckagetest" gesucht. Zurück kam ein Abschnitt über die Dichtheitsprüfung. Das Wort „Leckagetest" kommt in dem Dokument kein einziges Mal vor. Die alte Volltextsuche hätte nichts gefunden.
Das ist der Punkt, an dem so ein System aufhört, eine Suche zu sein, und anfängt, nützlich zu werden.
Wörter werden zu Punkten im Raum
Bevor ein Modell mit Text arbeitet, verwandelt es ihn in Zahlenreihen. Nicht in eine Zahl, sondern in Hunderte. Jede dieser Zahlen beschreibt eine Eigenschaft, die das Modell beim Training selbst gefunden hat. Was genau, kann niemand sagen: Es sind keine benannten Kategorien, sondern Richtungen, die sich aus Millionen Texten ergeben haben.
Man kann sich das als Punkt in einem Raum vorstellen, nur hat dieser Raum nicht drei Achsen, sondern zum Beispiel 1.536. Diese Zahlenreihe heißt Einbettung, auf Englisch Embedding.
Der Trick daran: Ähnliche Bedeutung liegt nah beieinander. „Dichtheitsprüfung" und „Leckagetest" landen fast an derselben Stelle, weil sie in den Trainingstexten in denselben Zusammenhängen vorkamen. „Dichtheitsprüfung" und „Angebotssumme" liegen weit auseinander.
Eine Suche wird damit zu einer Rechenaufgabe: Wandle die Frage in einen Punkt um und finde die Abschnitte, deren Punkte am nächsten liegen. Kein Wörterbuch, keine Synonymliste, die jemand pflegen müsste. Nur Abstand.
Dass Bedeutung sich so darstellen lässt, ist keine neue Idee. Sie wurde 2013 mit word2vec bekannt, wo sich zeigte, dass Rechnen mit diesen Punkten sinnvolle Ergebnisse liefert (Mikolov u. a., 2013). Die heutigen Modelle bauen auf derselben Grundidee auf, nur mit sehr viel mehr Zahlen und mit Rücksicht auf den Satzzusammenhang.
Was das für die eigene Datenbank bedeutet
Wer eine Wissensdatenbank baut, trifft an dieser Stelle drei Entscheidungen, die sich später kaum korrigieren lassen:
- Welches Einbettungsmodell. Es entscheidet, was als ähnlich gilt. Ein Modell, das überwiegend auf englischen Texten trainiert wurde, tut sich mit deutschen Fachbegriffen schwerer. Wer wechselt, muss den gesamten Bestand neu einlesen, denn Punkte aus verschiedenen Modellen sind nicht vergleichbar.
- Wie groß die Abschnitte sind. Der Punkt beschreibt einen ganzen Abschnitt. Ist er zu lang, verwischt die Bedeutung zu einem Durchschnitt aus allem, was darin steht. Ist er zu kurz, fehlt der Zusammenhang.
- Was mit Tabellen und Zahlen passiert. Eine Tabelle voller Werte ergibt einen Punkt, der fast nichts aussagt. Zahlen haben keine Bedeutungsnachbarschaft. Wer solche Dokumente durchsuchbar machen will, braucht zusätzlich eine klassische Suche über die Werte.
Der Punkt, an dem es kippt
Nähe im Raum ist nicht dasselbe wie Richtigkeit. Ein Abschnitt über die Dichtheitsprüfung nach einer alten Normfassung liegt genauso nah an meiner Frage wie der über die geltende. Beide handeln vom selben Thema, das Modell sieht keinen Unterschied.
Deshalb steht bei jeder Antwort in meinem System die Fundstelle dabei, mit Dateiname und Datum. Die Ähnlichkeit findet den Abschnitt. Ob er noch gilt, entscheide ich.