Stellen wir uns eine Heizzentrale vor, in der ein Modell den Tagesverbrauch aus Außentemperatur, Wochentag und Vorlauftemperatur schätzt. Ein Jahr lang passt die Schätzung. Dann tauscht der Servicetechniker den Außenfühler, weil der alte einen Wackelkontakt hatte. Der neue misst ein halbes Grad wärmer als der alte, für die Regelung ist das egal. Das Modell hat aber nicht gelernt, wie warm es draußen ist, sondern was ein bestimmter Messwert bedeutet hat. Ab jetzt rechnet es jeden Tag ein Stück daneben, und keine Störmeldung geht auf. Das Beispiel ist konstruiert, der Mechanismus dahinter nicht.
Zwei Wege, auf denen ein Modell veraltet
Ein Modell ist ein eingefrorener Zusammenhang zwischen Eingaben und Ergebnis, gelernt aus Beispielen einer bestimmten Zeit (was ein Modell ist). Wenn dieser Zusammenhang nicht mehr gilt, spricht die Fachliteratur von Concept Drift. Gama und Kollegen unterscheiden in ihrem Überblick zwei Gruppen. Erstens: Der Zusammenhang selbst kippt, aus denselben Eingaben folgt jetzt ein anderes Ergebnis. Zweitens: Nur die Eingaben kommen anders verteilt herein, der Zusammenhang bleibt. Ihr Beispiel ist ein Nachrichtenportal, das ein Leser nach Wohnungen durchsucht. Wechselt der Redakteur den Schreibstil, sehen die Texte anders aus, aber was den Leser interessiert, bleibt gleich. Kauft der Leser ein Haus, ist es umgekehrt: dieselben Artikel, ein anderes Urteil. Nur die erste Gruppe macht das alte Modell nach ihrer Darstellung unbrauchbar.
Wohin gehört der Fühler? Das Papier nennt den Tausch eines Sensors gegen einen mit anderer Kalibrierung als Beispiel für einen plötzlichen Drift, den langsam alternden Sensor als Beispiel für einen schleichenden. In welche der beiden Gruppen der Fühler fällt, sagen die Autoren nicht. Ich lese es so: Der Messwert bedeutet ab dem Tausch etwas anderes, also kippt aus Sicht des Modells der Zusammenhang, auch wenn sich in der Heizzentrale nichts geändert hat.
Der Beleg: Gama, Žliobaitė, Bifet, Pechenizkiy, Bouchachia, A Survey on Concept Drift Adaptation, ACM Computing Surveys 46(4), 2014, Abschnitt 2.1 für die zwei Gruppen, Abschnitt 2.2 für plötzlich, schleichend und wiederkehrend.
Was mich daran am meisten beschäftigt: Das Modell merkt es nicht. Es gibt weiter Zahlen aus, mit derselben Selbstsicherheit wie vorher. Sichtbar wird der Drift nur, wenn jemand die Ausgabe gegen die Wirklichkeit hält.
Der dritte Fall: der Anbieter tauscht das Modell
Wer ein Sprachmodell über einen Anbieter nutzt, hat noch eine Drift-Quelle, die es in der Heizzentrale nicht gibt. Der Anbieter tauscht das Modell, und die eingespielten Anweisungen wirken anders. Chen, Zaharia und Zou haben 2023 die Ausgaben von GPT-4 aus dem März mit denen aus dem Juni verglichen. Bei der Frage, ob eine Zahl eine Primzahl ist, fiel die Trefferquote in ihrer Messung von 84 auf 51 Prozent, und beim Erzeugen von Code kamen im Juni mehr Formatfehler heraus (arXiv:2307.09009). Narayanan und Kapoor haben widersprochen: Die Autoren hätten Fähigkeit und Verhalten verwechselt, das Modell könne nach wie vor dasselbe, es zeige es nur auf dieselbe Frage anders (ihr Kommentar, eine Einschätzung, keine Studie). Für den Anwender ist der Streit zweitrangig. Beide Seiten sind sich einig, dass sich das Verhalten an der Schnittstelle geändert hat, und genau darauf sind die eigenen Anweisungen abgestimmt.
Die Anbieter schreiben das offen hin. OpenAI führt eine Seite mit Abschaltterminen und nennt als Vorlauf mindestens sechs Monate für allgemein verfügbare Modelle, drei Monate für Spezialvarianten und bei Vorschaumodellen auch nur zwei Wochen (Stand August 2026, laut Deprecations-Seite). Anthropic ebenso, mit den Stufen active, legacy, deprecated und retired und mindestens 60 Tagen Vorlauf vor der Abschaltung (Stand August 2026, laut Model deprecations). Auf derselben Seite steht die Empfehlung, die eigene Anwendung rechtzeitig vor dem Abschalttermin mit dem Nachfolger zu testen. Ein Modell, das heuer gut läuft, ist im nächsten Jänner vielleicht abgeschaltet.
Darauf achte ich
Eine feste Prüfmenge. Ein Bündel Eingaben, deren richtige Antworten bekannt sind, und ein Lauf nach jeder Änderung: neuer Fühler, neues Formular, neues Modell. Wie so eine Prüfmenge aussieht, steht in Woran man merkt, dass es funktioniert.
Die Modellversion festnageln. Nicht „das aktuelle“ verwenden, sondern eine bestimmte, und den Wechsel bewusst machen, mit Prüflauf davor und danach.
Jede Änderung an der Quelle ist ein Ereignis. Getauschter Fühler, neuer Zähler, geänderte Vorlage im Angebot: Datum notieren und die Ausgaben der nächsten Wochen anschauen. Das Modell sagt es einem nicht.
Stichprobe gegen die Wirklichkeit, regelmäßig, mit Datum. Zehn Ausgaben im Monat gegen das, was tatsächlich war.
Das alles ist Arbeitszeit, jeden Monat. In der Rechnung aus Rechnen, bevor man baut heißt dieser Posten Pflege. Wer ihn weglässt, hat nach einem Jahr ein Modell, das brav Zahlen liefert, und keine davon stimmt mehr.