Amazon arbeitete ab 2014 an einem System, das Bewerbungen mit einem bis fünf Sternen bewerten sollte. Trainiert wurde es mit den Bewerbungen der letzten zehn Jahre und dem Wissen, wer eingestellt worden war. 2018 wurde das Projekt eingestellt: Das System benachteiligte Frauen. Es strafte Lebensläufe ab, in denen das Wort „women's" vorkam, etwa bei einem Frauen-Sportverein oder einer Frauenhochschule.
Niemand hatte dem System beigebracht, Frauen schlechter zu bewerten. Es hatte es aus den Daten gelernt, weil in der Vergangenheit überwiegend Männer eingestellt worden waren. Das System hat nichts anderes getan, als das vorhandene Muster fortzuschreiben. Amazon kam zu dem Schluss, dass sich das nicht verlässlich beheben ließ, und stellte das Projekt ein.
Warum das kein Einzelfall ist
Ein Modell lernt, was in den Daten steckt. Steckt eine Schieflage darin, lernt es die Schieflage mit. Und zwar zuverlässig, denn genau darin ist es gut: Muster zu erkennen und fortzuschreiben.
Das Tückische: Es genügt nicht, das offensichtliche Merkmal wegzulassen. Amazon hätte das Geschlecht entfernen können, und das System hätte es an anderen Merkmalen wiedererkannt: an Vereinen, Hochschulen, Formulierungen. Solche Stellvertretermerkmale finden sich fast immer.
Wo das in normalen Betrieben auftritt
Es braucht kein Personalsystem. Schieflagen entstehen überall dort, wo aus Vergangenheitsdaten auf Zukunft geschlossen wird:
- Bewerbungen vorsortieren. Der klassische Fall, und rechtlich der heikelste.
- Kunden bewerten. Wer hat in der Vergangenheit gezahlt, wer nicht.
- Anfragen priorisieren. Wenn bestimmte Formulierungen oder Regionen systematisch hinten landen.
- Texte erzeugen. Auch hier steckt es drin, nur unauffälliger: welche Berufe mit welchem Geschlecht verbunden werden, welche Beispiele gewählt werden.
Woran man es erkennt
Gegenprobe mit vertauschten Merkmalen. Dieselbe Anfrage zweimal, einmal mit weiblichem, einmal mit männlichem Namen. Einmal mit deutschem, einmal mit fremdsprachigem Namen. Wenn sich das Ergebnis ändert, obwohl sich an der Sache nichts geändert hat, hat man ein Problem.
Ergebnisse nach Gruppen auswerten. Wenn ein System Vorschläge macht, schaut man nach einiger Zeit, wie sich die Vorschläge über die Gruppen verteilen. Nicht um Quoten zu erfüllen, sondern um Auffälligkeiten zu sehen.
Fragen, woher die Trainingsdaten stammen. Bei zugekauften Systemen ist das eine berechtigte Frage an den Anbieter. Bekommt man keine Antwort, ist das auch eine Antwort.
Meine Haltung dazu
Ich halte nichts davon, KI deshalb pauschal zu verteufeln. Menschliche Entscheidungen sind auch nicht frei von Vorurteilen, sie sind nur schwerer zu messen. Der Unterschied ist: Ein System wendet dieselbe Schieflage tausendfach an, gleichmäßig und unbemerkt, und es sieht dabei objektiv aus. Genau diese Fassade von Objektivität ist das Gefährliche.
Deshalb meine Regel: Bei allem, was Menschen betrifft, entscheidet ein Mensch. Die KI darf vorbereiten, sortieren, zusammenfassen. Sie darf nicht aussortieren.
Das ist übrigens auch der Grund, warum die EU-KI-Verordnung genau solche Anwendungen in die hohe Risikoklasse stellt. Nicht weil die Technik schlechter wäre als anderswo, sondern weil die Folgen eines Fehlers Menschen treffen.
Quellen: Reuters, Oktober 2018, über Amazons eingestelltes Werkzeug · MIT Technology Review dazu