Bias: wenn die KI die Vorurteile ihrer Daten lernt

Amazon arbeitete ab 2014 an einem System, das Bewerbungen mit einem bis fünf Sternen bewerten sollte. Trainiert wurde es mit den Bewerbungen der letzten zehn Jahre. Der Versuch benachteiligte Frauen: Lebensläufe mit dem Wort „women's" wurden abgestraft, etwa bei einem Frauen-Sportverein oder einer Frauenhochschule.

Niemand hatte dem System beigebracht, Frauen schlechter zu bewerten. Es hatte es aus den Daten gelernt, weil in der Vergangenheit überwiegend Männer eingestellt worden waren. Amazon machte die Programme gegenüber diesen Wörtern neutral, sah laut Reuters aber keine Gewähr gegen andere Wege, und löste das Team Anfang 2017 auf. Recruiter sahen die Vorschläge, verließen sich nach dem Bericht nie allein darauf; zur Bewerberbewertung eingesetzt wurde es nach Amazons Angabe nie.

Warum das kein Einzelfall ist

Ein Modell lernt, was in den Daten steckt. Steckt eine Schieflage darin, lernt es die Schieflage mit. Zuverlässig, denn Muster fortzuschreiben ist genau seine Stärke.

Das Tückische: Es genügt nicht, das offensichtliche Merkmal wegzulassen. Ein Modell erkennt es an Vereinen, Hochschulen, Formulierungen wieder. Solche Stellvertretermerkmale finden sich fast immer.

Wo das in normalen Betrieben auftritt

Es braucht kein Personalsystem. Schieflagen entstehen, wo aus Vergangenheitsdaten auf Zukunft geschlossen wird:

• Bewerbungen vorsortieren. Der klassische Fall, und rechtlich der heikelste.
• Kunden bewerten. Wer hat in der Vergangenheit gezahlt, wer nicht.
• Anfragen priorisieren. Wenn bestimmte Formulierungen oder Regionen systematisch hinten landen.
• Texte erzeugen. Unauffälliger: welche Berufe mit welchem Geschlecht verbunden, welche Beispiele gewählt werden.

Woran ich es erkenne

Gegenprobe mit vertauschten Merkmalen. Ich stelle dieselbe Anfrage zweimal, einmal mit weiblichem, einmal mit männlichem Namen, einmal mit deutschem, einmal mit fremdsprachigem. Ändert sich das Ergebnis ohne sachlichen Grund, ist das ein Befund. Der Tausch zeigt aber nur Einzelfälle, keine Verteilung über Gruppen.

Ergebnisse nach Gruppen auswerten. Deshalb sehe ich mir später an, wie sich die Vorschläge über die Gruppen verteilen. Nicht um Quoten zu erfüllen, sondern um Auffälligkeiten zu sehen.

Nach der Herkunft der Trainingsdaten fragen. Bei zugekauften Systemen frage ich das den Anbieter. Bekomme ich keine Antwort, ist das auch eine Antwort.

Meine Haltung dazu

Ich halte nichts davon, KI deshalb pauschal zu verteufeln. Menschliche Entscheidungen sind auch nicht frei von Vorurteilen, nur schwerer zu messen. Der Unterschied ist: Ein System wendet dieselbe Schieflage vielfach an, gleichmäßig und unbemerkt, und es sieht dabei objektiv aus. Genau diese Fassade von Objektivität halte ich für das Gefährliche.

Deshalb meine Regel: Bei allem, was Menschen betrifft, entscheidet ein Mensch. Die KI darf vorbereiten, sortieren, zusammenfassen. Sie darf nicht aussortieren.

Die Unterschrift räumt die Schieflage nicht von selbst aus: Wer einen Vorschlag fast immer bestätigt, entscheidet faktisch nicht mehr. Artikel 14 der KI-Verordnung¹ nennt diesen Automatisierungsbias ausdrücklich.

Aus demselben Grund stellt die EU-KI-Verordnung solche Anwendungen in die hohe Risikoklasse: nicht weil die Technik schlechter wäre als anderswo, sondern weil die Folgen eines Fehlers Menschen treffen.

Quellen: Reuters, Oktober 2018, über Amazons eingestelltes Werkzeug² · MIT Technology Review dazu³