Angenommen, ein Werkzeug liest die Fotos und Notizen vom Baustellenrundgang ein und macht daraus eine Mängelliste. Zu jedem Mangel steht ein Vorschlag: Schwere, Frist zur Behebung, zuständige Firma. Der Bauleiter geht die Liste durch und gibt frei. Dreißig Mängel, zwanzig Minuten. Bei Nummer 24, einer fehlenden Brandschutzmanschette, steht „gering, vier Wochen". Er klickt weiter. Wer hat hier entschieden?
Vorschlag oder Entscheidung
Im Beitrag über Modell, Assistent, Agent und Copilot ging es darum, wie viel ein System selbst tun darf. Hier geht es um den Moment danach: Das System hat vorgearbeitet, der Mensch sitzt davor, und die Frage ist, ob seine Freigabe noch etwas wert ist.
Die DSGVO kennt dazu eine klare Vorschrift. Artikel 22 gibt jeder Person das Recht, keiner Entscheidung unterworfen zu werden, die ausschließlich auf automatisierter Verarbeitung beruht und ihr gegenüber rechtliche Wirkung entfaltet oder sie ähnlich erheblich beeinträchtigt. Ausnahmen gibt es, etwa wenn die Entscheidung für einen Vertrag erforderlich ist, aber nur mit Garantien: das Recht auf Eingreifen einer Person, auf Darlegung des eigenen Standpunkts, auf Anfechtung (Verordnung (EU) 2016/679, Artikel 22).
Wo die Grenze zwischen Vorschlag und Entscheidung liegt, hat der Europäische Gerichtshof im Dezember 2023 gezogen. Eine Auskunftei berechnete einen Wahrscheinlichkeitswert für die Zahlungsfähigkeit, eine Bank lehnte auf dieser Grundlage einen Kredit ab. Die Auskunftei stand auf dem Standpunkt, sie entscheide nichts, sie liefere nur eine Zahl. Der Gerichtshof sah das anders: Wenn der Wert maßgeblich darüber bestimmt, ob ein Vertrag zustande kommt, ist schon seine Erstellung die automatisierte Entscheidung im Sinn von Artikel 22 (EuGH, Urteil vom 7. Dezember 2023, C-634/21, SCHUFA Holding, Rn. 48 bis 50 und Tenor). Dass die Ablehnung formal von der Bank kam und nicht von der Auskunftei, änderte für den Gerichtshof nichts. Wäre der Wert nur Vorbereitung, entstünde eine Schutzlücke, weil dann niemand die Garantien aus Artikel 22 schulden würde (Rn. 61 und 62). Wenn der Wert das Ergebnis vorgibt, ist er nicht bloß Vorbereitung.
Zurück zur Mängelliste. Sie betrifft zunächst Sachen, keine Personen. Artikel 22 greift dort nicht unmittelbar. Der Gedanke dahinter aber sehr wohl: Ein Vorschlag, der praktisch immer durchgewinkt wird, ist keine Vorbereitung, sondern die Entscheidung. Und Fristen und Schweregrade bleiben nicht in der Liste. Sie landen in Schreiben an die Firma, in Nachträgen, in Rechnungen. Wer sie unbesehen übernimmt, hat die Entscheidung dem Werkzeug überlassen und unterschreibt trotzdem selbst.
Warum man durchwinkt
Dass Menschen einem automatischen Vorschlag folgen, auch wenn er falsch ist, hat einen Namen: Automation Bias. Parasuraman und Manzey haben 2010 die Forschung dazu zusammengefasst. Zwei Muster: Nachlässigkeit gegenüber der automatisierten Aufgabe, wenn mehrere Aufgaben gleichzeitig um die Aufmerksamkeit konkurrieren; und die Neigung, der Empfehlung zu folgen und dabei Fehler zu machen, die man ohne Empfehlung nicht gemacht hätte. Beides passiert auch Fachleuten, und Training oder Anweisungen verhindern es nicht (Parasuraman, Manzey 2010, Human Factors 52(3)).
Der Bauleiter bei Nummer 24 ist nicht schlampig. Er hat 29 Vorschläge gesehen, die gepasst haben, das Telefon läutet, und der dreißigste sieht aus wie die anderen. Genau diese Lage beschreibt die Studie.
Was die KI-Verordnung daraus macht
Die EU-KI-Verordnung nimmt das für Hochrisiko-Systeme auf. Artikel 14 verlangt, dass solche Systeme so gebaut sind, dass eine Person sie wirksam beaufsichtigen kann. Die Person muss sich der Neigung bewusst bleiben können, sich automatisch oder übermäßig auf die Ausgabe zu verlassen; das Gesetz nennt das in Klammern Automatisierungsbias. Sie muss die Ausgabe ignorieren, außer Kraft setzen oder rückgängig machen können, und sie muss das System anhalten können (Verordnung (EU) 2024/1689, Artikel 14 Absatz 4). Ob ein Mängelwerkzeug hochriskant ist, ist eine eigene Frage (welche Risikoklasse trifft mich); in der Regel nicht. Als Maßstab taugen die Anforderungen trotzdem, weil sie beschreiben, was eine Freigabe braucht, damit sie eine ist.
Darauf achte ich
Der Vorschlag kommt mit Begründung, nicht nur mit Ergebnis. „Gering, vier Wochen" ohne das Warum lässt sich nicht prüfen, nur abnicken.
Wo Brandschutz, Statik oder Absturzsicherung im Spiel sind, gibt es keinen Sammelklick. Jeder Punkt einzeln, mit Blick aufs Foto.
Wer freigibt, muss ändern können, und die Änderungen werden gezählt. Eine Freigabequote von hundert Prozent über Wochen ist kein Qualitätsbeweis, sondern ein Warnsignal: Dann entscheidet das Werkzeug.
Bei meiner Angebotsprüfung sind aus 25 Minuten rund zwei geworden, nicht null. Die zwei Minuten sind die Entscheidung. Wenn ich sie streiche, habe ich keinen Prüfer mehr, sondern einen Stempel.
Was passiert, wenn trotzdem etwas schiefgeht, wer haftet und wer ersetzt, steht im nächsten Beitrag: Wenn die Steuerung falsch schaltet.