Der Mensch im Prozess, der nur auf OK klickt
Software sperrt Konten, sortiert Bewerbungen aus und setzt Kunden auf Prüflisten, meist in Sekunden und ohne dass jemand hinschaut. Solange irgendwo im Prozess ein Mensch vorgesehen ist, halten viele Unternehmen das Thema Datenschutz damit für erledigt. Die niederländische Datenschutzaufsicht hat Uber wegen solcher automatischen Entscheidungen und weil die Betroffenen nicht ausreichend darüber informiert wurden, ein Bußgeld von knapp 825 Millionen Euro auferlegt.
Ein Mensch im Prozess zählt rechtlich nur, wenn er das Ergebnis wirklich ändern kann. Ein Kästchen in der Prozessbeschreibung leistet das nicht.
Das Wichtigste auf einen Blick
- Entscheidet eine Software ganz allein über etwas, das Menschen rechtlich oder ähnlich stark trifft, ist das nach Artikel 22 DSGVO grundsätzlich verboten. Ausnahmen gibt es nur in wenigen gesetzlich geregelten Fällen und nur mit Schutzmaßnahmen für die Betroffenen.
- Ein Mensch im Prozess zählt nur, wenn er den Fall wirklich prüft und das Ergebnis ändern kann. Wer automatische Ergebnisse nur abzeichnet, macht aus ihnen keine menschliche Entscheidung.
- Steckt KI hinter der Entscheidung, kann zusätzlich die KI-Verordnung greifen. Datenschutz, KI-Governance und menschliche Aufsicht gehören deshalb in eine gemeinsame Prüfung.
Was bei Uber passiert ist
Ausgangspunkt waren Beschwerden von 171 französischen Fahrern, die über die Ligue des droits de l’Homme bei der französischen Aufsicht CNIL eingingen. Uber hat seinen europäischen Sitz in den Niederlanden, deshalb führte die dortige Datenschutzaufsicht, die Autoriteit Persoonsgegevens, das Verfahren.
Sie stellte fest, dass Uber zwischen 2018 und 2022 Fahrerkonten bei Betrugsverdacht oder zu schlechten Kundenbewertungen automatisch vorübergehend sperrte, bei dauerhaft schlechten Bewertungen sogar endgültig. Für die Fahrer fiel damit für die Dauer der Sperre ihr Einkommen über Uber weg.
Außerdem hatte Uber sie nicht ausreichend darüber informiert, dass hier automatisch entschieden wurde. Nach den Feststellungen der Behörde hat vor diesen Sperren kein Mensch den Fall geprüft. Die Aufsicht sah darin einen Verstoß gegen Artikel 22 DSGVO und beanstandete zusätzlich die fehlende Information der Fahrer.
VERFAHRENSSTAND
Uber hat die Praxis inzwischen eingestellt, bestreitet aber die Feststellungen und hat Rechtsmittel eingelegt. Rechtskräftig ist das Bußgeld deshalb noch nicht.
Wann eine Software nicht allein entscheiden darf
Artikel 22 DSGVO schützt Menschen vor Entscheidungen, die ausschließlich eine Maschine trifft und die sie rechtlich betreffen oder ähnlich stark beeinträchtigen. Das kann eine gesperrte Einnahmequelle sein, eine automatische Absage im Bewerbungsverfahren oder eine Entscheidung über einen Kredit.
Drei mögliche Ausnahmen
- Die Entscheidung ist für einen Vertrag mit der Person nötig.
- Ein Gesetz lässt die Entscheidung zu.
- Die Person hat ausdrücklich eingewilligt.
Welche Schutzmaßnahmen dann nötig sind, hängt vom Fall ab. Beim Vertrag und bei der Einwilligung muss die Person verlangen können, dass ein Mensch eingreift. Sie muss ihre Sicht schildern und die Entscheidung anfechten können. Lässt ein Gesetz die Entscheidung zu, muss dieses Gesetz selbst passende Schutzmaßnahmen vorsehen.
Unabhängig davon muss das Unternehmen vorher offenlegen, dass automatisch entschieden wird, wie die Logik dahinter funktioniert und welche Folgen das für die Person hat (Artikel 13 Absatz 2 Buchstabe f und Artikel 14 Absatz 2 Buchstabe g DSGVO).
Zwei Punkte, die Produktteams nicht übersehen sollten
1. Auch ein Score kann eine Entscheidung sein
Der Europäische Gerichtshof hat im SCHUFA-Urteil vom 7. Dezember 2023 (C-634/21) entschieden, dass schon das automatische Berechnen eines Scores eine Entscheidung sein kann. Das gilt, wenn ein anderes Unternehmen sich bei seiner Entscheidung über die Person maßgeblich auf diesen Score stützt, etwa eine Bank bei der Kreditvergabe.
Wer seinen Kunden Scores liefert, kann also selbst unter Artikel 22 fallen, obwohl er nie etwas sperrt oder ablehnt.
2. Menschliche Beteiligung muss echt sein
Die europäischen Datenschutzaufsichten verlangen in ihren Leitlinien zu automatisierten Entscheidungen, dass die menschliche Beteiligung echt ist. Wer prüft, muss:
- Sich in der Sache auskennen.
- Die Befugnis haben, anders zu entscheiden.
- Alle wichtigen Informationen sehen.
- Das Ergebnis der Software tatsächlich ändern können.
Kernpunkt: Ein Haken im System genügt nicht.
Was bedeutet das konkret?
Entscheidend ist nicht die Bezeichnung des Prozesses, sondern wie er im Alltag funktioniert. Vier typische Konstellationen:
PRAXISFALL 01 · KONTOSPERREN
Ihre Plattform sperrt Konten bei Betrugsverdacht automatisch?
Das ist die Lage aus dem Uber-Fall. Prüfen Sie zuerst, ob die Sperre wegen ihrer Dauer und ihrer Folgen unter Artikel 22 fällt. Schaut ein Mensch erst hin, wenn die Sperre schon wirkt, wird eine unzulässige Entscheidung dadurch nicht nachträglich zulässig.
Bewerten Sie deshalb den ganzen Ablauf: die Sperre selbst, die Ausnahme, auf die Sie sich stützen, und die Schutzmaßnahmen für die Betroffenen.
PRAXISFALL 02 · RECRUITING
Ihre HR-Software sortiert Bewerbungen vor?
Gehen Absagen raus, ohne dass jemand die Bewerbung tatsächlich gelesen hat, kann das eine rein automatische Entscheidung sein. Dazu kommt die KI-Verordnung. Sie kann KI-Systeme zur Auswahl von Bewerbern nach ihrem Anhang III als Hochrisiko-KI-Systeme einstufen. Für solche Systeme verlangt Artikel 14 der KI-Verordnung, dass Menschen sie wirksam beaufsichtigen können.
Artikel 22 DSGVO: Wann ist eine automatische Entscheidung überhaupt erlaubt?
Artikel 14 KI-Verordnung: Wie muss die menschliche Aufsicht über ein Hochrisiko-KI-System aufgebaut sein?
Die beiden Regeln haben unterschiedliche Aufgaben. Oft gelten beide gleichzeitig.
PRAXISFALL 03 · SCORING
Ihr Produkt liefert Kunden einen Score?
Ob Bonität oder Kündigungsrisiko: Fragen Sie, wofür Ihre Kunden den Score nutzen. Legt er nur fest, wen der Vertrieb zuerst anruft, wird die Schwelle von Artikel 22 meist nicht erreicht. Hängt daran ein Kredit oder ein Vertragsabschluss, lohnt sich eine genaue Prüfung.
Am Ende kommt es darauf an, wie stark der Score die spätere Entscheidung tatsächlich bestimmt. Das ist nicht bei jedem Score so.
PRAXISFALL 04 · MENSCHLICHE PRÜFUNG
Bei Ihnen schaut ein Mensch drauf?
Dann lohnt sich ein genauer Blick auf die Arbeitsbedingungen:
- Wie viele Fälle bearbeitet die Person am Tag?
- Welche Informationen sieht sie dabei?
- Kann sie die Vorschläge der Software wirklich ändern?
- Wie oft entscheidet sie anders als die Software?
Eine niedrige Quote beweist allein noch keinen Verstoß. Sie ist aber ein guter Anlass, genauer hinzusehen, ob dort eigenständig geprüft wird.
Was Unternehmen jetzt tun sollten
Klären Sie zuerst, an welchen Stellen Software oder KI Entscheidungen über Menschen vorbereitet oder selbst trifft. Danach lässt sich für jede dieser Stellen bewerten, welche rechtlichen Anforderungen gelten.
Bei Abläufen mit KI lohnt es sich, diese Prüfung mit der vorhandenen KI-Governance zu verbinden. Ein KI-Managementsystem nach ISO/IEC 42001, einer internationalen Norm für den geordneten Umgang mit KI im Unternehmen, hilft dabei, zentrale Aufgaben an einer Stelle zu organisieren:
- Zuständigkeiten
- Risikobewertungen
- Menschliche Kontrollen
- Regelmäßige Wirksamkeitsprüfungen
Wie Bitkom Consult Sie unterstützt
Bei Bitkom Consult gehen wir mit Produktverantwortlichen, Entwicklung und Compliance die Funktionen durch, die ohne menschliches Zutun sperren, ablehnen oder einstufen. Für jede Funktion prüfen wir:
- Ob Artikel 22 DSGVO greift.
- Wie die menschliche Beteiligung aussehen muss.
- Was die Betroffenen erfahren müssen.
Das geht als abgegrenztes Projekt oder als Teil unserer laufenden Beratung zu Datenschutz und KI-Compliance. Außerdem begleiten wir Unternehmen beim Aufbau ihrer KI-Governance, bei der Einführung von KI-Managementsystemen nach ISO/IEC 42001 und bei internen KI-Audits.
In unseren Schulungen zum KI-Compliance-Beauftragten und zur Auditierung von KI-Managementsystemen lernen Verantwortliche, wie sie KI-Risiken, rechtliche Anforderungen und interne Kontrollen im eigenen Unternehmen steuern.
