Kein neuer Vertrag, aber plötzlich ein neues Update mit KI-Funktion: Was man rechtlich beachten sollte
Viele Verwaltungen gehen davon aus, dass KI erst mit einer eigenen Beschaffung ins Spiel kommt. Tatsächlich kommt sie oft ohne Kauf, mit einem Update für Software, die seit Jahren läuft. Wer das nicht bemerkt, setzt KI ein, die niemand geprüft hat und von der weder der Vertrag, noch das Verzeichnis oder der Personalrat etwas weiß.
Das Wichtigste auf einen Blick
- Eine neue KI-Funktion in vertrauter Software ist rechtlich oft eine neue Verarbeitung, die geprüft werden muss, bevor jemand sie nutzt.
- Datenschutz und Mitbestimmung gelten dafür schon heute, auch wenn die strengsten Pflichten der KI-Verordnung erst ab Dezember 2027 greifen.
- Wer Updates mit einer festen Prüfroutine begleitet, entscheidet selbst, welche Funktion eingeschaltet wird, statt es später vom Anbieter zu erfahren.
Warum ein Update mehr sein kann als ein Update
Die Videokonferenz erstellt plötzlich Zusammenfassungen der Besprechung. Das Office-Paket bietet einen Assistenten an, der Mails vorformuliert. Das Ticketsystem schlägt Antworten vor. Niemand hat dafür eine Beschaffung gestartet – und trotzdem arbeitet die Verwaltung ab diesem Tag mit KI.
Genau darin liegt das rechtliche Problem.
Wer Software eines Dienstleisters nutzt, hat mit ihm meist einen Auftragsverarbeitungsvertrag – also einen Vertrag, der festlegt, was der Dienstleister mit den Daten der Verwaltung tun darf. Eine neue KI-Funktion bringt oft einen weiteren Dienstleister mit, der das Sprachmodell dahinter betreibt.
Einen solchen Unterauftragnehmer muss die Verwaltung vorher genehmigen, oder der Anbieter muss sie vorab informieren und ihr die Möglichkeit geben, zu widersprechen (Art. 28 Abs. 2 DSGVO).
Diese Mitteilung kommt häufig als Mail an ein Funktionspostfach, das niemand wirklich liest. Die Frist zum Widerspruch läuft dann ab, ohne dass es jemand merkt.
Gleichzeitig beschreibt das Verzeichnis der Verarbeitungstätigkeiten noch die alte Verarbeitung. Und bei neuer Technik kann eine Datenschutz-Folgenabschätzung nötig werden – also eine vorherige Risikoprüfung.
Auch die Personalvertretung kann betroffen sein
Dazu kommt die Personalvertretung. Sie bestimmt mit, sobald ein System geeignet ist, das Verhalten oder die Leistung von Beschäftigten zu überwachen.
Ihre Zustimmung von vor drei Jahren deckt das System von damals. Schreibt es heute Besprechungen mit und wertet sie aus, kann es mehr als damals.
Das Bundesverwaltungsgericht hat ausdrücklich darauf hingewiesen, dass sich die Eignung zur Überwachung auch erst im laufenden Betrieb verändern kann.
Die KI-Verordnung ist nicht das einzige Thema
Die KI-Verordnung ist dabei nicht das größte Problem. Wer KI nur einsetzt, ist dort Betreiber, und die strengsten Pflichten sind auf Dezember 2027 verschoben.
Datenschutzrecht und Mitbestimmung gelten allerdings schon heute.
Was bedeutet das konkret?
Woran erkennen Sie, dass eine neue KI-Funktion kommt?
Selten an der Oberfläche, meistens in den Versionshinweisen und in den Mitteilungen über neue Unterauftragnehmer.
Legen Sie fest, wer diese Mitteilungen liest und an den Datenschutz weiterleitet. Denn ein Postfach, für das sich niemand zuständig fühlt, ist eine typische Lücke.
Ist die neue Funktion schon eingeschaltet?
Manche Funktionen sind ab Auslieferung aktiv, andere muss die IT erst freischalten.
Neue KI-Funktionen sollten grundsätzlich ausgeschaltet bleiben, bis sie geprüft sind. Datenschutzfreundliche Voreinstellungen sind dabei keine Kür, sondern Pflicht (Art. 25 Abs. 2 DSGVO).
Was prüfen Sie, bevor Sie einschalten?
Es reichen wenige Fragen:
- Wohin gehen die Daten und an wen?
- Nutzt der Anbieter Eingaben, um sein Modell zu trainieren?
- Wie lange werden Eingaben und Ergebnisse gespeichert?
- Kann die Funktion auswerten, wer was wann getan hat?
Gerade die letzte Frage ist entscheidend dafür, ob der Personalrat ins Spiel kommt.
Müssen Sie jedes Update dem Personalrat vorlegen?
Nein. Relevant wird es erst, wenn sich ändert, was das System über Beschäftigte erfassen oder auswerten kann.
Eine Dienstvereinbarung mit einem festen Verfahren für neue Funktionen kann dabei die Verhandlung im Einzelfall ersparen und beiden Seiten mehr Planbarkeit geben.
Wie wir Verwaltungen hier begleiten
Neue KI-Funktionen bei Dienstleistern prüfen wir regelmäßig – vom Auftragsverarbeitungsvertrag über die Liste der Unterauftragnehmer bis zur Frage, ob eine Datenschutz-Folgenabschätzung nötig ist.
Als Einzelprojekt erstellen wir mit Ihnen eine Bestandsaufnahme der Software, in der schon heute KI steckt, und entwickeln eine Prüfroutine für künftige Updates, die Ihre Verwaltung anschließend selbst weiterführen kann.
In einer laufenden Begleitung bewerten wir neue Funktionen mit, sobald Ihre Anbieter sie ankündigen.
Wir gehen gemeinsam Ihre wichtigsten Softwareverträge durch und zeigen Ihnen, wo bereits KI im Einsatz ist.
