Öffentliche Verwaltung – was, wenn Maschinen Entscheidungen vorbereiten?

Der Einsatz digitaler Technologien in der öffentlichen Verwaltung 

Weltweit prüfen und nutzen öffentliche Verwaltungen sogenannte maschinelle Lernverfahren. So zum Beispiel im Rahmen der vorausschauenden Polizeiarbeit (predictive policing). Zu erwähnen ist etwa die Strategic Subject List der Stadt Chicago, wo mithilfe von Daten über soziale Kontakte das Risiko errechnet wird, dass eine Person beispielsweise in Bandenkriminalität involviert sein könnte. Oder das in US-amerikanischen Grossstädten wie Los Angeles oder Boston eingesetzte System Predpol, mit dem Zeit und Ort von möglichen Gefahren vorhergesagt und entsprechende Polizeipatrouillen bereitgestellt werden. Zur Beurteilung der Rückfallgefahr von Straftätern setzt man in den USA im Justizsystem eine KI-basierte Beurteilungssoftware (COMPAS – Correctional Offender Management Profiling for Alternative Sanctions) ein. Auf der Basis von 137 Merkmalen errechnet sie eine Wahrscheinlichkeit dafür, ob ein Straftäter rückfällig wird oder nicht. Aufmerksamkeit wurde dem System zuteil, weil dieses das Rückfallrisiko von farbigen Straftätern durchwegs höher als dasjenige von weissen Straftätern eingestuft hatte. Diese Prognose war allerdings nachweislich falsch. Es gibt auch Beispiele für KI-Anwendungen in der öffentlichen Veraltung, die weit weniger sensible Bereiche betreffen. Sprachbasierte Assistenten können z.B. dabei helfen, Bürgeranfragen zu beantworten. So etwa der digitale Sachbearbeiter/die digitale Sachbearbeiterin Amelia.

Verschiedene Rechtsfragen treten auf 

Der staatliche Einsatz von KI und ADM (Automated Descision Making) evoziert zahlreiche Rechtsfragen. Diese ergeben sich unter anderem aus dem Umstand, dass die im Rahmen maschineller Lernverfahren eingesetzten Algorithmen nicht mehr ohne Weiteres nachvollziehbar sind. Hier stellt sich vor allem die Frage, wie die rechtsstaatlichen Begründungserfordernisse sichergestellt werden können. Ausserdem müssen maschinelle Lernverfahren vor einem Einsatz trainiert werden. Die Trainingsdaten sind prägend für die spätere Funktionsweise des Systems. Falsche Trainingsdaten können dazu führen, dass das System unkorrekte Resultate liefert. Es besteht zudem das Risiko, dass das System historisch gewachsene Vorurteile, die sich in den Trainingsdaten niederschlagen, übernimmt und perpetuiert bzw. noch verstärkt. Mithin kann mit der Nutzung von KI ein erhöhtes Diskriminierungspotenzial einhergehen. Eine weitere Herausforderung stellt sodann die Gewährleistung des rechtlichen Gehörs dar, zumindest in jenen Fällen, in denen praktisch die KI und nicht mehr ein Mensch Entscheidungen trifft.

Neue Herausforderungen für den Staat

Der Einsatz von KI und ADM in öffentlichen Verwaltungen stellt den Staat vor zahlreiche Hürden, die er meistern muss. Der Gesetz- bzw. Verordnungsgeber wird sich bei der Schaffung des rechtlichen Rahmens nicht nur mit Vorgaben für die Programmierung der Algorithmen oder datenschutzrechtlichen Rahmenbedingungen zu befassen haben, sondern auch mit Fragen rund um die Sicherstellung der Datenqualität, die Kontrolle KI-basierter Entscheidungen bzw. Entscheidungsempfehlungen sowie die Umsetzung der rechtsstaatlichen Begründungserfordernisse. Vertiefte rechtswissenschaftliche Befassungen mit diesen Fragen sind allerdings rar. Eine gute Nachricht für all jene, die derzeit auf der Suche nach einem relevanten Dissertationsthema sind!