Ein Blick über den Tellerrand

Für den Einsatz von KI in der Verwaltung gibt es in Europa zahlreiche positive und negative Fallbeispiele.

International gibt es einige Beispiele, wie KI-Lösungen in der Praxis eingesetzt werden. Dabei gibt es vertrauenswürdige Anwendungen, an denen man sich ein Beispiel nehmen kann. Aber natürlich auch solche, die veranschaulichen, wie man es besser nicht macht.

Transparenz

als Maß für die Erklärbarkeit und Interpretierbarkeit des KI-Systems einschließlich des verwendeten Modells und der Daten

Positives Beispiel: SPANIEN
Spanien ist von einer Regulierung des KI-Einsatzes weit entfernt. Die Digital-Strategie 2025 versucht Wege zum Einsatz der Technologie aufzuzeigen. Das System SAVRY (Structured Assessment of Violence in Youth) dient der Gewaltprävention bei Jugendlichen. Es handelt sich um ein seit vielen Jahren erprobtes Modell der forensischen Kriminologie und ist im akademischen Umfeld ausführlichst dokumentiert. Die Erfahrungen zeigen zwischenzeitlich, dass der Mensch bessere Ergebnisse, die Maschine aber genauere Resultate liefert.

Negatives Beispiel: Schweden
Im Februar 2018 verabschiedete die schwedische Regierung eine nationale AI-Strategie. Diese Strategie hebt hervor, dass der KI-Einsatz moralische Dilemmas und Bedenken birgt, die man auf paneuropäischem Niveau behandeln will. 2017 wurde in der Stadt Trelleborg ein System zur Aufdeckung von Sozialbetrug eingeführt und gleichzeitig die Anzahl der Sozialarbeiter um 75 % reduziert. Da weder die Antragsteller noch die Bevölkerung über den Einsatz des Systems informiert wurden, formierte sich Protest auf breiter Front.

Verantwortung

Wie steht es um die Überprüfbarkeit und Einhaltung von Sorgfaltspflichten sowie Fragen der finanziellen Haftung und nicht monetärer Wiedergutmachung?

Positives Beispiel: Dänemark
Die dänische Regierung möchte den KI-Einsatz und die KI-Ausbildung primär aus wirtschaftlichen Gründen fördern. Eine Regierungskommission hat die Kennzeichnung von KI-Produkten und Services empfohlen. Kopenhagen arbeitet zum Thema Risikoidentifikation in der Altenhilfe mit drei Universitäten zusammen. Auf Basis eines 3-monatigen Evaluierungszeitraums hat sich gezeigt, dass zusätzlicher Pflegebedarf mit 80-prozentiger Genauigkeit identifiziert werden konnte.

Negatives Beispiel: England
2018 erfolgte eine parlamentarische Anfrage zu algorithmischen Entscheidungssystemen ohne nennenswerten Einfluss auf die Gesetzeslage. Die Polizei setzt seit 2017 Gesichtserkennung im großen Stil ein. Beim Notting Hill Carnival wurden allein an einem Wochenende 35 Personen fälschlicherweise einer behördlichen Identitätsfeststellung unterzogen. Es liegen keine Informationen über die false positive rate vor.

Datenschutz

Diese Dimension des Kriterienkatalogs beleuchtete den Schutz der Privatsphäre eines Einzelnen zur Wahrung der individuellen Autonomie und Entscheidungsfreiheit insbesondere in Bezug auf seine Daten.

Positives Beispiel: Deutschland
Bereits seit 2017 diskutiert der Bundestag das Thema in einer überfraktionellen Arbeitsgruppe mit Wissenschaftlern und Vertretern aus der Wirtschaft. Mannheim hat sich bewusst gegen den Einsatz von Gesichtserkennung zur Bekämpfung von Straßenkriminalität eingesetzt. Zusammen mit dem Fraunhofer Institut für Optronics, Systems Engineering and Image Evaluation wurde ein System installiert, welches kriminelle Handlungen auf Basis von Bewegungsmustern erkennt. Dadurch wird ein effizienter Einsatz der Polizei sichergestellt und Ressourcen für andere wichtige Aufgaben werden frei.

Negatives Beispiel: Italien
Das Land leidet seit Langem unter einer kulturellen und technologischen
„digitalen Kluft“. Es gibt weder von staatlicher noch privater Seite eine nennenswerte Diskussion zum Thema KI. Das SARI-System zur Verbrechensprävention war 2018 in den Medien, da zwei Einbrecher in Brescia automatisch identifiziert werden konnten. Allerdings verwaltet das System rund 16 Mio. Bürgerinnen und Bürger ohne nähere Information, warum sie gespeichert sind.

Zuverlässigkeit

Zuverlässige und sichere Infrastruktur schafft Vertrauen in das KI-System und in die Nachvollziehbarkeit der Entscheidungsunterstützung

Positives Beispiel: Finnland
Das staatliche KI-Programm besteht aus konkreten Initiativen zur Förderung des wirtschaftlichen Wachstums, zur Stärkung von Unternehmungen und Erneuerung der öffentlichen Verwaltung. Eine ethische Informationspolitik zum KI-Einsatz wurde eingerichtet. Das Sozialversicherungssystem KELA ermöglicht automatische, transparente Beihilfeverfahren, Betrugsprävention und Aufklärung von Missverständnissen. Neben dem Grad an Genauigkeit ist insbesondere die Schnelligkeit der Bearbeitung ein wesentliches Merkmal, welches den Bürgerinnen und Bürgern Statusinformationen in Echtzeit garantiert.

Negatives Beispiel: Polen
Das polnische Digitalisierungsministerium einen Vorschlag für eine KI-Strategie. Aufgrund eines Parametrisierungsfehlers hat das CANARD-System zur automatischen Kennzeichenerkennung in der Verkehrsüberwachung über längere Zeit Elektroautos als Einsatzfahrzeuge von Blaulichtorganisationen interpretiert.

Gerechtigkeit

Bedeutet die Vermeidung bestehender Diskriminierungsmuster z. B. bei Klassifikationen sowie Aufrechterhaltung der Fairness.

Positives Beispiel: Slowenien
Die UNESCO hat 2019 das internationale Forschungszentrum für Künstliche Intelligenz (IRCAI) im Land angesiedelt. Die slowenische KI-Strategie ist kurz vor der Fertigstellung. Das System METIS dient der Identifikation von Lernschwächen bei Schülerinnen und Schülern und wahrt gleichzeitig die Entscheidungsunabhängigkeit der Lehrer:innen. Bei diesem Beispiel hat sich gezeigt, dass die Vermittlung des Nutzens an die Eltern eine große Herausforderung darstellt.

Negatives Beispiel: Frankreich
Bereits 1978 hat ein Gesetz den Einsatz algorithmischer Entscheidungsfindung verboten, geriet allerdings im Lauf der Jahre in Vergessenheit. Die Notstandgesetze 2015–2017 haben der Polizei umfassende Rechte zum KI-Einsatz eingeräumt. Das französische System zur Automatisierung der Hochschulzulassung agiert mit intransparenten (opaken) Entscheidungskriterien. Die Regierung hat die gesetzliche Verpflichtung zur Dokumentation des Entscheidungsalgorithmus umgangen und nur den Source Code des automatischen Matchings veröffentlicht.

BRZ-Prüfkatalog: Vertrauenswürdige KI BRZ-Prüfkatalog: Vertrauenswürdige KI

Das BRZ hat einen Prüfkatalog erarbeitet, der unseren Kunden ein gemeinsames Verständnis zum Thema vertrauenswürdiger KI (Trustworthy AI) vermitteln soll. Gleichzeitig zeigt er auf, welche Risiken mit dem Einsatz eines KI-Systems verbunden sind und wie man diese bei gleichzeitiger Nutzenmaximierung reduziert.

Beitrag lesen BRZ-Prüfkatalog: Vertrauenswürdige KI

Was ein Amtsbot können darf Was ein Amtsbot können darf

Wir sind gerade erst dabei, uns an die Konversation mit Maschinen zu gewöhnen. Bevor sie wesentliche Aufgaben in der Verwaltung übernehmen, müssen sie aber noch einiges lernen. Kommentar von Katharina Schell (APA)

Beitrag lesen Was ein Amtsbot können darf