Entwicklung eines Prüfungsrahmens für Algorithmen

von Esther Meijer-van Leijsen PhD, Justin Verhulst MSc, Pieter Oosterwijk PhD, und Miranda Pirkovski MSc RA EMITA, Niederländischer Rechnungshof

Da der öffentliche Sektor in den Niederlanden immer häufiger Algorithmen einsetzt, d. h. Regeln und Anweisungen, denen ein Computer folgt, um Probleme zu lösen oder Fragen zu beantworten, besteht ein entsprechender Bedarf an Aufsicht. Die öffentliche Debatte, die Berichterstattung in den Medien und die Diskussionen im Parlament haben sich intensiviert, insbesondere nachdem ein Bezirksgericht in Den Haag mehreren Nichtregierungsorganisationen (NRO) zugestimmt hat, dass SyRI (ein auf Algorithmen basierendes Betrugserkennungsinstrument) gegen die Bestimmungen des europäischen Rechts verstößt.

Der zunehmende Einsatz von Algorithmen für die Verwaltung von Vorgängen und die Erbringung von Dienstleistungen innerhalb der Verwaltung stellt die Obersten Rechnungskontrollbehörden (ORKB) weltweit vor Herausforderungen. Algorithmen können die Arbeit von Behörden undurchsichtig machen, sie sind eine “Black Box”. Wie können die ORKB angesichts der begrenzten Leitlinien beurteilen, ob die Regierungen Algorithmen auf verantwortungsvolle und rechtmäßige Weise einsetzen?

Mit seinem Bericht “Algorithmen verstehen” vom Januar 2021 leistete der niederländische Rechnungshof (NRH) einen praktischen Beitrag zur Debatte über die Chancen und Risiken, die mit dem Einsatz von Algorithmen in der Verwaltung verbunden sind. Der Bericht: 1) gab Aufschluss darüber, inwieweit sich die niederländischen Regierungsstellen der Verwendung von Algorithmen in ihren Dienststellen bewusst sind und diese kontrollieren; 2) einen Prüfungsrahmen vorgestellt, der zur Bewertung konkreter Risiken verwendet werden kann; und 3) die Nützlichkeit des Prüfungsrahmens getestet.

Das Ziel des NCA-Projekts bestand letztlich darin, die Grundlagen für eine verantwortungsvolle Nutzung von Algorithmen durch die Regierung zu schaffen. Dieser Artikel beschreibt die Ergebnisse und Auswirkungen des Berichts.

Derzeit verwendete, meist einfache Algorithmen

Die NCA stellte fest, dass die prädiktiven und präskriptiven Algorithmen, die die niederländische Regierung derzeit verwendet, um Entscheidungen für Bürger und Unternehmen zu treffen, relativ einfach sind. Die Regierung nutzt diese Algorithmen zur Verwaltung von Vorgängen und zur Erbringung von Dienstleistungen, wie z. B. automatisierte Massenversandaktionen und die Vorauswahl von Leistungsanträgen. Einige der Algorithmen sind jedoch innovativer und beruhen auf künstlicher Intelligenz. Auf Anfrage stellten Ministerien und Durchführungsorganisationen wie die Agentur für Arbeitnehmerversicherungen und die Bank für Sozialversicherungen der NWB Dutzende von Algorithmen für ihre Prüfung zur Verfügung. Unter diesen fand die NCA keine vollständig selbstlernenden Algorithmen, d. h. Algorithmen, die ohne menschliches Zutun Richtlinien umsetzen.

Eine Herausforderung, mit der die NCA bei der Durchführung dieser Prüfung konfrontiert war, bestand darin, Begriffe und Definitionen klar zu definieren. Begriffe wie “Blackbox”, “Voreingenommenheit” und sogar “Algorithmus” können von Personen mit einem Hintergrund in den Bereichen Recht, Governance, Informationstechnologie (IT) oder Datenwissenschaft auf sehr unterschiedliche Weise definiert werden. Die NCA wollte sich nicht zu sehr in akademische Debatten über Definitionen vertiefen. Es war jedoch wichtig, ein klares und konkretes Verständnis davon zu haben, was geprüft wurde und was die Qualitätsstandards waren. Zu diesem Zweck organisierte die NCA Brainstorming-Sitzungen, in denen Fachleute aus allen Verwaltungsebenen sowie aus der Wissenschaft und aus Rechnungsprüfungsorganisationen ein gemeinsames Begriffsverständnis erarbeiteten.

Prüfungsrahmen für Algorithmen

Die NCA hat einen Prüfungsrahmen entwickelt, mit dessen Hilfe staatliche und private Organisationen beurteilen können, ob ihre Algorithmen bestimmte Qualitätskriterien erfüllen und ob die damit verbundenen Risiken ordnungsgemäß ermittelt und gemindert wurden oder nicht. Die NCA möchte, dass der Prüfungsrahmen als praktisches Instrument und Ausgangspunkt für die Herausforderungen dient, denen sich die Prüfer bei der Bewertung von Algorithmen gegenübersehen. Der Rahmen wird in dem Bericht beschrieben und ist im Excel-Format verfügbar, so dass die Benutzer nach Fragen filtern können, die sich auf bestimmte Kategorien und Grundsätze beziehen, wie z. B. Fairness und Rechenschaftspflicht.

Bei der Entwicklung des Rahmens bezog die NCA Beiträge von Experten sowie andere Prüfungsrahmen mit ein. So bietet beispielsweise die Allgemeine Datenschutzverordnung (GDPR) – ein Gesetz der Europäischen Union (EU) – bereits einen Rahmen für den Umgang mit sensiblen personenbezogenen Daten, und es gibt auch Rahmen für Governance und allgemeine IT-Kontrolle (ITGC). Der Rahmen bewertet einen Algorithmus anhand der folgenden “Säulen”:

• Governance und Rechenschaftspflicht
• Modell und Daten
• Datenschutz
• Qualität der ITGC, z. B. Zugriffsrechte und Back-up-Kontrollen
• Ethik

Die Entwicklung der Säule “Modelle und Daten” erwies sich als die schwierigste Aufgabe, da die meisten Innovationen bei der Verwendung von Algorithmen in diese Kategorie fallen. Die Modell- und Datenkriterien befassen sich mit Fragen der Datenqualität sowie der Entwicklung, Verwendung und Pflege des dem Algorithmus zugrunde liegenden Modells.

Die Öffentlichkeit ist zu Recht besorgt über den unethischen Einsatz von Algorithmen – wie z. B. die voreingenommene autonome Entscheidungsfindung -, aber dieses Thema wird oft nur theoretisch diskutiert. Die NCA stützte sich dabei auf die Ethik-Leitlinien der Europäischen Kommission für vertrauenswürdige KI, die von der Hochrangigen Expertengruppe für Künstliche Intelligenz formuliert wurden. Die NCA verknüpfte diese Leitlinien mit den konkreten Risiken, die in den anderen Pfeilern formuliert wurden.

Praktischer Test von drei Algorithmen

Um die Nützlichkeit ihres neuen Prüfungsrahmens zu ermitteln, testete die NCA ihn an drei Algorithmen, die die Regierung derzeit verwendete. Für diese Übung wählte die NCA Algorithmen aus, die erhebliche Auswirkungen auf die Bürger, ethische Implikationen und einen unterschiedlichen Grad an technischer Komplexität hatten, von relativ einfach (Entscheidungsbäume) bis komplex (neuronale Netze für die Gesichtserkennung). Obwohl die Algorithmen alle recht unterschiedlich waren, konnte die NWB ihre Risiken anhand des Prüfungsrahmens bewerten. Eine wertvolle Lektion, die die NCA gelernt hat, ist, dass ein Algorithmus nicht von anderen IT-Prozessen innerhalb von Behörden isoliert ist; vielmehr wird eine Sammlung von Algorithmen von verschiedenen Personen in verschiedenen Phasen des Prozesses verwendet. Die NCA empfiehlt daher, dass die Teams, die Algorithmen prüfen, multidisziplinär zusammengesetzt sein sollten, um die Aufgaben aufzuteilen und ein vollständiges Bild zu erhalten.

Auswirkungen des Berichts

Die NCA war überrascht von der nationalen und internationalen Aufmerksamkeit, die ihr Bericht erregte. Zwei Tage nach der Veröffentlichung des Berichts organisierte die NCA ein Webinar, um die wichtigsten Ergebnisse der Prüfung zu präsentieren und eine Diskussion über die verantwortungsvolle Nutzung von Algorithmen durch die Regierung anzustoßen. Das Webinar, bei dem unter anderem der Nationale Bürgerbeauftragte und Vertreter des Staatsrats, der Rundfunkbehörde und des Zentralen Rechnungsprüfungsdienstes der Regierung (ADR) sprachen, zog über 300 Teilnehmer an.

Die NCA leitet nun Diskussionen über die Schaffung von Kontrollmechanismen für Algorithmen. Die NCA arbeitet mit anderen Prüforganisationen wie ADR, dem Royal Netherlands Institute of Chartered Accountants (NBA) und NOREA, dem Berufsverband für IT-Prüfer in den Niederlanden, zusammen, die Algorithmen prüfen wollen, aber mit dem Mangel an Methoden und Richtlinien zu kämpfen haben. Der Rahmen der NCA wurde von diesen Organisationen als wertvoller Ausgangspunkt begrüßt. Die NCA wurde auch von Ministerien und politischen Organisationen eingeladen, um Kontrollen und Ausgleiche für den verantwortungsvollen Einsatz von Algorithmen zu erörtern, und hat ihre Forschungsergebnisse den Prüfern anderer ORKB vorgestellt. Die NCA freut sich auf die Fortsetzung dieser wertvollen Diskussionen.

Rückmeldung

Die NCA lädt andere ORKB ein, das Rahmenwerk zur Prüfung von Algorithmen zu verwenden und ihre Erfahrungen und ihr Feedback mit den Autoren unter algoritmes@rekenkamer.nl zu teilen .