{"id":16763,"date":"2021-04-30T14:05:57","date_gmt":"2021-04-30T18:05:57","guid":{"rendered":"https:\/\/intosai.nclud.com\/journal-entry\/developing-an-audit-framework-for-algorithms\/"},"modified":"2023-05-08T16:07:13","modified_gmt":"2023-05-08T20:07:13","slug":"developing-an-audit-framework-for-algorithms","status":"publish","type":"journal-entry","link":"https:\/\/intosaijournal.org\/de\/journal-entry\/developing-an-audit-framework-for-algorithms\/","title":{"rendered":"Entwicklung eines Pr\u00fcfungsrahmens f\u00fcr Algorithmen"},"content":{"rendered":"\n

von Esther Meijer-van Leijsen PhD, Justin Verhulst MSc, Pieter Oosterwijk PhD, und Miranda Pirkovski MSc RA EMITA, Niederl\u00e4ndischer Rechnungshof<\/em><\/p>\n\n\n\n

Da der \u00f6ffentliche Sektor in den Niederlanden immer h\u00e4ufiger Algorithmen einsetzt, d. h. Regeln und Anweisungen, denen ein Computer folgt, um Probleme zu l\u00f6sen oder Fragen zu beantworten, besteht ein entsprechender Bedarf an Aufsicht. Die \u00f6ffentliche Debatte, die Berichterstattung in den Medien und die Diskussionen im Parlament haben sich intensiviert, insbesondere nachdem ein Bezirksgericht in Den Haag mehreren Nichtregierungsorganisationen (NRO) zugestimmt hat, dass SyRI (ein auf Algorithmen basierendes Betrugserkennungsinstrument) gegen die Bestimmungen des europ\u00e4ischen Rechts verst\u00f6\u00dft.<\/p>\n\n\n\n

Der zunehmende Einsatz von Algorithmen f\u00fcr die Verwaltung von Vorg\u00e4ngen und die Erbringung von Dienstleistungen innerhalb der Verwaltung stellt die Obersten Rechnungskontrollbeh\u00f6rden (ORKB) weltweit vor Herausforderungen. Algorithmen k\u00f6nnen die Arbeit von Beh\u00f6rden undurchsichtig machen, sie sind eine “Black Box”. Wie k\u00f6nnen die ORKB angesichts der begrenzten Leitlinien beurteilen, ob die Regierungen Algorithmen auf verantwortungsvolle und rechtm\u00e4\u00dfige Weise einsetzen?<\/p>\n\n\n\n

Mit seinem Bericht<\/a> “Algorithmen verstehen” vom Januar 2021 leistete der niederl\u00e4ndische Rechnungshof (NRH) einen praktischen Beitrag zur Debatte \u00fcber die Chancen und Risiken, die mit dem Einsatz von Algorithmen in der Verwaltung verbunden sind. Der Bericht: 1) gab Aufschluss dar\u00fcber, inwieweit sich die niederl\u00e4ndischen Regierungsstellen der Verwendung von Algorithmen in ihren Dienststellen bewusst sind und diese kontrollieren; 2) einen Pr\u00fcfungsrahmen vorgestellt, der zur Bewertung konkreter Risiken verwendet werden kann; und 3) die N\u00fctzlichkeit des Pr\u00fcfungsrahmens getestet.<\/p>\n\n\n\n

Das Ziel des NCA-Projekts bestand letztlich darin, die Grundlagen f\u00fcr eine verantwortungsvolle Nutzung von Algorithmen durch die Regierung zu schaffen. Dieser Artikel beschreibt die Ergebnisse und Auswirkungen des Berichts.<\/p>\n\n\n\n

Derzeit verwendete, meist einfache Algorithmen<\/strong><\/h2>\n\n\n\n

Die NCA stellte fest, dass die pr\u00e4diktiven und pr\u00e4skriptiven Algorithmen, die die niederl\u00e4ndische Regierung derzeit verwendet, um Entscheidungen f\u00fcr B\u00fcrger und Unternehmen zu treffen, relativ einfach sind. Die Regierung nutzt diese Algorithmen zur Verwaltung von Vorg\u00e4ngen und zur Erbringung von Dienstleistungen, wie z. B. automatisierte Massenversandaktionen und die Vorauswahl von Leistungsantr\u00e4gen. Einige der Algorithmen sind jedoch innovativer und beruhen auf k\u00fcnstlicher Intelligenz. Auf Anfrage stellten Ministerien und Durchf\u00fchrungsorganisationen wie die Agentur f\u00fcr Arbeitnehmerversicherungen und die Bank f\u00fcr Sozialversicherungen der NWB Dutzende von Algorithmen f\u00fcr ihre Pr\u00fcfung zur Verf\u00fcgung. Unter diesen fand die NCA keine vollst\u00e4ndig selbstlernenden Algorithmen, d. h. Algorithmen, die ohne menschliches Zutun Richtlinien umsetzen.<\/p>\n\n\n\n

Eine Herausforderung, mit der die NCA bei der Durchf\u00fchrung dieser Pr\u00fcfung konfrontiert war, bestand darin, Begriffe und Definitionen klar zu definieren. Begriffe wie “Blackbox”, “Voreingenommenheit” und sogar “Algorithmus” k\u00f6nnen von Personen mit einem Hintergrund in den Bereichen Recht, Governance, Informationstechnologie (IT) oder Datenwissenschaft auf sehr unterschiedliche Weise definiert werden. Die NCA wollte sich nicht zu sehr in akademische Debatten \u00fcber Definitionen vertiefen. Es war jedoch wichtig, ein klares und konkretes Verst\u00e4ndnis davon zu haben, was gepr\u00fcft wurde und was die Qualit\u00e4tsstandards waren. Zu diesem Zweck organisierte die NCA Brainstorming-Sitzungen, in denen Fachleute aus allen Verwaltungsebenen sowie aus der Wissenschaft und aus Rechnungspr\u00fcfungsorganisationen ein gemeinsames Begriffsverst\u00e4ndnis erarbeiteten.<\/p>\n\n\n\n

Pr\u00fcfungsrahmen f\u00fcr Algorithmen<\/strong><\/h2>\n\n\n\n

Die NCA hat einen Pr\u00fcfungsrahmen entwickelt, mit dessen Hilfe staatliche und private Organisationen beurteilen k\u00f6nnen, ob ihre Algorithmen bestimmte Qualit\u00e4tskriterien erf\u00fcllen und ob die damit verbundenen Risiken ordnungsgem\u00e4\u00df ermittelt und gemindert wurden oder nicht. Die NCA m\u00f6chte, dass der Pr\u00fcfungsrahmen als praktisches Instrument und Ausgangspunkt f\u00fcr die Herausforderungen dient, denen sich die Pr\u00fcfer bei der Bewertung von Algorithmen gegen\u00fcbersehen. Der Rahmen wird in dem Bericht beschrieben und ist im Excel-Format<\/a> verf\u00fcgbar, so dass die Benutzer nach Fragen filtern k\u00f6nnen, die sich auf bestimmte Kategorien und Grunds\u00e4tze beziehen, wie z. B. Fairness und Rechenschaftspflicht.<\/p>\n\n\n\n

Bei der Entwicklung des Rahmens bezog die NCA Beitr\u00e4ge von Experten sowie andere Pr\u00fcfungsrahmen mit ein. So bietet beispielsweise die Allgemeine Datenschutzverordnung (GDPR) – ein Gesetz der Europ\u00e4ischen Union (EU) – bereits einen Rahmen f\u00fcr den Umgang mit sensiblen personenbezogenen Daten, und es gibt auch Rahmen f\u00fcr Governance und allgemeine IT-Kontrolle (ITGC). Der Rahmen bewertet einen Algorithmus anhand der folgenden “S\u00e4ulen”:<\/p>\n\n\n\n