von Tiare Rivera, Oberste Rechnungskontrollbehörde Chile (CGR)
Einleitung
Oberste Rechnungskontrollbehörden (ORKB) bilden den Grundstein für die Aufrechterhaltung von Rechenschaftspflicht, Transparenz und Wirksamkeit im öffentlichen Sektor, insbesondere im Staatsbetrieb. Da Technologie sich jedoch mit einem Affenzahn weiterentwickelt, ist es unumgänglich, dass ORKB modernste Datentechnologien, zum Beispiel maschinelles Lernen (ML), mit offenen Armen begrüßen, um ihre Prüfungsverfahren zu revolutionieren. Mit ML können ORKB ihre Effizienz, Treffsicherheit und Wirksamkeit steigern, indem sie eine umfassendere datengestützte Analyse des Staatsbetriebs bereitstellen und somit Rechenschaftspflicht sowie Vertrauen auf höchster Stufe gewährleisten.
In diesem Artikel schlagen wir ORKB einen Aktionsplan für die Einbindung dieser fortschrittlichen Datentechnologien mit einem Schwerpunkt auf ML vor. Dabei führen wir die wichtigsten momentan verwendeten Algorithmen an und heben einige wichtige Konzepte hervor. Abschließend versuchen wir, die potenziellen Auswirkungen des ML-Einsatzes auf die Leistung von ORKB darzulegen.
Einführung von ORKB in fortschrittliche Datentechnologien
Um eine Oberste Rechnungskontrollbehörde an die Einbindung und den erfolgreichen Einsatz fortschrittlicher Datentechnologien wie ML heranzuführen, müssen mehrere Schritte gesetzt werden:
Erarbeitung einer klaren Strategie: Eine daten- und technologiegestützte ORKB muss über eine klare Strategie mit einem Überblick über die Ziele und Zielsetzungen der Organisation verfügen. Diese sollte mit dem Input aller Stakeholder – dazu gehören Prüferinnen und Prüfer, IT-Fachleute sowie Fachexpertinnen und -experten – erarbeitet werden.
Investitionen in Technologien: ORKB müssen in die erforderlichen Technologien und Tools zur Erhebung, Speicherung und Analyse großer Datenmengen investieren. Dazu zählen Investitionen in Datenmanagementsysteme, Datenanalysetools und KI-/ML-Technologien.
Aufbau einer qualifizierten Belegschaft: Um Daten und Technologie im Prüfungsverfahren erfolgreich einzusetzen, benötigen ORKB qualifizierte Mitarbeiterinnen und Mitarbeiter mit Kenntnissen in den Bereichen Datenanalyse, Technologie und Prüfungsmethoden. Dazu gehören die Schulung von Prüferinnen und Prüfern in Datenanalysetechniken sowie die Einstellung von IT-Fachleuten und Data Scientists zur Unterstützung des Prüfungsverfahrens.
Förderung datengestützter Entscheidungsfindung: ORKB müssen die datengestützte Entscheidungsfindung in der gesamten Organisation fördern. Dazu zählen die Verwendung von Daten als Grundlage für die Prüfungsplanung sowie Risikobeurteilung und die Einbeziehung der Datenanalyse in das Prüfungsverfahren.
Aufbau von Partnerschaften: ORKB sollten Partnerschaften mit anderen Organisationen aufbauen, zum Beispiel mit Regierungsstellen, um auf Daten zugreifen, diese austauschen und bei der Entwicklung sowie Verwendung von Technologien im Prüfungsverfahren zusammenarbeiten zu können.
Investitionen in Daten: Die von ORKB erhobenen und gespeicherten Daten müssen bereinigt, skaliert und verarbeitet werden, um nach einer fortschrittlichen Analyse Ergebnisse zu liefern.
Entwicklung des Algorithmus: Die zu verwendenden Modelle müssen in Abhängigkeit der angestrebten Informationen ausgewählt werden und das Modell muss trainiert sowie feineingestellt werden, um bessere Ergebnisse zu erzielen. Das Modell muss mithilfe von Testdatensätzen bewertet werden, damit es später auf echte Daten angewendet werden kann. Das finale Modell muss überwacht und regelmäßig gewartet werden.
Laufende Überwachung und Verbesserung: ORKB müssen den Einsatz von Technologien und Daten im Prüfungsverfahren laufend überwachen sowie beurteilen, um Bereiche mit Verbesserungspotenzial zu identifizieren und die erforderlichen Anpassungen vorzunehmen. Dazu gehören auch die regelmäßige Überprüfung und Anpassung der Technologie- und Datenstrategie der Organisation.
Grundmerkmale von Maschinenlernalgorithmen
Sobald die ORKB bereit ist für den nächsten Schritt, gibt es bei der Anwendung von maschinellem Lernen zwei Grundkonzepte, je nachdem, ob passende Daten verfügbar sind und ob es eine zugrunde liegende Struktur gibt.
Überwachtes Lernen: Diese Algorithmen werden auf der Grundlage von gekennzeichneten Trainingsdaten für die Kategorisierung sowie die Ergebnisvorhersage verwendet. In ORKB können sie eingesetzt werden, um Transaktionen als betrügerisch oder nichtbetrügerisch zu kategorisieren, die Betrugswahrscheinlichkeit in einem bestimmten Bereich vorherzusagen oder Lieferanten in hohes oder niedriges Risiko einzustufen.
Unüberwachtes Lernen: Diese Algorithmen werden für die Ermittlung von Mustern und Strukturen in ungekennzeichneten Daten verwendet. In ORKB können sie eingesetzt werden, um Muster der finanziellen Misswirtschaft zu ermitteln, verdächtige Transaktionen zu erkennen oder in Ausgabemustern Ausreißer festzustellen.
Arten von Maschinenlernalgorithmen, die von ORKB verwendet werden können
Es gibt mehrere Arten von Maschinenlernalgorithmen, die von ORKB verwendet werden können, um die Effizienz, Treffsicherheit und Wirksamkeit des Prüfungsverfahrens zu steigern. Siehe Diagramm für einen allgemeinen Überblick.
Einige der gebräuchlichsten Maschinenlernalgorithmen und deren potenziellen Anwendungen in ORKB sind:
Clusteranalysen: Diese Algorithmen fassen ähnliche Datenpunkte zusammen. In ORKB können sie eingesetzt werden, um ähnliche Datensätze zu bündeln, zum Beispiel Ausgaben nach Ressorts, oder um Kategorien ähnlicher Regierungsprogramme oder -projekte zu ermitteln, wodurch der Vergleich sowie deren Leistungsbeurteilung vereinfacht wird.
Anomalieerkennung: Diese Algorithmen werden verwendet, um Datenpunkte zu ermitteln, die wesentlich von der Norm abweichen. In ORKB können sie eingesetzt werden, um budgetäre Irregularitäten zu ermitteln oder Prüfungen anhand der Bereiche, in denen die Ergebnisse von den erwarteten Mustern abweichen, zu priorisieren.
Künstliche neuronale Netzwerke: Diese Algorithmen ahmen das menschliche Gehirn nach und können für viele verschiedene Aufgaben eingesetzt werden, unter anderem für Bild- und Spracherkennung sowie für die linguistische Datenverarbeitung. In ORKB können sie eingesetzt werden, um große Mengen unstrukturierter Daten, wie Texte oder Bilder, zu verarbeiten sowie zu analysieren und dadurch Erkenntnisse zu gewinnen.
Entscheidungsbäume: Diese Algorithmen werden für die Kategorisierung von Datenpunkten anhand einer Reihe von Entscheidungsregeln verwendet. In ORKB können sie eingesetzt werden, um Transaktionen als betrügerisch oder nichtbetrügerisch zu kategorisieren, Lieferanten in hohes oder niedriges Risiko einzustufen oder die Betrugswahrscheinlichkeit in einem bestimmten Bereich vorherzusagen.
K-Nearest-Neighbor-Algorithmen: Diese Algorithmen werden in Anwendungen zur Bild- und Videoerkennung, Bestandsanalyse sowie Handschriftenerkennung verwendet. Sie bedienen sich gekennzeichneter Datenpunkte, um andere Datenpunkte zu kennzeichnen. Die Methode besteht darin, ein Abstimmungssystem der nächsten Nachbarn zu schaffen. Das „k“ steht für die Anzahl der Nachbarn, die einbezogen werden. Der Vorteil dieser Algorithmen liegt in der einfachen Umsetzung und darin, dass er bei verrauschten Daten gut funktioniert. Der größte Nachteil ist, dass sie eine erhebliche Rechenleistung benötigen, was bei großen Datensätzen teuer sein kann.
Potenzielle Grenzen
Auch wenn es ML-Tools für die Betrugsermittlung und Finanzaufsicht gibt, ist es nicht immer einfach, sie in der Praxis anzuwenden, neue digitale Tools einzuführen oder diese in Rechnungskontrollbehörden einzubinden. In ORKB und Regierungsstellen bestehen im Bereich maschinelles Lernen mehrere Hindernisse für Innovationen.
Beispielsweise haben viele ORKB keine präzisen oder konsistenten Daten, was negative Auswirkungen auf die Leistung der Maschinenlernalgorithmen haben und deren Erfolgswirksamkeit einschränken kann. Mangelnde Fachexpertise kann die Fähigkeit von ORKB, Maschinenlernalgorithmen einzuführen und erfolgreich einzusetzen, beeinträchtigen, da dies fachbezogene Schulungen und Pflege erfordert. Zudem müssen ORKB diese Algorithmen unter Umständen in ihre bestehenden Systeme und Verfahren eingliedern, was eine Herausforderung darstellen und beachtliche Mittel erfordern kann.
Viele Dienststellen stehen bei Veränderungen kulturellen und strukturellen Hindernissen gegenüber. Dazu zählen ein fehlender Innovationswille, eine Präferenz für den Status quo, Versagensangst, exzessive Isolierung, bei der verschiedene Abteilungen verschiedene Daten und Teilbereiche von Schlüsselaufgaben handhaben, sowie die Abwesenheit von Führungskräften, die in der Lage sind, Veränderung zu ermöglichen. In vielen Organisationen bestehen nicht nur technische, sondern auch strukturelle, operationelle, führungstechnische und kulturelle Hindernisse für Veränderung. Ohne Führungskräfte, die sich für die Schaffung einer Innovationskultur einsetzen, wird die Einführung neuer Technologien fast immer hinter dem gewünschten Nutzen zurückbleiben.
Ethische Überlegungen und Rechenschaftspflicht:
Maschinenlernmodelle können gesellschaftliche Vorurteile aufrechterhalten oder sogar verstärken. Daher ist es wichtig, ethische Gesichtspunkte des Modells zu bedenken, sich seiner Grenzen bewusst zu sein und Maßnahmen zu ergreifen, um etwaige negative Auswirkungen zu mindern.
In einem Umfeld, das sich auf menschliches Urteilsvermögen verlässt, sind all diese Bedenken begrenzt. Daher stellt der Einsatz von maschinellem Lernen im Prüfwesen zur Bekämpfung von Korruption und Betrug einzigartige Herausforderungen in Bezug auf Ethik, Rechtmäßigkeit und Governance dar.
Als eine der größten Herausforderungen gilt es herauszufinden, wie umfassende ethische Prinzipien wie Fairness, Gerechtigkeit, Privatsphäre, Transparenz, Rechenschaftspflicht und menschliche Sicherheit in konkrete Anwendungen überführt werden können. Diese Prinzipien stehen manchmal im Widerspruch zueinander und ORKB müssen deren Bedeutung im Kontext des jeweiligen Systems definieren und festsetzen, wie Maschinenlernalgorithmen in Übereinstimmung damit zu beurteilen sind.
Außerdem sind manche Modelle komplex und schwierig zu interpretieren. Es ist wichtig, den Entscheidungsfindungsprozess des Modells zu verstehen und interpretierbare Modelle zu haben, um die Logik hinter der Entscheidung des Modells zu erklären.
Erwartete Auswirkungen des Einsatzes von maschinellem Lernen durch ORKB
Einer der Hauptvorteile der Einbindung von fortschrittlichen Datentechnologien in das Prüfungsverfahren ist die Fähigkeit, große Datenmengen schnell sowie präzise analysieren zu können und Muster sowie Trends zu erkennen, die für menschliche Prüferinnen und Prüfer unter Umständen nicht offensichtlich sind. Das kann ORKB dabei unterstützen, mögliche Betrugsfälle oder finanzielles Missmanagement zu ermitteln und fundiertere Entscheidungen über die Schwerpunktsetzung in ihrer Prüftätigkeit zu treffen.
Durch die Automatisierung bestimmter Aufgaben, wie Dateneingabe und -analyse, können sich Prüferinnen und Prüfer auf komplexere Aufgaben von höherem Wert, wie die Interpretation von Prüfungserkenntnissen und das Abgeben von Verbesserungsvorschlägen, konzentrieren.
Der Einsatz von maschinellem Lernen durch Oberste Rechnungskontrollbehörden birgt das Potenzial, deren Fähigkeit, mit der Öffentlichkeit zu kommunizieren und zu interagieren, zu verbessern, und zwar durch die Bereitstellung von interaktiven Tools wie Echtzeit-Dashboards und personalisierbaren Berichten. Diese erwarteten Auswirkungen könnten zu einem transparenteren sowie rechenschaftspflichtigeren öffentlichen Sektor führen und zu besserer Regierungsführung sowie mehr Vertrauen in Institutionen beitragen.
