KI in Wirtschaftlichkeitsprüfungen wirksam einsetzen: eine Machbarkeitsstudie für die ORKB Thailand

Autor: Dr. Sutthi Suntharanurak, Direktorin des Büros für internationale Angelegenheiten, Staatsrechnungshof des Königreichs Thailand

Die ORKB Thailand (State Audit Office; SAO) hat den Weg des digitalen Wandels eingeschlagen. Dabei soll KI eingesetzt werden, um die Prüfungsleistung zu steigern und eine datengetriebene Organisationskultur zu fördern. Diese Initiative steht im Einklang mit ihrer Prüfungsstrategie, welche die Bedeutung des Einsatzes fortschrittlicher Technologien in Prüfungsverfahren hervorhebt. In diesem Artikel steht die Machbarkeit der Einbindung von fortschrittlichen Sprachmodellen, wie generative KI (ChatGPT zum Beispiel), in die Wirtschaftlichkeitsprüfungen des SAO im Vordergrund.

Herausforderungen und Bereitschaft:

Prüfungsverfahren stellt mehrere Herausforderungen dar. Infrastruktur muss aufgebaut, Datenschutz gesichert, finanzielle Investitionen müssen getätigt und komplexe Rechtslandschaften navigiert werden. Die Prüferinnen und Prüfer selbst stehen der Anforderung gegenüber, neue Kompetenzen zu erwerben, mit sich verändernden Rollen umzugehen und etwaiges Misstrauen gegenüber KI-Technologien zu überwinden.

Für einen reibungslosen Übergang muss das SAO KI-bereit sein. Das beinhaltet den Aufbau robuster technischer Infrastruktur, die Einführung von Data Governance, den Kompetenzausbau mittels Schulungen und das wirksame Management von Veränderungen. Die strategische Ausrichtung auf die Ziele der Organisation und die Einhaltung rechtlicher sowie ethischer Aspekte sind entscheidend.

Vorteile messen:

Die Vorteile der KI-Einführung können mit zahlreichen Metriken quantifiziert werden. Wirksamkeit, Treffsicherheit, Kosteneinsparungen, Zufriedenheit der geprüften Stellen, Risikominderung und Lernmöglichkeiten: Das alles sind Parameter, die eine erfolgreiche Einführung aufzeigen können. Es ist wichtig, eine ausgewogene Wertungsliste dieser Metriken beizubehalten, da sich Vorteile oft erst mit der Zeit und mit kontinuierlicher Nutzung zeigen.

Seit 2021 stellt die Oberste Rechnungskontrollbehörde (State Audit Office; SAO) des Königreichs Thailand mit der Einbindung künstlicher Intelligenz (KI) in ihren Prüfbetrieb eine zukunftsweisende Ausrichtung unter Beweis. Dabei wurde ein besonderer Schwerpunkt auf Wirtschaftlichkeitsprüfungen gelegt, mit dem Ziel, ein KI-getriebenes Co-Pilotprojekt zu initiieren. Diese Initiative steht im Einklang mit der staatlichen Kontrollstrategie des Beauftragten für staatliche Kontrolle, die den digitalen Wandel durch einen datengetriebenen Prüfansatz, die Einführung wissenschaftlicher und technologischer Prüfungshilfsmittel sowie die Ausbildung einer Datenkultur innerhalb der Organisation fördert. Die vorgestellte Studie hat das Ziel, die Machbarkeit des Einsatzes generativer KI, zum Beispiel des fortschrittlichen KI-Modells ChatGPT, zum weiteren Vorantreiben von Wirtschaftlichkeitsprüfungen zu untersuchen.

Das SAO Thailand wandte diesen vorausschauenden Ansatz an, um die wünschenswerte Zukunft des KI-Einsatzes in Wirtschaftlichkeitsprüfungen darzulegen. Beruhend auf der Machbarkeitsstudie über den Einsatz von ChatGPT in Wirtschaftlichkeitsprüfungen des SAO Thailand wurden vier Szenarien ausgearbeitet. Sie spiegeln verschiedene Möglichkeiten wider: von sehr günstigen Bedingungen mit immensen Vorteilen zu Szenarien, in denen zahlreiche Hürden die erfolgreiche Einführung von ChatGPT verhindern.

Die vier Szenarien wurden anhand verschiedener Bereitschaftsgrade und potenzieller Vorteile, die aus dem Einsatz von ChatGPT in Wirtschaftlichkeitsprüfungen des SAO Thailand gewonnen werden können, erstellt.

Szenario 1 KI-Harmonie – hoher Bereitschaftsgrad, großer Vorteil: In diesem idealen Szenario ist das SAO Thailand bestens auf die Einbindung von ChatGPT vorbereitet. Infrastruktur, Schulungen und Organisationskultur sind an einem Punkt, an dem KI ohne weiteres eingebunden werden kann. Wirtschaftlichkeitsprüfungen erfahren mit dem Einsatz von ChatGPT eine wesentliche Verbesserung, die Prüfungsgeschwindigkeit, -treffsicherheit und -vollständigkeit steigt stark.

Szenario 2 technischer Triumpf – hoher Bereitschaftsgrad, kleiner Vorteil: Das SAO Thailand verfügt über einen hohen Bereitschaftsgrad mit einer starken Infrastruktur und einer förderlichen Organisationskultur. Jedoch führt die Einführung von ChatGPT zu keinen wesentlichen Verbesserungen der Wirtschaftlichkeitsprüfungen, da unvorhergesehene Einschränkungen oder Hindernisse bei der Anwendung von KI auf bestimmte Prüfaufgaben auftreten.

Szenario 3 positive Überraschung – niedriger Bereitschaftsgrad, großer Vorteil: Trotz der Tatsache, dass das SAO noch nicht gänzlich bereit für die Einbindung von KI ist, führt der Einsatz von ChatGPT in Wirtschaftlichkeitsprüfungen zu wesentlichen Verbesserungen. Jedoch kann ein geringer Bereitschaftsgrad zu anfänglichen Schwierigkeiten, langsamerer Inanspruchnahme der KI oder zur ineffizienten Verwendung der Technologie führen, wodurch potenzielle Vorteile begrenzt werden.

Szenario 4 schwierige Gewässer – niedriger Bereitschaftsgrad, kleiner Vorteil: In diesem letzten Szenario ist das SAO Thailand weder in Bezug auf seine Infrastruktur noch seine Schulungen oder seine Kultur gut auf die KI-Einbindung vorbereitet. Darüber hinaus führt die Einbindung von ChatGPT zu keinen wesentlichen Verbesserungen der Wirtschaftlichkeitsprüfungen, entweder aufgrund der Aufgabenbeschaffenheit oder des ineffizienten KI-Einsatzes.

Diese Szenarien liefern eine umfassende Bandbreite an Möglichkeiten, die aus der Einbindung von ChatGPT in die Wirtschaftlichkeitsprüfungen des SAO Thailand hervorgehen könnten, und betonen die Notwendigkeit, vorbereitet zu sein sowie realistische Erwartungen bezüglich der Vorteile der KI-Einbindung zu haben.

Konstruktive Empfehlungen

Um sich auf die KI-Einbindung vorzubereiten, kann das SAO Thailand folgende Empfehlungen berücksichtigen:

1. Technologische Anpassung: Dem SAO Thailand wird empfohlen, in technologische Infrastruktur und Schulungsprogramme zu investieren, um die reibungslose Einbindung und Verwendung von ChatGPT zu begünstigen.

2. Regulatorische Anpassungen: Rechtliche und ethische Leitfäden müssen geprüft und aktualisiert werden, um dem KI-Einsatz in Prüfverfahren Rechnung zu tragen.

3. Verbesserung der Datenkultur: Es sollte ein Schwerpunkt auf der Förderung einer Datenkultur, in der Daten wertgeschätzt und wirksam eingesetzt werden, beibehalten werden.

4. Regelmäßige Beurteilung: Nach der Einführung sollte in regelmäßigen Abständen eine Beurteilung des Effekts von ChatGPT auf die Wirtschaftlichkeitsprüfungen durchgeführt werden, um dessen Wirksamkeit sichern und etwaige Probleme schnell in Angriff nehmen zu können.

Strategie für die Einführung generativer KI in ORKB

Generative KI, zum Beispiel ChatGPT oder Google Bard, ist ein sich schnell weiterentwickelndes Feld mit dem Potenzial, das Prüfungsverfahren zu revolutionieren. Durch die Automatisierung repetitiver Aufgaben, die Ermittlung von Mustern und Anomalien sowie die Gewinnung von Erkenntnissen kann generative KI Prüferinnen und Prüfer als Hilfsmittel dabei unterstützen, effizienter, leistungsfähiger und objektiver zu sein.

Um die erfolgreiche Einführung generativer KI in ORKB zu gewährleisten, sollten die folgenden strategischen Ansätze berücksichtigt werden:

1. Bewusstseins- und Kompetenzaufbau für generative KI. ORKB sollten das Wissen und die Kompetenzen bezüglich des Einsatzes generativer KI unter ihren Stakeholdern – unter anderem Prüferinnen und Prüfern, Führungskräften sowie Entscheidungsträgerinnen und -trägern – fördern. Dies kann über Workshops, Webinare und andere Schulungsinitiativen erfolgen.
2. Klare Ziele für generative KI. ORKB sollten die konkreten Ergebnisse, die sie sich von der Einbindung generativer KI in ihre Verfahren erwarten, festsetzen. Zu diesen Zielen könnten Effizienzsteigerungen, gesteigerte Treffsicherheit oder Risikominderungen zählen.
3. Beurteilung der Umsetzbarkeit generativer KI. ORKB sollten ihre aktuellen Prüfungsverfahren und ihre momentane Infrastruktur bewerten, um zu ermitteln, ob generative KI eine umsetzbare Lösung darstellt. Dazu gehört die Bewertung der Datenverfügbarkeit, der Fachexpertise des Personals sowie des regulatorischen Umfelds.
4. Ausarbeitung eines Plans für generative KI. ORKB sollten einen Plan, der die Vision, Ziele und Schritte für die Einbindung generativer KI in ihren Betrieb skizziert, ausarbeiten. Dieser Plan sollte flexibel genug sein, um an Veränderungen im technologischen und Prüfungsumfeld angepasst werden zu können.
5. Durchführung von Pilotprojekten. Vor dem großflächigen Einsatz generativer KI sollten ORKB Pilotprojekte durchführen, um die Technologie zu testen und potenzielle Herausforderungen zu ermitteln. Dies trägt dazu bei, zu gewährleisten, dass die Technologie zweckmäßig ist und die ORKB darauf vorbereitet ist, etwaige Risiken zu bewältigen.
6. Schrittweise Einführung generativer KI. ORKB sollten generative KI schrittweise einführen: von anfangs kleinen Projekten zur schrittweisen Ausdehnung des Einsatzes im Laufe der Zeit. Dies ermöglicht ORKB, aus ihren Erfahrungen zu lernen und gegebenenfalls notwendige Anpassungen vorzunehmen.
7. Schulung von Prüferinnen und Prüfern zu generativer KI. ORKB sollten ihren Prüferinnen und Prüfern Schulungen zum wirksamen Einsatz generativer KI anbieten. In diesen Schulungen sollten die Grundlagen generativer KI, ihr Einsatz für bestimmte Aufgaben sowie ihre Überprüfung auf Ungenauigkeiten und Verzerrungen durchgenommen werden.
8. Einhaltung ethischer und rechtlicher Standards. ORKB sollten sicherstellen, dass sie generative KI im Einklang mit ethischen und rechtlichen Standards verwenden. Dazu gehört, dass die Technologie auf faire sowie unvoreingenommene Weise eingesetzt wird und der Schutz der Privatsphäre von Individuen gewahrt wird.
9. Aufbau von Partnerschaften mit Fachleuten für generative KI. ORKB sollten Partnerschaften mit Expertinnen und Experten für generative KI aufbauen, um mit den neuesten Entwicklungen des Feldes Schritt zu halten und Hilfestellung für die erfolgreiche Einführung der Technologie zu erhalten.

Durch die Berücksichtigung dieser strategischen Ansätze können ORKB gewährleisten, dass generative KI erfolgreich eingeführt und das volle Potenzial dieser Technologie für die Verbesserung des Prüfungsverfahrens ausgeschöpft wird.

Für weitere Informationen wenden Sie sich bitte an: sutthisun@gmail.com