Kurbeln Sie die Wirksamkeit Ihrer Wirtschaftlichkeitsprüfungen an: Bausteine einer Theorie über die Wirksamkeit von Obersten Rechnungskontrollbehörden

Dr. Sjoerd Keulen, strategischer Berater, Oberste Rechnungskontrollbehörde Niederlande. Der vorliegende Artikel wurde in der Eigenschaft einer Privatperson verfasst. Die Studie wurde als unabhängige wissenschaftliche Forschung durchgeführt und nicht im Prüfungsauftrag der ORKB Niederlande.

Einleitung

Viele Oberste Rechnungskontrollbehörden (ORKB) machten Wirtschaftlichkeitsprüfungen in den letzten Jahren zu einer ihrer Hauptaufgaben. Wirtschaftlichkeitsprüfungen erweitern die Rolle einer ORKB von einer Hauptprüferin in der staatlichen Finanzkontrolle zu einer Richterin, Geschworenen und sogar einer Organisationsberaterin. Die INTOSAI bewarb Wirtschaftlichkeitsprüfungen als Methode zum Nachweis der Sparsamkeit, Wirtschaftlichkeit und Zweckmäßigkeit staatlicher Maßnahmen („der 3 Es“ vom Englischen „economy, effectiveness and efficiency“) sowie Mittel zur Stärkung der staatlichen Rechenschaftspflicht und Transparenz.

Jedoch behaupten einige Kritikerinnen und Kritiker, dass Wirtschaftlichkeitsprüfungen hinter den Erwartungen zurückgeblieben sind und inzwischen ein hohles Ritual sind bzw. zu Erbsenzählerei geführt haben. Die über die Wirksamkeit von Wirtschaftlichkeitsprüfungen vorliegenden Erkenntnisse sind in der Tat uneindeutig. Erstens erschwert die große Bandbreite an Prüfungskonzepten Vergleiche (Rana et al., 2022). Zweitens wurden nicht alle ORKB-Leitungsmodelle quantitativ analysiert und es gibt keine Erkenntnisse über das Kollegialmodell, zu dem die niederländische ORKB (Netherlands Court of Audit; NCA) zählt.

Um die Wirksamkeit der NCA-Wirtschaftlichkeitsprüfungen der Zentralregierung zu bewerten, untersuchten wir die in sämtlichen niederländischen Ministerien zwischen 2018 und 2021 durchgeführten Wirtschaftlichkeitsprüfungen. Wir bedienten uns einer wissenschaftlich fundierten Erhebung, die in Kanada (Morin, 2014) und Belgien (DeSmedt et al., 2017) angewendet und von Valérie Pattyn zusammen mit Minya Chan von der Universität Leiden durchgeführt wurde. Da die Studie das Wirkungsmodell von Van Loocke und Put (2011), welches das Herzstück vieler quantitativer Studien zur Wirksamkeit von Wirtschaftlichkeitsprüfungen in verschiedenen Teilen der Welt bildet, verwendet, kann sie Bausteine für eine Theorie über die Wirksamkeit von ORKB-Wirtschaftlichkeitsprüfungen liefern. *(Eine Auswahl an quantitativen Studien über die Wirksamkeit von Wirtschaftlichkeitsprüfungen aus verschiedenen Teilen der Welt ist in den Quellenangaben zu finden.)

Bevor wir uns den Bausteinen für eine Wirksamkeitstheorie zuwenden, legen wir die Wirksamkeitsfaktoren von Wirtschaftlichkeitsprüfungen und im Anschluss die wichtigsten Ergebnisse der niederländischen Studie dar.

Figure: The three governance models of Supreme Audit Institutions

Faktoren zur Förderung der Wirksamkeit

Wirksamkeit bildet das Herzstück der Tätigkeiten einer ORKB, aber „Wirksamkeit“ ist ein breitgefasster Begriff, der viele Bedeutungen hat, die konzeptualisiert werden müssen. Die Wirksamkeit von Wirtschaftlichkeitsprüfungen ist „der direkte oder indirekte Effekt oder Einfluss, den eine ORKB dank ihrer Wirtschaftlichkeitsprüfungstätigkeit auf die Verfahrensweisen, Leistung und Kultur der geprüften Stelle haben kann“ (Lonsdale 1999, S. 171). Im Allgemeinen geht man davon aus, dass es drei Arten der Wirksamkeit gibt: instrumentelle, konzeptuelle und strategische. Diese Wirksamkeitskategorien schließen einander nicht aus und können überlappen.

Instrumentelle Wirksamkeit ist die Verwendung von Wirtschaftlichkeitsprüfungen zur Verbesserung eines Prozesses während oder direkt im Anschluss an die Prüfung. Die klassische Form dieser Wirksamkeit ist die Annahme und Umsetzung von Prüfungsempfehlungen. Daher erfasst so gut wie jede ORKB, wie vielen ihrer Empfehlungen nachgegangen wird.

Bei der konzeptuellen Wirksamkeit geht es um die Erkenntnisse, welche die geprüfte Stelle aus der Prüfung gewinnt. Wissen beeinflusst Vorgehensweisen mittel- bis langfristig auf viele verschiedene Arten. Aufgrund des Zeitrahmens und der Subtilität der Veränderung ist es schwierig, die Wirksamkeit zu messen. Konzeptuelle Wirksamkeit hat Vorrang vor instrumenteller und strategischer Wirksamkeit.

Strategische Wirksamkeit ist die Verwendung von Prüfberichten in Debatten und Verhandlungen als Mittel zur Beeinflussung der Entscheidungsfindung, zum Beispiel um Budgetkürzungen zu entkommen.

Wirksamkeit ist in der Regel auf drei Ebenen spürbar: der Mikro-, der Meso- und der Makroebene. Die Mikroebene besteht aus Faktoren mit direktem Bezug zur eigentlichen Prüfung. Die Mesoebene bezieht sich auf die Beziehung zwischen der ORKB und der geprüften Stelle. Die Makro- oder Nationalebene beinhaltet den soziopolitischen Kontext und die Merkmale des öffentlichen Sektors, in dem die Prüfung stattfindet.

Abbildung: das Wirksamkeitsmodell für Wirtschaftlichkeitsprüfungen, nach Van Loocke und Put (2011)

Die herkömmlichste und verbreitetste Methode der Wirksamkeitsmessung besteht darin, die Anzahl an angenommenen Empfehlungen zu erfassen. Wenn die Annahmerate hoch ist, ORKB sich aber auf die Selbsteinschätzung der geprüften Stellen verlassen, ist die Anzahl unter Umständen zu hoch. Ein weiterer Nachteil besteht darin, dass die Erfassung der angenommenen Empfehlungen nur die instrumentelle Wirksamkeit einbezieht und die Komplexität sowie manchmal lange Dauer etwaiger Weiterverfolgung nur wenig Beachtung findet. Jüngste Studien haben daher andere wirksamkeitsbeeinflussende Faktoren wie politische Rechenschaftspflicht, Widerstand vonseiten der geprüften Stelle und politische oder mediale Debatten miteinbezogen.

Wirksamkeitsfördernde und -hindernde Faktoren in den Niederlanden

In den Niederlanden verwendeten wir eine praxisbewährte Erhebung, die alle Wirksamkeitsarten berücksichtigt. Unser erstes Fazit war, dass die Wirtschaftlichkeitsprüfungen des NCA mit einem Durchschnitt von 4,48 auf einer 7-stufigen Likert-Skala eine leicht positive Wirkung auf die Zentralregierung haben (Standardabweichung = 1,19). Das ist vergleichbar mit der Wirksamkeit der ORKB Kanada (Westminster-Modell) und liegt knapp über den 3,2/7 der ORKB Belgien (Gerichtsmodell). Die Wirksamkeit war hauptsächlich konzeptuell, leicht instrumentell und mäßig strategisch. In der Praxis bedeutet das, dass durch die Prüfungen hervorgerufene Veränderungen subtil und langsam waren. Dies war auch in Belgien und Kanada der Fall.

Interessanterweise wird die Wirksamkeit einer ORKB nicht immer notwendigerweise als etwas Positives angesehen. Einige niederländische Ministerien meldeten einen Anstieg der Betriebskosten bei gleichbleibendem mittelfristigem Nutzen. Darüber hinaus führte die Einführung zusätzlicher im Prüfbericht empfohlener Kontrollen zu höherer Unzufriedenheit im öffentlichen Dienst.

Auf der Mikroebene erklärten zwei Faktoren die Wirksamkeit der jeweiligen Prüferin bzw. des jeweiligen Prüfers: erstens die Beziehung zwischen der Prüferin bzw. dem Prüfer und der geprüften Stelle, zweitens die Expertise des Prüfteams. Prüfungen wurden eher akzeptiert, wenn die Kommunikation offen und professionell war. In den Niederlanden war die Bereitschaft, einen Dialog mit der geprüften Stelle aufzunehmen, von besonderer Bedeutung für die Annahme der Prüfungserkenntnisse. Wenn Ministerien ein Prüfteam als fachkundig wahrnahmen, war dessen Wirksamkeit viel höher, als wenn die geprüfte Stelle der Meinung war, dass es dem Prüfteam an Fachwissen mangelte. Ein letzter wichtiger Punkt, der aus der Literatur hervorgeht, ist die Qualität der Prüfberichte.

Auf der Mesoebene tritt Wirksamkeit wahrscheinlicher ein, wenn die Regierung, das Parlament sowie die Führungskräfte und das Personal der Ministerien die gleiche Meinung zu den Empfehlungen der ORKB haben. Wenn die Prüfungserkenntnisse den Prioritäten der hochrangigen niederländischen Beamtenschaft des Ministeriums entsprachen, wurden sie eher angenommen. Die Umsetzung hängt immer von der Bereitschaft der Beamtenschaft ab. Diese ist eher geneigt, zu kooperieren, wenn sie die Notwendigkeit und die Nutzen der Prüfungsempfehlungen versteht.

Auf der niederländischen National- oder Makroebene hatte die Beteiligung des Parlaments mäßige Auswirkungen, sowohl im positiven als auch im negativen Sinn. Abgeordnete konnten die Umsetzungsgeschwindigkeit erhöhen, die Behebung von Mängeln sowie die Umsetzung echter Lösungen für ermittelte Probleme veranlassen. Jedoch hatte die Beteiligung des Parlaments manchmal auch negative Effekte auf die Ministerien, zum Beispiel einen Anstieg der Bürokratie oder Verwirrung in Bezug darauf, was das Parlament von der Ministerin bzw. dem Minister will, was zu einer Handlungsparalyse führte.

Mediale Aufmerksamkeit ist die zweite Hauptdeterminante auf Makroebene: Sie führte zur Reaktivierung politischer Debatten in den Niederlanden und zu Veränderungen in der Zentralregierung. Die Auswirkungen waren aber nicht immer positiv. In manchen Fällen brachte mediale Aufmerksamkeit den Routinebetrieb einer Organisation durcheinander und Verfahren wurden – vielleicht als Schaufensterpolitik oder in einem Versuch, entschlossen zu wirken – gestrafft.

Abbildung: Bausteine zur Ankurbelung der Wirksamkeit von Wirtschaftlichkeitsprüfungen

Bausteine einer Theorie über die Wirksamkeit von Wirtschaftlichkeitsprüfungen in der öffentlichen Verwaltung

In diesem letzten Abschnitt stellen wir Bausteine einer Theorie über die Wirksamkeit von ORKB-Wirtschaftlichkeitsprüfungen vor. Mit der niederländischen Studie verfügen wir nun über kohärentes und konsistentes Datenmaterial zu allen drei ORKB-Modellen, das sich über einen Zeitraum von vielen Jahren erstreckt und aus verschiedenen Teilen der Welt stammt. Daher können wir die wichtigsten Wirksamkeitsfaktoren für Wirtschaftlichkeitsprüfungen ermitteln. Um eine schlüssige Theorie zu entwickeln, ist eine umfassende Literaturanalyse erforderlich.

Die Voraussetzung für Wirksamkeit ist die Legitimität der ORKB. Wenn eine ORKB als legitim und als wichtiger Teil der Regierungsführung angesehen wird, ist die Wirksamkeit der Prüfungen tendenziell höher. Dieser Mechanismus wurde sowohl in Industrieländern in Skandinavien als auch in Entwicklungsländern mit hoher Wirksamkeit aufgezeigt.

Die Qualität des Prüfteams ist ein zentraler Prädiktor der Wirksamkeit auf Mikroebene. Eine konstruktive Interaktion zwischen der Prüfstelle und der geprüften Stelle kurbelt die Akzeptanz der Prüfung an. Eine professionelle Arbeitsbeziehung, die den richtigen Mittelweg zwischen Unabhängigkeit der Prüfstelle sowie der geprüften Stelle und gegenseitigem Verständnis findet, kann dies fördern. Der Nutzen und die Qualität des Prüfberichts sowie der Empfehlungen sind ebenfalls wichtige Faktoren für die Wirksamkeit. Je konkreter die Empfehlungen des Berichts sind, desto höher ist dessen wahrgenommener Wert und somit die Wirksamkeit.

Es gibt nur wenig Forschung dazu, wie die Wirksamkeit auf der Ebene der geprüften Stelle gesteigert werden kann. Ein Faktor hebt sich ab: Konsens zwischen den verschiedenen Machtzentren. Konsens zwischen der Prüfstelle, dem Personal der unteren Hierarchieebenen der Organisation, den Führungskräften und der politischen Führungsspitze ist der beste Prädiktor für Wirksamkeit. Je größer der Konsens hinsichtlich der Prüfungserkenntnisse und -empfehlungen ist, desto wahrscheinlicher tritt Wirkung ein.

Auf der Makroebene wird in vielen Artikeln festgestellt, dass sowohl die parlamentarische als auch die mediale Berücksichtigung einer Prüfung deren Wirksamkeit verstärkt. Das ist einer der Gründe, weshalb die INTOSAI die Einbeziehung der Medien und des Parlaments befürwortet. NGOs und zivilgesellschaftliche Organisationen werden ebenfalls zunehmend als Kanäle zur Verstärkung der ORKB-Wirksamkeit gesehen. Mediale Aufmerksamkeit kurbelte die Prüfungswirksamkeit in allen untersuchten Fällen an. In den meisten Fällen trat die Wirksamkeit in Form von Kontrolle, indem jemand für die Prüfungserkenntnisse zur Rechenschaft gezogen wurde, zu Tage. Mediale und politische Aufmerksamkeit führt nicht automatisch zu Veränderungen in der öffentlichen Verwaltung. Mediale Aufmerksamkeit führte in nur zirka der Hälfte der untersuchten Fälle zu Veränderungen innerhalb einer Organisation. Wie wir auf der Mesoebene gesehen haben, spielen der Konsens der Führungskräfte und der Wille der Organisation eine wesentliche Rolle, wenn es zu Veränderungen kommen soll.

Fazit

Wirtschaftlichkeitsprüfungen können sich positiv auf staatliche Organisationen auswirken. Die Wirksamkeit kann viel umfassender sein als die typische Umsetzung von Prüfungsempfehlungen. Prüfungen können eine konzeptuelle Wirksamkeit entfalten, wenn sie die Denkweise einer geprüften Stelle verändern. Prüfungen können ebenfalls strategisch eingesetzt werden, um Entscheidungen zu beeinflussen. Wirksamkeit beginnt mit der jeweiligen Prüferin bzw. dem jeweiligen Prüfer. Je professioneller und fachkundiger diese bzw. dieser ist, desto wahrscheinlicher kommt es zu einer positiven Wirkung. Ihre bzw. seine Professionalität sollte nicht nur aus einem gut geschriebenen qualitativ hochwertigen Bericht hervorgehen, sondern auch aus der Bereitschaft, offen zu kommunizieren und in einen Dialog mit der geprüften Stelle zu treten. Diese Mikrofaktoren beeinflussen auch die Mesoebene. Wenn die Organisation und ihre Führungsebene von der Notwendigkeit, ihr Handeln als Reaktion auf die Prüfungserkenntnisse und -empfehlungen zu ändern, nicht überzeugt sind, nimmt die Wirkungswahrscheinlichkeit ab. Die politische Betrachtung im Parlament, die Medien oder gar die Beteiligung von NGOs können dazu beitragen, dass die politische Debatte reaktiviert wird und Empfehlungen angenommen werden. Jedoch kann der Widerstand der Organisation auch in einem solchen Fall zu groß sein, als dass sie sich verändert. Aus diesem Grund ist die Professionalität der einzelnen Prüferin bzw. des einzelnen Prüfers so wichtig. Die niederländische Studie und ein Großteil der wissenschaftlichen Literatur zeigen, dass professionelles Verhalten und offene Kommunikation mit der geprüften Stelle den Widerstand einer Organisation beseitigen sowie dazu beitragen können, dass die Prüfungsempfehlungen angenommen und umgesetzt werden.