Wie messen die Obersten Rechnungskontrollbehörden ihre Wirkung? Ergebnisse der Jahrestagung der INTOSAI-Arbeitsgruppe für die Evaluierung öffentlicher Politiken und Programme (WGEPPP)

Von Andrea Haeuptli – in Vertretung des Vorsitzes der Arbeitsgruppe für die Evaluierung öffentlicher Politiken und Programme

Die Existenz von Obersten Rechnungskontrollbehörden (ORKB) ist von entscheidender Bedeutung, um die Rechenschaftspflicht der Regierung sowie ein effizientes und wirksames Funktionieren des Staates zu gewährleisten. Insbesondere durch die Evaluierung der Politik und die Wirtschaftlichkeitsprüfung gehen die ORKBn über die Gewährleistung einer korrekten und gesetzeskonformen Verwaltungstätigkeit hinaus. Sie tragen zu einer wirksamen Umsetzung der Politik und damit zur Bereitstellung von gesellschaftlich wichtigen Gütern und Dienstleistungen bei. Dies kann nur geschehen, wenn die ORKB selbst wirksam sind. Außerdem sollten sie der Öffentlichkeit eine Bewertung ihrer Leistung und der letztendlichen Auswirkungen ihrer Arbeit vorlegen, um Rechenschaft ablegen zu können.

Doch schon die Messung der Wirkung und Leistung der ORKB kann eine Herausforderung sein. Die Institutionen decken das umfangreiche Portfolio aller staatlichen Aktivitäten ab und führen verschiedene Arten von Prüfungen, Bewertungen und juristischen Aufgaben durch. Angesichts der Individualität der einzelnen ORKB und ihres Umfelds fehlt ihnen oft ein vergleichbarer Leistungsmaßstab.

Auf der Jahrestagung der Arbeitsgruppe für die Evaluierung von öffentlichen Maßnahmen und Programmen befassten sich 34 Teilnehmer aus 19 ORKB mit diesem heiklen Thema. In einer vorläufigen Umfrage wollte der WGEPPP-Vorsitz Einblicke in den Status quo der derzeitigen Wirkungsmessung von ORKB auf der ganzen Welt gewinnen. Insgesamt 22 Mitglieds-ORKB[1] haben diese Umfrage beantwortet. Die Ergebnisse werden im Folgenden dargestellt.

Ergebnisdokumentation und Empfehlungscontrolling

Eine einfache Leistungsmessung sind Statistiken, die sich auf den Output der ORKB beziehen. 77% der antwortenden ORKB gaben an, dass sie die Anzahl der durchgeführten Prüfungen pro Jahr veröffentlichen. 86 % geben die Anzahl der veröffentlichten Berichte pro Jahr an. Weniger ORKB (41 %) geben die Anzahl der geplanten Prüfungen pro Jahr an. Dennoch könnten die Informationen über Abweichungen zwischen geplanten und durchgeführten Prüfungen einen Hinweis auf die Leistung der jeweiligen ORKB geben.

Was die Informationen über die Empfehlungen betrifft, so gaben 72 % der Befragten an, dass sie den Status der Empfehlungen anhand von Dokumentationen und Follow-up-Audits verfolgen, um die tatsächliche Umsetzung sicherzustellen. Allerdings gaben nur 45 % der Befragten an, die Anzahl der angenommenen/umgesetzten Empfehlungen pro Jahr zu veröffentlichen. Im Gegensatz dazu veröffentlichen nur 14 % auch die Anzahl der Empfehlungen, die von den geprüften Stellen abgelehnt bzw. nicht umgesetzt wurden. In der Zwischenzeit werden Empfehlungen im Allgemeinen nachverfolgt, aber diese Informationen erreichen nicht so oft die Interessengruppen der ORKB, die über die geprüften Stellen hinausgehen.

Berechnungen der finanziellen Einsparungen

27% der antwortenden ORKB gaben an, dass sie die Höhe der potenziellen Einsparungen aufgrund ihrer Prüfungen messen und diese Zahlen veröffentlichen. In 83% dieser Fälle besteht die Maßnahme aus einer “Value for Money”-Kennzahl, d.h. sie besagt, dass ein bestimmter Betrag des ORKB-Budgets einer bestimmten Reduzierung der staatlichen Ausgaben entspricht. Die Art und Weise, wie diese Maßnahmen berechnet werden, ist sehr unterschiedlich. Sie bestehen zum Beispiel aus dem Verhältnis zwischen erwartetem Nutzen und erwarteten Kosten (ORKB Thailand), potenziellem Nutzen und tatsächlichem Nutzen (ORKB Brasilien) oder aus der Korrelation zwischen dem Gesamtbudget der ORKB und den Kürzungen im Staatshaushalt (ORKB Lettland).

Befragungen der geprüften Personen

Die geprüfte Stelle ist eine wichtige Informationsquelle, wenn es um die Leistung der ORKB geht. Obwohl subjektiv, ist ihre Bewertung der Verbesserungen und Nebenwirkungen der Prüfungstätigkeit der ORKB von entscheidender Bedeutung. 41 % der Befragten gaben an, Umfragen bei den geprüften Stellen durchzuführen. In einem Drittel dieser Fälle ist die Erhebung ein Standardverfahren, das bei jeder Prüfung durchgeführt wird. In 80 % der Fälle konzentriert sich die Erhebung auf eine bestimmte Prüfung und ihre Ergebnisse und nicht auf eine Gesamtbewertung der Arbeit der ORKB.

Zivilgesellschaft und politischer Diskurs

Die Ergebnisse der Tätigkeit der ORKB haben Auswirkungen über die geprüften Stellen und die staatliche Verwaltung hinaus. Sie können für die Zivilgesellschaft und den politischen Diskurs von entscheidender Bedeutung sein. Dementsprechend verfolgen 46 % der antwortenden ORKB die Medienberichterstattung auf der Grundlage ihrer Berichte. 41 % beziehen Messungen des Website-Verkehrs und der Interaktion mit sozialen Medien ein. Dennoch werden diese Zahlen nicht direkt in die allgemeinen Wirkungsmessungen der antwortenden ORKB integriert. Sie werden in den Tätigkeitsberichten als indikative Zahlen angegeben und informieren die ORKBn über die öffentliche und politische Wahrnehmung ihrer Arbeit auf qualitativer Ebene. Darüber hinaus bemühen sich 50 % der antwortenden ORKB aktiv um Rückmeldungen von Bürgerpanels, Arbeitsgruppen und NROs. Was die Interaktion mit dem Parlament betrifft, so gaben 50% der antwortenden ORKB an, den Anteil der vom Parlament und/oder der Regierung in Auftrag gegebenen Berichte zu messen. 36% geben an, zu messen, wie oft Prüfungsberichte im Parlament zitiert werden. Der gleiche Prozentsatz misst, wie oft das Parlament/die Regierung aufgrund von Prüfberichten Gesetzesänderungen einführt.

Peer Reviews und externe Bewertungen

36 % der antwortenden ORKB gaben an, dass sie sich bereits einer Bewertung ihrer Auswirkungen durch externe Akteure unterzogen haben. In den meisten Fällen handelt es sich dabei um Peer Reviews, die von anderen ORKB durchgeführt werden.

Schlussfolgerungen

Die vorgelegten Zahlen zeigen allgemeine Trends bei der Bewertung der Leistung der ORKB. Es wird deutlich, dass bloße Output-Messungen wenig Aufschluss über die tatsächliche Wirksamkeit der Arbeit von ORKB geben. Das Fehlen – oder Nichtvorhandensein – eines allgemeinen Maßstabs für alle ORKB erschwert das Verständnis der Bedeutung solcher Ergebnisse. Dementsprechend bleiben die Zahlen auch für die breite Öffentlichkeit schwer zu interpretieren.

Einige ORKBn erweitern daher das Spektrum der Messungen auf explizitere Indikatoren, wie z.B. die Messung des Kosten-Nutzen-Verhältnisses. Es besteht jedoch auch ein Bedarf an qualitativen Informationen. Der zivilgesellschaftliche und politische Diskurs ist auch für ORKB von Interesse, allerdings eher auf informativer Ebene und wird in der Regel nicht in Leistungsindikatoren berücksichtigt.

Das Spektrum der Möglichkeiten und Praktiken zur Messung der Leistung einer ORKB ist daher sehr unterschiedlich. Die Diskussion dieser Ergebnisse auf der Jahrestagung der WGEPPP zeigte, dass die Mitglieds-ORKB an einer Standardisierung der Leistungs- und Wirkungsmessung interessiert sind. Gleichzeitig wurde in der Diskussion deutlich, dass eine Norm für alle ORKB leicht auf den kleinsten gemeinsamen Nenner reduziert werden könnte und daher wenig Erkenntnisgewinn bringt. Die Arbeitsgruppe für die Evaluierung öffentlicher Politiken und Programme (WGEPPP) wird dieses wichtige Thema in Zukunft weiterverfolgen.

[1 ] Zu den antwortenden ORKB gehören: Algerien, Brasilien, Bulgarien, Dänemark, Europäischer Rechnungshof, Finnland, Frankreich, Italien, Kenia, Lettland, Litauen, Madagaskar, Neuseeland, Pakistan, Peru, Philippinen, Slowakei, Spanien, Schweden, Schweiz, Thailand, Vereinigte Staaten