Autorinnen und Autoren: Nico Granitzer, Andrea Häuptli & Emmanuel Sangra, INTOSAI-Arbeitsgruppe Evaluierung öffentlicher Maßnahmen und Programme
Für Evaluierungen und Wirtschaftlichkeitsprüfungen wird ein fundiertes Auswahlverfahren benötigt, um ihren Erfolg zu gewährleisten. Durch eine gründliche und systematische Betrachtung potenzieller Wirtschaftlichkeitsprüfungsthemen können jene Themen ermittelt werden, welche die größten Risiken bzw. das größte Verbesserungspotenzial aufweisen. Darüber hinaus vereinfacht es dieser Ansatz, den optimalen Zeitpunkt festzulegen, um die Ergebnisse in die Weiterentwicklung der jeweiligen staatlichen Maßnahmen einfließen zu lassen. Folglich führt eine wohlüberlegte Auswahl von Evaluierungsthemen mit größerer Wahrscheinlichkeit zu positiven Effekten auf bestehende staatliche Maßnahmen.
Als Oberste Rechnungskontrollbehörden (ORKB) stehen wir somit vor mehreren Herausforderungen: Wie können wir institutionelle Strukturen und Verfahren aufbauen, um die Ermittlung relevanter Evaluierungsideen zu ermöglichen? Und wie können wir jene Evaluierungen und Zeitpläne bestimmen, die den größten Nutzen aus diesen Ideen ziehen?
Vor diesem Hintergrund tagte die Arbeitsgruppe Evaluierung öffentlicher Maßnahmen und Programme (WGEPPP) im Juni 2024 in Bukarest, Rumänien. Wir beschäftigten uns mit dem Thema, wie die Auswahlverfahren von ORKB im Allgemeinen funktionieren und wie diese zu optimalen Evaluierungs- sowie Wirtschaftlichkeitsprüfungsthemen führen können. Zusätzlich zu den Workshops und Diskussionen lieferte eine im Vorfeld der Tagung unter 22 ORKB durchgeführte Umfrage wertvolle Einblicke in deren Erfassungs- und Auswahlverfahren. Die wichtigsten Ergebnisse werden im Folgenden vorgestellt.
Abbildung 1: Auswahl und Schwerpunkt von Evaluierungs- und Wirtschaftlichkeitsprüfungsthemen in ORKB, in Anlehnung an Sangra & Crémieux, 2013 (1)
Kolleginnen und Kollegen sowie Stakeholder als Hauptquellen für Themenanregungen
Insgesamt zeigte die Tagung, dass die meisten Mitglieds-ORKB bei der Ermittlung und Auswahl der Prüfungsthemen stark autonom vorgehen. 91 % der teilnehmenden ORKB können die meisten oder sogar all ihre Themen eigenständig auswählen. Die Verantwortung für die Gewinnung von Prüfungsideen liegt bei den ORKB selbst. Eine wichtige Voraussetzung für die Auswahl geeigneter Wirtschaftlichkeitsprüfungsthemen ist dabei eine umfangreiche Ideensammlung. Abbildung 1 veranschaulicht schematisch den Prozess der Ermittlung und Auswahl der Themen sowie der Schwerpunktsetzung.
Interne Anregungen spielen eine besonders wichtige Rolle: 95 % der teilnehmenden ORKB gaben an, dass Prüferinnen und Prüfer Themen vorschlagen können, und 68 % halten diese Anstöße häufig oder systematisch für nützlich, insbesondere wenn die betreffende Person über mehrjährige Erfahrung in bestimmten Politikbereichen verfügt. Die meisten der teilnehmenden ORKB ergänzen diese Vorschläge mit einer Risikobewertung, bei der strukturierte Risiken in allen geprüften Stellen ermittelt werden: Derartige Verfahren gibt es in 81 % der teilnehmenden ORKB und 64 % erachten die gewonnenen Erkenntnisse als nützlich für die Themenfindung. Auf der Tagung wurde deutlich, dass mehrere ORKB zunehmend auf Datenanalysen zurückgreifen, um ermittelte Risiken zu quantifizieren. So präsentierte die Oberste Rechnungskontrollbehörde der Slowakei eine umfassende politische Bestandsaufnahme, die es ihr ermöglicht, durch internationales Benchmarking, zum Beispiel mithilfe mehrerer Indikatoren zur Gesundheitspolitik, unzulängliche Politikbereiche zu ermitteln.
Abbildung 2: Nützlichste Quellen für die Ermittlung von Evaluierungsthemen, gemäß der Rangliste der Teilnehmenden an der WGEPPP-Tagung 2024
Die beiden wichtigsten externen Quellen für neue Prüfungsthemen sind die von den staatlichen Maßnahmen betroffenen Stakeholder sowie Expertinnen und Experten in den jeweiligen Bereichen. Die teilnehmenden ORKB verwenden verschiedene Methoden, um Informationen von diesen Gruppen zu erlangen. So halten viele regelmäßig informelle Treffen ab (z. B. die Schweiz), während andere ORKB den Austausch mit diesen Gruppen in Form von Beratungsgremien, die sich aus Mitgliedern aus Berufsverbänden oder der Wissenschaft zusammensetzen (wie in Rumänien und Indien), oder durch regelmäßige Umfragen (z. B. in der Slowakei) formalisieren. Darüber hinaus ermöglichen es 64 % der teilnehmenden ORKB den Bürgerinnen und Bürgern, Themenvorschläge über Mechanismen wie Whistleblowing oder andere Online-Meldesysteme einzureichen. 77 % dieser ORKB finden diese Vorschläge bei der Themenfindung in manchen Fällen nützlich. Ebenso sind Themenvorschläge des Parlaments oder der Regierung in 86 % der teilnehmenden ORKB möglich, werden aber nur von 69 % als hilfreich erachtet.
Ein wichtiger Faktor, der in Bezug auf alle Quellen genannt wurde, ist die Bedeutung des Feedbacks für die Einreicherinnen und Einreicher der Ideen (Kolleginnen und Kollegen, Bürgerinnen und Bürger etc.). ORKB sollten sie wissen lassen, in welchem Umfang ihre Anregungen umgesetzt und berücksichtigt wurden. Dies trägt dazu bei, die Motivation und das Engagement der Einreicherinnen und Einreicher aufrechtzuerhalten.
Klar festgelegte Auswahlkriterien und strategische Planungsprozesse
Auf der Grundlage dieser Überlegungen erfolgt die Auswahl sowie Vorbereitung der Wirtschaftlichkeitsprüfungsthemen mit Blick auf eine maximale Prüfungsrelevanz. Das Ziel besteht darin, die Prüfungsziele, den entsprechenden Schwerpunkt und den Durchführungszeitraum festzulegen.
Im Allgemeinen verdeutlichte die Diskussion anlässlich der Tagung, dass die Festlegung klar definierter Auswahlkriterien entscheidend ist. Dementsprechend folgen 77 % der teilnehmenden ORKB gemäß den Vorgaben in ISSAI 300 einem strategischen Planungsprozess bei der Themenauswahl und 68 % schreiben bei der Themenauswahl festgelegte Qualitätskriterien vor. Die Gestaltung dieses Planungsprozesses und die verwendeten Kriterien sind jedoch sehr unterschiedlich. Einige ORKB, wie jene in Spanien, Brasilien und auf den Philippinen, legen jährlich neue Themenschwerpunkte fest, während sich andere dabei auf eine längerfristige, übergreifende ORKB-Strategie stützen.
Bei den Kriterien werden verschiedenste Aspekte berücksichtigt: beispielsweise das Veränderungspotenzial (z. B. Kenia und Bulgarien), die erwarteten Kosten der Evaluierung (z. B. Litauen), die politische Brisanz (z. B. Philippinen) oder die verfügbaren Kapazitäten und Kompetenzen in der ORKB (z. B. Europäischer Rechnungshof). Auch der organisatorische Aufbau ist sehr unterschiedlich. In den letzten Jahren haben mehrere ORKB eigene Strategieabteilungen eingerichtet, die sich speziell mit der Vorbereitung von Prüfungsthemen befassen, so etwa Rumänien, Polen und der Europäische Rechnungshof.
Eine besondere Herausforderung bilden Prüfungsbereiche, die bisher selten oder nie geprüft wurden. Um diese Herausforderung zu bewältigen, führen 64 % der teilnehmenden ORKB Vorstudien durch, um ein tieferes Verständnis für die aktuellen Entwicklungen und Risiken im Hinblick auf das Prüfungsthema zu gewinnen. Dieser effiziente Ansatz trägt dazu bei, fundierte Entscheidungen über die Durchführung und den zeitlichen Ablauf der Evaluierung zu treffen.
Optimale Themenauswahl durch kontinuierliche Weiterentwicklung
Abschließend lässt sich sagen, dass ORKB trotz organisatorischer Unterschiede und verschiedener Ansätze auf strategischer Ebene bedeutende Gemeinsamkeiten aufweisen: Praktisch alle ORKB folgen einem formellen Verfahren zur Ermittlung und Auswahl von Evaluierungsthemen. Der Aufbau von Netzwerken mit Stakeholdern und der akademischen Welt spielt eine wichtige Rolle. Die meisten ORKB verfügen über einen strategischen Planungsprozess. Insgesamt gelten jedoch nach wie vor Prüferinnen und Prüfer selbst als bedeutendste Themenquelle. Weiterentwicklungen, wie die Integration neuer Datenanalysemethoden sowie Formate zur Einbindung externer Akteurinnen und Akteure, bilden einen laufenden Prozess. Dabei verdeutlicht die zunehmende Relevanz dieser Überlegungen sowie die Einrichtung von speziellen Abteilungen in ORKB die wachsende Bedeutung der optimalen Auswahl von Prüfungsthemen.
