von Loren Yager und Martin Alteriis, Zentrum für Prüfungsexzellenz der ORKB der Vereinigten Staaten von Amerika
Einführung
Eines der Hauptmerkmale von Rechnungskontrollbehörden und Prüfberichten ist die starke Gewichtung von Nachweisen zur Untermauerung der Erkenntnisse und Empfehlungen. Daher sollte sämtlichen Techniken, die das Potenzial bergen, diesen Nachweisen mehr Aussagekraft zu verleihen, hohe Priorität eingeräumt werden. Eine Möglichkeit, dieses Potenzial zu ermitteln, besteht darin, drei der von Rechnungskontrollbehörden zur Erhebung von Nachweisen verwendeten Techniken genau unter die Lupe zu nehmen: Umfragen, Leitfadeninterviews und Datenerhebungsinstrumente (vom Englischen „data collection instruments“ kurz DCI).
Umfragen stellen für Rechnungskontrollbehörden ein unglaublich wertvolles Hilfsmittel dar, wenn die benötigten Informationen in schriftlichen Quellen nicht zu finden sind. Die für die Durchführung einer Umfrage benötigten zeitlichen und sonstigen Ressourcen schränken ihre Verwendungsmöglichkeiten jedoch ein. Demgegenüber hat es den Anschein, dass ein besseres Verständnis von Leitfadeninterviews und Datenerhebungsinstrumenten das Potenzial hat, Prüfungen ohne derartig große Investitionen rigoroser zu gestalten. So verwenden Rechnungskontrollbehörden in der Regel bei all ihren Prüfungen in irgendeiner Form Interviews. Schon geringfügige Veränderungen zur Strukturierung des Prozesses können ohne großartige zusätzliche Investition von großem Nutzen sein. Ebenso findet im Zuge vieler Prüfungen irgendeine Art der Einsichtnahme statt, sei es in physische Räumlichkeiten oder in behördliche Dokumente. Der Einsatz eines strukturierteren Ansatzes, zum Beispiel eines DCI, könnte den Erkenntnissen ohne zusätzlichen zeitlichen oder sonstigen Aufwand ebenfalls mehr Aussagekraft verleihen.
Abbildung 1: Arten häufig verwendeter Datenerhebungsmethoden
Umfragen
Umfragen können bei der Erhebung von Prüfungsnachweisen ein nützliches Hilfsmittel darstellen, insbesondere wenn es keine andere Möglichkeit gibt, diese Art der Informationen zu gewinnen. So stellen Umfragen oft die einzige Möglichkeit dar, Daten über die Meinung der Befragten zu erheben. Ganz allgemein bieten Umfragen die Möglichkeit, Erfahrungsberichte präziser zu erfassen. Auf eine gewisse Weise ermöglichen es Umfragen, Erfahrungsberichte in „Daten“ zu überführen.
Der Nachteil ist, dass Umfragen, deren Qualität hoch genug ist, um als Prüfungsnachweise zu dienen, in der Ausarbeitung und Umsetzung teuer sowie zeitaufwendig sind. Einer der größten Unterschiede zwischen Umfragen und den anderen beiden Erhebungsmethoden ist, dass das Prüfteam nicht anwesend ist, wenn die Befragten die Umfrage ausfüllen. Demgegenüber werden Leitfadeninterviews und Datenerhebungsinstrumente von Mitgliedern des Prüfteams angeleitet bzw. ausgefüllt (siehe Abbildung 1). Diese Unterscheidung wirkt sich auf die benötigte Zeit für die Vorbereitung sowie das Vorabtesten einer Umfrage aus. Da das Team nicht anwesend ist, um etwaige Fragen zu beantworten, müssen die Fragen der Umfrage so gestaltet und umgesetzt werden, dass sie zu keinerlei Verzerrung oder Verwirrung führen und eine angemessene Rücklaufquote erzielen.
Abbildung 2 enthält eine Darstellung der für die erfolgreiche Durchführung einer Umfrage benötigten Schritte, wobei der Zeitaufwand stark variieren kann, je nach Faktoren wie der Größe und Erfahrung des Prüfteams, Komplexität sowie Sensibilität des Themas und Größe sowie Zugänglichkeit der Zielgruppe.
Abbildung 2: Wichtige Schritte bei der Durchführung einer Umfrage
Es gibt Situationen, in denen Umfragen die beste verfügbare Methode zur Erhebung der für die Prüfung erforderlichen Nachweise darstellen. Jedoch erfordert der Einsatz einer Umfrage – wie jede Entscheidung, die eine große Investition beinhaltet – eine genaue Kosten-Nutzen-Analyse im Vergleich zu anderen Methoden zur Erhebung von Prüfungsnachweisen.
Leitfadeninterviews
Demgegenüber gibt es andere Datenerhebungsmethoden, die großes Potenzial aufweisen, ohne großartige zusätzliche Investition für mehr Aussagekraft zu sorgen. Eine davon kann „Leitfadeninterview“ genannt werden. Es unterscheidet sich von normalen Interviews, da es oft irgendeine Kombination aus offenen und geschlossenen Fragen enthält. Die geschlossenen Fragen enthalten eine bestimmte Anzahl an Antwortmöglichkeiten: ja/nein, Ausmaß (großes, mittleres oder geringes Ausmaß) etc.
Mit Leitfadeninterviews könnte das Nachweiserhebungsverfahren aussagekräftiger gestaltet werden, da die Teams einige der gleichen Auswahl- und Umsetzungstechniken anwenden können, die auch bei Umfragen zum Einsatz kommen. Daraus ergibt sich, dass in der Ausarbeitungsphase der Interviews mehr Zeit benötigt wird. Denn das Ziel besteht darin, vor dem Interviewbeginn mit einem stabileren Hilfsmittel ausgestattet zu sein.
Abbildung 3: Strukturierte Interviews benötigen mehr Zeit in der Ausarbeitung
Jedoch birgt die Vorausplanung zwei potenzielle Vorteile für die Prüfung. Erstens sorgt die Planung des Interviews tendenziell dafür, dass in späteren Prüfungsphasen weniger Zeit benötigt wird, insbesondere für die Analyse und Dokumentation. Wenn das Team beispielsweise einige geschlossene Fragen in das Interview aufgenommen hat (siehe Beispiel unten), sind die Antwortmöglichkeiten beschränkt.
Hat Ihnen die Schulung die für die Durchführung der Überprüfungen notwendigen Kompetenzen vermittelt?
a. in großem Ausmaß
b. in mittelmäßigem Ausmaß
c. in geringem Ausmaß
In solchen Fällen sind sowohl Analyse als auch Dokumentation der Fragen des Leitfadeninterviews stark vereinfacht, da die Antworten lediglich ausgezählt werden müssen. Darüber hinaus ist das Format eines Leitfadeninterviews flexibel: Das Team kann offene Fragen einbauen, wenn die Antworten im Vorfeld nicht so einfach zu antizipieren und kategorisieren sind.
Ein größerer Vorteil von Leitfadeninterviews ist jedoch, dass sie zu aussagekräftigeren Nachweisen und Prüfungserkenntnissen führen können. So würde die zentrale Erkenntnis in etwa wie die Aussage im linken Teil von Abbildung 4 lauten, wenn die oben angeführte Frage nicht zu einem Leitfadeninterview gehören würde:
Abbildung 4: Typische Erkenntnisse aus narrativen Interviews vs. Leitfadeninterviews
Demgegenüber könnte das Prüfteam den Nachweis viel genauer und aussagekräftiger anführen, wenn es allen Befragten dieselbe Frage auf dieselbe Art gestellt hätte, so wie in der Aussage im rechten Teil der Abbildung. Zusätzliche Fragen in einem Leitfadeninterview könnten zu weiteren Erkenntnissen darüber führen, welche Teile der Schulung mangelhaft waren. Daher stellt das Format des Leitfadeninterviews für eine bescheidene Investition in die Ausarbeitungsphase im Vorfeld der Interviews die ideale Mischung „aus beiden Welten“ dar.
Datenerhebungsinstrumente (auch bekannt als Analysedateneingabeformulare)
Die zweite Technik, die zu aussagekräftigeren Erkenntnissen führen kann, ist der Einsatz eines DCI. Dabei handelt es sich um Dateneingabeformulare, die von Analystinnen und Analysten im Anschluss an die für die Prüfung erarbeiteten Verfahren und Prozesse ausgefüllt werden. Viele Rechnungskontrollbehörden werden diese Hilfsmittel auf die eine oder andere Weise ohnehin schon einsetzen, aber die Möglichkeiten, Prüfungen damit rigoroser zu gestalten, scheinen schier endlos. Eines der gängigsten mentalen Bilder eines Datenerhebungsinstruments ist eine Bauinspektorin mit einem Klemmbrett, die alle erforderlichen Punkte abhackt – wobei es heutzutage unter Umständen geläufiger ist, das Klemmbrett durch irgendein Tablet zu ersetzen.
Diese Art des Datenerhebungsinstruments kann für Prüferinnen und Prüfer von Nutzen sein, wenn sie Gebäude, Lager oder sonstige physische Bestände überprüfen, und sie dabei unterstützen, auf alle für die Überprüfung ausgewählten Fälle ein konsistentes Untersuchungsverfahren anzuwenden. Datenerhebungsinstrumente können jedoch auch verwendet werden, um die Begutachtung der von einem Ministerium bzw. Ressort zur Verfügung gestellten Unterlagen rigoroser zu gestalten. Prüferinnen und Prüfer begutachten beispielsweise häufig Fortschrittsberichte oder Verträge, um sicherzustellen, dass bestimmte rechtliche Vorgaben eingehalten werden. Oft ist es möglich, ein Datenerfassungsinstrument auszuarbeiten, mit dem Unterlagen konsistenter unter die Lupe genommen werden können. Wie bei den Leitfadeninterviews besteht auch hier ein Spannungsfeld zwischen zusätzlicher Zeit in der Ausarbeitungsphase, die im Gegenzug dann zu einer einfacheren Analyse und aussagekräftigeren Ergebnissen führt.
Der Text auf der linken Seite stellt ein typisches Beispiel für eine Erkenntnis dar, wenn die Überprüfung nicht strukturiert erfolgt ist. Wird hingegen ein Datenerhebungsinstrument verwendet und die Qualität der Unterlagen von den Prüferinnen und Prüfern in drei Kategorien unterteilt, könnten die Erkenntnisse in einer Grafik wie auf der rechten Seite mit wesentlich höherer Aussagekraft zusammengefasst werden.
Abbildung 5: Typische Erkenntnisse aus unstrukturierten Überprüfungen vs. Einsatz eines Datenerhebungsinstruments (DCI)
Ein weiterer Vorteil der Ausarbeitung eines Datenerhebungsinstruments durch das Prüfteam besteht darin, dass sich sämtliche zur rigoroseren Gestaltung der Überprüfung unternommenen Schritte wahrscheinlich auf andere Arten auszahlen werden. Beispielsweise müsste das Team genau klären, welche Formulierungen gemäß den Kriterien erforderlich sind, z. B. zu den spezifischen Bedingungen, die zu einer Einstufung als „teilweise Dokumentation“ bzw. „vollständige Dokumentation“ führen würden. Diese Regeln würden zu einer konsistenten Anwendung der Kriterien beitragen und die interne Durchsicht vor der Veröffentlichung erleichtern. Diese Art der Genauigkeit wäre insbesondere von Nutzen, wenn die geprüfte Stelle die Erkenntnisse beanstandet und Einsicht in die Methode verlangt. Ohne rigorose Entscheidungsregeln und eine klare Auswertung der Ergebnisse verlangt die geprüfte Stelle unter Umständen eine Abänderung der Erkenntnisse. Mit einem Datenerhebungsinstrument und klaren Entscheidungsregeln steht das Prüfteam einer Infragestellung der Methode sowie der Erkenntnisse jedoch womöglich sogar positiv gegenüber.
Fazit
Ein zentrales Element von Wirtschaftlichkeitsprüfungen besteht laut ISSAI darin, „eine unabhängige und belastbare Stellungnahme oder Schlussfolgerung gestützt auf Prüfungsnachweise abzugeben“. Daher sollten alle Schritte, die Prüferinnen und Prüfer des öffentlichen Sektors setzen können, um aussagekräftigere Nachweise zu liefern, eine Priorität für Rechnungskontrollbehörden darstellen. Aus unserer Erfahrung mit US-amerikanischen und internationalen Rechnungskontrollbehörden geht hervor, dass ein gezielterer Einsatz von Umfragen sowie die häufigere Verwendung von Leitfadeninterviews und Datenerhebungsinstrumenten das Potenzial bergen, Prüfungsnachweisen mehr Aussagekraft zu verleihen und den Wirkungsgrad von Rechnungskontrollbehörden zu maximieren.
