Renforcez l’impact de vos audits de performance : Éléments constitutifs d’une théorie sur l’impact des Institutions supérieures de contrôle des finances publique
M. Sjoerd Keulen, conseiller stratégique, Cour des comptes des Pays-Bas. Cet article a été rédigé à titre personnel. L’enquête a été menée dans le cadre d’une recherche universitaire indépendante et n’a pas été réalisée dans le cadre du mandat de la Cour des comptes des Pays-Bas.
Introduction
Au cours des dernières décennies, de nombreuses Institutions supérieures de contrôle des finances publiques (ISC) ont fait de l’audit de performance l’une de leurs principales missions. Les audits de performance élargissent le rôle de l’ISC, qui passe du statut d’auditeur public principal à celui de juge, de jury et même de consultant en gestion. L’INTOSAI a promu l’audit de performance comme une méthode permettant d’établir l’économie, l’efficacité et l’efficience de la politique gouvernementale (« les 3E ») et comme un moyen de renforcer la responsabilité et la transparence des gouvernements.
Toutefois, certains critiques affirment que les audits de performance n’ont pas répondu aux attentes, qu’ils sont devenus un rituel creux ou qu’ils ont donné lieu à du pinaillage. Les données disponibles sur l’impact des audits de performance sont en effet ambiguës. Tout d’abord, le large éventail de modèles d’audit rend les comparaisons difficiles (Rana et al., 2022). Deuxièmement, tous les modèles de gouvernance des ISC n’ont pas fait l’objet d’une analyse quantitative et il n’existe pas d’éléments probants concernant le modèle collégial, tel que celui de la Cour des comptes des Pays-Bas (NCA).
Pour évaluer l’impact des audits de performance de l’administration centrale réalisés par la NCA, nous avons enquêté sur les audits de performance réalisés dans tous les ministères des Pays-Bas entre 2018 et 2021. Nous avons utilisé une enquête scientifiquement validée qui a été appliquée au Canada (Morin, 2014) et en Belgique (DeSmedt et al., 2017), menée par Valérie Pattyn et Minya Chan de l’Université de Leiden. Comme l’enquête utilise le modèle d’impact de Van Loocke et Put (2011), qui est au cœur de nombreuses études quantitatives sur l’impact des audits de performance dans différentes parties du monde, elle peut fournir des éléments de base pour une théorie sur l’impact des audits de performance des ISC. (Une sélection d’études quantitatives sur l’impact des audits de performance dans différentes parties du monde est présentée dans la section « Références ».)
Avant de passer aux éléments constitutifs, nous expliquerons d’abord les facteurs d’impact des audits de performance, puis nous présenterons les principaux résultats de l’enquête néerlandaise avant de fournir les éléments constitutifs d’une théorie de l’impact.
Figure : Les trois modèles de gouvernance des Institutions supérieures de contrôle des finances publiques
Les facteurs favorisant l’impact
L’impact est au cœur du travail d’une ISC, mais le terme « impact » est très large et revêt plusieurs significations qu’il convient de conceptualiser. L’impact de l’audit de performance est « l’effet ou l’influence directe ou indirecte qu’une ISC peut avoir, à la suite de son travail d’audit de performance, sur les pratiques, la performance et la culture de l’entité auditée » (Lonsdale 1999, p. 171). On considère généralement qu’il existe trois types d’impact : instrumental, conceptuel et stratégique. Ces types d’impact ne sont pas exclusifs et peuvent se chevaucher.
L’impact instrumental est l’utilisation des audits de performance pour améliorer un processus pendant ou directement après l’audit. La forme classique de cet impact est l’acceptation et la mise en œuvre des recommandations de l’audit. C’est la raison pour laquelle pratiquement toutes les ISC comptent le nombre de leurs recommandations qui sont suivies.
L’impact conceptuel concerne les leçons tirées de l’audit par l’entité auditée. Les connaissances influencent progressivement la politique de diverses manières à moyen et à long terme. La durée et la subtilité du changement font qu’il est difficile de mesurer l’impact. L’impact conceptuel prime sur l’impact instrumental et stratégique.
L’impact stratégique est l’utilisation des rapports d’audit dans les discussions ou les négociations comme outils pour influencer la prise de décision, par exemple pour échapper aux coupes budgétaires.
L’impact est généralement ressenti à trois niveaux : le micro, le méso et le macro. Le micro-niveau comprend les facteurs directement liés à l’audit lui-même. Le méso-niveau couvre la relation entre l’ISC et l’entité auditée. Le macro-niveau ou niveau national comprend le contexte sociopolitique et les caractéristiques du secteur public dans lequel l’audit a lieu.
Figure : Le modèle d’impact des audits de performance, appuyé sur Van Loocke et Put (2011)
La manière traditionnelle et la plus courante de mesurer l’impact est de compter le nombre de recommandations adoptées. Les taux d’adoption sont élevés, mais les ISC ont tendance à se fier à l’auto-évaluation des entités auditées, et le nombre peut être gonflé. Un autre inconvénient est que le comptage de l’adoption des recommandations ne prend en compte que l’impact instrumental et n’accorde que peu d’attention à la complexité et à la durée parfois longue de tout suivi. Des études récentes ont donc intégré d’autres facteurs d’impact tels que la responsabilité politique, la résistance de l’entité auditée et les débats politiques ou médiatiques.
Facteurs d’amélioration et d’entrave de l’impact aux Pays-Bas
Aux Pays-Bas, nous avons utilisé une enquête éprouvée qui prend en compte tous les types d’impact. Notre première conclusion est que les audits de performance de la NCA ont un impact modérément positif sur l’administration centrale, avec une moyenne de 4,48 sur une échelle de Likert en 7 points (écart-type = 1,29). Cet impact est similaire à celui de l’Auditeur général du Canada (modèle de Westminster) et légèrement supérieur à celui de la Cour des comptes de Belgique (3,2/7) (modèle judiciaire). La nature de l’impact était principalement conceptuelle, légèrement instrumentale et modérément stratégique. Dans la pratique, cela signifie que les changements dus aux audits ont été subtils et lents à se manifester, ce qui était également le cas en Belgique et au Canada.
Il est intéressant de noter que l’impact d’une ISC n’est pas toujours perçu comme une chose positive. Certains ministères néerlandais ont fait rapport d’une augmentation des coûts opérationnels sans augmentation des bénéfices à moyen terme. Par ailleurs, la mise en œuvre d’audits supplémentaires recommandés dans le rapport d’audit a suscité davantage de mécontentement au sein de la fonction publique.
Au niveau microéconomique, deux facteurs clés expliquent l’impact d’un auditeur individuel : d’une part, la relation entre l’auditeur et l’audité et, d’autre part, l’expertise de l’équipe d’audit. Les audits ont été plus facilement acceptés si la communication était ouverte et professionnelle. En particulier, la volonté de dialoguer avec l’entité auditée était importante pour accepter les résultats de l’audit aux Pays-Bas. Si les ministères perçoivent l’équipe d’audit comme compétente, l’impact de l’audit est beaucoup plus important que si l’entité auditée pense que l’équipe d’audit manque d’expertise. Un dernier facteur important relevé dans la littérature est la qualité du rapport d’audit.
Au méso-niveau, l’impact est plus probable si le gouvernement et le parlement, ainsi que les responsables des ministères et leur personnel, sont d’accord avec les recommandations de l’ISC. Si les conclusions de l’audit correspondaient aux priorités des hauts fonctionnaires du ministère néerlandais, elles avaient plus de chances d’être acceptées. La mise en œuvre dépend toujours de la volonté des fonctionnaires et ceux-ci seront plus enclins à coopérer s’ils comprennent la nécessité et les avantages des recommandations de l’audit.
Au niveau national ou macroéconomique néerlandais, l’implication des parlementaires a eu un impact modéré, avec des effets à la fois positifs et négatifs. Les parlementaires ont pu accélérer le rythme de la mise en œuvre, faire corriger les lacunes et mettre en œuvre des solutions réelles aux problèmes identifiés. Cependant, l’implication parlementaire a parfois eu des effets négatifs au niveau des ministères, tels qu’une augmentation de la bureaucratie ou une confusion sur ce que le parlement demandait au ministre – ce qui a entraîné une paralysie de la gestion.
L’attention des médias est le deuxième facteur déterminant de l’impact au niveau macroéconomique : elle a relancé le débat politique aux Pays-Bas et conduit à des changements au sein du gouvernement central. L’impact n’a pas toujours été positif. Dans certains cas, l’attention des médias a perturbé les opérations de routine d’une organisation et – peut-être pour jeter de la poudre aux yeux ou pour tenter de paraître décisif – les procédures ont été renforcées.
Figure : Éléments de base pour renforcer l’impact des audits de performance
Éléments constitutifs d’une théorie sur l’impact des audits de performance sur l’administration publique
Dans cette dernière section, nous présentons les éléments constitutifs d’une théorie sur l’impact des audits de performance des ISC. Grâce à l’enquête menée aux Pays-Bas, nous disposons désormais d’un ensemble cohérent d’éléments probants sur les trois modèles d’ISC, sur une période de plusieurs années et provenant de différentes parties du monde. Nous pouvons donc identifier les facteurs d’impact les plus importants pour les audits de performance. Un examen complet de la littérature est nécessaire pour élaborer une théorie concluante.
La condition préalable à l’impact est la légitimité de l’ISC. Si une ISC est considérée comme un aspect légitime et important de la gouvernance, l’impact de l’audit tend à être plus élevé. Ce mécanisme a été démontré à la fois dans les pays scandinaves développés à fort impact et dans les pays en développement.
La qualité de l’équipe d’audit est un indicateur clé de l’impact au niveau microéconomique. Une interaction constructive entre l’auditeur et l’entité auditée stimule l’acceptation de l’audit. Une relation de travail professionnelle qui établit un juste équilibre entre l’indépendance et la compréhension de l’auditeur et de l’entité auditée peut contribuer à stimuler cette interaction. L’utilité et la qualité du rapport d’audit et des recommandations sont également des facteurs d’impact importants. Plus les recommandations du rapport sont concrètes, plus sa valeur perçue et donc son impact sont élevés.
Peu de recherches ont été menées sur la manière d’accroître l’impact au niveau de l’entité auditée. Un facteur ressort : le consensus entre les différents centres de pouvoir. Plus le consensus sur les conclusions et les recommandations de l’audit est important, plus l’impact semble probable.
Au niveau macroéconomique, de nombreux articles constatent que l’examen d’un audit par les parlements et les médias renforce son impact. C’est l’une des raisons pour lesquelles l’INTOSAI encourage l’implication des médias et des parlements. Les ONG et les organisations de la société civile sont également de plus en plus considérées comme des canaux permettant d’accroître l’impact d’une ISC. L’attention des médias a renforcé l’impact d’un audit dans tous les cas étudiés. Dans la plupart des cas, l’impact a pris la forme d’une surveillance, d’une responsabilisation de la personne concernée par les résultats de l’audit. L’attention médiatique et politique ne conduit pas automatiquement à des changements dans l’administration publique. L’attention des médias n’a entraîné des changements au sein d’une organisation que dans la moitié des cas étudiés. Comme nous l’avons vu au méso-niveau, le consensus de la haute direction et la volonté de l’organisation sont essentiels pour que le changement ait lieu.
Conclusion
Les audits de performance peuvent avoir un impact positif sur les organisations gouvernementales. Cet impact peut être beaucoup plus important que la mise en œuvre habituelle des recommandations de l’audit. Les audits peuvent avoir un impact conceptuel s’ils modifient la façon de penser de l’entité auditée. Les audits peuvent également être utilisés de manière stratégique pour influencer les décisions. L’impact commence par l’auditeur lui-même. Plus l’auditeur est professionnel et bien informé, plus il a de chances d’avoir un impact positif. Son professionnalisme doit se manifester non seulement par un rapport de qualité bien rédigé, mais aussi par la volonté de communiquer ouvertement et d’engager le dialogue avec l’entité auditée. Ces micro-facteurs ont également une influence au méso-niveau. Si l’organisation et sa direction ne sont pas convaincues de la nécessité de modifier leurs actions en réponse aux constatations et recommandations de l’audit, l’impact sera d’autant plus faible. Les considérations politiques au sein du parlement, les médias ou même l’implication des ONG peuvent contribuer à relancer le débat et à faire accepter les recommandations, mais même dans ce cas, la résistance de l’organisation peut être trop forte pour qu’elle change. C’est pourquoi le professionnalisme de l’auditeur individuel est si important. L’enquête menée aux Pays-Bas et une grande partie de la littérature académique montrent qu’un comportement professionnel et une communication ouverte avec l’entité auditée peuvent vaincre la résistance d’une organisation et contribuer à l’acceptation et à la mise en œuvre des recommandations de l’audit.
