par Loren Yager et Martin Alteriis, Centre d’excellence en matière d’audit de l’US Government Accountability Office
Introduction
L’une des caractéristiques des organisations et des rapports d’audit est l’accent mis sur les éléments probants pour étayer les constatations et les recommandations ; il convient donc d’accorder une grande priorité à toute technique susceptible de rendre ces éléments probants plus puissants. L’un des moyens d’y parvenir consiste à examiner de près trois des techniques utilisées par les organisations d’audit pour recueillir des éléments probants : les enquêtes, les entretiens semi-structurés et les instruments de collecte de données (ICD).
Les enquêtes constituent un outil précieux pour les organismes d’audit lorsque les informations nécessaires ne sont pas disponibles à partir de sources documentaires, bien que le temps et les ressources nécessaires à la mise en œuvre des enquêtes en limitent l’utilisation. D’autre part, il semble qu’une meilleure compréhension des entretiens semi-structurés et des instruments de collecte de données puisse ajouter de la rigueur aux audits sans nécessiter un investissement aussi important. Par exemple, les organisations d’audit utilisent généralement une forme ou une autre d’entretiens dans tous leurs audits, et des changements modestes qui ajoutent de la structure au processus peuvent être très rentables sans grand investissement supplémentaire. De même, de nombreux audits comportent une forme ou une autre d’inspection, qu’il s’agisse d’inspections d’installations physiques ou de documents de l’agence. L’utilisation d’une approche plus structurée, telle que l’ICD, peut également donner plus de poids aux conclusions sans nécessiter plus de temps ou de ressources.
Figure 1 : Types de méthodes de collecte de données couramment utilisées
Enquêtes
Les enquêtes peuvent constituer un outil efficace pour la collecte d’éléments probants, en particulier lorsqu’il n’existe pas d’autres moyens de générer ce type d’informations. Par exemple, les enquêtes sont souvent le seul moyen de collecter des informations sur les opinions des personnes interrogées et, plus généralement, elles permettent de collecter des preuves testimoniales de manière plus rigoureuse. D’une certaine manière, les enquêtes permettent de créer des « données » à partir de témoignages.
L’inconvénient est que les enquêtes dont la qualité est suffisamment élevée pour servir de preuves d’audit sont coûteuses et longues à élaborer et à mettre en œuvre. L’une des distinctions essentielles entre les enquêtes et les deux autres méthodes de collecte est que l’équipe d’audit n’est pas présente lorsque les personnes interrogées répondent à l’enquête. En revanche, les entretiens semi-structurés et les instruments de collecte de données sont administrés ou complétés par des membres de l’équipe d’audit (voir figure 1). Cette distinction a des conséquences sur le temps nécessaire à la préparation et aux tests préliminaires d’une enquête. Étant donné que l’équipe ne sera pas présente pour répondre aux questions, les questions de l’enquête doivent être conçues et mises en œuvre de manière à ne pas introduire de biais ou de confusion et à générer un taux de réponse acceptable.
La figure 2 illustre les étapes nécessaires pour mener à bien une enquête, bien que le temps nécessaire puisse varier considérablement en fonction de facteurs tels que la taille et l’expérience de l’équipe d’audit, la complexité et la sensibilité du sujet, ainsi que la taille et l’accessibilité de la population cible.
Figure 2 : Principales étapes de la mise en œuvre de l’enquête
Dans certains cas, les enquêtes sont la meilleure méthode disponible pour collecter les éléments probants nécessaires à un audit, mais comme pour toute décision impliquant un investissement important, le recours aux enquêtes mérite un examen minutieux des coûts et des avantages de cette technique par rapport à d’autres méthodes de collecte d’éléments probants.
Entretiens semi-structurés
D’autre part, il existe d’autres techniques de collecte de données qui semblent avoir un potentiel important pour ajouter de la rigueur sans trop d’investissement supplémentaire. L’une d’entre elles, les entretiens « semi-structurés », se distingue des entretiens normaux par une combinaison de questions ouvertes et de questions fermées. Les questions fermées comportent un ensemble spécifique d’options pour les réponses, qui peuvent être oui/non, des fourchettes d’étendue (grande étendue, étendue modérée, petite étendue), etc.
Les entretiens semi-structurés ont le potentiel d’ajouter de la rigueur au processus de collecte de données, car les équipes peuvent utiliser certaines des mêmes techniques de sélection et de mise en œuvre que celles utilisées dans les enquêtes. Il en résulte qu’il faut consacrer plus de temps à la phase d’élaboration des entretiens, l’objectif étant de disposer d’un instrument plus stable avant le début des entretiens.
Figure 3 : L’ajout d’une structure aux entretiens permet de consacrer plus de temps au développement.
D’autre part, cette planification préalable présente deux avantages potentiels pour l’audit. D’une part, la planification de l’entretien tend à réduire le temps nécessaire aux étapes ultérieures de l’audit, notamment en termes d’analyse et de documentation. Par exemple, si l’équipe a intégré des questions fermées dans l’entretien, comme dans l’exemple ci-dessous, l’éventail des réponses est limité.
La formation vous a-t-elle permis d’acquérir les compétences nécessaires pour effectuer les inspections ?
a. dans une large mesure
b. dans une mesure animée
c. dans une faible mesure
Dans ce cas, l’analyse et la documentation des questions structurées sont grandement simplifiées puisqu’il s’agit uniquement d’un décompte des réponses. Le format semi-structuré est également flexible puisque l’équipe peut intégrer des questions ouvertes dont les réponses ne sont pas aussi faciles à anticiper et à catégoriser à l’avance.
Un avantage plus important des entretiens semi-structurés est qu’ils peuvent générer des éléments probants et des conclusions d’audit plus puissants. Par exemple, si la question ci-dessus ne faisait pas partie d’un entretien semi-structuré, le résultat clé pourrait ressembler à la déclaration de gauche de la figure 4 :
Figure 4 : Résultats typiques des entretiens non structurés et semi-structurés
En revanche, si la même question était posée à toutes les personnes interrogées de la même manière, l’équipe d’audit pourrait faire un rapport beaucoup plus précis et percutant, comme dans la déclaration figurant dans la partie droite de la figure. Des questions supplémentaires dans le cadre d’un entretien semi-structuré pourraient permettre d’obtenir des informations supplémentaires sur les aspects de la formation qui ont été jugés inadéquats, de sorte que le format de l’entretien semi-structuré offre le meilleur des deux mondes pour un investissement modeste dans la phase de développement qui précède les entretiens.
Instruments de collecte de données (également connus sous le nom de formulaires de saisie des données des analystes)
L’utilisation d’un ICD est la deuxième technique qui permet d’obtenir des résultats plus probants. Il s’agit de formulaires structurés de saisie de données que les analystes administrent en suivant des procédures et des processus élaborés pour l’audit. De nombreuses organisations d’audit utilisent probablement ces outils d’une manière ou d’une autre, mais la possibilité d’ajouter de la rigueur aux audits grâce à ces outils semble presque illimitée. L’une des images les plus courantes d’un instrument de collecte de données est celle d’un inspecteur en bâtiment muni d’un presse-papiers et cochant chacun des éléments requis, bien qu’il soit plus courant aujourd’hui que le presse-papiers soit remplacé par une sorte de tablette électronique.
Cette forme d’instrument de collecte de données peut être utile aux auditeurs lorsqu’ils effectuent des inspections de bâtiments, d’inventaires ou d’autres actifs physiques, et permet de s’assurer qu’un examen cohérent est appliqué à tous les cas sélectionnés en vue de l’examen. Toutefois, les instruments de collecte de données peuvent également être utilisés pour renforcer la rigueur de l’examen des documents fournis par un ministère ou un service. Par exemple, les auditeurs examinent fréquemment des rapports d’avancement ou des contrats pour s’assurer que des exigences légales spécifiques sont respectées, et il est souvent possible de créer un outil de collecte de données qui permette aux auditeurs d’effectuer un examen plus cohérent des documents. Comme dans le cas des entretiens semi-structurés, il faut trouver un compromis entre le temps supplémentaire consacré à la phase de développement et la facilité d’analyse et l’obtention de résultats plus probants.
À titre d’exemple, le texte de gauche est typique des constatations effectuées si l’examen n’est pas mené de manière structurée. En revanche, si un instrument de collecte de données est utilisé et que les auditeurs peuvent classer la qualité de la documentation dans les trois catégories, les constatations peuvent être résumées dans le graphique de droite avec un impact nettement plus important.
Figure 5 : Résultats typiques des examens non structurés par rapport à l’utilisation d’un instrument de collecte de données (ICD)
L’élaboration d’un instrument de collecte de données par l’équipe d’audit présente un autre avantage : toute mesure prise pour accroître la rigueur de l’évaluation est susceptible de porter ses fruits à d’autres égards. Par exemple, l’équipe devrait clarifier exactement le langage requis en s’appuyant sur les critères, tels que les conditions spécifiques qui mériteraient une désignation de « documentation partielle » par rapport à une « documentation complète ». Ces règles contribueraient à garantir une application cohérente des critères et faciliteraient l’examen interne avant la publication. Ce type de rigueur serait particulièrement utile lorsque l’entité auditée conteste les conclusions et demande à voir la méthodologie. En l’absence d’un ensemble rigoureux de règles de décision et d’un décompte clair des résultats, l’entité auditée pourrait demander des modifications des constatations, mais avec un instrument de collecte de données et des règles de décision claires, l’équipe d’audit pourrait même accueillir favorablement une remise en question de la méthodologie et des constatations.
Conclusion
L’un des éléments clés de la définition de l’audit de performance donnée par la norme ISSAI consiste à « fournir une opinion ou une conclusion indépendante et faisant autorité, qui s’appuie sur des éléments probants ». Par conséquent, toute mesure que les auditeurs des administrations publiques peuvent prendre et qui permet d’obtenir des éléments probants plus puissants devrait être une priorité absolue des organisations d’audit. En s’appuyant sur notre expérience auprès d’organisations d’audit américaines et internationales, il apparaît qu’une utilisation plus ciblée des enquêtes et un recours plus fréquent aux entretiens semi-structurés et aux instruments de collecte de données sont susceptibles de renforcer les éléments probants et de maximiser l’impact positif des organisations d’audit.
