Expériences en matière d’audit des algorithmes et de l’intelligence artificielle au sein du gouvernement néerlandais

Par Colin van Noordt PhD, et Esther Meijer-van Leijsen PhD, Cour des comptes des Pays-Bas

Raison d’être des algorithmes d’audit et de l’IA

L’application des algorithmes et de la technologie de l’intelligence artificielle (IA) dans l’administration offre de nombreuses possibilités d’améliorer les processus gouvernementaux, la prestation des services publics, l’engagement des citoyens et de contribuer à la résolution des défis sociaux. Par conséquent, ce type de technologie occupe une place de plus en plus importante dans le fonctionnement des gouvernements. Toutefois, l’introduction de l’IA présente également des risques si elle n’est pas déployée de manière responsable. Par exemple, l’IA peut contenir des biais qui conduisent à des résultats discriminatoires ou les données personnelles peuvent ne pas être protégées de manière adéquate. Un manque de transparence dans l’utilisation de la technologie peut entraîner des défispro de gouvernance. 

Processus d’audit des algorithmes

En 2021, la Cour des comptes des Pays-Bas (NCA) a élaboré un cadre d’audit pour les algorithmes. Ce cadre couvre à la fois les systèmes simples basés sur des règles et les systèmes plus complexes basés sur l’apprentissage automatique. Il s’agit d’un cadre multidisciplinaire, qui comprend des normes sur la gouvernance, la vie privée, les modèles et les données, ainsi que des contrôles informatiques généraux. Dans un précédent article de ce journal, nous avons décrit la logique et le contexte qui ont présidé à la création de ce cadre. 

En 2022, nous avons utilisé ce cadre d’audit pour auditer neuf algorithmes utilisés par le gouvernement néerlandais. Nous avons constaté que 3 des 9 algorithmes audités répondaient à toutes les exigences de base. Les six autres ne l’étaient pas et exposaient le gouvernement à divers risques : contrôle inadéquat de la performance et de l’impact de l’algorithme, biais, fuites de données et accès non autorisé. 

À partir de 2022, nous auditons l’IA dans le cadre de nos audits annuels. Cela nous permet de mieux comprendre ce que font réellement ces algorithmes, comment le gouvernement assure la gouvernance de leur déploiement et comment les conséquences négatives sont évitées. Cette contribution Spotlight présente les expériences pratiques en la matière et fournit plusieurs leçons apprises. 

Évaluation progressive de l’IA

Nous formulons notre opinion sur l’utilisation des algorithmes et des technologies de l’IA de la manière suivante : 

1. Efficacité des contrôles: Nous auditons l’efficacité de tous les contrôles inclus dans notre cadre d’audit, sur la base de la documentation soumise et des entretiens menés. Un contrôle est évalué comme étant « efficace », « en partie efficace » ou « inefficace ». 
2. Risque résiduel: Nous classons le risque résiduel comme faible, moyen ou élevé. Le risque résiduel est toujours élevé si les contrôles sont inefficaces. La classification du risque peut être abaissée à moyen ou faible en fonction du contexte et/ou d’autres mesures complémentaires. 
3. Conclusion: Nous formulons ensuite notre conclusion et déterminons si l’utilisation de l’algorithme est conforme ou non aux exigences définies dans notre cadre d’audit. 
4. Avis final: Si l’algorithme n’est pas conforme au cadre d’audit, nous décidons d’attribuer une contrepartie ou une lacune au ministre. Il s’agit d’un avis global.

Expériences pratiques avec les algorithmes d’audit

Alors que les normes de gouvernance sont souvent assez générales, ces aspects sont transversaux à tous les domaines et constituent une base centrale dans les audits. Comme l’a remarqué l’un de nos auditeurs :

« Souvent, lorsque nous avons identifié des problèmes dans les aspects de gouvernance au cours de nos audits, ils sont également apparus dans d’autres domaines ». 

Par exemple, si les performances d’un algorithme ne font pas l’objet d’un suivi adéquat, les entités auditées ne peuvent souvent pas fournir d’éléments probants sur l’atténuation des risques au niveau du modèle d’un algorithme également. Ces risques peuvent être amplifiés si le développement et la gestion d’un algorithme sont confiés à un tiers. Toutefois, à notre avis, la collaboration avec un partenaire externe n’enlève pas aux administrations publiques la responsabilité du contrôle de leurs algorithmes.

Nos audits ont révélé l’existence d’un large éventail de pratiques différentes en matière de protection de la vie privée parmi les organisations gouvernementales. Celles-ci vont des organisations qui ont réalisé des évaluations approfondies de l’impact sur la protection des données (DPIA) et qui ont clairement défini les responsabilités en matière de données aux organisations qui ont eu du mal à se conformer aux exigences légales. Cette dernière catégorie avait souvent un arriéré d’algorithmes insuffisamment documentés et des ressources limitées pour y remédier. Nous avons trouvé une organisation qui s’efforçait de finaliser plus de cinquante DPIA différents avec seulement une petite équipe. La profondeur des explications fournies aux citoyens concernant l’utilisation des données à caractère personnel varie également. Dans certains cas, nous n’avons trouvé que des informations générales sur les sites web, alors que dans d’autres cas, un outil dédié était disponible pour permettre aux citoyens d’obtenir ces informations. Le bon côté des choses, c’est que nous avons constaté que nos audits avaient un impact clair sur ces pratiques divergentes : 

« À la suite de nos audits, la protection de la vie privée est devenue une priorité plus importante et les organisations ont fait des progrès significatifs dans leur documentation sur le traitement des données après ces audits ».

Lors de l’audit des données et des aspects liés à la modélisation, nous avons rencontré deux problèmes principaux. Premièrement, il n’existe actuellement aucune méthode normalisée d’atténuation des risques, notamment en ce qui concerne la manière de traiter les biaises ou le choix des modèles. Deuxièmement, le développement des algorithmes se fait régulièrement dans un environnement cloisonné. Par conséquent, il peut être difficile de transmettre les souhaits des entreprises à l’équipe de développement. L’inverse se produit également, par exemple lorsque les décisions de modélisation ne sont pas communiquées de manière à ce que d’autres spécialistes, tels que les juristes ou les gestionnaires, puissent en tirer parti. 

Notre expérience de l’audit des contrôles généraux des technologies de l’information (GITC) montre qu’il est important de prendre le temps d’expliquer le cadre de l’audit aux administrateurs des technologies de l’information concernés. Il est tout aussi important de déterminer l’étendue de l’objet de l’audit, par exemple les différents composants informatiques des systèmes informatiques et la chaîne globale de prestation de services. La détermination de ce champ d’application peut aider à identifier les parties concernées et à analyser qui est responsable d’un composant spécifique. Cependant, et c’est le plus important, le cadre d’audit n’est qu’un outil et non un but en soi. L’un des membres de notre équipe l’a souligné :

« Aucun algorithme ou système d’IA n’est identique, et des ajustements aux spécificités, aux risques et aux besoins uniques peuvent être nécessaires pour qu’ils puissent être appliqués de manière ciblée et efficace. »

Malgré les domaines spécialisés dans l’audit des algorithmes, leur complémentarité est essentielle. Comme le résume le chef de projet :

« L’audit de l’IA nécessite un important travail d’équipe et le partage d’informations entre les différents acteurs. C’est comme les différentes pièces d’un puzzle qui s’assemblent. Aucun des domaines n’a une vue d’ensemble. »

Tout au long du processus d’audit et du calendrier, l’importance de cette complémentarité ne doit jamais être sous-estimée. Un audit complet d’un algorithme exige que toutes les perspectives soient réunies. Travailler ensemble au sein d’une équipe multidisciplinaire est une condition préalable importante pour un audit réussi. 

Impact et perspectives d’avenir

À la suite de nos audits, nous avons constaté une nette évolution dans l’utilisation responsable des systèmes d’IA au sein du gouvernement néerlandais. Nos audits ont eu un impact direct sur les entités auditées, en particulier lorsque des lacunes ont été détectées. Ces organisations peuvent se sentir interpellées pour atténuer plus efficacement les risques liés aux systèmes d’IA qu’elles ont déployés. Dans le même temps, nous avons constaté un impact plus large sur la société néerlandaise. Notre cadre d’audit a servi de base à l’élaboration de lignes directrices supplémentaires pour l’utilisation responsable de l’IA aux Pays-Bas, tant dans le secteur public que dans le secteur privé. Le rôle particulier, indépendant et digne de confiance d’une institution supérieure de contrôle dans ce domaine émergent apporte donc une contribution notable au paysage de la gouvernance de l’IA. 

Le domaine évolue encore, et nous aussi. Nous suivons de près les développements de l’IA générative, car ils influenceront certainement les opérations gouvernementales. De même, la loi sur l’IA de la Commission européenne sera bientôt applicable et introduira de nouvelles règles sur l’IA. Les systèmes d’IA présentant un risque particulièrement élevé seront soumis à plusieurs nouvelles exigences légales. Notre cadre d’audit devra également tenir compte de ces aspects. Cependant, même avec ces développements, il est important de ne pas attendre. Les systèmes d’IA sont déjà utilisés aujourd’hui et notre plus grand conseil est de commencer à auditer l’IA !