Développement d’un cadre d’audit pour les algorithmes

par Esther Meijer-van Leijsen PhD, Justin Verhulst MSc, Pieter Oosterwijk PhD, et Miranda Pirkovski MSc RA EMITA, Cour des comptes des Pays-Bas

L’augmentation constante de l’utilisation d’algorithmes – ensembles de règles et d’instructions qu’un ordinateur suit pour résoudre des problèmes ou répondre à des questions – par le secteur public néerlandais a généré une demande correspondante de contrôle. Le débat public, la couverture médiatique et les discussions au Parlement se sont intensifiés, notamment après qu’un tribunal de district de La Haye a donné raison à plusieurs organisations non gouvernementales (ONG) qui estimaient que SyRI (un instrument de détection des fraudes basé sur des algorithmes) était contraire aux dispositions de la législation européenne.

L’utilisation croissante d’algorithmes pour gérer les opérations et fournir des services au sein de l’administration pose des défis aux institutions supérieures de contrôle (ISC) du monde entier. Les algorithmes peuvent rendre les opérations gouvernementales opaques, ou en faire une “boîte noire”. Les directives disponibles étant limitées, comment les ISC peuvent-elles évaluer si les gouvernements utilisent les algorithmes de manière responsable et légale ?

Avec son rapport de janvier 2021 intitulé “Comprendre les algorithmes”, la Cour des comptes des Pays-Bas (NCA) a apporté une contribution pratique au débat sur les opportunités et les risques liés à l’utilisation des algorithmes par les pouvoirs publics. Le rapport : 1) a permis de comprendre dans quelle mesure les entités gouvernementales néerlandaises étaient conscientes et maîtrisaient l’utilisation des algorithmes au sein de leurs services ; 2) a présenté un cadre d’audit qui peut être utilisé pour évaluer les risques concrets ; et 3) a testé l’utilité du cadre d’audit.

L’objectif ultime du projet de la NCA était de jeter les bases d’une utilisation responsable des algorithmes par les pouvoirs publics. Cet article décrit les conclusions et l’impact du rapport.

Algorithmes les plus simples actuellement utilisés

La NCA a constaté que les algorithmes prédictifs et prescriptifs que le gouvernement néerlandais utilise actuellement pour prendre des décisions concernant les citoyens et les entreprises sont relativement simples. Le gouvernement utilise ces algorithmes pour gérer les opérations et fournir des services, tels que les envois automatisés de masse et la sélection initiale des demandes de prestations. Certains algorithmes sont toutefois plus innovants et font appel à l’intelligence artificielle. Sur demande, les ministères et les organismes de mise en œuvre, tels que l’Agence d’assurance des employés et la Banque d’assurance sociale, ont fourni à l’ANC des dizaines d’algorithmes pour son audit. Parmi ceux-ci, l’ANC n’a pas trouvé d’algorithmes à auto-apprentissage complet, c’est-à-dire des algorithmes qui mettent en œuvre une politique sans intervention humaine.

L’une des difficultés rencontrées par l’ANC dans la conduite de cet audit a été de définir clairement les termes et les définitions. Des termes tels que “boîte noire”, “biais” et même “algorithme” peuvent être définis de manières très différentes par des personnes ayant une formation en droit, en gouvernance, en technologies de l’information (TI) ou en science des données. L’ANC n’a pas souhaité entrer trop profondément dans les débats académiques sur les définitions. Cependant, il est important d’avoir une compréhension claire et concrète de ce qui est contrôlé et des normes de qualité. À cette fin, la NCA a organisé des séances de réflexion au cours desquelles des professionnels de tous les niveaux de gouvernement, ainsi que des universitaires et des organisations d’audit, sont parvenus à une compréhension commune des termes utilisés.

Cadre d’audit pour les algorithmes

La NCA a mis au point un cadre d’audit que les organismes publics et privés peuvent utiliser pour déterminer si leurs algorithmes répondent à des critères de qualité spécifiques et si les risques qui en découlent ont été correctement identifiés et atténués. L’ANC souhaite que le cadre d’audit serve d’outil pratique et de point de départ pour les défis auxquels les auditeurs sont confrontés lors de l’évaluation des algorithmes. Le cadre est décrit dans le rapport et disponible en format Excel, ce qui permet aux utilisateurs de filtrer les questions relatives à des catégories et principes spécifiques, tels que l’équité et la responsabilité.

Pour élaborer ce cadre, la NCA a tenu compte des contributions d’experts et d’autres cadres d’audit. Par exemple, le règlement général sur la protection des données (RGPD) – une loi de l’Union européenne (UE) – fournit déjà un cadre pour traiter les données personnelles sensibles, et des cadres de gouvernance et de contrôle général des technologies de l’information (CGTI) sont également disponibles. Le cadre évalue un algorithme sur les “piliers” suivants :

• Gouvernance et responsabilité
• Modèle et données
• Vie privée
• Qualité de l’ITGC, comme les droits d’accès et les contrôles de sauvegarde
• L’éthique

Le développement du pilier “modèle et données” s’est avéré être la tâche la plus difficile, car la plupart des innovations dans l’utilisation des algorithmes relèvent de cette catégorie. Les critères relatifs au modèle et aux données traitent des questions relatives à la qualité des données et au développement, à l’utilisation et à la maintenance du modèle sous-jacent à l’algorithme.

Le public s’inquiète à juste titre de l’utilisation contraire à l’éthique des algorithmes, comme la prise de décisions autonomes biaisées, mais cette question est souvent abordée de manière théorique. Pour son cadre, la NCA s’est appuyée sur les lignes directrices de la Commission européenne en matière d’éthique pour une IA digne de confiance, formulées par le groupe d’experts de haut niveau sur l’intelligence artificielle. L’ANC a établi un lien entre ces lignes directrices et les risques concrets énoncés dans les autres piliers.

Test pratique sur trois algorithmes

Pour déterminer l’utilité de son nouveau cadre d’audit, la NCA l’a testé sur trois algorithmes actuellement utilisés par le gouvernement. Pour cet exercice, l’ANC a sélectionné des algorithmes ayant un impact substantiel sur les citoyens, des implications éthiques et des niveaux de complexité technique variables, allant de relativement simples (arbres de décision) à complexes (réseaux neuronaux pour la reconnaissance faciale). Bien que les algorithmes soient tous très différents, la NCA a été en mesure d’évaluer leurs risques à l’aide du cadre d’audit. La NCA a appris qu’un algorithme n’est pas isolé des autres processus informatiques au sein des entités gouvernementales ; au contraire, une collection d’algorithmes est utilisée par différentes personnes à divers stades du processus. L’ANC recommande donc que les équipes chargées de l’audit des algorithmes soient pluridisciplinaires, afin de pouvoir répartir les tâches et d’obtenir une image complète.

Impact du rapport

Le NCA a été surpris par la publicité nationale et internationale que son rapport a suscitée. Deux jours après la publication du rapport, la NCA a organisé un webinaire pour présenter les principales conclusions de l’audit et lancer un débat sur l’utilisation responsable des algorithmes par les pouvoirs publics. Le webinaire, dont les intervenants comprenaient le Médiateur national et des représentants du Conseil d’État, de l’Agence des radiocommunications et du Service d’audit du gouvernement central (ADR), a attiré plus de 300 participants.

L’ANC mène actuellement des discussions sur la création de contrôles et de contrepoids pour les algorithmes. La NCA collabore avec d’autres organisations d’audit, telles que l’ADR, l’Institut royal néerlandais des comptables agréés (NBA) et NOREA, l’association professionnelle des auditeurs informatiques aux Pays-Bas, qui sont impatientes de commencer à auditer les algorithmes, mais qui se heurtent à l’absence de méthodologies et de lignes directrices. Le cadre du NCA a été bien accueilli par ces organisations, qui y voient un point de départ précieux. L’ANC a également été invitée par des ministères et des organisations politiques à discuter des contrôles et des contrepoids pour l’utilisation responsable des algorithmes, et a présenté ses recherches aux auditeurs d’autres ISC. L’ANC se réjouit de poursuivre ces discussions fructueuses.

Commentaires

La NCA invite les autres ISC à utiliser ce cadre pour contrôler les algorithmes et à partager leurs expériences et leurs commentaires avec les auteurs à l’adresse algoritmes@rekenkamer.nl.