Robots tueurs – Un cas pour les ISC

Auteur: Jan Roar Beckstrom Scientifique en chef des données, Bureau de l’auditeur général de Norvège(1)

Les robots tueurs, également connus sous le nom de systèmes d’armes létales autonomes (SALA), ne relèvent pas de la science-fiction. Ils existent. Nous pourrons bientôt disposer d’essaims de drones alimentés par l’IA, dans lesquels les drones eux-mêmes décideront qui tuer et quoi attaquer. Les ISC devraient jouer un rôle en veillant à ce que le développement et l’utilisation de ces armes restent sous le contrôle de l’homme, conformément au droit international.

Introduction

Imaginez ceci : Vous prenez un essaim de très petits drones, vous les chargez d’un algorithme d’IA entraîné à reconnaître un certain type d’uniforme militaire, vous ajoutez 5 grammes d’explosifs puissants et vous les envoyez à la chasse aux ennemis à tuer(2).  Après le déploiement des drones, il n’y a aucune implication humaine, et les drones décident eux-mêmes qui cibler et attaquer. Cependant, l’un des drones décide de cibler et de tuer un soldat qui se rend. Il s’agit là d’une violation flagrante du droit humanitaire international (DIH), tel qu’il est exprimé dans les Conventions de Genève.(3) 

Ou que dire d’une situation où un SALA doté d’une IA décide d’agir sur la base d’un faux positif et engage par erreur un système ennemi similaire, dans un « heurt des machine » ? Le système ennemi réagit et appelle également des renforts. Nous pourrions alors avoir une guerre involontaire sur les bras en quelques secondes. De telles armes ne relèvent pas de la science-fiction. La technologie nécessaire est dans une large mesure déjà disponible et les défis restants sont des problèmes techniques de miniaturisation et d’intégration des systèmes.

Le potentiel inhérent aux SALA en matière de mort et de destruction et de nouvelle course aux armements ne peut être surestimé. Si une interdiction totale de certains types de SALA est envisageable, une interdiction de grande envergure est difficile à prévoir. L’avantage militaire que peuvent représenter ces systèmes sera probablement beaucoup trop important et trop tentant pour les gouvernements du monde entier. En tout état de cause, vous ne voudrez pas être le seul à en être dépourvu. Ils doivent donc être réglementés et les gouvernements et les forces armées doivent être tenus responsables de la recherche, du développement, de l’acquisition, du déploiement et de l’utilisation de ces armes. « L’obligation de rendre compte » est le point de départ de l’entrée en scène des ISC du monde entier.

Robots tueurs – la technologie

Les armes dotées d’une certaine autonomie existent depuis longtemps. Parmi les exemples les plus simples, on peut citer les fils-pièges, les mines antipersonnel et les missiles de croisière. Il s’agit généralement de systèmes « configurer et oublier » ou « tirer et oublier ». Par exemple, une fois que la cible d’un missile de croisière est programmée et que le missile est lancé, il se dirige de lui-même vers la cible choisie par les humains. En outre, le délai entre le lancement et l’impact d’un missile de croisière est normalement assez limité, ce qui est important en vue d’éviter les victimes civiles.  

Ce qui est nouveau avec les SALA, c’est que l’intelligence artificielle (IA) a fait son entrée dans le domaine. Les missiles de croisière sont préprogrammés et ne décident pas eux-mêmes de la cible à atteindre. Les robots dotés d’intelligence artificielle, par exemple les drones, peuvent prendre de telles décisions. Nous nous trouvons alors dans une situation où les machines décident, sans intervention humaine, qui peut vivre et qui peut mourir.

Pour ce faire, les machines doivent être dotées d’un algorithme d’IA s’appuyant sur l’apprentissage automatique. Prenez l’exemple des drones tueurs : En utilisant l’apprentissage automatique, vous pouvez, par exemple, entraîner un algorithme à faire la distinction entre les civils et le personnel militaire, en lui fournissant des images étiquetées. Simplement, image1 = « civil », image2 = « soldat ennemi », répétez l’opération quelques milliers de fois avec des images similaires et vous aurez appris à la machine à faire la distinction entre les civils et les militaires. Un tel algorithme devrait être très performant (peut-être correct à 99 %) pour faire la distinction entre ces deux groupes. Ce n’est pas très différent d’un filtre anti-spam alimenté par l’IA qui décide ce qui est du spam et ce qui ne l’est pas.

Une autre « caractéristique » des SALA dotés d’une IA est que, comme la machine elle-même peut potentiellement décider du moment de l’attaque, elle n’est pas obligée d’attaquer immédiatement. Un drone peut « flâner » jusqu’à ce que la probabilité d’un succès maximal atteigne un certain seuil. Par exemple, lorsque le « nombre estimé de victimes > 5 » est prédit par la proximité de soldats ennemis probables dans le champ de vision de la caméra du drone. Une telle « fonctionnalité » pourrait manifestement intéresser les commandants militaires.

Un contrôle efficace humain 

Un principe important du droit international veut que si un soldat tue un ennemi, il doit être conscient de l’avoir fait. Les vies humaines ne doivent pas être prises à la légère, même en temps de guerre. L’importance de l’action humaine concerne l’ensemble de la chaîne de commandement militaire et signifie que toute utilisation d’armes létales doit être soumise à ce que l’on a appelé un « contrôle humain significatif ». (4)

Le développement et l’utilisation d’armes autonomes peuvent changer fondamentalement la donne. Une machine dotée d’une intelligence artificielle qui prend elle-même la décision de tuer un civil A au lieu d’un soldat B ne peut être déférée à la Cour pénale internationale de La Haye. Tuer ou ne pas tuer n’est pas une question morale pour une machine. Il s’agit simplement d’un calcul de probabilité effectué par un algorithme.  Alors, qui doit être tenu pour responsable ? Le commandant qui a déployé le robot tueur défectueux ? Le ministère de la défense qui a acheté le système ou financé son développement ? L’entrepreneur civil qui a développé l’algorithme défectueux ? Ce sont des questions importantes, mais qui ne sont pas tranchées. 

En outre, selon le droit international humanitaire, les forces armées ne doivent pas utiliser plus de force que nécessaire pour atteindre un objectif militaire.  Le choix des armes est donc important et dépend de la compréhension opérationnelle. Ainsi, le temps qui s’écoule entre le lancement d’une arme et l’impact devient important. Ainsi, si un commandant utilise une arme autonome dont il ne sait pas vraiment quand elle va frapper, il devient également difficile de savoir si cette arme était le bon choix, compte tenu de ce que l’on savait de la situation. En outre, vous n’avez pas vraiment le contrôle sur le fait qu’un soldat ou un civil ait été pris pour cible.

Les robots tueurs et le rôle des ISC

Les robots tueurs et le rôle des ISC

En 2015, lors de sa 69ème session, l’Assemblée générale de l’ONU a adopté la résolution 69/228 intitulée « Promouvoir et favoriser l’efficience, le respect du principe de responsabilité, l’efficacité et la transparence dans les administrations publiques en renforçant les institutions supérieures de contrôle des finances publiques ».(6) 

L’Assemblée générale de l’ONU reconnaissait ici « le rôle important des institutions supérieures de contrôle des finances publiques dans la promotion de l’efficience, de la responsabilité, de l’efficacité et de la transparence de l’administration publique ».

L’un des traits caractéristiques d’un État et de son gouvernement est qu’il a le monopole de l’utilisation de la force militaire pour défendre les frontières territoriales du pays. La défense nationale est donc un élément central de l’administration publique que les ISC doivent auditer au nom du parlement. Le champ d’action des auditeurs ne peut se limiter aux parties les plus administratives et bureaucratiques du secteur de la défense. Il doit également inclure les parties opérationnelles et « proches du combat », car c’est là que l’efficience, la responsabilité et l’efficacité de la défense d’un pays se révèlent pour la première fois. En outre, le secteur de la défense est (naturellement) entouré de secret dans une large mesure, ce qui est en soi une raison pour laquelle les ISC devraient s’intéresser à la défense en vue de garantir la responsabilité au nom du parlement. Fondamentalement, la transparence favorise la responsabilité.

Pourtant, il arrive parfois que les ISC évitent de s’intéresser à la raison d’être de la défense nationale, à savoir l’utilisation éventuelle de la force militaire, y compris les armes qui sont développées, achetées et déployées. La guerre est brutale. Au sens le plus élémentaire, elle consiste à vaincre l’ennemi en tuant les soldats de l’adversaire. La manière dont la guerre doit être menée est régie par le droit international humanitaire, codifié dans les quatre Conventions de Genève et leurs Protocoles additionnels.  Ces Conventions, et en particulier le Protocole additionnel I (API) (7) , définissent les « règles de la guerre ».

N’est-il pas un peu tiré par les cheveux qu’une ISC puisse auditer les armes qui sont développées et finalement utilisées ? Je ne le pense pas. Lorsqu’un pays a ratifié des conventions pertinentes sur le droit international, ces conventions peuvent être utilisées comme critères d’audit pour les ISC.

Par exemple, l’Article 36 – « Armes nouvelles » de l’API stipule que :

« Dans l’étude, la mise au point, l’acquisition ou l’adoption d’une nouvelle arme, de nouveaux moyens ou d’une nouvelle méthode de guerre, une Haute Partie contractante a l’obligation de déterminer si l’emploi en serait interdit, dans certaines circonstances ou en toutes circonstances, par les dispositions du présent Protocole ou par toute autre règle du droit international applicable à cette Haute Partie contractante. »

Ainsi, un nouveau système d’armes, y compris les SALA, doit faire l’objet d’un examen lors de son développement, de son acquisition ou de son adoption, afin de décider si l’arme peut être utilisée légalement au cours d’une guerre. Il s’agit d’une exigence dont les ISC peuvent vérifier le respect. 

En outre, l’Article 57 – “Précautions dans l’attaque” de l’API stipule qu’un attaquant doit :

« prendre toutes les précautions pratiquement possibles quant au choix des moyens et méthodes d’attaque en vue d’éviter et, en tout cas, de réduire au minimum les pertes en vies humaines dans la population civile, les blessures aux personnes civiles et les dommages aux biens de caractère civil »

et

« une attaque doit être annulée ou interrompue lorsqu’il apparaît que son objectif n’est pas militaire »

Si nous nous mettons à utiliser des machines létales et autonomes, où la question de la vie et de la mort se réduit à une équation de probabilité : pouvons-nous être certains qu’une machine « prendra toutes les précautions possibles » pour épargner les civils ? Comment garantir la responsabilité de la suspension d’une attaque contre une cible non militaire, si la décision d’attaquer ou non est prise par la machine elle-même ? Commençons-nous à perdre un contrôle humain significatif sur les armes létales ?

Ce sont là de grandes questions, bien trop importantes pour être laissées à l’appréciation du secteur de la défense lui-même. Il ne peut y avoir de responsabilité sans contrôle externe. Cela signifie qu’une ISC est l’une des rares institutions nationales à pouvoir tenir le gouvernement et le secteur de la défense responsables du développement, de l’acquisition, de l’adoption et de l’utilisation éventuelle de robots tueurs autonomes. Les SALA ont le potentiel de rendre le monde beaucoup plus dangereux. Néanmoins, les ISC peuvent certainement jouer un rôle important dans la réduction des dangers et des risques associés aux SALA. Nous devons être à la hauteur de la situation.