Robots asesinos: un caso para las EFS
Por: Jan Roar Beckstrom, Científico jefe de datos, Oficina del Auditor General de Noruega1
Los robots asesinos, también conocidos como sistemas de armas autónomas letales (LAWS, por sus siglas en inglés), no son ciencia ficción. Existen. Pronto tendremos enjambres de drones dotados de inteligencia artificial donde son los propios drones los que deciden a quién matar y qué atacar. Las EFS deberían desempeñar un papel a efectos de mantener el desarrollo y el uso de este tipo de armas bajo control humano, en línea con el derecho internacional.
Introducción
Imagínese lo siguiente: usted reúne un enjambre de drones muy pequeños, los carga con un algoritmo de inteligencia artificial (IA) entrenado para reconocer un determinado tipo de uniforme militar, los dota de 5 gramos de explosivos de gran potencia y los envía a la caza de enemigos para matarlos(2). Una vez desplegados estos drones, ya no hay intervención humana alguna y son los propios drones los que deciden a quién apuntar y atacar. Y resulta que uno de ellos decide elegir como blanco a un soldado que se está rindiendo – y lo mata. Esto supondría una clara violación del Derecho Internacional Humanitario (DIH), tal y como se recoge en los Convenios de Ginebra.(3)
O, ¿qué tal una situación en la que un LAWS apoyado por IA decide intervenir por un falso positivo y se enfrenta por error a un sistema enemigo similar, en un “choque entre máquinas”? Y el sistema enemigo responde y además pide refuerzos. Entonces, podríamos encontrarnos en cuestión de segundos ante una guerra no intencionada. Estas armas no son ciencia ficción. La tecnología necesaria ya está disponible en gran parte y los retos aún pendientes radican en cuestiones de ingeniería de miniaturización e integración de sistemas.
Es imposible sobrestimar lo suficiente el potencial inherente a los LAWS en términos de muerte y destrucción y de amenaza de una nueva carrera armamentística. Si bien una prohibición total de determinados tipos de LAWS sí entra dentro de lo posible, resulta difícil imaginar una prohibición a gran escala. Las potenciales ventajas militares que estos sistemas entrañan serán, probablemente, demasiado grandes y tentadoras para los gobiernos de todo el mundo. Llegado el caso, nadie querrá ser el único que carezca de ellos. Así pues, es preciso regularlos y los gobiernos y las fuerzas armadas deben rendir cuentas sobre la investigación, el desarrollo, la adquisición, el despliegue y el uso de este tipo de armamento. Y la “rendición de cuentas” es la puerta por la que entran en escena las EFS de todo el mundo.
Robots asesinos – la tecnología
Las armas con algún tipo de autonomía ya llevan entre nosotros mucho tiempo. Entre las más simples cabe citar los cables trampa, las minas antipersona y los misiles de crucero. Suelen ser sistemas de “configurar y olvidar” o “disparar y olvidar”. Por ejemplo, una vez programado el objetivo de un misil de crucero y efectuado su lanzamiento, éste se dirige hacia el objetivo fijado por el ser humano. Además, el tiempo que transcurre entre el momento del lanzamiento y el del impacto de un misil de crucero suele ser bastante limitado, un factor importante para evitar víctimas civiles.
Lo novedoso en los LAWS es que entra en juego la inteligencia artificial (IA). Un misil de crucero está preprogramado y no decide por sí mismo qué objetivo atacar. Los robots dotados de IA, como por ejemplo los drones, sí que pueden tomar este tipo de decisiones. Por lo que nos hallamos ante una situación en la que las máquinas resuelven, sin intervención humana, quién vivirá y quién morirá.
A estos efectos, las máquinas tienen que estar equipadas con un algoritmo de IA basado en el aprendizaje automático. Tomemos el ejemplo de los drones asesinos: con la ayuda del aprendizaje automático se puede, entre otras cosas, entrenar a un algoritmo para que distinga entre civiles y militares, alimentándolo con imágenes etiquetadas. Basta con introducir: imagen1 = “civil”, imagen2 = “soldado enemigo” y repetir esta operación unos cuantos miles de veces con imágenes similares – y se habrá enseñado a la máquina a discriminar entre civiles y soldados. Un algoritmo de este tipo debería ser muy bueno (quizá con una tasa de aciertos del 99%) a la hora de discernir entre estos dos grupos. No es muy diferente a un filtro de spam basado en IA que decide qué es spam y qué no.
Otra “característica” de los LAWS con IA es que, al ser la propia máquina la que en potencia puede decidir cuándo atacar, no tiene por qué hacerlo de inmediato. Un dron podría “merodear” hasta que la probabilidad de obtener el máximo impacto supere un determinado umbral. Por ejemplo, cuando el “número estimado de bajas es mayor a 5 (> 5)”, pronosticado en función de la proximidad de presuntos soldados enemigos en el campo de visión de la cámara del dron. Una “funcionalidad” de este tipo podría ser, evidentemente, de gran interés para los mandos militares.
Control humano significativo
Una importante máxima del derecho internacional es que, si uno en su condición de soldado mata a un enemigo, debe ser perfectamente consciente de lo que está haciendo. Las vidas humanas no se han de tomar a la ligera, ni siquiera en la guerra. La importancia de la acción humana cuenta para toda la cadena de mando militar y supone que todo uso de armas letales debe estar sometido a lo que se ha dado en llamar “control humano significativo”.(4)
El desarrollo y el uso de armas autónomas alberga el potencial de cambiar esta situación en aspectos fundamentales. Una máquina dotada de IA que tome por sí misma la decisión de matar al civil A en vez de al soldado B no puede ser denunciada ante el Tribunal Penal Internacional de La Haya. Matar o no matar no es una cuestión moral para una máquina. Es simplemente un cálculo de probabilidades realizado por un algoritmo. Entonces, ¿quién tendría que rendir cuentas? ¿El comandante que desplegó el robot asesino viciado? ¿El ministerio de defensa que adquirió el sistema o pagó su desarrollo? ¿El contratista civil que desarrolló el algoritmo defectuoso? Son preguntas muy importantes, aún sin resolver.
Además, en virtud del DIH las fuerzas armadas no deben emplear más fuerza de la necesaria para alcanzar un objetivo militar.(5) Esto significa que la elección de las armas a emplear tiene una gran importancia y depende de cómo se interprete una operación. Así, el tiempo transcurrido entre el lanzamiento de un arma y el impacto cobra relevancia. De esta forma, si un comandante utiliza un arma autónoma de la que no sabe realmente cuándo va a actuar, también se hace difícil saber si dicha arma fue la elección correcta, en función de lo que se sabía de la situación. Aparte del hecho de que no se tiene un control real sobre si el blanco escogido fue un soldado o un civil.
Robots asesinos y el papel de las EFS
En 2015, en su 69º período de sesiones, la Asamblea General de la ONU adoptó la resolución 69/228 sobre “Promoción y fomento de la eficiencia, la rendición de cuentas, la eficacia y la transparencia de la administración pública mediante el fortalecimiento de las entidades fiscalizadoras superiores“.(6)
La Asamblea General de la ONU reconoció aquí “la importante función que cumplen las entidades fiscalizadoras superiores en la promoción de la eficiencia, la rendición de cuentas, la eficacia y la transparencia de la administración pública”.
Una de las características que definen a un estado y a su gobierno es que poseen el monopolio del uso de la fuerza militar para defender las fronteras territoriales del país. La defensa nacional es, como tal, una parte central de la administración pública a la que las EFS tienen que fiscalizar en nombre del Parlamento. El ámbito de actuación de los auditores no puede circunscribirse meramente a las partes más administrativas y burocráticas del sector de la defensa. También ha de incluir las partes operativas y “cercanas al combate”, ya que es ante todo aquí donde se revelan la eficiencia, la responsabilidad y la eficacia de la defensa de un país. Además, gran parte del sector de la defensa está (como es natural) rodeado de un halo de secretismo, lo que en sí mismo constituye un motivo por el que las EFS deberían ocuparse de este a efectos de garantizar la rendición de cuentas en nombre del Parlamento. Básicamente, la transparencia fomenta la rendición de cuentas.
Aun así, las EFS todavía tienden a eludir la raison d’etre de la defensa nacional: el posible uso de la fuerza militar, incluidos los tipos de armas que se desarrollan, adquieren y despliegan. La guerra es brutal. Expresado de una manera muy básica, se trata de acabar con el enemigo matando a los soldados del adversario. El modo en el que se debe librar una guerra está regulado en el DIH, codificado en los cuatro Convenios de Ginebra y sus Protocolos Adicionales. Estos convenios, en particular el Protocolo Adicional I (API, por sus siglas en inglés), definen “las reglas de la guerra”. El Protocolo Adicional I de los Convenios de Ginebra ha sido ratificado por 174 países.
¿Resulta un poco descabellado que una EFS pueda auditar qué armas se desarrollan y, en última instancia, se utilizan? Yo creo que no. Cuando un país ha ratificado los convenios pertinentes en materia de derecho internacional, estos pueden ser utilizadas como criterios de auditoría por parte de las EFS.
A modo de ejemplo, en el artículo 36 – “Armas nuevas” del API se establece que:
“Cuando una Alta Parte contratante estudie, desarrolle, adquiera o adopte una nueva arma, o nuevos medios o métodos de guerra, tendrá la obligación de determinar si su empleo, en ciertas condiciones o en todas las circunstancias, estaría prohibido por el presente Protocolo o por cualquier otra norma de derecho internacional aplicable a esa Alta Parte contratante.”
En consecuencia, cualquier nuevo sistema de armas, incluidos los LAWS, debería someterse a un análisis cuando se desarrolla, adquiere o adopta, para decidir si su uso en el curso de una guerra es legal. Es este un requisito que las EFS pueden comprobar si se ha cumplido.
Además, el artículo 57 – “Precauciones en el ataque” del API dispone que quienes preparen o decidan un ataque deberán:
“tomar todas las precauciones factibles en la elección de los medios y métodos de ataque para evitar o, al menos, reducir todo lo posible el número de muertos y de heridos que pudieran causar incidentalmente entre la población civil, así como los daños a los bienes de carácter civil”
y que
“un ataque será suspendido o anulado si se advierte que el objetivo no es militar.”
Si empezamos a recurrir a máquinas letales y autónomas, con las que la cuestión de “vida o muerte” se reduce a un cálculo de probabilidades, ¿podemos estar seguros de que una máquina “tomará todas las precauciones factibles” para proteger a los civiles? ¿Cómo aseguramos la rendición de cuentas sobre la suspensión de un ataque contra un objetivo no militar, si la decisión sobre atacar o no la adopta la propia máquina? ¿Estamos comenzando a perder el control humano significativo sobre las armas letales?
Estas interrogantes son de gran calado y demasiado importantes como para dejar que las resuelva el sector de la defensa por sí solo. No podemos tener una rendición de cuentas sin control externo. Esto significa que una EFS es una de las pocas instituciones nacionales que puede exigir responsabilidades al gobierno y al sector de la defensa por el desarrollo, la adquisición, la adopción y el eventual uso de robots asesinos autónomos. Los LAWS poseen el potencial de hacer del mundo un lugar mucho más peligroso. Sin embargo, las EFS pueden desempeñar definitivamente un papel importante en la reducción de los peligros y riesgos asociados a los LAWS. Tenemos que estar a la altura de las circunstancias.
