Experiencias con la auditoría de algoritmos y de la Inteligencia Artificial en la Administración neerlandesa
Por: Colin van Noordt, PhD, y Esther Meijer-van Leijsen, PhD, Tribunal de Cuentas de los Países Bajos
Fundamentos de la auditoría de algoritmos y de la IA
La aplicación de algoritmos y de tecnologías de Inteligencia Artificial (IA) en el ámbito de la Administración ofrece muchas oportunidades para mejorar los procesos gubernamentales, la prestación de servicios públicos, la participación ciudadana y el apoyo a la resolución de desafíos sociales. Es por ello que este tipo de tecnologías se está convirtiendo en un elemento que influye cada vez más en cómo actúan las administraciones públicas. No obstante, la introducción de la IA también entraña riesgos si no se implanta de forma responsable. Puede comportar, por ejemplo, sesgos que conduzcan a resultados discriminatorios o a una protección inadecuada de los datos personales. La falta de transparencia en el uso de la tecnología también puede llegar a plantear retos en materia de gobernanza.
Proceso de auditoría de algoritmos
En 2021, el Tribunal de Cuentas de los Países Bajos (NCA) elaboró un marco de auditoría para algoritmos. Dicho marco abarca tanto sistemas sencillos, basados en reglas, como sistemas más complejos, basados en el aprendizaje automático. Se trata de un marco multidisciplinario, que incluye normas sobre gobernanza, privacidad, modelos y datos, así como controles generales de TI. En un artículo anterior de esta revista ya describimos los fundamentos y antecedentes de la creación del marco.
En el año 2022, utilizamos este marco de auditoría para auditar nueve algoritmos empleados por el gobierno holandés. Constatamos que tres de los nueve algoritmos auditados cumplían todos los requisitos básicos. Los otros seis no los cumplían, exponiendo al gobierno a diversos riesgos: desde un control inadecuado del rendimiento y el impacto del algoritmo hasta sesgos, filtraciones de datos y accesos no autorizados.
Desde 2022, también sometemos a auditoría a la propia IA como parte de nuestras fiscalizaciones anuales. Esto nos permite comprender mejor qué es lo que hacen realmente estos algoritmos, cómo garantiza el gobierno la gobernanza en su implantación y cómo se previenen las consecuencias negativas. La presente contribución en la sección “spotlight” incluye las experiencias prácticas al respecto y expone varias lecciones aprendidas.
Evaluación paso a paso de la IA
Nuestra opinión sobre el uso de los algoritmos y la tecnología IA la basamos en lo siguiente:
- Efectividad de los controles: Auditamos la efectividad de todos los controles contemplados en nuestro marco de auditoría, partiendo de la documentación presentada y de las entrevistas realizadas. Cada control se valora como ‘efectivo’, ‘parcialmente efectivo’ o ‘no efectivo’.
- Riesgo residual: Clasificamos el riesgo residual como bajo, medio o alto. El riesgo residual siempre es alto si los controles no son efectivos. La clasificación del riesgo puede rebajarse a ‘medio’ o ‘bajo’ en función del contexto y/o de otras medidas complementarias.
- Conclusión: A continuación, formulamos nuestra conclusión y determinamos si el uso del algoritmo cumple o no los requisitos establecidos en nuestro marco de auditoría.
- Opinión final: En caso de que el algoritmo no cumpla con el marco de auditoría, decidimos si procede trasladarlo como una observación o como una deficiencia al ministro. Esto constituye un dictamen de carácter general.
Experiencias prácticas con la auditoría de algoritmos
Si bien las normas de gobernanza suelen ser bastante genéricas, sus aspectos conexos son transversales a todos los ámbitos y conforman un pilar fundamental de todas las auditorías. Como una vez señaló uno de nuestros auditores:
“A menudo, cuando en el curso de nuestras auditorías detectábamos problemas en aspectos relacionados con la gobernanza, al final también aparecían en los demás ámbitos.”
Por ejemplo, si el rendimiento de un algoritmo no se monitorea adecuadamente, las entidades auditadas suelen carecer de la capacidad de aportar evidencia sobre la mitigación de riesgos de un algoritmo a nivel de modelo. Tales riesgos podrían verse agravados si el desarrollo y la gestión de un algoritmo se subcontratan a un tercero. En cualquier caso, en nuestra opinión, la colaboración con un socio externo no exime a las administraciones públicas de la responsabilidad de controlar sus algoritmos.
Nuestras auditorías revelaron un amplio abanico de prácticas de privacidad diferentes entre los organismos gubernamentales. Desde organizaciones que realizaban exhaustivas evaluaciones de impacto sobre la protección de datos (EIPD) y definían claramente las responsabilidades en materia de datos, hasta organizaciones que tenían grandes dificultades a la hora de cumplir los requisitos legales. En esta última categoría se solía registrar una gran acumulación de algoritmos escasamente documentados, a la par que una escasez de recursos para hacer frente a esta situación. Nos encontramos con una organización que trabajaba en la finalización de más de cincuenta EIPD diferentes con apenas un reducidísimo equipo. También existe disparidad en el nivel de detalle de las explicaciones que se dan a los ciudadanos sobre el uso de los datos personales. En algunos casos solamente hallamos una información general en los sitios web, mientras que en otros había una herramienta específica a disposición de la ciudadanía para obtener dicha información. Afortunadamente, hemos observado un claro impacto positivo de nuestras auditorías sobre estas prácticas tan divergentes:
“Como resultado de nuestras auditorías, la privacidad ha cobrado mayor prioridad y las organizaciones han dado pasos significativos hacia la mejora de su documentación sobre el tratamiento de datos.”
Al auditar los datos y los aspectos de modelización, nos topamos con dos grandes problemas. Primero, que en la actualidad no se dispone de métodos normalizados de mitigación de riesgos que aborden, por ejemplo, los sesgos o la elección de los modelos. Segundo, que el desarrollo de los algoritmos se realiza habitualmente en un entorno de silos. Por ello, puede suponer un reto transmitir las necesidades y expectativas de la empresa al equipo de desarrollo. Lo contrario también ocurre, por ejemplo, cuando las decisiones de modelización no se comunican de forma que sean procesables para otros profesionales implicados, como los juristas o gestores y directivos.
Nuestras experiencias en la auditoría de los controles generales de tecnologías de información (GITC, por sus siglas en inglés) ponen de manifiesto la importancia de dedicar tiempo suficiente a explicar el marco de auditoría a los administradores de TI involucrados. No menos importante es determinar el alcance del objeto de la auditoría como, p. ej., los distintos componentes de los sistemas de TI y la cadena global de prestación de servicios. Determinar este alcance puede ayudar a identificar a las partes implicadas y a analizar quién es responsable de un componente específico. Pero lo más crítico es ser consciente de que el marco de auditoría solo constituye una herramienta y no un fin en sí mismo. Uno de los miembros de nuestro equipo nos lo recalcó:
“No hay dos algoritmos o sistemas de IA iguales, y puede ser preciso realizar ajustes en función de las especificidades, los riesgos únicos y las necesidades a fin de aplicarlos de forma dirigida y efectiva.”
A pesar de los ámbitos especializados que existen en la auditoría de algoritmos, la complementariedad de todos ellos es clave. Como resume el director del proyecto:
“La auditoría de IA requiere un gran trabajo de equipo y el intercambio de conocimientos entre unos y otros. Es como encajar las distintas piezas de un puzzle. Ninguno de los ámbitos está en condiciones de disponer de la imagen completa.”
No se debería subestimar jamás la importancia de esta complementariedad a lo largo del proceso de auditoría y de su calendario. La auditoría exhaustiva de un algoritmo requiere que confluyan todas las perspectivas. Que todos colaboren en un equipo multidisciplinario es una condición indispensable para el éxito de la auditoría.
Impacto y perspectivas de futuro
A resultas de nuestras auditorías, hemos observado un claro cambio en el uso responsable de los sistemas de IA en la Administración neerlandesa. Nuestras auditorías han tenido un impacto directo en los auditados, especialmente cuando se detectaron deficiencias. Los organismos en cuestión recibieron un toque de atención para mitigar los riesgos de sus sistemas de IA de forma más efectiva. Al mismo tiempo, hemos comprobado una repercusión más amplia en la sociedad neerlandesa. Nuestro marco de auditoría ha servido de base para directrices adicionales sobre el uso responsable de la IA en los Países Bajos, tanto en el sector público como en el privado. El papel tan singular, independiente y digno de confianza de una Entidad Fiscalizadora Superior en este tema emergente supone, por tanto, una notable contribución en materia de gobernanza de la IA.
Puesto que este campo continúa evolucionando, nosotros también. Seguimos muy de cerca los avances en IA generativa, ya que sin duda influirán en las operaciones gubernamentales. Paralelamente, en breve se aplicará la Ley de IA de la Comisión Europea, que introducirá nuevas normas sobre IA. Especialmente los sistemas de IA de alto riesgo estarán sujetos a diversos requisitos legales nuevos. Así pues, nuestro marco de auditoría también tendrá que contemplar estos aspectos. Pero, aun con estos desarrollos en ciernes, es importante no esperar más. Los sistemas de IA ya se están usando ahora y nuestro principal consejo es: ¡empiece sin más a auditar la IA!
