Desarrollo de un marco de auditoría para algoritmos

por Esther Meijer-van Leijsen PhD, Justin Verhulst MSc, Pieter Oosterwijk PhD y Miranda Pirkovski MSc RA EMITA, Tribunal de Cuentas de los Países Bajos

El aumento constante del uso de algoritmos en el sector público neerlandés -conjuntos de reglas e instrucciones que sigue un ordenador para resolver problemas o responder preguntas- ha generado la correspondiente demanda de supervisión. El debate público, la cobertura mediática y las discusiones en el Parlamento se han intensificado, especialmente después de que un tribunal de distrito de La Haya diera la razón a varias organizaciones no gubernamentales (ONG) al considerar que SyRI (un instrumento de detección del fraude basado en algoritmos) infringía disposiciones de la legislación europea.

El creciente uso de algoritmos para la gestión de operaciones y la prestación de servicios en la Administración plantea retos a las Entidades Fiscalizadoras Superiores (EFS) de todo el mundo. Los algoritmos pueden hacer opacas, o una “caja negra”, las operaciones gubernamentales. Con unas directrices limitadas, ¿cómo pueden las EFS evaluar si los gobiernos utilizan los algoritmos de forma responsable y legal?

Con su informe de enero de 2021 “Understanding Algorithms”, el Tribunal de Cuentas de los Países Bajos (NCA) hizo una contribución práctica al debate sobre las oportunidades y los riesgos asociados al uso de algoritmos por parte de la Administración. El informe: 1) proporcionaron información sobre el grado de conocimiento y control de las administraciones públicas neerlandesas sobre el uso de algoritmos en sus departamentos; 2) presentó un marco de auditoría que puede utilizarse para evaluar riesgos concretos; y 3) comprobó la utilidad del marco de auditoría.

El objetivo último del proyecto de la NCA era sentar las bases de un uso responsable de los algoritmos por parte de las administraciones públicas. Este artículo describe las conclusiones y el impacto del informe.

Algoritmos más sencillos actualmente en uso

NCA descubrió que los algoritmos predictivos y prescriptivos que el gobierno holandés utiliza actualmente para tomar decisiones que afectan a ciudadanos y empresas son relativamente sencillos. La Administración utiliza estos algoritmos para gestionar operaciones y prestar servicios, como el envío masivo de correo automatizado y la selección inicial de solicitudes de prestaciones. Algunos de los algoritmos, sin embargo, son más innovadores e implican inteligencia artificial. A petición suya, los ministerios y las organizaciones de ejecución, como la Agencia del Seguro de los Trabajadores y el Banco de la Seguridad Social, facilitaron a la NCA docenas de algoritmos para su auditoría. Entre ellos, NCA no encontró ningún algoritmo totalmente autodidacta, es decir, que aplique la política sin intervención humana.

Uno de los retos a los que se enfrentó la NCA al realizar esta auditoría fue definir claramente los términos y las definiciones. Términos como “caja negra”, “sesgo” e incluso “algoritmo” pueden ser definidos de formas sustancialmente diferentes por personas con formación en derecho, gobernanza, tecnología de la información (TI) o ciencia de datos. La NCA no quiso ahondar demasiado en debates académicos sobre definiciones. Sin embargo, era importante tener una idea clara y concreta de lo que se estaba auditando y de cuáles eran las normas de calidad. Para ello, la NCA organizó sesiones de intercambio de ideas en las que profesionales de todos los niveles de la Administración, así como del mundo académico y las organizaciones de auditoría, llegaron a un entendimiento común de los términos.

Marco de auditoría de algoritmos

La NCA ha desarrollado un marco de auditoría que las organizaciones gubernamentales y del sector privado pueden utilizar para evaluar si sus algoritmos cumplen los criterios de calidad especificados y si se han identificado y mitigado adecuadamente los riesgos que conllevan. La NCA pretende que el marco de auditoría sirva como herramienta práctica y punto de partida para los retos a los que se enfrentan los auditores a la hora de evaluar algoritmos. El marco se describe en el informe y está disponible en formato Excel, lo que permite a los usuarios filtrar las preguntas relacionadas con categorías y principios específicos, como la equidad y la rendición de cuentas.

Para desarrollar el marco, la NCA incorporó aportaciones de expertos, así como de otros marcos de auditoría. Por ejemplo, el Reglamento General de Protección de Datos (RGPD) -una ley de la Unión Europea (UE)- ya proporciona un marco para gestionar los datos personales sensibles, y también existen marcos de gobernanza y de control general de TI (CGCTI). El marco evalúa un algoritmo en función de los siguientes “pilares”:

• Gobernanza y responsabilidad
• Modelo y datos
• Privacidad
• Calidad del ITGC, como derechos de acceso y controles de seguridad
• Ética

Desarrollar el pilar “modelos y datos” resultó ser la tarea más difícil, ya que la mayoría de las innovaciones en el uso de algoritmos entran dentro de esta categoría. Los criterios relativos al modelo y los datos abordan cuestiones sobre la calidad de los datos y el desarrollo, uso y mantenimiento del modelo subyacente al algoritmo.

Existe una preocupación pública legítima por el uso poco ético de los algoritmos -como la toma de decisiones autónoma sesgada-, pero esta cuestión suele debatirse de forma teórica. Para su marco, la NCA se basó en las Directrices Éticas de la Comisión Europea para una IA digna de confianza, formuladas por el Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial. La NCA vinculó estas directrices a los riesgos concretos articulados en los demás pilares.

Prueba práctica de tres algoritmos

Para determinar la utilidad de su nuevo marco de auditoría, la NCA lo probó con tres algoritmos que el Gobierno utilizaba actualmente. Para este ejercicio, la NCA seleccionó algoritmos que tuvieran un impacto sustancial en los ciudadanos, implicaciones éticas y distintos niveles de complejidad técnica, desde relativamente sencillos (árboles de decisión) a complejos (redes neuronales para el reconocimiento facial). Aunque todos los algoritmos eran muy diferentes, la NCA pudo evaluar sus riesgos utilizando el marco de auditoría. Una valiosa lección que aprendió NCA fue que un algoritmo no está aislado de otros procesos informáticos dentro de las entidades gubernamentales; más bien, un conjunto de algoritmos es utilizado por diferentes personas en diversas fases del proceso. Por ello, la NCA recomienda que los equipos que auditen los algoritmos sean multidisciplinares, para que puedan dividirse las tareas y obtener una imagen completa.

Repercusiones del informe

A la NCA le sorprendió la publicidad nacional e internacional que obtuvo su informe. Dos días después de publicar el informe, la NCA organizó un seminario web para presentar las principales conclusiones de la auditoría e iniciar un debate sobre el uso responsable de los algoritmos por parte de las administraciones públicas. El seminario web, entre cuyos ponentes figuraban el Defensor del Pueblo Nacional y representantes del Consejo de Estado, la Agencia de Radiocomunicaciones y el Servicio de Auditoría de la Administración Central (ADR), atrajo a más de 300 participantes.

La NCA lidera ahora los debates sobre la creación de controles y equilibrios para los algoritmos. La NCA colabora con otras organizaciones de auditoría -como la ADR, el Real Instituto Neerlandés de Censores Jurados de Cuentas (NBA) y NOREA, la asociación profesional de auditores informáticos de los Países Bajos- que están deseosas de empezar a auditar algoritmos, pero han tenido problemas con la falta de metodologías y directrices. El marco de la NCA ha sido bien recibido por estas organizaciones como un valioso punto de partida. La NCA también ha sido invitada por ministerios gubernamentales y organizaciones políticas para debatir los controles y equilibrios para el uso responsable de algoritmos, y ha presentado su investigación a auditores de otras EFS. La NCA está deseando continuar estos valiosos debates.

Comentarios

La NCA invita a otras EFS a utilizar el marco para auditar algoritmos y a compartir sus experiencias y comentarios con los autores en algoritmes@rekenkamer.nl.