Potencie el impacto de sus auditorías de rendimiento: módulos para elaborar una teoría sobre el impacto de las Entidades Fiscalizadoras Superiores

Dr. Sjoerd Keulen, Asesor Estratégico, Tribunal de Cuentas de los Países Bajos. Este artículo es fruto de un trabajo a título personal. La encuesta fue realizada como investigación académica independiente y no se llevó a cabo bajo el mandato del NCA.

Introducción

En las últimas décadas, muchas Entidades Fiscalizadoras Superiores (EFS) han pasado a considerar la auditoría de rendimiento como una de sus principales tareas. Las auditorías de rendimiento amplían el papel de una EFS de auditor público principal a juez, jurado e incluso a consultor de gestión. La INTOSAI ha promovido y promueve la auditoría de rendimiento como método para comprobar la economía, la eficacia y la eficiencia de la política gubernamental (“las 3 E”), además de como medio para reforzar la rendición de cuentas y la transparencia de la Administración. 

Algunos críticos sostienen, sin embargo, que las auditorías de rendimiento no han estado a la altura de las expectativas, sino que se han convertido en un ritual vacío o han dado lugar a actuaciones puntillosas. Los datos disponibles sobre el impacto de las auditorías de rendimiento son, en efecto, ambiguos. En primer lugar, la amplia gama de diseños de auditoría hace difícil las comparaciones (Rana et al., 2022). En segundo lugar, no todos los modelos de gobernanza de las EFS fueron sometidos a un análisis cuantitativo y no existe evidencia sobre el modelo colegiado, que es el que rige el Tribunal de Cuentas de los Países Bajos (NCA). 

A fin de evaluar el impacto de las auditorías de rendimiento de la Administración central realizadas por el NCA, realizamos una encuesta sobre las auditorías de rendimiento llevadas a cabo en todos los ministerios de los Países Bajos entre 2018 y 2021. Para ello, recurrimos a una encuesta validada científicamente y aplicada ya en Canadá (Morin, 2014) y Bélgica (DeSmedt et al., 2017), a cargo de Valérie Pattyn y Minya Chan, de la Universidad de Leiden. Dado que está basada en el modelo de impacto de Van Loocke y Put (2011), que constituye el núcleo de muchos estudios cuantitativos sobre el impacto de las auditorías de rendimiento en diferentes partes del mundo, la encuesta es capaz de proporcionar los módulos básicos para una teoría sobre el impacto de las auditorías de rendimiento de las EFS. *(En el apartado de Referencias se recoge una selección de estudios cuantitativos sobre el impacto de las auditorías de rendimiento en distintas partes del mundo.)

Pero antes de referirnos a estos módulos, explicaremos primero los factores de impacto de las auditorías de rendimiento y, a continuación, presentaremos las conclusiones clave de la encuesta neerlandesa. Después, proporcionaremos los módulos básicos para una teoría sobre el impacto.

Figura: Los tres modelos de gobernanza de las Entidades Fiscalizadoras

Factores que facilitan el impacto

El impacto constituye el núcleo de la labor de una EFS, pero el término “impacto” en sí tiene un amplio alcance y una serie de significados que es necesario conceptualizar. El impacto de la auditoría de rendimiento se define como “el efecto directo o indirecto o la influencia que una EFS puede tener como resultado de su labor en materia de auditoría de rendimiento en las prácticas, el desempeño y la cultura de la entidad auditada” (Lonsdale 1999, p. 171). En general, se considera que existen tres tipos de impacto: instrumental, conceptual y estratégico. Estos tipos de impacto no son excluyentes y pueden solaparse.

El impacto instrumental se da cuando las auditorías de rendimiento se utilizan para mejorar un proceso durante o inmediatamente después de la fiscalización. La forma clásica en la que se manifiesta este impacto es la aceptación e implementación de las recomendaciones de auditoría. De ahí que prácticamente todas las EFS contabilicen cuántas de sus recomendaciones son objeto de seguimiento. 

El impacto conceptual se refiere a las lecciones que el auditado aprende gracias a la auditoría. Poco a poco, las enseñanzas irán influyendo en la política de diversas maneras y a medio y largo plazo. El tiempo que requiere el cambio y la sutileza del mismo dificultan la medición del impacto. El impacto conceptual tiene prioridad sobre los impactos instrumental y estratégico. 

El impacto estratégico se deriva del uso que se hace de los informes de auditoría en debates o negociaciones a modo de herramienta para influir en la toma de decisiones, por ejemplo, para evitar recortes presupuestarios. 

El impacto suele percibirse a tres niveles: el micro, el meso y el macro. El nivel micro consiste en factores relacionados directamente con la propia auditoría. El nivel meso abarca la relación entre la EFS y la entidad fiscalizada. El nivel macro o nacional comprende el contexto sociopolítico y las características propias de la función pública objeto de la auditoría. 

Figura: El modelo de impacto de las auditorías de rendimiento, basado en Van Loocke y Put (2011)

La manera tradicional y más común de medir el impacto es contar el número de recomendaciones que son adoptadas. Los índices de adopción son elevados, pero las EFS tienden a basarse en la autoevaluación de los auditados, por lo que la cifra podría estar inflada. Otro inconveniente es que el recuento de la adopción de recomendaciones únicamente tiene en cuenta el impacto instrumental y presta poca atención a la complejidad y a la, a veces, prolongada duración de cualquier seguimiento. Por este motivo, estudios recientes han incorporado otros factores que potencian el impacto, tales como la responsabilidad política, el grado de resistencia por parte del auditado y los debates políticos o mediáticos. 

Factores que potenciaron y factores que dificultaron el impacto en los Países Bajos

En los Países Bajos utilizamos una encuesta de eficacia probada que contempla todos los tipos de impacto. Nuestra primera conclusión fue que las auditorías de rendimiento del NCA tienen un impacto moderadamente positivo sobre la Administración central, con una media de 4,48 en una escala Likert de 7 puntos (desviación típica = 1,29). Este impacto es similar al del Auditor General de Canadá (modelo Westminster) y ligeramente superior al 3,2/7 del Tribunal de Cuentas belga (modelo judicial). En cuanto a su naturaleza, el impacto fue principalmente conceptual, ligeramente instrumental y moderadamente estratégico. En la práctica, esto significa que los cambios derivados de las auditorías fueron sutiles y tardaron en manifestarse; es la misma situación que se registró en Bélgica y Canadá. 

Resulta interesante observar que el impacto de una EFS no siempre se percibe necesariamente como algo positivo. Algunos ministerios neerlandeses informaron de un aumento de los costes operativos sin incremento de los beneficios a medio plazo. Además, la implementación de los controles adicionales recomendados en el informe de auditoría había provocado un mayor descontento en la función pública. 

A nivel micro, dos factores clave explican el impacto individual de un auditor: en primer lugar, la relación auditor-auditado y, en segundo lugar, la experiencia del equipo de auditoría. Las auditorías fueron aceptadas de mejor grado si la comunicación era abierta y profesional. En particular, en los Países Bajos, el hecho de estar dispuesto a entablar un diálogo con el auditado resultó importante a efectos de la aceptación de los resultados de la auditoría. Si en los ministerios se percibía que un equipo auditor estaba bien informado, su impacto era mucho mayor que cuando el auditado pensaba que el equipo de auditoría carecía de conocimientos especializados. Un factor adicional importante encontrado en la bibliografía es la calidad del informe de auditoría. 

A nivel meso, la probabilidad de lograr un impacto es mayor si el gobierno y el Parlamento, así como los altos cargos del ministerio y su personal están de acuerdo con las recomendaciones de la EFS. Si los hallazgos de auditoría coincidían con las prioridades de los altos funcionarios del ministerio neerlandés, era más probable que fueran aceptados. Su materialización depende siempre de la voluntad de los funcionarios y estos estarán más dispuestos a cooperar si entienden la necesidad y los beneficios de las recomendaciones de la auditoría. 

A nivel nacional holandés o macro, la implicación parlamentaria tuvo un impacto moderado, con efectos tanto positivos como negativos. Los parlamentarios pudieron acelerar el ritmo de implementación, hacer corregir las deficiencias y poner en práctica soluciones reales a los problemas identificados. Con todo, la participación parlamentaria en ocasiones también llegó a surtir efectos negativos en los ministerios, como el aumento de la burocracia o una cierta confusión sobre lo que el Parlamento esperaba del ministro, con la consiguiente parálisis en la gestión. 

El segundo gran factor determinante para un impacto a nivel macro es la atención de los medios de comunicación: gracias a ella, se ha visto reactivado el debate político en los Países Bajos y se han producido cambios a nivel de Administración central. Pero el impacto no siempre ha sido positivo. En algunos casos, la atención mediática trastocó las operaciones rutinarias de la organización y – quizás para guardar las apariencias o en un intento de parecer decididos – se endurecieron ciertos procedimientos.

Figura: Módulos básicos para potenciar el impacto de las auditorías de rendimiento

Módulos básicos para una teoría sobre el impacto de las auditorías de rendimiento en la Administración pública

En esta última parte, presentamos los módulos básicos para una teoría sobre el impacto de las auditorías de rendimiento de las EFS. Gracias a la encuesta realizada en los Países Bajos, disponemos ahora de un conjunto coherente y consistente de evidencias sobre los tres modelos de EFS, a lo largo de un período de muchos años y procedentes de diferentes partes del mundo. Así, estamos en condiciones de identificar los factores de impacto más importantes para las auditorías de rendimiento. A efectos de elaborar una teoría concluyente es necesaria una revisión completa de la bibliografía.

El requisito previo para lograr un impacto es la legitimidad de la EFS. Si una EFS es percibida como un elemento legítimo y relevante de la gobernanza, el impacto de la auditoría tiende a ser mayor. Este mecanismo se demostró tanto en los países escandinavos desarrollados con un alto impacto como en los países en desarrollo.

La calidad del equipo auditor es un predictor clave del impacto a nivel micro. La interacción constructiva entre el auditor y el auditado estimula la aceptación de la auditoría. Una relación de trabajo profesional que establezca el equilibrio adecuado entre la independencia y la comprensión mutua del auditor y del auditado también puede contribuir a estimularla. La utilidad y la calidad del informe de auditoría y de sus recomendaciones también son factores importantes para el impacto. Cuanto más concretas las recomendaciones del informe, tanto mayor su valor percibido y, por ende, su impacto. 

Poco se ha investigado sobre cómo aumentar el impacto a nivel del auditado. Sin embargo, destaca un factor: el consenso entre los distintos centros de poder. El mejor predictor del impacto es el consenso entre el auditor, el personal de base de la organización y los altos directivos y líderes políticos de la cúpula. A mayor consenso sobre los hallazgos y las recomendaciones de la auditoría, mayor probabilidad de que haya impacto. 

A nivel macro, muchos autores concluyen que la consideración tanto parlamentaria como mediática de una auditoría potencia su impacto. Esta es una de las razones por las que la INTOSAI promueve la participación de los medios de comunicación y los parlamentos. También las ONG y las organizaciones de la sociedad civil son vistas cada vez más como posibles canales para aumentar el impacto de las EFS. La atención de los medios de comunicación potenció el impacto de una auditoría en todos los casos estudiados. Ello se tradujo, por lo general, en un efecto de supervisión, es decir, en exigir responsabilidades a alguien por los resultados de la auditoría. Sin embargo, la atención mediática y política no conduce automáticamente a cambios en la Administración pública. Solo en alrededor de la mitad de los casos estudiados, la atención de los medios de comunicación provocó cambios dentro de una organización. Como vimos en el nivel meso, el consenso de la alta dirección y la voluntad de la organización son fundamentales para que se produzca el cambio. 

Conclusión

Las auditorías de rendimiento pueden tener un impacto positivo en las organizaciones gubernamentales. El impacto puede ir mucho más allá de la implementación clásica de las recomendaciones de auditoría. Si las auditorías logran cambiar la forma de pensar del auditado, su impacto es de carácter conceptual. Las auditorías se pueden utilizar, asimismo, con fines estratégicos y para influir en la toma de decisiones. Y: el impacto comienza por el auditor a título individual. Cuanto más profesional y experto sea el auditor, más probabilidades habrá de que se produzca un impacto positivo. Su profesionalidad debería quedar patente no solo a través de un informe bien redactado y de alta calidad, sino también por su disposición a comunicarse abiertamente y entablar un diálogo con el auditado. Este tipo de microfactores también ejercen una influencia a nivel meso. Si la organización y su dirección no están convencidas de la necesidad de modificar su actuación en respuesta a los hallazgos y recomendaciones de auditoría, menos probable será que se consiga un impacto. La consideración política en el Parlamento, los medios de comunicación o incluso la participación de las ONG pueden ayudar a reactivar el debate y a que se acepten las recomendaciones, pero, aun así, la resistencia de la organización puede ser demasiado fuerte para que cambie. De ahí la enorme importancia de la profesionalidad del auditor individual. La encuesta realizada en los Países Bajos y buena parte de la bibliografía académica demuestran que la conducta profesional y la comunicación abierta con el auditado pueden vencer la resistencia de una organización y contribuir a que las recomendaciones de auditoría sean aceptadas e implementadas.