Por Loren Yager y Martin Alteriis, Centro de Excelencia en Auditoría de la Oficina de Rendición de Cuentas del Gobierno de EE.UU.
Introducción
Uno de los rasgos distintivos de las entidades fiscalizadoras y sus informes de auditoría es el énfasis que ponen en la evidencia para fundamentar sus hallazgos y recomendaciones, por lo que cualquier técnica que albergue el potencial de hacer que esa evidencia sea aún más adecuada debería gozar de máxima prioridad. Una de las formas de activar ese potencial pasa por examinar a fondo las técnicas empleadas por las entidades fiscalizadoras para recopilar la evidencia: las encuestas, las entrevistas semiestructuradas y los instrumentos de recopilación de datos (DCI, por sus siglas en inglés).
Las encuestas constituyen una herramienta de inestimable valor para las entidades fiscalizadoras cuando no está disponible la información necesaria a partir de fuentes documentales, aunque el tiempo y los recursos que requieren para llevarlas a cabo limitan su uso. Como contrapartida, todo parece indicar que un mejor conocimiento de las entrevistas semiestructuradas y de los instrumentos de recopilación de datos encierra el potencial de aportar rigor a las auditorías sin que ello suponga una inversión ingente. Por ejemplo, las entidades fiscalizadoras suelen recurrir a algún tipo de entrevista en todas sus auditorías; introducir en este proceso algunos cambios menores que le añadan estructura podría resultar muy rentable y no requerir grandes inversiones adicionales. Del mismo modo, muchas auditorías implican inspecciones de algún tipo, ya sea de las instalaciones físicas o de los documentos del organismo. En este caso, la adopción de un enfoque más estructurado, como el basado en DCI, también puede potenciar la adecuación de la evidencia sin que ello exija más tiempo o recursos.
Figura 1: Métodos más comunes de recopilación de datos
Encuestas
Las encuestas pueden representar una herramienta eficaz para obtener evidencia de auditoría, sobre todo cuando no hay otra forma de conseguir la información requerida. De hecho, las encuestas a menudo son la única vía para recabar información sobre las opiniones de los encuestados y, en líneas más generales, las encuestas ofrecen una manera de recopilar evidencia testimonial de un modo más riguroso. En cierto sentido, las encuestas brindan la oportunidad de convertir la evidencia testimonial en “datos”.
El inconveniente es que las encuestas con un nivel de calidad suficiente para servir de evidencia de auditoría son costosas y su elaboración y materialización llevan mucho tiempo. Una de las diferencias cruciales entre las encuestas y los otros dos métodos de recopilación es que el equipo auditor no está presente cuando los encuestados cumplimentan la encuesta. En cambio, las entrevistas semiestructuradas y los instrumentos de recopilación de datos son administrados o cumplimentados por miembros del equipo auditor (véase la figura 1). Esta diferencia repercute en el tiempo requerido para la preparación y las pruebas previas que exige una encuesta. Puesto que el equipo no estará presente para poder responder a ninguna pregunta, las preguntas de la encuesta deben diseñarse y materializarse de forma que no den lugar a ningún tipo de sesgos o confusión y se obtenga un índice de respuesta aceptable.
La figura 2 ilustra los pasos a seguir para completar con éxito una encuesta, aunque el tiempo requerido para ello puede variar mucho en función de factores como la experiencia del equipo auditor, la complejidad y la sensibilidad del tema, o el tamaño de la muestra y la accesibilidad de la población diana.
Figura 2: Pasos clave para la realización de una encuesta
Hay casos en los que las encuestas son el mejor método disponible para recopilar la evidencia necesaria para una auditoría, pero, tal y como ocurre con cualquier decisión que implique una inversión importante, el uso de encuestas merece un examen cuidadoso de los costes y beneficios de esta técnica frente a otros métodos de obtención de evidencia de auditoría.
Entrevistas semiestructuradas
Por otro lado, también existen otras técnicas para recopilar datos y que parecen albergar un potencial significativo a efectos de aportar rigor sin mucha inversión adicional. Una de ellas es la que se conoce como entrevista “semiestructurada”, que se diferencia de las entrevistas normales en que suele integrar una combinación de preguntas abiertas y preguntas cerradas. Las preguntas cerradas ofrecen un conjunto determinado de opciones de respuesta, que pueden incluir sí/no, escalas de medida (en gran medida, en cierta medida, en escasa medida), etc.
Las entrevistas semiestructuradas ofrecen la posibilidad de aportar rigor al proceso de obtención de evidencia, en tanto que los equipos de auditoría pueden utilizar, en parte, las mismas técnicas de selección y materialización que se aplican en las encuestas. No obstante, como el objetivo es disponer de un instrumento más estable antes de comenzar con las entrevistas, hace falta dedicar más tiempo a su fase de elaboración.
Figura 3: Al dar más estructura a las entrevistas, hace falta dedicar más tiempo a su elaboración.
La fase de documentación también incluye la indexación, referenciación y respuesta a los comentarios de los auditados.
En contrapartida, esta planificación previa entraña dos ventajas potenciales para la auditoría. Una es que el tiempo empleado en la planificación de la entrevista tiende a reducir el requerido para las fases posteriores de la fiscalización, en particular, las de análisis y documentación. Por ejemplo, si el equipo incorpora algunas preguntas cerradas en la entrevista al estilo de la que se muestra a continuación, la gama de posibles respuestas es limitada.
¿La capacitación le ha proporcionado las habilidades necesarias para llevar a cabo las inspecciones?
a. en gran medida
b. en cierta medida
c. en escasa medida
En tales casos, el análisis y la documentación de las preguntas estructuradas se simplifican enormemente, ya que solo hay que realizar un recuento de las respuestas. El formato semiestructurado es, además, flexible, gracias a que el equipo tiene la posibilidad de incorporar preguntas abiertas, en las que las respuestas no son tan fáciles de anticipar y clasificar de antemano.
Una ventaja aún más significativa de las entrevistas semiestructuradas reside en que permiten obtener una evidencia y unos hallazgos de auditoría más adecuados. Por ejemplo, si la pregunta anterior no hubiera formado parte de una entrevista semiestructurada, el hallazgo principal podría haber sido similar al enunciado que aparece a la izquierda en la figura 4:
Figura 4: Hallazgos típicos en entrevistas no estructuradas vs. entrevistas semiestructuradas
En cambio, si el equipo auditor hiciera la misma pregunta a todos los encuestados de la misma manera, podría informar de la evidencia de una forma mucho más precisa y adecuada, como en la afirmación de la parte derecha de la figura. Además, en una entrevista semiestructurada se podrían formular preguntas adicionales para averiguar qué aspectos de la capacitación no resultaron satisfactorios, por lo que el formato de entrevista semiestructurada ofrece un enfoque con “lo mejor de ambos mundos”, a cambio de una modesta inversión en la fase de elaboración previa a la realización de las entrevistas.
Instrumentos de recopilación de datos (también conocidos como formularios de entrada de datos de análisis)
La segunda técnica susceptible de generar hallazgos más adecuados es el uso de un DCI. Se trata de formularios estructurados de entrada de datos que los analistas administran siguiendo procedimientos y procesos desarrollados para la auditoría. Seguramente, muchas entidades fiscalizadoras ya están empleando estas herramientas de una forma u otra, pero las posibilidades de aportar rigor a las auditorías a través de ellas parecen casi ilimitadas. Una de las imágenes más habituales de un instrumento de recopilación de datos es la de un inspector de edificios con un portapapeles verificando cada uno de los elementos exigidos, aunque ahora tal vez sea más común que el portapapeles se vea reemplazado por una tableta electrónica o similar.
Esta modalidad de instrumento de recopilación de datos puede ser útil para los auditores cuando llevan a cabo inspecciones de edificios, de inventarios o de otros activos físicos, además de contribuir a asegurar la coherencia del examen de todos los casos seleccionados para su revisión. No obstante, los instrumentos de recopilación de datos también se podrían utilizar para aportar rigor al examen de los documentos facilitados por un ministerio o departamento. Por ejemplo, los auditores revisan con frecuencia los informes de progreso o contratos para asegurarse de que se cumplen determinados requisitos legales, y a menudo, existe la posibilidad de crear un instrumento de recopilación de datos que permita a los auditores hacer un examen más coherente de los documentos. Al igual que en el caso de las entrevistas semiestructuradas, es necesario encontrar un equilibrio entre el tiempo adicional en la fase de elaboración y un análisis más simple con unos resultados más adecuados.
A título de ejemplo, el texto de la izquierda es típico de los hallazgos obtenidos cuando la revisión no se lleva a cabo de forma estructurada. Si, por el contrario, se utiliza un instrumento de recopilación de datos y los auditores tienen la posibilidad de clasificar la calidad de la documentación en tres categorías, los hallazgos podrían resumirse en un gráfico como el de la derecha, con un impacto significativamente mayor.
Figura 5: Hallazgos típicos de revisiones no estructuradas vs. uso de un instrumento de recopilación de datos (DCI)
Una de las ventajas adicionales de que el equipo auditor elabore un instrumento de recopilación de datos es que cualquier paso que se dé para incrementar el rigor de la evaluación probablemente también reportará otros beneficios. Entre ellos, el que el equipo tendría que aclarar exactamente qué lenguaje es el requerido en función de los criterios, como, por ejemplo, cuáles son las condiciones específicas que merecerían una designación de “documentación parcial” frente a “documentación completa”. Estas reglas ayudarían a garantizar una aplicación coherente de los criterios y facilitarían la revisión interna previa a la publicación. Este tipo de rigor resultaría especialmente valioso si el auditado discrepara de los hallazgos y pidiera conocer la metodología. Sin un conjunto riguroso de reglas de decisión y un recuento claro de los resultados, el auditado podría exigir cambios en los hallazgos, mientras que, con un instrumento de recopilación de datos y reglas de decisión claras, el equipo auditor podría incluso acoger de buen grado un desafío a la metodología y sus hallazgos.
Conclusión
Un elemento clave de la definición de auditoría de desempeño en el marco de las ISSAI es “proporcionar una visión o conclusión independiente y rectora basada en la evidencia de auditoría”. Por tanto, cualquier paso que puedan dar los auditores públicos para obtener una evidencia más adecuada debería ser una de las principales prioridades de las entidades fiscalizadoras. En base a nuestra experiencia con entidades fiscalizadoras estadounidenses e internacionales, todo parece indicar que un uso más selectivo de las encuestas y la utilización más frecuente de entrevistas semiestructuradas e instrumentos de recopilación de datos poseen el potencial necesario para potenciar la adecuación de la evidencia de auditoría y maximizar el impacto positivo de las entidades fiscalizadoras.
