Evaluación de la calidad de la información desde la perspectiva del usuario

Autores: Klauss Nogueira; Rafael Albuquerque da Silva; y Tiago Menegardo, auditores de la Unidad Técnica de Auditoría de Tecnología de la Información del TCU (Tribunal de Cuentas de la Unión, Brasil).

En este artículo se presenta una metodología para evaluar la transparencia efectiva de la información publicada en los portales de los organismos públicos. Para ello, no solo se tiene en cuenta la mera disponibilidad de la información, sino también los requisitos de calidad de la misma, como su actualidad, exhaustividad, concisión, precisión, claridad, fiabilidad, accesibilidad y relevancia.

La metodología implica, asimismo, evaluar la percepción que tienen los usuarios de la información, ya que el valor de esta depende del usuario y del contexto en el que se considera. 

La metodología mencionada se aplicó en una auditoría realizada por el Tribunal de Cuentas de la Unión (TCU) de Brasil entre 2020 y 2021. Dicha auditoría evaluó los portales del Ministerio de Salud, de la Cámara de Diputados y del propio TCU.

Requisitos de calidad de la información

Los requisitos de calidad de la información son características que permiten analizar y medir la calidad de una información, considerando tanto los aspectos subjetivos como los objetivos. Esto incluye las características relacionadas con la propia información y las relacionadas con su uso.

De ahí que, al estar la información sujeta a toda una serie de criterios con los que se puede evaluar su calidad, resultara imprescindible cuantificar el valor de la información mediante la evaluación de sus requisitos de calidad para así verificar la eficacia de la información facilitada. En consecuencia, tras el análisis de estudios académicos en materia de ciencias de la información y de los marcos de referencia de Cobit 5 para la habilitación de la información, Enabling Information, se adoptaron los siguientes requisitos de calidad a cumplir por la información: actualidad, accesibilidad, claridad, corrección, fiabilidad, exactitud, relevancia, formato abierto, seguridad y exhaustividad.

No obstante, como el objetivo de la auditoría consistía en verificar la utilidad real de la información desde la perspectiva de los usuarios, el atributo de seguridad no fue objeto de una evaluación efectiva desde ese punto de vista. Se valoró mediante un cuestionario de autoevaluación de la seguridad, realizado por las respectivas organizaciones, lo cual queda fuera del alcance del presente artículo. Análogamente, el requisito de “formato abierto”, al ser más técnico, fue examinado por el propio equipo auditor aplicando un modelo de evaluación específico.

Metodología

La evaluación comenzó con la selección de los portales a partir de las aportaciones de grupos representativos de la sociedad, tales como entidades comerciales, organismos gubernamentales que tratan datos públicos, entidades de control social, institutos de protección al consumidor e investigadores que trabajan con datos públicos. Una vez realizada la consulta, se elaboró una lista de 192 páginas de portales con información relevante para todas estas entidades, resultando los portales del Ministerio de Salud, la Cámara de Diputados y el TCU los más citados.

A continuación, el equipo auditor se reunió con los administradores de cada portal para conocer el proceso de publicación de la información y comprobar la existencia de procedimientos para garantizar la calidad de las informaciones publicadas.

Recopilación de los datos

A fin de recabar la percepción de los usuarios sobre la calidad de la información, el equipo auditor utilizó dos técnicas de recopilación de datos de tipo testimonial: grupos focales y una encuesta mediante un cuestionario de evaluación.

Grupos focales

En los grupos focales se contó con la participación de usuarios especializados de los portales evaluados, como periodistas, abogados, investigadores y representantes de entidades de control social, entre otros. El objetivo era debatir sobre la calidad de la información publicada en los portales desde sus perspectivas profesionales. 

Encuesta con cuestionario de evaluación

Se diseñó un cuestionario de evaluación para cuantificar el valor de la información publicada en los portales con respecto a los requisitos de calidad seleccionados. Los encuestados podían transmitir sus percepciones y su feedback tanto a través de escalas de valoración como de respuestas escritas en texto libre.

El cuestionario incluía las siguientes preguntas relacionadas con diversos aspectos de la calidad informativa:

• La forma de encontrar y obtener información en el portal es sencilla y no presenta complicaciones (Accesibilidad).
• La información y los datos encontrados en el portal son pertinentes y se ajustan a sus necesidades (Relevancia).
• La información encontrada en el portal es fácil de entender y de interpretar (Claridad).
• La información y los datos encontrados en el portal son correctos, es decir, no hay errores como faltas gramaticales u ortográficas, ni símbolos, unidades o valores incorrectos, etc. (Corrección).
• La información encontrada en el portal es exhaustiva, es decir, contiene todos los datos necesarios y a la vez suficientes para que resulte útil (Exhaustividad).
• Usted confía en la información y en los datos encontrados en el portal para tomar decisiones o realizar tareas (Fiabilidad).
• La información encontrada en el portal está lo suficientemente actualizada (Actualidad).
• La información y los datos encontrados en el portal se presentan de forma concisa, es decir, tienen un nivel de detalle adecuado y no contienen elementos innecesarios (Concisión).

A la mayoría de los encuestados se accedió gracias a la colaboración de los administradores de los portales, que publicaron notas y noticias en sus portales y cuentas oficiales en las redes sociales, animando a los usuarios a participar.

Resultados

Los datos recabados de los usuarios indicaron que los portales del TCU, la Cámara de Diputados y el Ministerio de Salud no estaban cumpliendo plenamente importantes requisitos de calidad establecidos en la legislación y en las mejores prácticas, lo que potencialmente comprometía la utilización eficaz por parte de los usuarios de la información publicada.

Entre las cuestiones señaladas destacan las dificultades para localizar determinada información, su inadecuada actualidad, la falta de concisión y la insuficiencia de datos para que resulte útil.

En general, sin embargo, los usuarios consideraron que la información de los portales era relevante, clara, correcta y fiable. 

Adicionalmente, las entrevistas con los administradores de los portales revelaron que no existía un proceso interno para evaluar la calidad de la información publicada, considerando los requisitos de calidad auditados y contando con el feedback de los usuarios.

Conclusión

La evaluación de la transparencia efectiva de la información en los portales de las entidades públicas no debe desatender los requisitos de calidad de la información, como su actualidad, exhaustividad, concisión, corrección, claridad, fiabilidad, accesibilidad y relevancia. 

También tiene que tener en cuenta la percepción de la información por parte de los usuarios, ya que el valor de una información depende del usuario y del contexto.

La evaluación debería implicar a distintos grupos de usuarios, entre ellos el público en general, expertos, representantes del mundo académico, profesionales relacionados con la temática del portal, periodistas, responsables de la toma de decisiones y personas con poca experiencia en el consumo de información.

Por cierto, cabe aclarar que es posible seleccionar otros criterios diferentes para valorar la calidad de la información, así como elegir otra metodología de recopilación de datos y de evaluación. Esto hace que el trabajo sea fácilmente replicable por otras entidades de auditoría pública.

Finalmente, se entiende que, amén de fomentar el debate sobre el tema, asegurar que la información publicada en los portales de los entes públicos se ajuste a los requisitos de calidad informativa puede contribuir a difundir información de utilidad a la sociedad, facilitar el ejercicio efectivo del control social, así como luchar contra la propagación de fake news.

Más allá de sus aplicaciones directas en auditoría, la adopción de esta metodología puede generar valiosos debates y cambios positivos dentro del ámbito de diseminación de información pública. Al enfatizar la importancia de adherirse a los requisitos de calidad de la información, las EFS pueden contribuir a la divulgación de información fiable y valiosa al conjunto de la sociedad. Esto no solo ayuda en el ejercicio eficaz del control social, sino que también desempeña un papel esencial a la hora de contrarrestar la proliferación de información falsa y de desinformación. A medida que cobra impulso el debate en torno a la calidad de la información, esta metodología puede actuar como catalizador de unas mejoras más amplias en las prácticas de transparencia y rendición de cuentas en los diversos sectores.

El informe completo de esta auditoría se puede consultar en tcu.gov.br, buscando 

“ACÓRDÃO N.º 878/2022 – TCU – Plenário; TC 037.554/2020-4”, 

o solicitándolo a: klaussho@tcu.gov.br