Beurteilung der Informationsqualität aus Anwendersicht

Autoren: Klauss Nogueira, Rafael Albuquerque da Silva und Tiago Menegardo, Prüfer in der Spezialabteilung IT-Prüfungen des TCU (Oberste Rechnungskontrollbehörde Brasilien).

In diesem Artikel wird eine Methode vorgestellt, mit der die tatsächliche Transparenz von auf den Portalen öffentlicher Einrichtungen publizierten Informationen beurteilt werden kann. Dabei werden neben der Verfügbarkeit von Informationen auch Qualitätsanforderungen an die Informationen berücksichtigt: zum Beispiel Aktualität, Vollständigkeit, Prägnanz, Genauigkeit, Klarheit, Verlässlichkeit, Zugänglichkeit und Relevanz.

Die Methode besteht darin, die Wahrnehmung der Informationsanwenderinnen und -anwender zu beurteilen, da der Informationsgehalt von der Anwenderin bzw. dem Anwender sowie dem Kontext, in dem die Information betrachtet wird, abhängt.

Die aufgeführte Methode wurde bei einer Prüfung der Obersten Rechnungskontrollbehörde Brasilien (TCU) aus 2020 bzw. 2021 angewendet. Bei dieser Prüfung wurden die Portale des Gesundheitsministeriums, der Abgeordnetenkammer und des TCU selbst beurteilt.

Qualitätsanforderungen an Informationen

Qualitätsanforderungen an Informationen sind Merkmale, die für die Analyse und Messung der Informationsqualität herangezogen werden können, wobei sowohl subjektive als auch objektive Gesichtspunkte berücksichtigt werden. Dazu gehören Merkmale, die sich auf die Information selbst beziehen, und jene, die mit ihrer Anwendung zusammenhängen.

Da die Informationsqualität anhand vieler verschiedener Kriterien bewertet werden kann, war es unerlässlich, den Informationsgehalt durch die Bewertung der Anforderungen an ihre Qualität zu quantifizieren, um die Wirksamkeit der bereitgestellten Informationen zu prüfen.Daher wurden nach Auswertung wissenschaftlicher Studien aus der Informationswissenschaft sowie des Handbuchs Enabling Information von COBIT 5 folgende Anforderungen an die Informationsqualität festgesetzt: Aktualität, Zugänglichkeit, Klarheit, Korrektheit, Verlässlichkeit, Prägnanz, Relevanz, offenes Format, Sicherheit und Vollständigkeit.

Da das Prüfungsziel jedoch darin bestand, den tatsächlichen Informationsnutzen aus Anwenderperspektive zu beurteilen, wurde das Merkmal Sicherheit aus diesem Blickwinkel nicht wirklich bewertet. Seine Bewertung erfolgte mit einem Fragebogen zur Selbsteinschätzung der Sicherheit, der von den jeweiligen Organisationen ausgefüllt wurde und nicht Thema dieses Artikels ist. Gleichermaßen wurde die eher technische Anforderung „offenes Format“ vom Prüfteam selbst mithilfe eines speziellen Bewertungsmodells beurteilt.

Methode

Der Beurteilungsprozess startete mit der Auswahl der Portale anhand von Anregungen repräsentativer Gesellschaftsgruppen, beispielsweise von Unternehmen, staatlichen Stellen, die öffentliche Daten verwalten, sozialen Kontrolleinrichtungen, Konsumentenschutzeinrichtungen sowie Forscherinnen und Forschern, die mit öffentlichen Daten arbeiten. Nach Durchsicht der Anregungen wurden 192 Portalseiten mit wichtigen Informationen für diese Stellen aufgelistet, wobei die Portale des Gesundheitsministeriums, der Abgeordnetenkammer und des TCU am häufigsten angeführt wurden.

Im Anschluss traf sich das Prüfteam mit den Portalmanagerinnen und -managern, um den Veröffentlichungsprozess von Informationen und etwaige Verfahren zur Sicherung der Informationsqualität zu verstehen.

Datenerhebung

Um die Wahrnehmung der Informationsqualität seitens der Anwenderinnen und Anwender zu erfassen, verwendete das Prüfteam zwei Methoden für die Erhebung von Erfahrungswerten: Fokusgruppen und eine Umfrage mit einem Bewertungsfragebogen.

Fokusgruppen

In den Fokusgruppen waren spezialisierte Anwenderinnen und Anwender der beurteilten Portale vertreten: unter anderem aus den Bereichen Journalismus, Rechtswesen, Wissenschaft und soziale Kontrolle. Ziel war es, über die Qualität der auf den Portalen veröffentlichten Informationen aus deren fachlicher Perspektive zu sprechen. 

Umfrage mit Bewertungsfragebogen

Ein Bewertungsfragebogen wurde erstellt, um den Gehalt der auf den Portalen veröffentlichten Informationen unter Verwendung der ausgewählten Qualitätsanforderungen zu quantifizieren. Die Befragten konnten ihre Wahrnehmung und ihr Feedback sowohl mittels Bewertungsskalen als auch über offene Fragen kundtun.

• Der Fragebogen enthielt die folgenden Fragen zu den verschiedenen Aspekten der Informationsqualität:
• Es ist einfach und unkompliziert, Informationen auf dem Portal zu suchen und zu finden (Zugänglichkeit).
• Die auf dem Portal gefundenen Informationen und Daten sind relevant und erfüllen Ihre Bedürfnisse (Relevanz).
• Die auf dem Portal gefundenen Informationen sind einfach zu verstehen und zu interpretieren (Klarheit).
• Die auf dem Portal gefundenen Informationen und Daten sind korrekt, d. h. frei von Fehlern wie Grammatik- und Rechtschreibfehlern, inkorrekten Symbolen, Werten und Einheiten etc. (Korrektheit).
• Die auf dem Portal gefundenen Informationen sind vollständig. Das heißt, sämtliche erforderlichen Daten sind in ausreichendem Maße vorhanden, um von Nutzen zu sein (Vollständigkeit).
• Sie vertrauen den auf dem Portal gefundenen Informationen, um Entscheidungen zu treffen und Aufgaben zu erledigen (Verlässlichkeit).
• Die auf dem Portal gefundenen Informationen sind aktuell genug (Aktualität).
• Die auf dem Portal gefundenen Informationen und Daten werden prägnant präsentiert. Das heißt, sie gehen in einem angemessenen Ausmaß ins Detail und enthalten keine unnötigen Elemente (Prägnanz).

Die Umfrageteilnehmenden wurden hauptsächlich über die Zusammenarbeit mit den Portalmanagerinnen und -managern erreicht. Diese ermutigten Anwenderinnen und Anwender über Mitteilungen, die auf ihren Portalen sowie offiziellen Social-Media-Konten veröffentlicht wurden, zur Teilnahme.

Ergebnisse

Die Datenerhebung unter den Anwenderinnen und Anwendern zeigte, dass die Portale des TCU, der Abgeordnetenkammer sowie des Gesundheitsministeriums wichtige in Gesetzen und bewährten Verfahren verankerte Qualitätsanforderungen nicht vollständig erfüllten, was die erfolgreiche Nutzung der veröffentlichten Informationen unter Umständen negativ beeinflusst.

Einige der hervorgehobenen Probleme betrafen Schwierigkeiten beim Auffinden bestimmter Informationen, unzureichende Aktualität, fehlende Prägnanz und zu kleine Datenmengen, um von Nutzen zu sein.

Jedoch hielten Anwenderinnen und Anwender die Informationen der Portale insgesamt für relevant, klar, korrekt und verlässlich.

Daneben enthüllten Interviews mit den Portalmanagerinnen und -managern, dass es keine internen Verfahren zur Beurteilung der Qualität von veröffentlichten Informationen gemäß den geprüften Qualitätsanforderungen sowie dem Feedback von Anwenderinnen und Anwendern gibt.

Fazit

Bei der Beurteilung der tatsächlichen Informationstransparenz auf den Portalen öffentlicher Stellen dürfen Anforderungen an die Informationsqualität – wie Aktualität, Vollständigkeit, Prägnanz, Genauigkeit, Klarheit, Verlässlichkeit, Zugänglichkeit und Relevanz – nicht vernachlässigt werden. 

Dabei muss auch berücksichtigt werden, wie Anwenderinnen und Anwender die Informationen wahrnehmen, da der Informationsgehalt stets von den Anwenderinnen und Anwendern sowie dem Kontext abhängt.

An der Beurteilung sollten verschiedene Anwendergruppen beteiligt sein, unter anderem die Öffentlichkeit, Expertinnen und Experten, Wissenschaftlerinnen und Wissenschaftler, Fachleute aus dem Feld des Portals, Journalistinnen und Journalisten, Entscheidungsträgerinnen und -träger, Menschen mit eingeschränkter Erfahrung im Bereich Informationskonsum.

Im Übrigen sollte klargestellt werden, dass es möglich ist, andere Kriterien zur Beurteilung der Informationsqualität sowie andere Datenerhebungs- und Datenauswertungsmethoden auszuwählen. Dadurch können andere Rechnungskontrollbehörden das Projekt einfach wiederholen.

Neben der Förderung einer Debatte über das Thema wird letztendlich davon ausgegangen, dass die Qualitätssicherung von auf den Portalen öffentlicher Stellen veröffentlichten Informationen anhand von Qualitätsanforderungen dazu beitragen kann, nützliche Informationen an die Gesellschaft weiterzugeben, die wirksame Ausübung sozialer Kontrolle zu erleichtern und die Verbreitung von Fake News zu bekämpfen.

Jenseits ihrer direkten Anwendung in Prüfungen kann der Einsatz dieser Methode wertvolle Diskussionen sowie positive Veränderungen im Bereich der Verbreitung öffentlicher Informationen anregen. Indem hervorgehoben wird, wie wichtig es ist, Anforderungen an die Informationsqualität zu erfüllen, können ORKB zur Weitergabe von verlässlichen und wertvollen Informationen an die Gesellschaft im Allgemeinen beitragen. Dies unterstützt nicht nur die wirksame Ausübung sozialer Kontrolle, sondern spielt auch eine entscheidende Rolle bei der Bekämpfung der Verbreitung von Falschinformationen. In Anbetracht der Tatsache, dass die Debatte rund um Informationsqualität Schwung aufnimmt, kann diese Methode in verschiedensten Branchen als Katalysator für umfassendere Verbesserungen in den Bereichen Transparenz und Rechenschaftspflicht fungieren.

Der vollständige Bericht zu dieser Prüfung ist durch die Suchfunktion auf tcu.gov.br mit der Referenz

“ACÓRDÃO Nº 878/2022 – TCU – Plenário; TC 037.554/2020-4” zugänglich

oder durch Anfrage an klaussho@tcu.gov.br.