تطوير إطار تدقيق للخوارزميات

بقلم Esther Meijer-van Leijsen PhD ، و Justin Verhulst MSc ، و Pieter Oosterwijk PhD ، و Miranda Pirkovski ماجستير RA EMITA ، محكمة التدقيق الهولندية

أدت الزيادة المطردة في استخدام القطاع العام الهولندي للخوارزميات – مجموعات القواعد والتعليمات التي يتبعها الكمبيوتر لحل المشكلات أو الإجابة على الأسئلة – إلى طلب مماثل للإشراف. تكثف النقاش العام والتغطية الإعلامية والمناقشات في البرلمان ، خاصة بعد أن اتفقت محكمة محلية في لاهاي مع العديد من المنظمات غير الحكومية (NGO) على أن SyRI (أداة كشف الاحتيال القائمة على الخوارزمية) كانت تنتهك أحكام القانون الأوروبي .

يطرح الاستخدام المتزايد للخوارزميات لإدارة العمليات وتقديم الخدمات داخل الحكومة تحديات للأجهزة العليا للرقابة المالية والمحاسبة (SAIs) في جميع أنحاء العالم. يمكن أن تجعل الخوارزميات العمليات الحكومية غامضة أو “صندوقًا أسود”. مع وجود إرشادات محدودة متاحة ، كيف يمكن للأجهزة العليا للرقابة تقييم ما إذا كانت الحكومات تستخدم الخوارزميات بطريقة مسؤولة وقانونية؟

من خلال تقريرها الصادر في يناير 2021 بعنوان “فهم الخوارزميات” ، قدمت محكمة التدقيق الهولندية (NCA) مساهمة عملية في النقاش حول الفرص والمخاطر المرتبطة باستخدام الحكومة للخوارزميات. التقرير: 1) قدم رؤى حول مدى إدراك الكيانات الحكومية الهولندية لاستخدام الخوارزميات والتحكم فيها داخل إداراتها ؛ 2) قدم إطار عمل تدقيق يمكن استخدامه لتقييم المخاطر الملموسة ؛ و 3) اختبرت فائدة إطار المراجعة.

كان الهدف النهائي لمشروع NCA هو وضع الأساس للاستخدام المسؤول للخوارزميات من قبل الحكومة. تصف هذه المقالة نتائج التقرير وتأثيره.

معظم الخوارزميات البسيطة قيد الاستخدام حاليًا

وجدت NCA أن الخوارزميات التنبؤية والتعليمية التي تستخدمها الحكومة الهولندية حاليًا لاتخاذ القرارات التي تؤثر على المواطنين والشركات بسيطة نسبيًا. تستخدم الحكومة هذه الخوارزميات لإدارة العمليات وتقديم الخدمات ، مثل الرسائل الجماعية الآلية والاختيار الأولي لتطبيقات المزايا. ومع ذلك ، فإن بعض الخوارزميات أكثر إبداعًا وتتضمن ذكاءً اصطناعيًا. بناءً على الطلب ، قامت الوزارات والمؤسسات المنفذة مثل وكالة تأمين الموظفين وبنك التأمين الاجتماعي بتزويد الهيئة الوطنية للتأمينات الاجتماعية بالعشرات من الخوارزميات لتدقيقها. من بين هؤلاء ، لم تجد NCA أي خوارزميات ذاتية التعلم بالكامل ، أي خوارزميات تنفذ السياسة دون تدخل بشري.

كان أحد التحديات التي واجهتها NCA في إجراء هذا التدقيق هو تحديد المصطلحات والتعاريف بوضوح. يمكن تعريف مصطلحات مثل “الصندوق الأسود” و “التحيز” وحتى “الخوارزمية” بطرق مختلفة إلى حد كبير من قبل الأفراد الذين لديهم خلفية في القانون أو الإدارة أو تكنولوجيا المعلومات أو علم البيانات. لم ترغب NCA في الخوض بعمق في المناقشات الأكاديمية حول التعريفات. ومع ذلك ، كان من المهم أن يكون لديك فهم واضح وملموس لما يتم تدقيقه وما هي معايير الجودة. ولهذه الغاية ، نظمت NCA جلسات عصف ذهني توصل خلالها المهنيون من جميع مستويات الحكومة ، وكذلك الأوساط الأكاديمية ومؤسسات التدقيق ، إلى فهم مشترك للمصطلحات.

إطار التدقيق للخوارزميات

طورت NCA إطار عمل تدقيق يمكن للحكومة ومؤسسات القطاع الخاص استخدامه لتقييم ما إذا كانت خوارزمياتها تفي بمعايير الجودة المحددة ، وما إذا كان قد تم تحديد المخاطر المصاحبة والتخفيف من حدتها بشكل صحيح أم لا. تعتزم NCA أن يكون إطار عمل التدقيق بمثابة أداة عملية ونقطة انطلاق للتحديات التي يواجهها المدققون في تقييم الخوارزميات. تم وصف إطار العمل في التقرير ومتاح بتنسيق Excel ، مما يسمح للمستخدمين بتصفية الأسئلة التي تتعلق بفئات ومبادئ محددة ، مثل الإنصاف والمساءلة.

لتطوير إطار العمل ، قام NCA بدمج مدخلات من الخبراء ، بالإضافة إلى أطر تدقيق أخرى. على سبيل المثال ، يوفر القانون العام لحماية البيانات (GDPR) – وهو قانون الاتحاد الأوروبي (EU) – بالفعل إطارًا للتعامل مع البيانات الشخصية الحساسة ، كما تتوفر أطر عمل للحوكمة والرقابة العامة لتكنولوجيا المعلومات (ITGC). يقيم إطار العمل خوارزمية على “الركائز” التالية:

• الحوكمة والمساءلة
• النموذج والبيانات
• خصوصية
• جودة ITGC ، مثل حقوق الوصول وضوابط النسخ الاحتياطي
• أخلاق مهنية

ثبت أن تطوير ركيزة “النموذج والبيانات” هو أصعب مهمة ، حيث تندرج معظم الابتكارات في استخدام الخوارزميات ضمن هذه الفئة. يتعامل النموذج ومعايير البيانات مع أسئلة حول جودة البيانات وتطوير واستخدام وصيانة النموذج الذي تقوم عليه الخوارزمية.

هناك قلق عام مشروع بشأن الاستخدام غير الأخلاقي للخوارزميات – مثل اتخاذ القرار المستقل المتحيز – ولكن غالبًا ما تتم مناقشة هذه المسألة بطريقة نظرية. في إطارها ، استندت NCA إلى المبادئ التوجيهية لأخلاقيات المفوضية الأوروبية للذكاء الاصطناعي الجدير بالثقة ، والتي صاغها فريق الخبراء رفيعي المستوى حول الذكاء الاصطناعي. ربطت NCA هذه الإرشادات بالمخاطر الملموسة الموضحة في الركائز الأخرى.

اختبار عملي على ثلاث خوارزميات

لتحديد فائدة إطار التدقيق الجديد ، اختبرته NCA على ثلاث خوارزميات كانت الحكومة تستخدمها حاليًا. في هذا التمرين ، اختارت NCA الخوارزميات التي كان لها تأثير كبير على المواطنين ، والآثار الأخلاقية ، ومستويات متفاوتة من التعقيد التقني ، من بسيطة نسبيًا (أشجار القرار) إلى معقدة (الشبكات العصبية للتعرف على الوجه). على الرغم من أن الخوارزميات كانت مختلفة تمامًا ، إلا أن NCA كانت قادرة على تقييم مخاطرها باستخدام إطار عمل التدقيق. كان أحد الدروس القيمة التي تعلمتها NCA هو أن الخوارزمية ليست معزولة عن عمليات تكنولوجيا المعلومات الأخرى داخل الكيانات الحكومية ؛ بدلاً من ذلك ، يتم استخدام مجموعة من الخوارزميات من قبل أشخاص مختلفين في مراحل مختلفة من العملية. لذلك توصي NCA بأن تكون خوارزميات المراجعة متعددة التخصصات ، لتمكينهم من تقسيم المهام والحصول على صورة كاملة.

أثر التقرير

فوجئت NCA بالدعاية الوطنية والدولية التي حصل عليها تقريرها. بعد يومين من نشر التقرير ، نظمت NCA ندوة عبر الإنترنت لعرض النتائج الرئيسية للتدقيق وبدء مناقشة حول الاستخدام المسؤول للخوارزميات من قبل الحكومة. اجتذبت الندوة عبر الإنترنت ، التي تضم المتحدثين فيها أمين المظالم الوطني وممثلين من مجلس الدولة ووكالة الاتصالات الراديوية وخدمة تدقيق الحكومة المركزية (ADR) ، أكثر من 300 مشارك.

تقود NCA الآن مناقشات حول إنشاء ضوابط وتوازنات للخوارزميات. تعمل NCA مع منظمات تدقيق أخرى – مثل ADR ، والمعهد الملكي الهولندي للمحاسبين القانونيين (NBA) ، و NOREA ، الجمعية المهنية لمدققي تكنولوجيا المعلومات في هولندا – التي تتوق لبدء خوارزميات التدقيق ولكنها تعاني من نقص المنهجيات والمبادئ التوجيهية. لقد تم استقبال إطار عمل NCA بشكل جيد من قبل هذه المنظمات كنقطة انطلاق قيمة. تمت دعوة NCA أيضًا من قبل الوزارات الحكومية ومؤسسات السياسة لمناقشة الضوابط والتوازنات للاستخدام المسؤول للخوارزميات ، وقد قدمت أبحاثها إلى المراجعين من الأجهزة العليا للرقابة المالية والمحاسبة الأخرى. NCA تتطلع إلى مواصلة هذه المناقشات القيمة.

تعليق

تدعو NCA الأجهزة العليا للرقابة المالية والمحاسبة الأخرى إلى استخدام إطار العمل لتدقيق الخوارزميات ومشاركة خبراتهم وتعليقاتهم مع المؤلفين على algoritmes@rekenkamer.nl .