حوكمة الذكاء الاصطناعي: مراجعة منهجية للأدبيات AI governance: a systematic literature review

المجلة: AI and Ethics، المجلد: 5، العدد: 3
DOI: https://doi.org/10.1007/s43681-024-00653-w
تاريخ النشر: 2025-01-14

حوكمة الذكاء الاصطناعي: مراجعة منهجية للأدبيات

أمنة بتول (D) ⋅ ديدار زوغي منيرة بانو

تاريخ الاستلام: 21 يوليو 2024 / تاريخ القبول: 12 ديسمبر 2024 / تاريخ النشر على الإنترنت: 14 يناير 2025
© المؤلف(ون) 2024

الملخص

بينما تحول الذكاء الاصطناعي (AI) مجموعة واسعة من القطاعات وتدفع الابتكار، فإنه يقدم أيضًا أنواعًا مختلفة من المخاطر التي يجب تحديدها وتقييمها وتخفيفها. تم إصدار العديد من أطر حوكمة الذكاء الاصطناعي مؤخرًا من قبل الحكومات والمنظمات والشركات لتخفيف المخاطر المرتبطة بالذكاء الاصطناعي. ومع ذلك، قد يكون من الصعب على المعنيين بالذكاء الاصطناعي الحصول على صورة واضحة عن أطر حوكمة الذكاء الاصطناعي المتاحة، أو الأدوات، أو النماذج وتحليل الأنسب لنظام الذكاء الاصطناعي الخاص بهم. لسد هذه الفجوة، نقدم الأدبيات للإجابة على أسئلة رئيسية: من المسؤول عن حوكمة أنظمة الذكاء الاصطناعي، ما هي العناصر التي يتم حوكمتها، متى تحدث الحوكمة ضمن دورة حياة تطوير الذكاء الاصطناعي، وكيف يتم تنفيذها من خلال الأطر، أو الأدوات، أو السياسات، أو النماذج. من خلال اعتماد منهجية مراجعة الأدبيات المنهجية (SLR)، بحثت هذه الدراسة بدقة، واختارت، وحللت 28 مقالة، مقدمة أساسًا لفهم جوانب مختلفة من حوكمة الذكاء الاصطناعي. تم تعزيز التحليل بشكل أكبر من خلال تصنيف عناصر حوكمة الذكاء الاصطناعي تحت حوكمة على مستوى الفريق، حوكمة على مستوى المنظمة، حوكمة على مستوى الصناعة، حوكمة على المستوى الوطني، وحوكمة على المستوى الدولي. يمكن أن تساعد نتائج هذه الدراسة حول حلول حوكمة الذكاء الاصطناعي الحالية المجتمعات البحثية في اقتراح ممارسات شاملة لحوكمة الذكاء الاصطناعي.

الكلمات الرئيسية الذكاء الاصطناعي ⋅ حوكمة الذكاء الاصطناعي ⋅ الذكاء الاصطناعي المسؤول ⋅ الذكاء الاصطناعي الأخلاقي

1 المقدمة

لقد ظهرت الذكاء الاصطناعي (AI) كواحدة من أهم التقنيات في العديد من الأعمال وأصبحت جزءًا لا يتجزأ من مجتمعنا [1،2]. ومع ذلك، فإن المخاطر والآثار السلبية للذكاء الاصطناعي تتزايد مع تطبيقه الواسع في مجموعة متنوعة من القطاعات، مثل السيارات الذاتية القيادة [3]، والرعاية الصحية [4]، والمالية [5]، ومجالات أخرى. مجموعات متنوعة ، من حوادث الذكاء الاصطناعي تحتوي على أكثر من 3000 ذكاء اصطناعي
https://incidentdatabase.ai.
https://www.aiaaic.org/aiaaic-repository.
قد ساهمت ديدار زوغي ومونية بانو بالتساوي في هذا العمل.
الحوادث، التي توضح التحديات الكبيرة المرتبطة بنشر الذكاء الاصطناعي.
تركز الذكاء الاصطناعي الأخلاقي والمسؤول على تطوير وتنفيذ أنظمة الذكاء الاصطناعي بما يتماشى مع مبادئ العدالة والمساءلة والشفافية والشمولية. يركز الذكاء الاصطناعي المسؤول على تطوير ونشر الذكاء الاصطناعي لتقليل المخاطر المحتملة والعواقب السلبية المرتبطة به، مثل التحيز والتمييز ونقص الشفافية. يؤكد الذكاء الاصطناعي الأخلاقي على الالتزام بالمبادئ الأخلاقية في تصميم واستخدام أنظمة الذكاء الاصطناعي، مع التأكد من أن أنظمة الذكاء الاصطناعي لا تعالج الناس بشكل غير عادل، أو تنتهك الخصوصية، أو ت disrespect كرامة الإنسان. تهدف كل من مفاهيم الذكاء الاصطناعي الأخلاقي والمسؤول إلى بناء الثقة مع المستخدمين وأصحاب المصلحة، وهي مهمة للتقدم العادل والدائم لتكنولوجيا الذكاء الاصطناعي.
معالجة مخاطر الذكاء الاصطناعي تتجاوز المخاوف التقنية وتشمل تطوير حلول وتقنيات حوكمة قوية للذكاء الاصطناعي، والتي تعتبر ضرورية لتوجيه الاستخدام الأخلاقي والمسؤول لتكنولوجيا الذكاء الاصطناعي. هذا التوازن بين الابتكار والسلوك الأخلاقي أمر حاسم لتجنب الآثار غير المتوقعة. تشمل حوكمة الذكاء الاصطناعي مجموعة من اللوائح والأساليب والإجراءات والآليات التكنولوجية المستخدمة لضمان تطوير المنظمة.
وتتوافق نشر تقنيات الذكاء الاصطناعي مع استراتيجياتها ومبادئها وأهدافها [8]. وبالتالي، فإن المنظمات الحكومية والدولية، بما في ذلك قانون الذكاء الاصطناعي في الاتحاد الأوروبي، منظمة التعاون والتنمية الاقتصادية [OECD] الحكومة الأسترالية المعهد الوطني للمعايير والتكنولوجيا (NIST) المنظمة الدولية للتوحيد القياسي (ISO) والهيئات المهنية مثل معهد مهندسي الكهرباء والإلكترونيات [IEEE] [9] قد نشرت مبادئها وإرشاداتها الأخلاقية للذكاء الاصطناعي [7،10] لحوكمة الذكاء الاصطناعي.
هناك مراجعات أدبية منهجية قائمة (SLRs) حول حوكمة الذكاء الاصطناعي التي قدمت رؤى قيمة حول الاستراتيجيات الوطنية والعالمية، والمصطلحات المتقدمة في حوكمة الذكاء الاصطناعي، والإرشادات الأخلاقية. على سبيل المثال، قام أتا رد فروس وآخرون [11] بإجراء مراجعة شبه منهجية تبرز الاستراتيجية الوطنية الرائدة لكندا في مجال الذكاء الاصطناعي وتفحص 84 مبادرة حوكمة، حيث وجدت فجوات في بيانات الأخلاق وتعليم الذكاء الاصطناعي بينما قدمت توصيات عملية لتحسين حوكمة الذكاء الاصطناعي الوطنية. مراجعة أخرى قام بها ماس [12] تتناول الغموض المصطلحي في مجال حوكمة الذكاء الاصطناعي المتقدم، مصنفة التعريفات والمفاهيم الرئيسية لتعزيز الوضوح وتسهيل الحوار البناء بين أصحاب المصلحة. وبالمثل، قام كلوج كوريا وآخرون [13] بإجراء تحليل ميتا لـ 200 سياسة حوكمة عالمية وإرشادات أخلاقية، محددين 17 مبدأ شائعاً ومؤكدين على أهمية هذه المبادئ في الأطر التنظيمية المستقبلية.
على الرغم من هذه المراجعات الشاملة، هناك فجوة في الأدبيات المتعلقة بتحليل مفصل ومتعدد الطبقات لحوكمة الذكاء الاصطناعي عبر مستويات حوكمة متعددة باستخدام مجموعة منظمة من الأسئلة. لذلك، في هذه الورقة، نملأ هذه الفجوة ونقدم مراجعة منهجية للأدبيات التي تقدم أحدث ما توصلت إليه الأبحاث في حوكمة الذكاء الاصطناعي. لقد استخدمنا 4 أسئلة محددة لاستخراج المعلومات ذات الصلة من الأدبيات البحثية حول حوكمة الذكاء الاصطناعي: من الذي يقوم بالحكم (أي، أصحاب المصلحة)، ماذا يجب أن يتم الحكم عليه (مثل، البيانات و/أو النظام)، متى يتم الحكم عليه (أي، في أي مرحلة من دورة حياة تطوير الذكاء الاصطناعي)، وكيف يتم الحكم على الذكاء الاصطناعي (أي، الأطر، النماذج، الأدوات، الأخلاقيات: تشير الأخلاقيات، في سياق حوكمة الذكاء الاصطناعي، إلى مجموعة من المبادئ والقيم الأخلاقية التي تهدف إلى توجيه تصميم ونشر واستخدام أنظمة الذكاء الاصطناعي لضمان نتائج مسؤولة وعادلة. من خلال تضمين مبادئ أخلاقية مثل الشفافية، والمساءلة، وعدم التمييز، تهدف هياكل حوكمة الذكاء الاصطناعي إلى حماية الإنسان.
تضمن هذه الحقوق وتعزز النتائج العادلة. وهذا يضمن أن تقنيات الذكاء الاصطناعي ليست فعالة فحسب، بل تتماشى أيضًا مع القيم المجتمعية والمعايير الأخلاقية. يتم تقديم تحليل شامل للأدبيات باستخدام هذه الأسئلة في هذه الورقة، ويتم تغطية تصنيف العناصر الرئيسية تحت طبقات مختلفة من الحوكمة من الدراسة التي أجراها لو وآخرون: على مستوى الفريق، وعلى مستوى المنظمة، وعلى مستوى الصناعة، وعلى المستوى الوطني، وعلى المستوى الدولي. من خلال القيام بذلك، نقدم فهمًا أكثر تفصيلًا وطبقات لحوكمة الذكاء الاصطناعي، مما يوفر منظورًا دقيقًا يكمل ويمتد المراجعات الحالية.
تهدف هذه الدراسة إلى تلخيص وتجميع حلول حوكمة الذكاء الاصطناعي الحالية (أي الأطر، الأدوات، النماذج، والسياسات)، وفحص التحديات في حلول حوكمة الذكاء الاصطناعي الحالية، وتقديم رؤى استنادًا إلى أربعة أسئلة محددة (أي، من، ماذا، متى، كيف). المساهمات الرئيسية لهذه الدراسة هي:
  • تحليل شامل لـ 28 ورقة بحثية مختارة من الأدبيات الأكاديمية.
  • استكشاف التحديات والقيود التي تواجه حلول حوكمة الذكاء الاصطناعي الحالية.
  • تصنيف العناصر الرئيسية المقدمة تحت خمسة مستويات من الحوكمة. تم تنظيم هذه الورقة على النحو التالي: القسم 2 يقدم الخلفية والأعمال ذات الصلة. القسم 3 يقدم منهجية البحث مع أسئلة البحث واستخراج البيانات. القسم 4 يقدم تحليل البيانات الذي تم إجراؤه على 28 دراسة مختارة وتصنيف حلول حوكمة الذكاء الاصطناعي تحت خمسة مستويات من حوكمة الذكاء الاصطناعي. القسم 5 يقدم المناقشة والقسم 6 يقدم التهديدات لصحة الدراسة وقيودها. القسم 7 يختتم الدراسة مع العمل المستقبلي.
مع تقدم تقنيات الذكاء الاصطناعي بوتيرة غير مسبوقة، يصبح الحاجة إلى آليات حوكمة فعالة أكثر وضوحًا [16]. في هذا القسم، نقدم مراجعة شاملة للأدبيات الموجودة حول حوكمة الذكاء الاصطناعي، مع التركيز على تحليل وتوليف الحالة الحالية للمعرفة في هذا المجال بشكل منهجي.
أجرى كوريّا وآخرون [17] مراجعة لـ 200 إرشادات ووثائق توصية حول حوكمة الذكاء الاصطناعي مستمدة من مستودعين: جرد إرشادات أخلاقيات الذكاء الاصطناعي العالمي من AlgorithmWatch وإرشادات ربط مبادئ الذكاء الاصطناعي (LAIP). عرّف المؤلفون هذه الإرشادات كأطر سياسية، أدوات، مبادئ ذكاء اصطناعي، وتوصيات، تعمل كدليل للنقاشات حول كيفية تنظيم الذكاء الاصطناعي. كما أجرت دراسة أخرى بواسطة وانغ وآخرون [16] مراجعة أدبية منهجية حول حوكمة الذكاء الاصطناعي في رعاية الأطفال الاجتماعية، بما في ذلك ما مجموعه 440
مقالة باستخدام منهجية PRISMA. قاموا بتصنيف المقالات إلى أربعة مستويات: فردية، عائلية، مجتمعية، وحوكمة. قدمت الدراسة إطارًا مفاهيميًا يربط بين طبقة الذكاء الاصطناعي-التكنولوجية، وطبقة الذكاء الاصطناعي-الأخلاقية، وطبقة الذكاء الاصطناعي-التنظيمية، وطبقة الذكاء الاصطناعي-التنفيذ، بهدف تعزيز مرونة الأطفال، ورفاهيتهم، والخدمات العامة.
هناك أطر جديدة لإدارة المخاطر، وقوانين إلزامية، ومعايير بما في ذلك قانون الذكاء الاصطناعي للاتحاد الأوروبي (EU AI Act)، إطار إدارة مخاطر الذكاء الاصطناعي للمعهد الوطني للمعايير والتكنولوجيا (NIST AI RMF)، إلخ، تم مناقشتها لأغراض مختلفة مثل إدارة مخاطر الذكاء الاصطناعي، وإدارة أمن المعلومات [18]، إلخ. تقدم مراجعة بواسطة بارازا دي لا باز وآخرون [19] نظرة عامة على الإصدارات الناشئة من إطار عمل NIST لأمن المعلومات (CSF)، ISO/IEC 27001:2022، وأطر MAGERIT. تم تسليط الضوء على مقارنة هذه الأطر من حيث نهجها في تحديد وتقييم ومعالجة المخاطر. ناقش المؤلفون أن ISO/IEC 27001:2022 يركز على نهج منظم وموجه نحو العمليات لإدارة أمن المعلومات من خلال تحديد الأصول، وتقييم المخاطر، وتنفيذ الضوابط. إنه فعال ولكنه قد يكون مكلفًا ويتطلب موارد كبيرة، خاصة لأنظمة إنترنت الأشياء (IoT) وأنظمة إنترنت الخدمات (IoS). إطار عمل NIST CSF سهل الاستخدام، ومرن، وقابل للتقييم الذاتي، مما يجعله مناسبًا لاحتياجات إدارة المخاطر المختلفة. يقدم منشورات مثل NIST SP 800-30، 800-37، و80039 لمختلف جوانب أمن المعلومات. أخيرًا، يستخدم MAGERIT، الذي طورته الحكومة الإسبانية، نهج دورة الحياة لأمن المعلومات في القطاع العام، ويغطي تحديد الأصول، وتقييم التهديدات والثغرات، وتنفيذ الضوابط، والمراقبة. إن نهجه الشامل مثالي للمنظمات الكبيرة ولكنه قد يكون معقدًا جدًا بالنسبة للمنظمات الصغيرة. الأطر التي تم مناقشتها مخصصة بشكل خاص لإدارة أمن المعلومات.
أجرى كرويتز وجاهانخاني [20] مراجعة أدبية منهجية (SLR) استكشفوا فيها 40 تحديًا أمنيًا للذكاء الاصطناعي تشمل جوانب وسياقات وأبعاد مختلفة من أمان الذكاء الاصطناعي، بالإضافة إلى 17 دفاعًا أمنيًا. كشفت تحليلاتهم المقارنة لهذه التحديات والدفاعات الأمنية للذكاء الاصطناعي مع ضوابط الأمان ISO 27001/27002 أن معظم تحديات أمان الذكاء الاصطناعي إما لم يتم تناولها أو تم تناولها جزئيًا فقط من قبل المعايير الحالية. لمعالجة هذه الفجوات، اقترحوا ستة ضوابط أمان جديدة تركز على الدفاعات المعززة بالذكاء الاصطناعي في الوقت الحقيقي، وأمان دورة حياة الذكاء الاصطناعي، وحوكمة الذكاء الاصطناعي كجوهر، بالإضافة إلى قابلية تفسير الذكاء الاصطناعي، وحماية خصوصية الذكاء الاصطناعي، والتنوع. علاوة على ذلك، اقترحوا عشرة تعديلات على الضوابط الحالية لتعزيز القدرات وجعل أنظمة إدارة أمن المعلومات (ISMS) أكثر ديناميكية.
هناك دراسات موجودة بحثت في حوكمة الذكاء الاصطناعي تستهدف مجالًا محددًا. استخدمت دراسة بواسطة السعيد وآخرون [21] منهجية صحافة عميقة لكشف 15 معلمة أو موضوعًا لشرح الذكاء الاصطناعي وحوكمة أنظمة الطاقة الذكية. تهدف دراستهم إلى دعم مختلف أصحاب المصلحة، بما في ذلك الحكومات، والصناعة، والأكاديميين، وقطاع الطاقة، في فهم مشهد الذكاء الاصطناعي داخل قطاع الطاقة. النتيجة المقصودة هي تعزيز تصميم، وتشغيل، واستخدام، وممارسات إدارة المخاطر لأنظمة الطاقة. بالمثل، نفذت دراسة أخرى بواسطة ستوجيانو وآخرون [22] مراجعة شاملة لأطر حوكمة الذكاء الاصطناعي لتسهيل اعتماد المنظمات للذكاء الاصطناعي في التصوير الطبي والعلاج الإشعاعي داخل المملكة المتحدة. شملت الدراسة ما مجموعه 35 دراسة حول أطر حوكمة الذكاء الاصطناعي نشرت في السنوات الخمس الماضية (2017-2022). اقترحت دراستهم إطار حوكمة ذكاء اصطناعي عام للتصوير الطبي والعلاج الإشعاعي، يشمل عناصر مثل التحقق الدقيق، والمراقبة المستمرة، والامتثال للهيئات المعتمدة، والالتزام بالمبادئ الأخلاقية. أجرت دراسة أخرى بواسطة عباس وآخرون [23] مراجعة منهجية تحليلية حول حوكمة الذكاء الاصطناعي في التعليم العالي باستخدام منهجية PRISMA. استخدمت الدراسة نهج تحليل موضوعي لاستكشاف الاتجاهات والترابطات التي تمتد عبر الذكاء الاصطناعي، والتعليم العالي، والأخلاق، والتحول الرقمي، والخصوصية، والسياسة، والاستدامة.
لقد أجرينا مراجعة أدبية منهجية تختلف عن الدراسات المراجعة الحالية حول الموضوع ذي الصلة في الجوانب التالية:
  • تركيز المراجعة: في هذه المراجعة الأدبية المنهجية (SLR)، تم تقديم تحليل شامل لعناصر حوكمة الذكاء الاصطناعي باستخدام 4 أسئلة محددة (من، ماذا، متى، كيف) لاستخراج بيانات غنية حول حوكمة الذكاء الاصطناعي.
  • جدول زمني للمراجعة: تغطي هذه المراجعة الأدبية المنهجية (SLR) المنشورات من 2013 إلى 2023 (10 سنوات).
  • نوع الدراسات المشمولة: اتبعت هذه المراجعة الأدبية المنهجية (SLR) الإرشادات الخاصة بالمراجعة الأدبية المنهجية التي وضعتها كيتشام وآخرون [24].
  • نطاق مجال الموضوع: توفر هذه المراجعة الأدبية المنهجية (SLR) استكشافًا شاملاً لقطاعات متنوعة مثل الإعلام والاتصالات، والرعاية الصحية، والنقل، والروبوتات، والأكاديمية، والصناعة، إلخ. ركزت المراجعات الحالية بشكل خاص على مجال واحد، إما الرعاية الصحية [25، 26]، أو الروبوتات [27]، أو قطاع الطاقة [28].
  • تصنيف حوكمة الذكاء الاصطناعي وأصحاب المصلحة: قامت هذه المراجعة الأدبية المنهجية (SLR) بتصنيف حلول حوكمة الذكاء الاصطناعي التي تم تحديدها من السؤال كيف يتم الحكم عليها وأصحاب المصلحة الذين تم العثور عليهم من الأسئلة من الذي يحكم إلى مستويات مختلفة، أي فريق، منظمة، صناعة، وطنية، ودولية. الأدبيات الحالية
الشكل 1 منهجية البحث: التخطيط، إجراء المراجعة، الإبلاغ عن المراجعة
ركزت على عدد قليل من هذه المستويات ولكن ليس على المستويات الوطنية أو الدولية [1]. تهدف هذه المراجعة الأدبية المنهجية (SLR) إلى المساهمة في فهم أكثر دقة وشمولية لحوكمة الذكاء الاصطناعي، مما يوجه الأبحاث المستقبلية نحو ممارسات شاملة ومسؤولة في المشهد الديناميكي لتقنية الذكاء الاصطناعي.

3 منهجية المراجعة المنهجية

تم إجراء هذه المراجعة الأدبية المنهجية (SLR) وفقًا للإرشادات التي وضعتها كيتشام وآخرون [24]. يقدم الشكل 1 الخطوات المتبعة، أي التخطيط، وإجراء المراجعة، والإبلاغ عن المراجعة. بروتوكول SLR الكامل متاح كمادة عبر الإنترنت.

3.1 التخطيط

في هذه المراجعة الأدبية المنهجية (SLR)، الأدبيات الرسمية/الأكاديمية ذات الصلة المختارة هي دراسات أولية. تم توجيه هذا البحث من خلال سؤالين بحثيين:
  • RQ1: ما هي الأطر، والنماذج، والأدوات، والسياسات (مبادئ الذكاء الاصطناعي الأخلاقية، والإرشادات، والسياسات) لحوكمة الذكاء الاصطناعي المقدمة في الأدبيات؟
  • RQ2: ما هي القيود والتحديات المتعلقة بحوكمة الذكاء الاصطناعي التي تم مناقشتها في الأدبيات؟
الجدول 1 سلسلة البحث في المكتبات الرقمية ونتائجها المقابلة
قاعدة البيانات سلسلة البحث البحث ضمن الإطار الزمني وقت البحث عدد الأوراق المسترجعة
SCOPUS (AI OR artificial AND intelligence) AND (governance) العنوان والملخص 20132023 10/07/2023 (10:00 صباحًا) 1485
Google scholar Allintitle: AI governance العنوان فقط 20132023 21/07/2023 (9:00 صباحًا) 764
Google scholar Allintitle: Artificial intelligence governance العنوان فقط 20132023 21/07/2023 (9:00 صباحًا) 669
الإجمالي: 2918

3.2 استراتيجية البحث

تتضمن الكلمات الرئيسية المستخدمة للبحث عن المقالات في محركات البحث والمكتبات الرقمية “الذكاء الاصطناعي” و”الحوكمة”. في البداية، تم إضافة مصطلحات بحث إضافية مثل خوارزميات الذكاء الاصطناعي، واللوائح، أو السياسات، والتي أظهرت نتائج غير ذات صلة بشكل مفرط. كنا نهدف إلى تحقيق توازن بين التغطية والملاءمة. الكلمات الرئيسية النهائية المستخدمة لجمع البيانات من المكتبات الرقمية هي “الذكاء الاصطناعي” و”الحوكمة” في قواعد بيانات Google Scholar وScopus كما هو موضح في الجدول 1. تم اختيار Google Scholar وScopus بسبب تغطيتهما الواسعة لكل من الأدبيات التي تمت مراجعتها من قبل الأقران والأدبيات الرمادية، والتي شعرنا أنها مهمة لالتقاط مجموعة شاملة من مناقشات حوكمة الذكاء الاصطناعي. بينما يقدم Google Scholar بعض الضوضاء، إلا أن شمولها الواسع للأبحاث الأكاديمية
وكانت المصادر غير الأكاديمية (مثل أوراق المؤتمرات والمطبوعات السابقة) مفيدة للحصول على منظور أوسع.
أسفرت مصطلحات البحث عن إجمالي 2918 ورقة. تم تطبيق معايير اختيار البحث على الملخصات الخاصة بـ 2918 ورقة لاسترجاع الأوراق الأكثر صلة. تم تطبيق معايير الإدراج المتعلقة بسنة النشر والملاءمة. تم اعتبار المقالات المنشورة باللغة الإنجليزية بين عامي 2013 و2023 في Google Scholar وScopus عند تحديد معايير الإدراج. علاوة على ذلك، تم اعتبار الأوراق ذات الصلة بموضوع البحث للإدراج، بينما تم استبعاد فصول الكتب والتقارير. تم حذف جميع الأوراق الأخرى التي لم تتناسب مع هذه المتطلبات. وبالتالي، تم استبعاد المنشورات التي تركز على مواضيع مثل الحوكمة البيئية، وتغير المناخ، والبيئة، وما إلى ذلك. أسفرت معايير الإدراج والاستبعاد المطبقة على الملخصات عن 225 مقالة. تم تطبيق نفس معايير الاختيار على الأوراق الكاملة (225)، مما أسفر عن اختيار 61 ورقة بعد استبعاد معظم الأوراق غير التجريبية، وأوراق الرأي، وتلك التي لا تتناسب مع حوكمة الذكاء الاصطناعي.
تم اتباع إجراء الاختيار، أي نهج الاختبار وإعادة الاختبار، من خلال دعوة خبيرين في مراجعة الأدبيات النظامية لمراجعة مجموعة مختارة من 61 ورقة بحثية على ثلاث جولات. أسفرت الجولة الأولى من المراجعة عن 35 دراسة بعد مراجعة منهجية البحث المستخدمة في كل دراسة. أسفرت الجولة الثانية من إجراء الاختيار عن 22 دراسة بعد مراجعة الأوراق الكاملة. تم إزالة دراسات ثانوية في كلتا الجولتين. لضمان أن تكون مراجعة الأدبيات النظامية شاملة، تم استشارة الخبراء لتحديد متى يجب إيقاف عملية الاختيار. وقد نصحوا بإيقاف الاختيار والانتقال إلى الخطوات التالية.
أدى نهج كرة الثلج (الأمامي والخلفي) المطبق على 22 مجموعة من الدراسات إلى 33 دراسة. ساعدت كرة الثلج الأمامية والخلفية في تحديد المزيد من الدراسات الأولية. ومع ذلك، أسفرت الجولة النهائية من إجراءات الاختيار، حيث قام خبيران بمراجعة كل مجموعة من الأوراق، عن 28 ورقة، حيث كانت هناك مرة أخرى بعض.
الشكل 2 سنة نشر الدراسات المختارة
الدراسات الثانوية التي تم حذفها. المجموعة المختارة من 28 ورقة بحثية لهذه المراجعة النظامية متاحة في الملحق أ.

3.3 تقييم الجودة

لقد استخدمنا معايير الأسئلة الخمسة المقترحة من قبل ليو وآخرين [29] لتقييم جودة الدراسات المختارة. تقيم هذه الأسئلة الطبيعة التجريبية أو غير التجريبية للدراسة، والقيود ووصف العمل المستقبلي، ووضوح النتائج والمساهمات، وملاءمة تصميم البحث، والوضوح. تم تقييم كل سؤال من 0 إلى 1، حيث يعني 0 “لا”، و0.5 يعني “جزئيًا”، و1 يعني “نعم”. تم تصنيف الأوراق على أنها جيدة إذا كانت الدرجة بين 3 و4، وعادلة إذا كانت بين 2 و3، وضعيفة إذا كانت بين 0 و2. تم تحديد إجمالي درجة الجودة من خلال جمع درجات الأسئلة الخمسة. من بين 28 ورقة مختارة، تم اعتبار 20 منها ذات جودة “جيدة”، و8 ذات جودة “عادلة”، و0 ذات جودة “ضعيفة”، مما يدل على قوة هذه المراجعة.

3.4 استخراج البيانات

تم استخراج المعلومات الديموغرافية والمحتوى من 28 ورقة مختارة حول حوكمة الذكاء الاصطناعي باستخدام جدول بيانات Excel. شملت البيانات الديموغرافية عنوان الورقة، الملخص، سنة النشر، المكان، وعدد الاقتباسات. أظهرت التحليل الديموغرافي لسنوات نشر 28 ورقة أن أعلى عدد من الدراسات، أي 13 (A1، A2، A7-A10، A14، A17، A19-A22، وA26)، تم نشرها في عام 2023، وأقل عدد من الدراسات، أي 2، تم نشرها في عام 2017 (A27) و2019 (A4) كما هو موضح في الشكل 2. وجدت تحليل عدد الاقتباسات لـ 28 دراسة أن 3 دراسات (A13، A24، وA27) حصلت على أكثر من 200 إلى 500 اقتباس. من ناحية أخرى، حصلت الدراسات الـ 25 المتبقية على أقل من 100 اقتباس. تضمنت البيانات المتعلقة بالمحتوى استخراج حلول حوكمة الذكاء الاصطناعي (الأطر، النماذج، الأدوات، السياسات، والإرشادات)، والإجابات على 4 أسئلة (من، ماذا، متى، كيف)، والتحديات المتعلقة بحوكمة الذكاء الاصطناعي التي تم مناقشتها في الدراسات. قام المؤلف الأول بإجراء ترميز يدوي لاستخراج البيانات، والذي تم التحقق منه في الاجتماعات الأسبوعية مع المؤلفين الآخرين.

4 تجميع البيانات وتحليلها

يقدم هذا القسم تحليلًا لـ 28 دراسة مختارة من خلال الإجابة على 4 أسئلة محددة، وهي: من الذي يحكم، ماذا يجب أن يُحكم، متى يتم الحكم، وكيف يتم حكم الذكاء الاصطناعي، كما يقدم تصنيفًا للمساهمين بناءً على من الذي يحكم؟ والمواد بناءً على كيف يتم الحكم؟ تحت خمسة مستويات من حوكمة الذكاء الاصطناعي، وهي: الفريق، المنظمة، الصناعة، الوطنية، و
الدولي. يحتوي الملحق ب على المصطلحات لتعريف المصطلحات المستخدمة في هذا الاستعراض المنهجي.

4.1 التحليل

يتكون نهج تحليلنا من أسئلة: من، ماذا، متى، وكيف، والتي تم استكشافها لمجموعة مختارة من 28 دراسة باستخدام التحليل الموضوعي. شمل هذا التحليل فحصًا شاملاً للأدبيات لتحديد الموضوعات المتكررة المتعلقة بحوكمة الذكاء الاصطناعي. تم تصميم كل سؤال لتغطية أحد الأعمدة الأربعة لنظام الذكاء الاصطناعي، أي البشر، البيانات، الأنظمة، والعمليات، كما اقترح زوغي ودا ريميني [30]. يغطي عمود البشر السؤال، أي: من يقوم بالحكم؟ بينما يغطي عمود البيانات والأنظمة السؤال، ماذا يتم الحكم عليه؟ ويغطي عمود العمليات السؤال، متى يتم الحكم عليه؟ في نظام الذكاء الاصطناعي، يلعب عمود البشر دورًا مهمًا، حيث أنه بدون مشاركة البشر، لا يمكن الحكم على البيانات أو الأنظمة أو العمليات، وجميع هذه الأعمدة الأربعة هي عناصر رئيسية في الحوكمة في نظام الذكاء الاصطناعي [30]. فيما يلي الأسئلة:
  • من الذي يحكم؟: يركز على أصحاب المصلحة (الأدوار الرئيسية في الإشراف على الذكاء الاصطناعي) الذين يجب أن يكونوا مشاركين في الحكم لمراقبة ما إذا كان الذكاء الاصطناعي يتوافق مع المعايير أو اللوائح للذكاء الاصطناعي الأخلاقي والمسؤول.
  • ما الذي يتم الحكم عليه؟: يركز على البيانات والنظام لضمان أي عنصر سواء كان بيانات أو/و نظام يتم الحكم عليه في حوكمة الذكاء الاصطناعي. يبرز عنصر البيانات أهمية الحصول على البيانات ومعالجتها واستخدامها بشكل مسؤول [30]. تتطلب حوكمة الذكاء الاصطناعي الفعالة التركيز على جودة البيانات والخصوصية والأمان للتخفيف من التحيزات وتعزيز اتخاذ قرارات الذكاء الاصطناعي بشكل عادل وشفاف [30]. يشمل النظام أنظمة الذكاء الاصطناعي، التي يجب أن تُحكم مع مراعاة قوتها وقابليتها للتفسير ومسؤوليتها.
الجدول 2 من يحكم؟
البشر (المعنيون)
من يحكم؟
رقم التعريف الشخصي أدوار الإشراف الرئيسية مستويات
A2 لجان أخلاقيات الذكاء الاصطناعي من قبل الحكومة المستوى الوطني
A3 لجنة تنسيق الحوكمة العالمية المستوى الدولي
أ11 لجنة توجيه متعددة التخصصات بالإضافة إلى لجان فرعية محددة للمشاريع مستوى المنظمة والفريق
أ13 المديرون العموميون مستوى المنظمة
A23 أعضاء منظمة الصحة العالمية والاتحاد الدولي للاتصالات المستوى الدولي
A28 مديرو المستشفيات مستوى المنظمة
ضمان تشغيلها المسؤول والموثوق [30]. بينما توجد عناصر أخرى مثل “الخوارزميات” و”التطبيقات” التي تعتبر فئات مهمة، خاصة في قانون الذكاء الاصطناعي في الاتحاد الأوروبي [31]، اختارت هذه الدراسة عدم تصنيفها بشكل منفصل لأن هذه العناصر متأصلة ضمن حوكمة النظام الأوسع. غالبًا ما تشمل حوكمة أنظمة الذكاء الاصطناعي الشفافية الخوارزمية والرقابة كجزء من تدابير قوتها وموثوقيتها. وبالمثل، فإن التطبيقات هي تجليات محددة للقطاعات لأنظمة الذكاء الاصطناعي، وتندرج حوكمتها بشكل كبير تحت الضوابط التشغيلية والاعتبارات الأخلاقية للنظام الأوسع. من خلال التركيز على البيانات والأنظمة، تلتقط تحليلاتنا العناصر الأساسية التي تدعم حوكمة الذكاء الاصطناعي عبر مجالات متعددة، مما يوفر رؤية أكثر شمولية للتحديات الأخلاقية والتشغيلية المتأصلة في تطوير ونشر الذكاء الاصطناعي.
  • متى يتم الحكم عليه؟: يمثل المراحل الثلاث لتطوير الذكاء الاصطناعي التي يجب تطبيق الحلول الحوكمة الخاصة عليها [30]. المراحل الثلاث لتطوير الذكاء الاصطناعي هي مرحلة ما قبل التطوير (التخطيط، الموافقة، وجمع البيانات)، ومرحلة التطوير (التصميم، بناء النماذج، التحقق، والتأكيد)، وما بعد التطوير (المراقبة، والاستخدام)، بما يتماشى مع الأطر والإرشادات المعمول بها من منظمات مثل NIST [32]، OECD [33].
  • كيف يتم الحكم عليه؟: يستكشف آثار حلول الحوكمة للذكاء الاصطناعي، مثل السياسات الأخلاقية، والمبادئ والإرشادات، والأدوات، والأطر، والنماذج.

4.1.1 تحليل شامل للأسئلة

من الذي يحكم؟: تقدم الجدول 2 إجابات على السؤال: من الذي يحكم؟ أجابت ست من الدراسات الـ 28 على السؤال، وتوجد الأطراف المعنية (الأدوار الرئيسية للرقابة) على مستويات مختلفة. تذكر الدراسة [A2] أن الأدوار الرئيسية للرقابة على المستوى الوطني (لجنة أخلاقيات الذكاء الاصطناعي التي وضعتها الحكومات) يجب أن تحكم اللجنة الأخلاقية العليا التي تنظمها الشركات لضمان تقليل المخاطر المرتبطة بالذكاء الاصطناعي الطبي وأن يتم تطويره ونشره وفقًا لمعايير وقوانين الذكاء الاصطناعي [14]. العامل الرئيسي الذي تم مناقشته في الدراسة [A2] هو أن المشاركة المتعددة والتعاون الدولي أمران أساسيان في حوكمة الذكاء الاصطناعي الطبي لأن المخاطر المرتبطة بالذكاء الاصطناعي الطبي عالمية. يمكن تقليل هذه المخاطر فقط من خلال التواصل الدولي، والذي يمكن تحقيقه إذا تحملت الحكومات المسؤولية من خلال إنشاء لجنة أخلاقيات الذكاء الاصطناعي بعد جمع آراء متعددة [14]. وبالمثل، أكدت الدراسة [A3] أن الأطراف المعنية على المستوى الدولي، أي اللجنة المنسقة للحوكمة العالمية (GGCC)، يجب أن تتحمل مسؤولية حكم الهيئات التنظيمية الإقليمية.
هذا يضمن أنهم يطورون الذكاء الاصطناعي خاليًا من المخاطر الأخلاقية والاجتماعية. تشير الدراسة [A3] إلى أن GGCC هي نسخة موسعة من اللجنة المنسقة للحوكمة (GCC). يمكنها اقتراح آلية حوكمة أفضل للهيئات الوطنية والإقليمية لتطوير أنظمة الذكاء الاصطناعي الخاصة بهم خالية من المخاطر [34]. كما أعطت دراسة أخرى [A23] أهمية للتواصل الدولي وطورت مجموعة تركيز للذكاء الاصطناعي في الرعاية الصحية (FG-AI4H). في هذه المجموعة، يمكن للأطراف المعنية على المستوى الدولي، أي أعضاء من منظمة الصحة العالمية والاتحاد الدولي للاتصالات، حكم مقدمي خدمات الصحة والرعاية لضمان تطوير ونشر الذكاء الاصطناعي في الرعاية الصحية وفقًا لمعايير وسياسات الذكاء الاصطناعي [35].
ركزت ثلاث دراسات (A2، A3، A23) على إشراك الأطراف المعنية على المستويين الوطني والدولي في حوكمة الذكاء الاصطناعي. تساعد هذه المقاربة في صياغة آليات حوكمة الذكاء الاصطناعي المثلى، من خلال إشراك الأفراد من هيئات وطنية ودولية مختلفة لتحمل المسؤولية عن حكم ممارسي الذكاء الاصطناعي على مستوى الفريق، والمنظمة، والمستوى الوطني. ركزت الدراسات الثلاث المتبقية (A11، A13، وA28) على إشراك لجنة متعددة التخصصات، ومديري القطاع العام، وموظفي الإدارة على المستوى التنظيمي لحكم أعضاء هيئة التدريس، ومديري الشركات، ومقدمي خدمات الرعاية الصحية وشركات التأمين. ذكرت جميع الدراسات الثلاث (A11، A13، وA28) الأدوار الرئيسية للحوكمة في الذكاء الاصطناعي في الرعاية الصحية. ومن الجدير بالذكر أنه لم تركز أي دراسة من بين هذه الست على حوكمة المستوى الصناعي. كما تم مناقشته سابقًا، تم تصنيف الأطراف المعنية تحت مستويات مختلفة، أي الفريق، المنظمة، الصناعة، الوطنية والدولية بناءً على دراسة لو وآخرون [1].
تختلف حوكمة الذكاء الاصطناعي بشكل كبير عبر المناطق، مما يعكس أولويات جيوسياسية متميزة. في أوروبا، يتركز الاهتمام على حقوق الإنسان وحماية البيانات، مع أطر مثل اللائحة العامة لحماية البيانات (GDPR) [36] وقانون الذكاء الاصطناعي في الاتحاد الأوروبي [31] التي تؤكد على العدالة والشفافية والمساءلة. تهدف اللوائح الأوروبية إلى ضمان أن أنظمة الذكاء الاصطناعي تحترم حقوق الأفراد ولا تسهم في عدم المساواة أو التحيزات. في المقابل، تتبنى الولايات المتحدة نهجًا مدفوعًا بالسوق، مع لوائح محددة للقطاعات وإرشادات طوعية مثل إطار إدارة مخاطر الذكاء الاصطناعي من NIST [37]، مما يبرز الابتكار والموثوقية والنمو الاقتصادي، مع رقابة مركزية أقل. في منطقة آسيا والمحيط الهادئ (APAC)، هناك تنوع كبير: تتبع الصين نهجًا مدفوعًا من الحكومة، باستخدام الذكاء الاصطناعي للحكم الاجتماعي وأمن الدولة، بينما تركز دول مثل سنغافورة واليابان على تطوير الذكاء الاصطناعي المسؤول، موازنة الأخلاق مع التقدم التكنولوجي. يبرز إطار حوكمة الذكاء الاصطناعي في سنغافورة المساءلة والشفافية، بينما تؤكد مبادئ الذكاء الاصطناعي المتمحورة حول الإنسان في اليابان على الشمولية والاستخدام الأخلاقي [38]. تأخذ أستراليا، بالمثل، نهجًا استباقيًا مع إطار أخلاقيات الذكاء الاصطناعي، مع التركيز على الشفافية والعدالة،
ومنع التمييز، بما يتماشى مع المبادئ الأخلاقية بينما تعزز الابتكار [39]. تعكس هذه الاختلافات الإقليمية التحيزات الجيوسياسية الأساسية، حيث تعطي أوروبا الأولوية للمعايير الأخلاقية، وتركز الولايات المتحدة على الابتكار وحرية السوق، وتوازن دول APAC بين السيطرة الحكومية والتنمية الاقتصادية. يوفر إطار أستراليا، الذي يبرز كل من المعايير الأخلاقية والابتكار، أرضية وسطى. إن فهم هذه الفروق الجغرافية يضيف عمقًا إلى تحليل “من” يحكم الذكاء الاصطناعي وكيف تتشكل هياكل الحوكمة من خلال الأهداف الإقليمية.
ما الذي يتم الحكم عليه؟: البيانات: أكدت تسع دراسات على الحاجة إلى حكم البيانات. أبرزت الدراسة [A1] أن حكم البيانات مهم لتقليل التحديات العديدة المتعلقة بالأمان والخصوصية عند جمع البيانات باستخدام الذكاء الاصطناعي في قطاع الإعلام والاتصالات. تكشف دراسة أخرى [A2] أن الطبيعة غير المنظمة ونقص التوحيد القياسي في البيانات الطبية تؤثر على جودة نماذج الذكاء الاصطناعي، مما يجعل حكم البيانات أمرًا ضروريًا. اقترحت الدراسة [A14] أنه يجب حكم البيانات، مع التركيز بشكل خاص على الإدارة الأخلاقية والمسؤولة للبيانات، والحوكمة، والمساءلة. أكدت نتائج الدراسة [A21] أن حوكمة البيانات تؤثر بشكل كبير على خيارات السياسات عبر أساليب الحوكمة المختلفة. ركزت دراسة أخرى [A23] على أن حكم البيانات أمر حاسم لضمان موثوقية وفعالية أنظمة الذكاء الاصطناعي في الرعاية الصحية. أبرزت الدراسة [A27] أهمية حكم البيانات من خلال تنظيم ورشة عمل حيث حدد المؤلفون تحديات مثل عدم الكفاءة، والتحيزات، ونقص الشفافية، وعدم العدالة، مما جعل المؤلفين يؤكدون على أهمية حوكمة البيانات. وبالمثل، استكشفت دراسة [A28] أهمية حوكمة البيانات، خاصة في سياق تنفيذ الذكاء الاصطناعي المسؤول في الرعاية الصحية. أكدت الدراستان المتبقيتان [A12 وA13] على حكم البيانات وكذلك الأنظمة التي سيتم تناولها لاحقًا في هذا القسم.
النظام: أكدت ست دراسات على ضرورة إدارة النظام. الدراسة [A3] سلطت الضوء على الحاجة إلى حوكمة أنظمة الذكاء الاصطناعي للتخفيف من المخاطر المختلفة بما في ذلك القضايا الأخلاقية المتعلقة بالتطبيقات العسكرية، وضمان السلامة في أنظمة الذكاء الاصطناعي، ومعالجة قضايا الخصوصية، وما إلى ذلك، المرتبطة بتطورها السريع. وبالمثل، سلطت دراسة أخرى [A5] الضوء أيضًا على عدة مخاطر مرتبطة بنشر الأنظمة المستقلة في قطاع الرعاية طويلة الأمد (LTC) في سنغافورة. تشمل هذه المخاطر السلامة، والخصوصية، وأمن البيانات، ومخاوف المسؤولية، ولهذا السبب أكدت الدراسة على الحاجة إلى حوكمة أنظمة الذكاء الاصطناعي. كما سلطت دراسة أخرى [A11] الضوء على أهمية إدارة أنظمة الذكاء الاصطناعي في الرعاية الصحية للتخفيف من عدة مخاطر بما في ذلك القضايا المتعلقة بسلامة المرضى، والمساءلة، وثقة الأطباء، والاعتماد الناجح للذكاء الاصطناعي في الرعاية الصحية. أشارت نتائج الورقة [A25] إلى أن تقليل القضايا الأخلاقية
القضايا، وخاصة الشفافية في أنظمة الذكاء الاصطناعي، أمر أساسي، ويمكن تحقيق ذلك من خلال إدارة أنظمة الذكاء الاصطناعي باستخدام آليات حوكمة مختلفة مثل اعتبارات أخلاقية وتحديات خوارزميات التعلم (ECCOLA)، وهي أداة لحوكمة أنظمة الذكاء الاصطناعي الأخلاقية والموثوقة. بشكل عام، ركزت هذه الدراسات على المخاطر المختلفة المرتبطة بالذكاء الاصطناعي، مما أكد على أن إدارة نظام الذكاء الاصطناعي أمر ضروري.
البيانات والنظام: هناك دراستان (A12، A13) مشتركتان بين الركيزتين: البيانات والنظام، اللتين أكدتا على أهمية إدارة كل من البيانات والأنظمة. الدراسة [A12] أبرزت أن التقدم السريع في تكنولوجيا الذكاء الاصطناعي المدفوعة في الرعاية الصحية يتجاوز القدرة العالمية على إدارة أنظمة البيانات والذكاء الاصطناعي. وبالمثل، أكدت الدراسة [A13] أن إدارة كل من البيانات والنظام أمر أساسي للتخفيف من الأبعاد السبعة للتحديات، وهي: الاجتماعية، والاقتصادية، والأخلاقية، والسياسية/القانونية/المتعلقة بالسياسات، والتنظيمية/الإدارية، والبيانات، والتحديات التكنولوجية، المرتبطة بتبني الذكاء الاصطناعي في الرعاية الصحية.
متى يتم الحكم عليه؟: تقدم الجدول 3 الدراسات التي تجيب على السؤال، أي متى يتم الحكم عليه. كما ذُكر سابقًا، هناك ثلاث مراحل لدورة حياة تطوير الذكاء الاصطناعي تحت عمود العملية، وهي: ما قبل التطوير، أثناء التطوير، وما بعد التطوير [30].
تؤكد ثمانية دراسات على أن حلول حوكمة الذكاء الاصطناعي يجب أن تغطي مراحل تطوير الذكاء الاصطناعي المختلفة. وأكدت خمس من هذه الدراسات [A2]، [A12]، [A19]، [A23]، و[A25] أن حلول الحوكمة يجب أن تغطي جميع مراحل دورة حياة تطوير الذكاء الاصطناعي لضمان التطوير والنشر الأخلاقي للذكاء الاصطناعي. وأبرزت دراسة [A12] الحاجة إلى أطر سياسات شاملة تغطي دورة حياة الذكاء الاصطناعي بالكامل، بما في ذلك التصميم، والبناء، والنشر، والاختبار، والمراقبة. وأشارت دراسة [A19] إلى وجود فجوة، وهي نقص في قوة المعلومات في ECCOLA. وبالتالي، تقترح الدراسة أنه يجب تنفيذ تدابير الحوكمة في جميع مراحل دورة حياة تطوير الذكاء الاصطناعي لتقليل مشكلات قوة المعلومات.
أشارت دراسة [A7] إلى أن إشراك البشر في مرحلة الذكاء الاصطناعي، أي خلال مرحلة التطوير، لتحسين صحة السكان يعزز ممارسات الحوكمة ويمكن أن يؤدي إلى تقليل القضايا الأخلاقية في الذكاء الاصطناعي في صحة السكان. وقد سلطت الدراسة [A11] الضوء على التحديات الأخلاقية (سلامة المرضى، المساءلة، ثقة الأطباء، إلخ) وذكرت أن هذه التحديات يمكن تقليلها إذا حدثت ممارسات الحوكمة في مراحل ما قبل التطوير وما بعد التطوير لدورة حياة تطوير الذكاء الاصطناعي. وأكدت هذه الدراسات على ضرورة الحوكمة، لا سيما في معالجة مختلف القضايا الأخلاقية، وأشارت إلى أهمية وجود هيكل حوكمة شامل عبر المراحل المختلفة لدورة حياة تطوير الذكاء الاصطناعي لضمان نشر الذكاء الاصطناعي بشكل أخلاقي ومسؤول.
الجدول 3 متى يتم الحكم عليه؟
عملية
ما قبل التطوير أثناء التطوير ما بعد التنمية
A2 A2 A2
أ7
أ11 أ11
أ12 أ12 أ12
أ13
A19 A19 A19
A23 A23 A23
A25 A25 A25
الجدول 4 كيف يتم الحكم عليه؟
رقم التعريف الشخصي إطار/نماذج/أدوات/أخلاقيات (مبادئ، سياسات، إرشادات) نوع
A2 حوكمة الذكاء الاصطناعي الأخلاقية: القيم الأخلاقية (على المستوى الأعلى) تؤدي إلى المبادئ الأخلاقية التي توجه المعايير الأخلاقية المبادئ الأخلاقية
أ12 حوكمة الذكاء الاصطناعي من خلال السياسات: سياسات مرحلة التصميم، سياسات الاختبار والتحقق، سياسات النشر سياسات أخلاقية
أ11، أ13
حوكمة الذكاء الاصطناعي من خلال الإرشادات:
(1) تجنب “الاحتجاز البصري”
(2) استخدم الحوكمة التكيفية
(3) إعطاء الأولوية للبيانات وإرشادات الإدارة
(4) التركيز على حوكمة الذكاء الاصطناعي – هيكل تدفق القيمة لتفعيل الإرشادات الأخلاقية
إرشادات أخلاقية
أ1 إطار حوكمة الإعلام والذكاء الاصطناعي: إطار متعدد المستويات: أتمتة معالجة البيانات والتقاطها، أتمتة إنشاء المحتوى، أتمتة تعديل المحتوى، وأتمتة التواصل إطار عمل
A20 إطار حوكمة الذكاء الاصطناعي النظري إطار عمل
A10 نموذج حوكمة الذكاء الاصطناعي البُعدي: أبعاد الذكاء الاصطناعي: هيكلية، وعلاقية، وإجرائية نموذج
A19 تمديد ECCOLA – أداة تم تطويرها لدمج أخلاقيات الذكاء الاصطناعي أداة
A25 ECCOLA: أداة تم تطويرها لدمج أخلاقيات الذكاء الاصطناعي أداة
كيف يتم الحكم عليه؟: الجدول 4 يقدم الدراسات التي أجابت على سؤال كيف يتم الحكم عليه. اقترحت تسع دراسات حلولاً مختلفة (أطر، نماذج، أدوات، مبادئ أخلاقية، سياسات، أو إرشادات) لحوكمة الذكاء الاصطناعي.
الأخلاقيات (المبادئ، السياسات، الإرشادات): هناك 4 دراسات [A2]، [A11-A13] اقترحت سياسات أخلاقية وإرشادات ومبادئ مختلفة لتنظيم الذكاء الاصطناعي في مجالات مختلفة. الدراسة [A2] اقترحت تدابير حوكمة شاملة للذكاء الاصطناعي الطبي الموثوق، مع التركيز على الجوانب الأخلاقية والقانونية والتنظيمية. تتضمن الحلول المقترحة القيم الأخلاقية كتصميم على مستوى عالٍ يؤدي إلى مبادئ أخلاقية توجه المعايير الأخلاقية، مع التأكيد على أن تكنولوجيا الذكاء الاصطناعي يجب أن تتوافق مع الأخلاقيات الطبية. الدراسة [A12] اكتشفت أن نطاق السياسات يمتد عبر مجموعة متنوعة من
مراحل دورة حياة الذكاء الاصطناعي ضمن الشراكة العالمية للصحة الرقمية. تشمل هذه السياسات؛ سياسات مرحلة التصميم: لتقديم آليات حوكمة صارمة. سياسات الاختبار والتحقق: يجب أن تكون مرنة ومناسبة وقابلة للتكيف لإثبات فعالية التقنيات المدفوعة بالذكاء الاصطناعي. سياسات النشر: تركز على تطوير السياسات لمعالجة الفجوات في تحويل البحث إلى الممارسة السريرية. إجراءات المراقبة والإشراف: لتعزيز إجراءات الإشراف الوطنية لتحسين الذكاء الجماعي على المستوى الدولي.
دراسة [A11] سلطت الضوء على الحاجة الملحة لحوكمة فعالة في التبني السريع لتطبيقات الذكاء الاصطناعي في الرعاية الصحية، مع التركيز على القضايا الأخلاقية والتنظيمية والثقة. وأكد المؤلفون على أهمية الحوكمة الشاملة والقابلة للتكيف على مستوى المستشفيات لمعالجة هذه القضايا وتسهيل نشر وتبني الحلول التنبؤية. الدراسة التالية [A13] استخدمت نهجًا نوعيًا لاستكشاف التحديات المتعلقة بتبني الذكاء الاصطناعي في الرعاية الصحية العامة، واستنادًا إلى الرؤى المكتسبة، اقترحت مجموعة من الإرشادات التي تركز على حوكمة الذكاء الاصطناعي. وأبرزت الدراسة أنه بدلاً من استبدال صانعي القرار البشريين بالذكاء الاصطناعي، يجب أن يكون التركيز على حوكمة الذكاء الاصطناعي بشكل فعال.
الأطر: هناك دراستان [A1]، [A20] اقترحتا أطرًا لتنظيم الذكاء الاصطناعي في مجالات مختلفة.
اقترحت الدراسة [A1] إطار عمل لحوكمة الذكاء الاصطناعي من أربعة مستويات لتحديد المخاطر المرتبطة بالذكاء الاصطناعي في قطاع الإعلام والاتصالات: أتمتة جمع البيانات ومعالجتها، توليد المحتوى، وساطة المحتوى، والتواصل. ذكرت الدراسة التالية [A20] أن عوامل العدالة تؤثر على تجربة المستخدم، مما يؤثر على جوانب مثل المعاملة غير المتحيزة، والشفافية، والكفاءة في عمليات العمل، ولهذا السبب قدمت الدراسة إطارًا نظريًا يشرح حوكمة تكنولوجيا الذكاء الاصطناعي التي تشمل المساءلة وعوامل العدالة.
النموذج: اقترحت دراسة واحدة فقط [A10] نموذج حوكمة الذكاء الاصطناعي الذي يتضمن مكونات هيكلية وإجرائية وعلاقاتية كعناصر رئيسية. تشمل الفوائد الرئيسية للنموذج التي تم تسليط الضوء عليها في الدراسة الحصول على ميزة تنافسية، وتقليل التكاليف، وإقامة أنظمة ذكاء اصطناعي موثوقة، وكلها ضرورية لنجاح الأعمال، خاصة في الأسواق التنافسية. ومع ذلك، ذكرت الدراسة بعض القيود بما في ذلك التحيز المحتمل في جمع البيانات من الشركات ذات الاستخدام المحدود للبيانات الحساسة، ونهج لقطة قد لا يلتقط بالكامل الممارسات المتطورة، ونقص التنوع القطاعي، مما يثير القلق بشأن إمكانية تعميم النتائج.
الأدوات: اقترحت الدراسة [A25] أداة ECCOLA (الاعتبارات الأخلاقية والتحديات المتعلقة بخوارزميات التعلم) لحوكمة الذكاء الاصطناعي من خلال سياسات أخلاقية تسد الفجوة بين أبحاث أخلاقيات الذكاء الاصطناعي وممارسات الصناعة. لديها ثلاثة أهداف رئيسية: زيادة الوعي بأخلاقيات الذكاء الاصطناعي، تقديم طريقة
المعيارية المناسبة لسياقات هندسة البرمجيات المتنوعة، وأن تكون قابلة للتكيف مع عمليات التطوير السريعة لتطوير الذكاء الاصطناعي. سلطت الدراسة [A19] الضوء على فجوة في ECCOLA أي، نقص في قوة المعلومات، مما يتطلب الحاجة إلى تدابير حوكمة إضافية لحوكمة الذكاء الاصطناعي بشكل فعال. بسبب ذلك، اقترحت الدراسة مواءمتها مع مبادئ حفظ السجلات المقبولة عمومًا (GARP) وممارسات حوكمة المعلومات (IG). كشفت تحليل الدراسة أن ECCOLA بالتوافق مع ممارسات GARP IG يحسن من قابليتها للتكيف ويقلل الفجوات في قوة المعلومات.
باختصار، استكشفت الدراسات [A2]، [A11]، [A12]، [A13] تحت فئة الأخلاقيات تدابير حوكمة أخلاقية متنوعة، تشمل الإرشادات والسياسات لضمان التطوير الأخلاقي للذكاء الاصطناعي. ومع ذلك، باستثناء الدراسة [A11]، تفتقر هذه الدراسات إلى تفاصيل التنفيذ في العالم الحقيقي، مما قد يحد من قابليتها للتطبيق عبر سياقات متنوعة. المبادئ الأخلاقية للذكاء الاصطناعي التي تم التأكيد عليها في دراستين [A1] و[A20] تحت فئة أطر حوكمة الذكاء الاصطناعي هي العدالة والشفافية. ومع ذلك، فإن الأطر المقدمة في الدراسات تظهر قيدًا محتملاً من حيث الهيكل الصحيح والتحقق، مما يثير تساؤلات حول التقييم الشامل للنتائج الرئيسية لتبرير صلاحية الأطر.
أجابت ثلاث دراسات [A2]، [A11]، و[A13] على جميع الأسئلة الأربعة (من، ماذا، متى، وكيف). تم توضيح التفاصيل الشاملة حول من يجب أن يكون مسؤولاً عن نظام حوكمة الذكاء الاصطناعي، وما العناصر التي تحتاج إلى حوكمة، ومتى يجب أن تحدث الحوكمة ضمن دورة حياة تطوير الذكاء الاصطناعي، وكيف يجب تنفيذها من خلال الأطر، والأدوات، والسياسات، أو النماذج في الدراسات [A2]، [A11]، و[A13].

4.2 مستويات حوكمة الذكاء الاصطناعي

باستخدام الفئات المقترحة من قبل لو وآخرون [1]، يتم تصنيف أصحاب المصلحة الموجودين تحت سؤال من الذي يقوم بالحكم؟ في هذه المراجعة المنهجية تحت خمس مجموعات، كما هو موضح في الجدول 2 ومفسر في القسم 4.1.1 (من الذي يقوم بالحكم). يتم تجميع حلول حوكمة الذكاء الاصطناعي الموجودة تحت سؤال كيف يتم الحكم؟ تحت حوكمة على مستوى الفريق، وعلى مستوى المنظمة، وعلى مستوى الصناعة، وعلى المستوى الوطني، وعلى المستوى الدولي. يوضح الشكل 3 تصنيف حلول حوكمة الذكاء الاصطناعي تحت هذه المستويات. للأسف، لا تقع أي من الحلول تحت حوكمة على مستوى الفريق أو المستوى الوطني، لذلك تمت إضافة ثلاث طبقات إلى الشكل 3.
أعلى عدد (أي 7) من حلول حوكمة الذكاء الاصطناعي يقع تحت حوكمة على مستوى المنظمة. تقع الدراسات الثلاث [A2]، [A11]، و[A13]، التي أجابت على جميع الأسئلة، تحت حوكمة على مستوى المنظمة. يكشف هذا أن هذه الحلول شاملة وواضحة بشأن من يجب أن يكون مسؤولاً عن تنظيم أنظمة الذكاء الاصطناعي، وما العناصر

الحوكمة على المستوى الدولي

  • حوكمة الذكاء الاصطناعي من خلال السياسات لدعم الدول الأعضاء في GDHP في التغلب على حواجز حوكمة الذكاء الاصطناعي [A12]

الحوكمة على مستوى الصناعة

  • إطار حوكمة الإعلام والذكاء الاصطناعي [A1]

الحوكمة على مستوى المنظمة

  • تطوير ECCOLA: [A19]
  • الإصدار الموسع من ECCOLA [A25]
  • نموذج حوكمة الذكاء الاصطناعي البُعدي [A10]
  • إطار حوكمة الذكاء الاصطناعي النظري [A20]
  • حوكمة الذكاء الاصطناعي من خلال الإرشادات [A11]، [A13]
  • حوكمة الذكاء الاصطناعي الأخلاقية [A2]
الشكل 3 مستويات حوكمة الذكاء الاصطناعي
الجدول 5 المبادئ الأخلاقية للذكاء الاصطناعي المستهدفة في حلول حوكمة الذكاء الاصطناعي
معرف المنتج حلول حوكمة الذكاء الاصطناعي المبادئ
A2 حوكمة الذكاء الاصطناعي الأخلاقية العدالة والخصوصية والأمان
A12 حوكمة الذكاء الاصطناعي من خلال السياسات غير محدد
A11، A13 حوكمة الذكاء الاصطناعي من خلال الإرشادات قابلية التفسير، الدقة، والعدالة
A1 إطار حوكمة الإعلام والذكاء الاصطناعي الشفافية
A20 إطار حوكمة الذكاء الاصطناعي النظري العدالة
A10 نموذج حوكمة الذكاء الاصطناعي البُعدي غير محدد
A19 تمديد ECCOLA الخصوصية والقوة
A25 تطوير ECCOLA القوة
يجب أن يتم الحكم عليها في كل مرحلة من مراحل التطوير، وكيفية تنفيذها من خلال الأطر، والأدوات، أو السياسات. هناك حل واحد لحوكمة الذكاء الاصطناعي في الدراسة [A12] يقع تحت الحوكمة على المستوى الدولي.
من المهم الاعتراف بأنه، إلى جانب الحوكمة التنظيمية، يلعب التعاون بين الحوكمة الوطنية والدولية دورًا محوريًا [34]. يتيح تنسيق الهيئات الوطنية مع الجهود الدولية صياغة أفضل حلول حوكمة الذكاء الاصطناعي، مما يضمن سلوكًا مسؤولًا ومعايير أخلاقية في مشهد الذكاء الاصطناعي العالمي [34، 40].

5 المناقشة

يكشف تحليل أطر حوكمة الذكاء الاصطناعي، والنماذج، والأدوات، والسياسات المقدمة في الأدبيات عن اتجاهات هامة وفجوات في معالجة التحديات الأخلاقية المرتبطة بتقنيات الذكاء الاصطناعي.

RQ1: ما هي أطر الحوكمة، والنماذج، والأدوات، والسياسات (السياسات الأخلاقية، والإرشادات، والمبادئ) للذكاء الاصطناعي المقدمة في الأدبيات؟

يقدم الجدول 4 أطر حوكمة الذكاء الاصطناعي، والنماذج، والأدوات، والسياسات (المبادئ الأخلاقية، والسياسات، والإرشادات) المقدمة في الأدبيات. تم تغطية التحليل الشامل لكل حل بالفعل في القسم 4.1.1. حيث اقترحت 9 دراسات حلول حوكمة ذكاء اصطناعي متنوعة، بما في ذلك الأطر، والأدوات، ومبادئ الأخلاق، تم فحص كل دراسة لملاحظة أي من المبادئ الأخلاقية للذكاء الاصطناعي كما هو مذكور في الدراسة المحددة التي تستهدف جعل الذكاء الاصطناعي أخلاقيًا ومسؤولًا عبر مجالات مختلفة. ركزت الدراسات حول حلول الحوكمة بشكل أساسي على مبدأ أو مبدأين أخلاقيين فقط، مع كون المبدأ الأكثر تركيزًا هو العدالة، تليه الخصوصية كما هو موضح في الجدول 5. بينما من المفهوم أن عددًا قليلاً جدًا من الدراسات قد ركزت على المبادئ الأخلاقية أثناء اقتراح أطر حوكمة الذكاء الاصطناعي، من الضروري تقديم حلول حوكمة أكثر هيكلية وقوة تجعل الذكاء الاصطناعي مسؤولًا وأخلاقيًا [1].

RQ2: ما هي القيود والتحديات المتعلقة بحوكمة الذكاء الاصطناعي التي تم مناقشتها في الأدبيات؟

تتطلب حلول حوكمة الذكاء الاصطناعي التخفيف من المخاطر المرتبطة بالذكاء الاصطناعي، مثل التحيز، والتمييز، ونقص الشفافية، والتأثيرات الضارة غير المقصودة [39] [30]. ومع ذلك، هناك تحديات مرتبطة بحلول حوكمة الذكاء الاصطناعي أيضًا، والتي تم مناقشتها في الأدبيات. هناك حلول حوكمة ذكاء اصطناعي مقترحة في الأدبيات لم تغطي جوانب أخلاقية متنوعة بما في ذلك العدالة، والشفافية، والخصوصية، والثقة، مما يجعل هذه الحلول غير قوية ولا يمكن استخدامها لجعل الذكاء الاصطناعي مسؤولًا وأخلاقيًا [A6]، [A15]، [A22]، و[A24]. فيما يلي النتائج الرئيسية حول التحديات الأخلاقية التي تم اكتشافها في الأدبيات:
  1. قلة الاهتمام بالمبادئ الأخلاقية والمسؤولة للذكاء الاصطناعي: تشير الأدبيات إلى نقص ملحوظ في الاهتمام الممنوح للمبادئ الأخلاقية والمسؤولة للذكاء الاصطناعي في جهود الحوكمة الحالية. تعطي العديد من أطر الحوكمة الحالية الأولوية للامتثال وإدارة المخاطر، وغالبًا ما تركز على الجوانب التقنية والتشغيلية مثل الأداء، والدقة، وقابلية التوسع. ومع ذلك، يمكن أن يطغى هذا التركيز الفني على القضايا الأخلاقية الأساسية مثل العدالة، والشفافية، والشمولية. على سبيل المثال، في بعض الحالات، تكون الإرشادات الأخلاقية مجرد “اقتراحات” بدون لوائح قابلة للتنفيذ لضمان الامتثال، مما يؤدي إلى تجاهل المبادئ الأخلاقية أو دمجها بشكل سيء في أنظمة الذكاء الاصطناعي. بالإضافة إلى ذلك، فإن نقص نهج موحد ومعياري
    إن التوجه نحو الذكاء الاصطناعي المسؤول عبر مختلف القطاعات والمناطق يجعل من الصعب تبني مبادئ الذكاء الاصطناعي الأخلاقي بشكل عالمي. هذه التباينات تخلق فجوات، حيث قد تلتزم المنظمات بالحد الأدنى من المتطلبات القانونية لكنها تفشل في تنفيذ معايير أخلاقية أكثر صرامة، مما قد يؤدي إلى التحيز أو التمييز أو انتهاكات الخصوصية. إن غياب المعايير الأخلاقية القابلة للتنفيذ يسمح للشركات بتجاوز هذه المبادئ، لا سيما في الأسواق التنافسية حيث يتم إعطاء الأولوية لسرعة الوصول إلى السوق والربحية على الاعتبارات الأخلاقية.
  2. نقص المشاركة البشرية:: يُعتبر نقص المشاركة البشرية في أساليب حوكمة الذكاء الاصطناعي الحالية تحديًا يجعل هذه الأساليب أقل تركيزًا على الإنسان. تركز العديد من أطر حوكمة الذكاء الاصطناعي على أتمتة عمليات اتخاذ القرار، مما يؤدي غالبًا إلى تهميش دور الحكم البشري والمساءلة في هذه القرارات. مع تزايد اعتماد أنظمة الذكاء الاصطناعي على التعامل مع مهام حساسة وعالية المخاطر، مثل التوظيف، وإنفاذ القانون، والرعاية الصحية، يمكن أن يؤدي غياب الإشراف البشري إلى نتائج غير مقصودة وضارة. علاوة على ذلك، فإن المشاركة البشرية ضرورية لضمان بقاء أنظمة الذكاء الاصطناعي قابلة للتكيف واستجابة للسياقات الأخلاقية والاجتماعية والقانونية المتغيرة. بدون وجود البشر في الحلقة، قد تتبع أنظمة الذكاء الاصطناعي قواعد وخوارزميات صارمة، والتي قد تكون غير مناسبة أو ضارة عند تطبيقها على مواقف العالم الحقيقي المتطورة.
  3. عدم كفاية الأساليب الحالية للحكم: تشير بعض الدراسات إلى أن الأطر الحالية لحوكمة الذكاء الاصطناعي قد تكون غير كافية لمعالجة جميع القضايا الأخلاقية المتعلقة بالذكاء الاصطناعي. بينما تركز بعض الأطر على إدارة المخاطر والامتثال التنظيمي، فإنها غالبًا ما تفشل في معالجة القضايا الأوسع المتعلقة بالثقة والخصوصية والمساءلة. يمكن أن تؤدي هذه الغموض إلى نماذج “صندوق أسود” حيث تكون المنطق وراء قرارات الذكاء الاصطناعي غير متاحة، مما يقوض الثقة في أنظمة الذكاء الاصطناعي. بالإضافة إلى ذلك، يتم تطوير تقنيات الذكاء الاصطناعي ونشرها عبر الحدود، ولكن لا يوجد معيار أو اتفاق عالمي حول كيفية حكم أنظمة الذكاء الاصطناعي بشكل أخلاقي. تجعل هذه الفجوة من الصعب إنشاء نظام حوكمة شامل يمكنه التخفيف من المخاطر التي تطرحها الذكاء الاصطناعي عبر مناطق وصناعات مختلفة. من خلال تسليط الضوء على هذه التحديات، يصبح من الواضح أن حلول حوكمة الذكاء الاصطناعي يجب أن تستند أساسًا إلى مبادئ الذكاء الاصطناعي الأخلاقي والمسؤول لتعزيز الثقة، ومعالجة القضايا المجتمعية، وضمان النجاح على المدى الطويل لتقنيات الذكاء الاصطناعي. مع استمرار دمج الذكاء الاصطناعي في مجالات ذات مخاطر عالية مثل الرعاية الصحية، وإنفاذ القانون، والتوظيف، يجب أن تتطور أطر الحوكمة لت prioritizing المبادئ الأخلاقية مثل العدالة والشفافية و
    المسؤولية، التي يتم التعامل معها حالياً بشكل غير كاف. على سبيل المثال، قانون الذكاء الاصطناعي في الاتحاد الأوروبي، الذي يسعى إلى تصنيف أنظمة الذكاء الاصطناعي بناءً على مستويات المخاطر وفرض تنظيمات صارمة على التطبيقات عالية المخاطر، يمثل هذه الحركة نحو بيئة ذكاء اصطناعي أكثر مسؤولية. من المتوقع أن تركز الأطر مثل هذه بشكل متزايد على الإشراف البشري، مما يضمن أن أنظمة الذكاء الاصطناعي لا تفي فقط بالمعايير الفنية ولكن تتماشى أيضاً مع القيم المجتمعية. في النهاية، يمكن أن يتضمن مستقبل حوكمة الذكاء الاصطناعي تحقيق التوازن بين الابتكار والمسؤولية، مع أطر قابلة للتكيف يمكن أن تستجيب لتطورات تقنيات الذكاء الاصطناعي مع الحفاظ على المبادئ الأخلاقية.

6 تهديدات للصلاحية والقيود

6.1 القيود

على الرغم من أننا التزمنا بدقة باستراتيجية البحث الشاملة، مما يضمن اختيارًا شاملاً لدراساتنا، لا يزال هناك احتمال أن بعض الأوراق قد لا تكون قد تم تضمينها في جمع بياناتنا. قد يكون ذلك نتيجة لعدم إمكانية الوصول إليها أو عدم وجودها على المنصات الإلكترونية، التي قد نكون غير مدركين لها أو لم نستهدف مكتبات رقمية مختلفة وركزنا فقط على Google Scholar وScopus. في إنشاء سلاسل البحث الخاصة بنا، تم حذف المصطلحات الرئيسية “تنظيمات الذكاء الاصطناعي”، “أخلاقيات الذكاء الاصطناعي”، “الأطر التنظيمية للذكاء الاصطناعي”، و”نماذج حوكمة الذكاء الاصطناعي” لتقليل عدد النتائج غير ذات الصلة. بينما ندرك أن هذا قد يكون قد استبعد بعض الأوراق ذات الصلة من عيّنتنا، قمنا بإجراء عملية التوسع لاستعادة أي دراسات مفقودة.

6.2 الصلاحية الداخلية

تشمل مراجعتنا المنهجية للأدبيات (SLR) الدراسات الأولية المنشورة على مدار السنوات العشر الماضية، حتى عام 2023. مع بدء عام 2024 بالفعل، نخطط لإدراج الدراسات من هذا العام في دورة البحث القادمة. من خلال التركيز حصريًا على الدراسات الأولية، نعترف بأن مراجعتنا قد تستبعد مجموعة متنوعة من أطر أو نماذج حوكمة الذكاء الاصطناعي المستخدمة حاليًا من قبل المنظمات، والتي غالبًا ما يتم تفصيلها في المصادر الثانوية مثل الأوراق البيضاء أو تقارير الصناعة. يساعد تحديد نطاقنا على السنوات العشر الماضية في إدارة تأثير ممارسات حوكمة الذكاء الاصطناعي سريعة التطور، مما يضمن مقارنة أكثر اتساقًا للدراسات على مدى فترة محددة. للحفاظ على الصلاحية الداخلية، قمنا بتعريف معايير واضحة للإدراج والاستبعاد، وعالجنا التحيزات المحتملة من خلال التركيز على الدراسات الأولية، واعتبرنا التحديثات المستقبلية لإدراج الدراسات الأحدث. تضمن هذه التدابير أن تكون نتائجنا قوية وموثوقة.
ويمكن أن يُعزى ذلك إلى الدراسات الأساسية التي تم مراجعتها، مما يعزز الصلاحية الداخلية لمراجعتنا المنهجية.

6.3 الصلاحية الخارجية

توفر نتائج هذه المراجعة المنهجية الشاملة ملخصًا شاملًا لحلول حوكمة الذكاء الاصطناعي الحالية. ومع ذلك، فإن قابلية تعميم هذه النتائج محدودة بنطاق الدراسات المختارة، التي قد لا تعكس الطيف الكامل لممارسات حوكمة الذكاء الاصطناعي عبر سياقات متنوعة. لمواجهة هذا التحدي، حاولنا تضمين مجموعة متنوعة من الدراسات الأولية ودمج تحليل مستمر للأدبيات الرمادية لتوسيع وجهة نظرنا.

7 الخاتمة والأعمال المستقبلية

في الختام، يحقق هذا الاستعراض المنهجي للأدبيات المكون من 28 دراسة مختارة أهدافه من خلال تقديم ملخص شامل لحلول حوكمة الذكاء الاصطناعي الحالية، بما في ذلك الأطر والأدوات والنماذج والسياسات الأخلاقية. كما يتم تقديم التحديات الموجودة في حلول حوكمة الذكاء الاصطناعي الحالية في هذا الاستعراض، مع التأكيد على التركيز السائد على الاعتبارات الأخلاقية مثل العدالة والشفافية والخصوصية، وما إلى ذلك. تكشف التحليلات عن فجوة حاسمة في معالجة جوانب من يقوم بالحكم، وما الذي يتم الحكم عليه، ومتى يتم الحكم عليه، وكيف يتم الحكم عليه بطريقة شاملة. فقط 3 دراسات قدمت جميع الإجابات على الأسئلة (من يقوم بالحكم، وما الذي يتم الحكم عليه، ومتى يتم الحكم عليه، وكيف يتم الحكم عليه). كما كشفت التحليلات أن أكبر عدد من حلول الحوكمة مصنفة تحت حوكمة المستوى التنظيمي. بينما تلعب المبادئ الأخلاقية دورًا حيويًا، هناك دعوة لزيادة الوضوح، خاصة في مشاركة أصحاب المصلحة في مراحل تطوير الذكاء الاصطناعي المختلفة. تؤكد النتائج على ضرورة أن تعالج حلول حوكمة الذكاء الاصطناعي ليس فقط المخاطر ولكن أيضًا الجوانب الأخلاقية الحاسمة، مما يعزز الحوكمة المسؤولة والفعالة في المشهد الديناميكي للذكاء الاصطناعي. وهذا يشير إلى الحاجة إلى أن تتماشى حلول حوكمة الذكاء الاصطناعي المستقبلية بشكل وثيق مع مبادئ الذكاء الاصطناعي الأخلاقية، مما يعزز نهجًا شاملًا ومبدئيًا لحوكمة الذكاء الاصطناعي.
كجزء من العمل المستقبلي، يتم إجراء تحليل موسع يتعمق في الأدبيات الرمادية. تم اتخاذ القرار بتمديد مراجعتنا المنهجية للأدبيات لتشمل الأدبيات الرمادية لأننا حددنا فجوة في الأدبيات الأكاديمية الحالية. على وجه التحديد، لم تغطي الدراسات الأساسية المدرجة في مراجعتنا المنهجية للأدبيات (SLR) معايير حوكمة الذكاء الاصطناعي بشكل كافٍ، مثل معايير ISO، وإطار حوكمة الذكاء الاصطناعي من NIST، وما إلى ذلك. لقد أكملنا جمع وتحليل الأدبيات الرمادية حول حوكمة الذكاء الاصطناعي. يهدف هذا الاستكشاف إلى استخراج رؤى إضافية، مما يساهم في فهم أكثر دقة لحوكمة الذكاء الاصطناعي ويثري النقاش حول
ممارسات حوكمة الذكاء الاصطناعي، آثارها، والاعتبارات الأخلاقية.

الملحق أ: قائمة بـ 28 دراسة مشمولة

A1: بييرسون، ج.، كير، أ.، روبنسون، س.س.، فاني، ر.، ستاينكوجلر، ف.إ.، ميلان، س. وزامبيدري، ج.، 2023. إدارة الذكاء الاصطناعي في قطاع الإعلام والاتصالات. مراجعة سياسة الإنترنت، 12(1)، ص. 28-28.
أ2: تشانغ، ج. وتشينغ، ز.م.، 2023. أخلاقيات وحوكمة الذكاء الاصطناعي الطبي الموثوق. مجلة BMC للمعلوماتية الطبية واتخاذ القرار، 23(1)، ص. 7.
A3: والاش، و. ومارشانت، ج.إي.، 2018. نموذج أخلاقي/قانوني مرن للحوكمة الدولية والوطنية للذكاء الاصطناعي والروبوتات. جمعية تعزيز الذكاء الاصطناعي.
أ4: آرثر، ك.ن.أ. وأوين، ر.، 2022. دراسة ميكرو-إثنوغرافية للابتكار القائم على البيانات الضخمة في قطاع الخدمات المالية: الحوكمة والأخلاقيات والممارسات التنظيمية. في الأعمال والتداعيات الأخلاقية للتكنولوجيا (ص. 57-69). شتوتغارت: سبرينغر ناتشر سويسرا.
أ5: تان، س.ي. وتايهاغ، أ.، 2021. إدارة اعتماد الروبوتات والأنظمة المستقلة في الرعاية طويلة الأمد في سنغافورة. السياسة والمجتمع، 40(2)، ص. 211-231.
ديكنسون، إتش، سميث، سي، كاري، إن وكاري، جي، 2021. استكشاف توترات الحوكمة للتقنيات الم disruptive: حالة الروبوتات المساعدة في أستراليا ونيوزيلندا. السياسة والمجتمع، 40(2)، الصفحات 232-249.
A7: كوتور، ف.، روي، م.س.، داز، إ.، لابيرل، س. وبيليسل-بيبون، ج.س.، 2023. الآثار الأخلاقية للذكاء الاصطناعي في صحة السكان ودور الجمهور في حوكمة ذلك: وجهات نظر من لجنة المواطنين والخبراء. مجلة أبحاث الإنترنت الطبية، 25، ص.e44357.
A8: هُما، إ.، بوش، أ.، تروث، ر. ولوتغ، ج.، 2023. التحقيق في المساءلة عن الذكاء الاصطناعي من خلال حوكمة المخاطر: دراسة استكشافية قائمة على ورش العمل. الحدود في علم النفس، 14، ص. 1073686.
أ9: أوشاوغنسّي، م.ر.، شيف، د.س.، فارشني، ل.ر.، روزيل، س.ج. ودافنبورت، م.أ.، 2023. ما الذي يحكم المواقف تجاه اعتماد الذكاء الاصطناعي وحوكمته؟. العلوم والسياسة العامة، 50(2)، ص. 161-176.
A10: باباجيانيديس، إ.، إنهولم، إ.م.، دريمل، ج.، ميكاليف، ب. وكروغستي، ج.، 2023. نحو حوكمة الذكاء الاصطناعي: تحديد أفضل الممارسات والحواجز والنتائج المحتملة. حدود نظم المعلومات، 25(1)، ص. 123-141.
أ11: لياو، ف.، أدلاين، س.، أفشار، م. وباترسون، ب. و، 2022. حوكمة تطبيقات الذكاء الاصطناعي السريري لـ
تسهيل النشر الآمن والعادل في نظام صحي كبير: العناصر الرئيسية والنجاحات المبكرة. الحدود في الصحة الرقمية، 4، ص. 931439.
أ12: مورلي، ج.، مورفي، ل.، ميشرا، أ.، جوشي، I. وكارباتاكيس، ك.، 2022. إدارة البيانات والذكاء الاصطناعي للرعاية الصحية: تطوير فهم دولي. أبحاث JMIR التكوينية، 6(1)، ص.e31623.
أ13: صن، ت. ك. و ميداجليا، ر.، 2019. رسم تحديات الذكاء الاصطناعي في القطاع العام: أدلة من الرعاية الصحية العامة. ربع سنوية معلومات الحكومة، 36(2)، ص.368-383.
أوكُن، س.، هانجر، م.، براون-جيمس، ل.، مونتغومري، ت.، رافالوف، ج. وفان ديلدن، ج.ج.، 2023. الالتزامات تجاه المصادر الأخلاقية المسؤولة، واستخدام وإعادة استخدام بيانات المرضى في العصر الرقمي: عملية التعاون. مجلة أبحاث الإنترنت الطبية، 25، ص.e41095.
A15: موكاندر، ج.، شيث، م.، جيرسبروا-سوندلر، م.، بلومغرين، ب. وفلوريدي، ل.، 2022. التحديات وأفضل الممارسات في حوكمة الذكاء الاصطناعي في الشركات: دروس من صناعة الأدوية الحيوية. الحدود في علوم الكمبيوتر، 4، ص. 1068361.
أ16: براتون، ب.، 2021. الذكاء الاصطناعي في الحضرية: إطار تصميم للحكم، والبرامج، وإدراك المنصات. الذكاء الاصطناعي والمجتمع، 36(4)، ص. 1307-1312.
أ17: الزعابي، ك.، الحمادي، ك.أ. و الخطيب، م.، 2023. تسليط الضوء على حوكمة البرامج من خلال الذكاء الاصطناعي و البلوك تشين. المجلة الدولية لتحليلات الأعمال والأمن (IJBAS)، 3(1)، ص. 92-102.
A18: شيفر، م.، شنايدر، ج.، دريشلار، ك. وفوم بروك، ج.، 2022. حوكمة الذكاء الاصطناعي: هل هناك حاجة إلى مسؤولي الذكاء الاصطناعي ورؤساء مخاطر الذكاء الاصطناعي؟. في ECIS.
A19: أغبيسي، م.، ألانين، هـ.ك.، أنتيكاينن، ج.، إريكا، هـ.، إيسوماكي، هـ.، يانتونن، م.، كيميل، ك.ك.، روسي، ر.، فايينو-بيكا، هـ. وفاكوري، ف.، 2023. الحوكمة في أنظمة الذكاء الاصطناعي الأخلاقية والموثوقة: توسيع طريقة ECCOLA لحوكمة أخلاقيات الذكاء الاصطناعي باستخدام GARP. مجلة e-Informatica للهندسة البرمجية، 17(1).
ماليك، ن.، كار، أ.ك.، تريباتي، س.ن. وغوبتا، س.، 2023. استكشاف تأثير عدالة الروبوتات الاجتماعية على تجربة المستخدم. التنبؤ التكنولوجي والتغيير الاجتماعي، 197، ص. 122913.
أ21: تان، إ.، جان، م.ب.، سيمونوفسكي، أ.، تومبال، ت.، كليزن، ب.، سابي، م.، بيشوك، ل. وويليم، ب.، 2023. الذكاء الاصطناعي والقرارات الخوارزمية في كشف الاحتيال: نموذج هيكلي تفسيري. البيانات والسياسة، 5، ص.e25.
أ22: هاينتس، ف.، تشاجكي، س.، برنارديني، ف.، ودوب، ر.، 2023. حوكمة الذكاء الاصطناعي الموثوق – مناقشة لجنة. وقائع ورشة عمل CEUR، المجلد 3449، 2023 مشترك من الأبحاث الجارية، الممارسين، الملصقات، ورش العمل، والمشاريع في EGOV-CeDEM-ePart،
EGOV-CeDEM-ePart-JP 2023، بودابست، 4-7 سبتمبر 2023. CEUR-WS.
A23: سالاثيه، م.، ويغاند، ت. ووينزل، م.، 2018. مجموعة تركيز حول الذكاء الاصطناعي للصحة. arXiv preprint arXiv:1809.04797.
A24: كاث، سي.، 2018. إدارة الذكاء الاصطناعي: الفرص والتحديات الأخلاقية والقانونية والتقنية. المعاملات الفلسفية للجمعية الملكية A: العلوم الرياضية والفيزيائية والهندسية، 376(2133)، ص.20180080.
A25: فاكوري، ف.، كيميل، ك.ك.، يانتونين، م.، هالم، إ. وأبراهامسون، ب.، 2021. إيكولا – طريقة لتنفيذ أنظمة الذكاء الاصطناعي المتوافقة أخلاقياً. مجلة الأنظمة والبرمجيات، 182، ص. 111067.
أ26: أرورا، أ.، ألدرمان، ج.إ.، بالمر، ج.، غاناباثي، س.، لووز، إ.، مكرايدن، م.د.، أوكدن-راينر، ل.، بفول، س.ر.، غاسمي، م.، مكاي، ف. وتريانونر، د.، 2023. قيمة المعايير لمجموعات البيانات الصحية في التطبيقات المعتمدة على الذكاء الاصطناعي. ناتشر ميديسن، 29(11)، ص. 2929-2938.
أ27: داناهير، ج.، هوغان، م.ج.، نون، ج.، كينيدي، ر.، بيهان، أ.، دي باور، أ.، فيلزمان، هـ.، هاكلاي، م.، خُو، س.م.، موريزون، ج. ومورفي، م.هـ.، 2017. الحوكمة الخوارزمية: تطوير أجندة بحثية من خلال قوة الذكاء الجماعي. البيانات الضخمة والمجتمع، 4(2)، ص.2053951717726554.
أ28: جونسون، م.، البزري، أ. وهارفوش، أ.، 2023. الذكاء الاصطناعي المسؤول في الرعاية الصحية: التنبؤ ومنع رفض مطالبات التأمين من أجل الرفاهية الاقتصادية والاجتماعية. حدود نظم المعلومات، 25(6)، ص. 2179-2195.

الملحق ب: المصطلحات

من أجل الوضوح، من الضروري تعريف المصطلحات الرئيسية المستخدمة في هذا الاستعراض المنهجي قبل الانتقال إلى الإجابة على الأسئلة والتصنيف.
  • إطار حوكمة الذكاء الاصطناعي: في هذه الورقة، يشير إطار حوكمة الذكاء الاصطناعي إلى الأساليب المنظمة المصممة لتوجيه تطوير ونشر وإدارة أنظمة الذكاء الاصطناعي بشكل منهجي، مع معالجة الاعتبارات الأخلاقية والتنظيمية والتشغيلية.
  • نموذج حوكمة الذكاء الاصطناعي: في هذه المراجعة المنهجية، يمثل نموذج حوكمة الذكاء الاصطناعي مجموعة من الخطوات للإشراف على وإدارة الجوانب الأخلاقية والقانونية والتشغيلية لأنظمة الذكاء الاصطناعي.
  • أداة حوكمة الذكاء الاصطناعي: في هذه الورقة، تشير أداة حوكمة الذكاء الاصطناعي إلى مجموعة من الأدوات المتخصصة، أو مجموعة منظمة من الخطوات، تم تطويرها لتقييم ومراقبة و
    تعزيز الاستخدام الأخلاقي والمسؤول للذكاء الاصطناعي (AI).
  • حوكمة الذكاء الاصطناعي الأخلاقية والمسؤولة: في هذه الدراسة، تمثل حوكمة الذكاء الاصطناعي الأخلاقية والمسؤولة مجموعة أساسية من القيم والإرشادات التي تهدف إلى توجيه تطوير ونشر واستخدام تقنيات الذكاء الاصطناعي بطريقة تتماشى مع الاعتبارات الاجتماعية والأخلاقية والقانونية. تضمن هذه المبادئ ممارسات الذكاء الاصطناعي المسؤولة والأخلاقية، مع التأكيد على الشفافية والمساءلة والعدالة وحماية حقوق الأفراد.
مساهمات المؤلفين ساهم جميع المؤلفين في هذه المخطوطة.
تم توفير تمويل الوصول المفتوح من قبل خدمات مكتبة CSIRO. سيتم توفير تمويل الوصول المفتوح من قبل خدمات مكتبة CSIRO. لم يتم تلقي أي تمويل للمساعدة في إعداد هذه المخطوطة. لم يتم تلقي أي تمويل لإجراء هذه الدراسة. لم يتم تلقي أي أموال أو منح.
توفر البيانات يمكن الوصول إلى البيانات المتعلقة بهذا الاستعراض من الروابط المعطاة في الحواشي.

الإقرارات

تعارض المصالح جميع المؤلفين موظفون بدوام كامل في وكالة العلوم الوطنية الأسترالية (Data61 التابعة لـ CSIRO). ليس لدى المؤلفين أي تعارض في المصالح للإفصاح عنه يتعلق بمحتوى هذه المقالة. ليس لدى المؤلفين أي مصالح مالية أو ملكية في أي مادة تم مناقشتها في هذه المقالة. نيابة عن جميع المؤلفين، يصرح المؤلف المراسل بأنه لا يوجد تعارض في المصالح.
الوصول المفتوح هذه المقالة مرخصة بموجب رخصة المشاع الإبداعي للاستخدام والنسب 4.0 الدولية، والتي تسمح بالاستخدام والمشاركة والتكيف والتوزيع وإعادة الإنتاج في أي وسيلة أو صيغة، طالما أنك تعطي الائتمان المناسب للمؤلفين الأصليين والمصدر، وتوفر رابطًا لرخصة المشاع الإبداعي، وتوضح ما إذا تم إجراء تغييرات. الصور أو أي مواد من طرف ثالث في هذه المقالة مشمولة في رخصة المشاع الإبداعي للمقالة، ما لم يُشار إلى خلاف ذلك في سطر الائتمان للمادة. إذا لم تكن المادة مشمولة في رخصة المشاع الإبداعي للمقالة وكان استخدامك المقصود غير مسموح به بموجب اللوائح القانونية أو يتجاوز الاستخدام المسموح به، ستحتاج إلى الحصول على إذن مباشرة من صاحب حقوق الطبع والنشر. لعرض نسخة من هذه الرخصة، قم بزيارة http://creativecommons. org/licenses/by/4.0/.

References

  1. Lu, Q., Zhu, L., Xu, X., Whittle, J., Zowghi, D., Jacquet, A.: Responsible AI pattern catalogue: a collection of best practices for AI governance and engineering. ACM Comput. Surv. 56, 1-35 (2022)
  2. Shams, R.A., Zowghi, D., Bano, M.: Ai and the quest for diversity and inclusion: a systematic literature review. AI and Ethics, 1-28 (2023)
  3. Lütge, C., Poszler, F., Acosta, A.J., Danks, D., Gottehrer, G., Mihet-Popa, L., Naseer, A.: Ai4people: ethical guidelines for the automotive sector-fundamental requirements and practical recommendations. Int. J. Technoethics (IJT) 12(1), 101-125 (2021)
  4. Reddy, S., Allan, S., Coghlan, S., Cooper, P.: A governance model for the application of AI in health care. J. Am. Med. Inform. Assoc. 27(3), 491-497 (2020)
  5. Lee, J.: Access to finance for artificial intelligence regulation in the financial services industry. Eur. Bus. Organ. Law Rev. 21, 731-757 (2020)
  6. Bano, M., Zowghi, D., Shea, P., Ibarra, G.: Investigating responsible AI for scientific research: an empirical study. arXiv preprint arXiv:2312.09561 (2023)
  7. Jobin, A., Ienca, M., Vayena, E.: The global landscape of AI ethics guidelines. Nat. Mach. Intell. 1(9), 389-399 (2019)
  8. Mäntymäki, M., Minkkinen, M., Birkstedt, T., Viljanen, M.: Putting ai ethics into practice: the hourglass model of organizational ai governance. arXiv preprint arXiv:2206.00335 (2022)
  9. Koene, A., Smith, A.L., Egawa, T., Mandalh, S., Hatada, Y.: Ieee p70xx, establishing standards for ethical technology. In: Proceedings of KDD, ExCeL London UK (2018)
  10. Fjeld, J., Achten, N., Hilligoss, H., Nagy, A., Srikumar, M.: Principled artificial intelligence: mapping consensus in ethical and rights-based approaches to principles for AI. Berkman Klein Center Research Publication (2020-1) (2020)
  11. Attard-Frost, B., Brandusescu, A., Lyons, K.: The governance of artificial intelligence in Canada: findings and opportunities from a review of 84 AI governance initiatives. Gov. Inf. Q. 41(2), 101929 (2024)
  12. Maas, M.M.: Concepts in advanced AI governance: a literature review of key terms and definitions (2023)
  13. Kluge Corrêa, N., Galvão, C., Santos, J.W., Del Pino, C., Pontes Pinto, E., Barbosa, C., Massmann, D., Mambrini, R., Galvão, L., Terem, E.: Worldwide AI ethics: a review of 200 guidelines and recommendations for ai governance. arXiv e-prints, 2206 (2022)
  14. Zhang, J., Zhang, Z.-M.: Ethics and governance of trustworthy medical artificial intelligence. BMC Med. Inf. Decis. Making 23(1), 7 (2023)
  15. Pierson, J., Kerr, A., Robinson, C., Fanni, R., Steinkogler, V., Milan, S., Zampedri, G.: Governing artificial intelligence in the media and communications sector. Internet Policy Rev. 12(1), 28 (2023)
  16. Wang, X., Oussalah, M., Niemilä, M., Ristikari, T., Petri, V.: Towards AI-governance in psychosocial care: a systematic literature review analysis. J. Open Innov. Technol. Mark. Complex. 9, 100157 (2023)
  17. Corrêa, N.K., Galvão, C., Santos, J.W., Del Pino, C., Pinto, E.P., Barbosa, C., Massmann, D., Mambrini, R., Galvão, L., Terem, E., et al.: Worldwide AI ethics: a review of 200 guidelines and recommendations for AI governance. Patterns 4(10), 100857 (2023)
  18. Laux, J.: Institutionalised distrust and human oversight of artificial intelligence: towards a democratic design of ai governance under the European Union AI act. AI Soc., 1-14 (2023)
  19. Paz, J.V., Rodríguez-Picón, L.A., Morales-Rocha, V., TorresArgüelles, S.V.: A systematic review of risk management methodologies for complex organizations in industry 4.0 and 5.0. Systems 11(5), 218 (2023)
  20. Kreutz, H., Jahankhani, H.: Impact of artificial intelligence on enterprise information security management in the context of iso 27001 and 27002: A tertiary systematic review and comparative analysis. Cybersecur. Artif. Intell. Transf. Strategies Disrupt. Innov., 1-34 (2024)
  21. Alsaigh, R., Mehmood, R., Katib, I.: Ai explainability and governance in smart energy systems: a review. Front. Energy Res. 11, 1071291 (2023)
  22. Stogiannos, N., Malik, R., Kumar, A., Barnes, A., Pogose, M., Harvey, H., McEntee, M.F., Malamateniou, C.: Black box no more: a scoping review of AI governance frameworks to guide
    procurement and adoption of AI in medical imaging and radiotherapy in the UK. Br. J. Radiol. 96(1152), 20221157 (2023)
  23. Abbas, A., Mahrishi, M., Mishra, D.: Artificial intelligence (ai) governance in higher education: a meta-analytic systematic review. Available at SSRN 4657675 (2023)
  24. Kitchenham, B., Brereton, O.P., Budgen, D., Turner, M., Bailey, J., Linkman, S.: Systematic literature reviews in software engi-neering-a systematic literature review. Inf. Softw. Technol. 51(1), 7-15 (2009)
  25. Guan, J.: Artificial intelligence in healthcare and medicine: promises, ethical challenges and governance. Chin. Med. Sci. J. 34(2), 76-83 (2019)
  26. Ho, C., Soon, D., Caals, K., Kapur, J.: Governance of automated image analysis and artificial intelligence analytics in healthcare. Clin. Radiol. 74(5), 329-337 (2019)
  27. Fontes, C., Corrigan, C., Lütge, C.: Governing AI during a pandemic crisis: initiatives at the EU level. Technol. Soc. 72, 102204 (2023)
  28. Niet, I., Est, R., Veraart, F.: Governing AI in electricity systems: Reflections on the EU artificial intelligence bill. Front. Artif. Intell. 4, 690237 (2021). https://doi.org/10.3389/frai.2021.690237
  29. Liu, Y., Lu, Q., Zhu, L., Paik, H.-Y., Staples, M.: A systematic literature review on blockchain governance. J. Syst. Softw. 197, 111576 (2023)
  30. Zowghi, D., Rimini, F.: Diversity and inclusion in artificial intelligence. In: Lu, Q., et al. (eds.) Responsible AI: Best Practices for Creating Trustworthy AI Systems. Addi-son-Wesley, Sydney (2023). https://research.csiro.au/ss/ guidelines-for-diversity-and-inclusion-in-artificial-intelligence/
  31. European Union: High-Level Summary of the Artificial Intelligence Act. Accessed: 2024-10-22 (2024). https://artificialintelli-genceact.eu/high-level-summary/
  32. AI, N.: Artificial intelligence risk management framework (ai rmf 1.0) (2023)
  33. OECD: Artificial Intelligence in Society. Accessed: December 10, 2023. https://www.oecd-ilibrary.org/science-and-technology/ artificial-intelligence-in-society_eedfee77-en
  34. Wallach, W., Marchant, G.E.: An agile ethical/legal model for the international and national governance of ai and robotics. Association for the Advancement of Artificial Intelligence (2018)
  35. Salathé, M., Wiegand, T., Wenzel, M.: Focus group on artificial intelligence for health. arXiv preprint arXiv:1809.04797 (2018)
  36. GDPR: What is GDPR? https://gdpr.eu/what-is-gdpr/. Accessed: 2024-07-10 (2018)
  37. AI RMF Knowledge Base. https://airc.nist.gov/AI_RMF_Knowledge_Base/AI_RMF. Accessed: December 10, 2023
  38. (PDPC), P.D.P.C.: Model AI Governance Framework. Accessed: 2024-07-03 (2020). https://www.pdpc.gov.sg/-/media/Files/ PDPC/PDF-Files/Resource-for-Organisation/AI/SGMode1AIGovFramework2.pdf
  39. Australia’s National Artificial Intelligence Centre: Responsible AI. https://www.csiro.au/en/work-with-us/industries/technology/ national-ai-centre. Accessed: November 2023 (2023)
  40. Liebig, L., Güttel, L., Jobin, A., Katzenbach, C.: Subnational AI policy: shaping AI in a multi-level governance system. AI Soc. 39, 1477-1490 (2022)
  41. Sidorova, A., Saeed, K.: Incorporating stakeholder enfranchisement, risks, gains, and AI decisions in AI governance framework (2022)
  42. Wirtz, B.W., Weyerer, J.C., Sturm, B.J.: The dark sides of artificial intelligence: an integrated AI governance framework for public administration. Int. J. Public Adm. 43(9), 818-829 (2020)
  43. Knight, S., Shibani, A., Vincent, N.: Ethical AI governance: mapping a research ecosystem. AI and Ethics, 1-22 (2024)
Publisher’s Note Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.

  1. Amna Batool
    amna.batool@data61.csiro.au
    Didar Zowghi
    didar.zowghi@data61.csiro.au
    Muneera Bano
    muneera.bano@data61.csiro.au
    1 CSIRO’s Data61, Melbourne, Australia
  2. https://docs.google.com/document/d/1GsHUo84XwjP1Oa4ne2d7 E18G84VS1_g4/edit?usp=sharing&ouid=106380959154063406110&r tpof=true&sd=true.

Journal: AI and Ethics, Volume: 5, Issue: 3
DOI: https://doi.org/10.1007/s43681-024-00653-w
Publication Date: 2025-01-14

Al governance: a systematic literature review

Amna Batool (D) ⋅ Didar Zowghi ⋅ Muneera Bano

Received: 21 July 2024 / Accepted: 12 December 2024 / Published online: 14 January 2025
© The Author(s) 2024

Abstract

As artificial intelligence (AI) transforms a wide range of sectors and drives innovation, it also introduces different types of risks that should be identified, assessed, and mitigated. Various AI governance frameworks have been released recently by governments, organizations, and companies to mitigate risks associated with AI. However, it can be challenging for AI stakeholders to have a clear picture of the available AI governance frameworks, tools, or models and analyze the most suitable one for their AI system. To fill the gap, we present the literature to answer key questions: WHO is accountable for AI systems’ governance, WHAT elements are being governed, WHEN governance occurs within the AI development life cycle, and HOW it is implemented through frameworks, tools, policies, or models. Adopting the systematic literature review (SLR) methodology, this study meticulously searched, selected, and analyzed 28 articles, offering a foundation for understanding different facets of AI governance. The analysis is further enhanced by categorizing artifacts of AI governance under team-level governance, organization-level governance, industry-level governance, national-level governance, and international-level governance. The findings of this study on existing AI governance solutions can assist research communities in proposing comprehensive AI governance practices.

Keywords Artificial intelligence ⋅ AI governance ⋅ Responsible AI ⋅ Ethical AI

1 Introduction

Artificial intelligence (AI) has emerged as one of the most important technologies in many businesses and has grown to be an integral part of our society [1,2]. However, the risks and negative effects of AI are growing with its widespread application in a variety of sectors, such as autonomous cars [3], healthcare [4], finance [5], and other areas. Various repositories , of AI incidents contain over 3000 AI
https://incidentdatabase.ai.
https://www.aiaaic.org/aiaaic-repository.
Didar Zowghi and Muneera Bano have contributed equally to this work.
incidents, illustrating the significant challenges associated with AI deployment.
Ethical and Responsible AI focuses on the development and implementation of AI systems in alignment with principles of fairness, accountability, transparency, and inclusivity [6]. Responsible AI focuses on the development and deployment of AI to minimize the potential risks and negative consequences associated with it, such as bias, discrimination, and a lack of transparency [1]. Ethical AI underscores adherence to moral principles in the design and utilization of AI systems, making sure AI systems don’t unfairly treat people, invade privacy, or disrespect human dignity [6, 7]. Both ethical and responsible AI concepts aim to build trust with users and stakeholders and are important for the fair and lasting progress of AI technology [6].
Addressing AI risks goes beyond technical concerns and includes developing robust AI governance solutions and techniques, which are essential for directing the ethical and responsible use of AI technology. This balance between innovation and ethical behavior is crucial for avoiding unforeseen effects [8]. AI governance encompasses a set of regulations, methods, procedures, and technological mechanisms used to ensure that an organization’s development
and deployment of AI technologies align with its strategies, principles, and goals [8]. Consequently, governmental and international organizations, including the European Union AI Act, the Organization for Economic Co-operation and Development [OECD], Australian government, National Institute of Standards and Technology (NIST), International Organization for Standardization (ISO), and professional bodies e.g., the Institute of Electrical and Electronics Engineers [IEEE] [9] have published their ethical AI principles and guidelines [7,10] for the governance of AI.
There are existing systematic literature reviews (SLRs) on AI governance that have provided valuable insights into national and global strategies, advanced AI governance terminologies, and ethical guidelines. For example, AttardFrost et al. [11] conducted a semi-systematic review that highlights Canada’s pioneering national AI strategy and examines 84 governance initiatives, finding gaps in ethics statements and AI education while offering practical recommendations for national AI governance improvements. Another review by Mass [12] addresses the terminological ambiguities in the field of Advanced AI Governance, categorizing key definitions and concepts to enhance clarity and facilitate constructive dialogue among stakeholders. Similarly, Kluge Correa et al. [13] conducted a meta-analysis of 200 global governance policies and ethical guidelines, identifying 17 prevalent principles and stressing the importance of these principles in future regulatory frameworks.
Despite these comprehensive reviews, there is a gap in the literature concerning a detailed and layered analysis of AI governance across multiple governance levels using a systematic set of questions. In this paper, therefore, we fill this gap and present a systematic literature review that provides the state of the art on AI Governance. We have employed 4 specific questions to extract relevant information from the research literature on AI governance: who is governing (i.e., stakeholders), what should be governed (e.g., data and/or system), when is it being governed (i.e., at what stage of the AI development life cycle), and how is AI being governed (i.e., frameworks, models, tools, ethics: ethics, in the context of AI governance, refers to the set of moral principles and values that aim to guide the design, deployment, and use of AI systems to ensure responsible and fair outcomes [14, 15]. By embedding ethical principles such as transparency, accountability, and non-discrimination, AI governance structures aim to protect human
rights and promote equitable outcomes. This ensures that AI technologies are not only effective but also aligned with societal values and ethical standards [7]). A comprehensive analysis of literature using these questions is presented in this paper, and the categorization of key elements is covered under different layers of governance from the study by Lu et al. [1]: team-level, organization-level, industry-level, national-level, and international-level. By doing so, we provide a more detailed and layered understanding of AI governance, offering a nuanced perspective that complements and extends existing reviews.
This study aims to summarize and synthesize current AI governance solutions (i.e., frameworks, tools, models, and policies), examine challenges in existing AI governance solutions, and offer insights based on the four specific questions (i.e., who, what, when, how). The main contributions of this study are:
  • A comprehensive analysis of 28 research papers selected from the academic literature.
  • An exploration of the challenges and limitations of existing AI governance solutions.
  • The categorization of key elements presented under five levels of governance.This paper is organized as follows Sect. 2 presents the background and related work. Section 3 presents the research methodology along with research questions and data extraction. Section 4 presents the data analysis carried out on 28 selected studies and the categorization of AI governance solutions under five AI governance levels. Section 5 presents the discussion and Sect. 6 presents the threats to validity and study limitations. Section 7 concludes the study with future work.
As AI technologies advance at an unprecedented pace, the need for effective governance mechanisms becomes increasingly apparent [16]. In this section, we present a comprehensive review of existing literature on AI governance, with a focus on systematically analyzing and synthesizing the current state of knowledge in this area.
Correa et al. [17] conducted a review of 200 guidelines and recommendation documents on AI governance sourced from two repositories: the AI Ethics Guidelines Global Inventory by AlgorithmWatch and the Linking Artificial Intelligence Principles (LAIP) guidelines. The authors defined these guidelines as policy frameworks, tools, AI principles, and recommendations, serving as a guide for discussions on how AI can be regulated. Another study by Wang et al. [16] undertook a systematic literature review on AI governance in child social care, including a total of 440
articles using the PRISMA methodology. They categorized articles into four levels: individual, family, community, and governance. The study presented a conceptual framework that interlinks the AI-Technological layer, AI-Ethics layer, AI-Regulatory layer, and AI-Implementation layer, aiming to enhance child resilience, well-being, and public services.
There are emerging risk management frameworks, mandatory laws, and standards including the European Union’s AI Act (EU AI Act), the National Institute of Standards and Technology’s AI Risk Management Framework (NIST AI RMF), etc., been discussed for different purposes such as AI risk management, information security management [18], etc. A review by Barraza de la Paz et al. [19] presents an overview of emerging versions of the NIST Cyber Security Framework (CSF), ISO/IEC 27001:2022, and MAGERIT frameworks. The comparison of these frameworks in terms of their approaches to the identification, assessment, and treatment of risks has been highlighted. The authors discussed that ISO/IEC 27001:2022 focuses on a structured, process-oriented approach to managing information security by identifying assets, evaluating risks, and implementing controls. It is effective but can be costly and resource-intensive, especially for IoT and IoS systems. The NIST CSF is user-friendly, flexible, and self-assessing, making it suitable for various risk management needs. It offers publications like NIST SP 800-30, 800-37, and 80039 for different aspects of information security. Lastly, the MAGERIT, developed by the Spanish government, uses a life cycle approach for public sector information security, covering asset identification, threat and vulnerability assessment, control implementation, and monitoring. Its comprehensive approach is ideal for large organizations but may be too complex for smaller ones. These frameworks discussed are particularly for information security management.
Kreutz and Jahankhani [20] conducted a systematic literature review (SLR) in which they explored 40 AI security challenges encompassing various aspects, contexts, and dimensions of AI security, along with 17 security defenses. Their comparative analysis of these AI security challenges and defenses with ISO 27001/27002 security controls revealed that most AI security challenges are either not addressed or only partially addressed by the current ISO standards. To address these gaps, they proposed six new security controls focused on real-time AI-enhanced defenses, AI lifecycle security, and AI governance as the core, along with AI explainability, AI privacy protections, and diversity. Moreover, they suggested ten modifications to existing controls to enhance capabilities and make information security management systems (ISMS) more dynamic.
There are existing studies that have researched AI governance targeting a specific domain. A study by Alsaigh et al. [21] employed a deep journalism methodology to uncover 15 parameters or themes for AI explainability and governance in smart energy systems. Their study aims to support various stakeholders, including governments, industry, academics, and the energy sector, in comprehending the AI landscape within the energy sector. The intended outcome is an enhancement of design, operation, utilization, and risk management practices for energy systems. Similarly, another study by Stogiannos et al. [22] executed a scoping review of AI governance frameworks to facilitate organizations in adopting AI in medical imaging and radiotherapy within the UK. The authors included a total of 35 studies on AI governance frameworks published in the last 5 years (2017-2022). Their study proposed a generic AI governance framework for medical imaging and radiotherapy, encompassing elements such as rigorous validation, ongoing monitoring, compliance with accreditation bodies, and adherence to ethical principles. Another study by Abbas et al. [23] carried out a meta-analytic systematic review on AI governance in higher education using the PRISMA methodology. The study employed a thematic analysis approach to explore trends and interconnections spanning AI, higher education, ethics, digital transformation, privacy, policy, and sustainability.
We have conducted a systematic literature review which differs from the existing review studies on the relevant topic in the following aspects:
  • Focus of review: In this systematic literature review (SLR), an extensive analysis of AI governance elements has been presented using 4 specific questions (Who, What, When, How) to extract rich data about AI governance.
  • Review timeline: This SLR covers publications from 2013 to 2023 (10 years).
  • Type of included studies: This SLR followed the guidelines for the Systematic Literature Review established by Kitchenham et al. [24].
  • Scope of subject domain: This SLR provides a comprehensive exploration of diverse sectors like media and communication, healthcare, transportation, robotics, academia, industry, etc. The existing reviews particularly focused on a single domain, either healthcare [25, 26], robotics [27], or energy sector [28].
  • AI Governance and Stakeholders Classification: This SLR has classified the AI governance solutions identified from the question How it is being governed and the stakeholders found from the questions Who is governing into different levels, i.e., team, organization, industry, national, and international. The existing literature
Fig. 1 Research methodology: planning, conducting the review, reporting the review
focused on a few of these levels but not on national or international levels [1]. This SLR aims to contribute to a more nuanced and thorough understanding of AI governance, guiding future research towards comprehensive and responsible practices in the dynamic landscape of AI technology.

3 Systematic review methodology

This systematic literature review has been conducted following the guidelines established by Kitchenham et al. [24]. Figure 1 presents the steps followed, i.e., planning, conducting the review, and reporting the review. The complete SLR protocol is available as an online material.

3.1 Planning

In this SLR, the relevant formal/academic literature selected are primary studies. This research was guided by the following two research questions:
  • RQ1: What frameworks, models, tools, and policies (ethical AI principles, guidelines, policies) for AI governance are offered in the literature?
  • RQ2: What are the limitations and challenges of AI governance discussed in the literature?
Table 1 Search string in digital libraries and their corresponding results
Database Search string Search within Time frame Search time No of papers returned
SCOPUS (AI OR artificial AND intelligence) AND (governance) Title and abstract 20132023 10/07/2023 (10:00 am) 1485
Google scholar Allintitle: AI governance Title only 20132023 21/07/2023 (9:00 am) 764
Google scholar Allintitle: Artificial intelligence governance Title only 20132023 21/07/2023 (9:00 am) 669
Total: 2918

3.2 Search strategy

The keywords used to search for the articles in search engines and digital libraries include “AI”, “artificial intelligence”, and “governance”. At the start, additional search terms like AI algorithms, regulations, or policy were added, that showed excessive unrelated results. We aimed to strike a balance between coverage and relevance. The final keywords used to collect the data from digital libraries are “AI”, “artificial intelligence”, and “governance” in Google Scholar and Scopus databases as shown in table 1. The choice of Google Scholar and Scopus was driven by their broad coverage of both peer-reviewed and grey literature, which we felt was important for capturing a comprehensive set of AI governance discussions. While Google Scholar does introduce some noise, its vast inclusion of academic
and non-academic sources (like conference papers and preprints) was useful for obtaining a wider perspective.
The search terms resulted in a total of 2918 papers. The search selection criteria have been applied to the abstracts of 2918 papers to retrieve the most relevant papers. The inclusion criteria of the year of publication and relevance were applied. The articles published in English between 2013 to 2023 in Google Scholar, and Scopus were considered while determining inclusion criteria. Moreover, the papers relevant to the research focus were considered for inclusion, while book chapters and reports were excluded. All other papers that did not fit these requirements were omitted. Consequently, publications focusing on such topics as environmental governance, climate change, ecology, etc., were excluded. The inclusion and exclusion criteria applied to abstracts resulted in 225 articles. The same selection criteria have been applied to full papers (225), which resulted in the selection of 61 papers after mostly excluding nonempirical papers, opinion papers, and those not fitting into AI Governance.
The selection procedure, i.e., the test-retest approach, was followed by inviting two experts of SLR to review the selected set of 61 papers in three rounds. The first round of review resulted in 35 studies after reviewing the research methodology used in each study. The second round of the selection procedure resulted in 22 studies after reviewing the full papers. There were secondary studies that were removed in both rounds. To make sure the systematic literature review was thorough, experts were consulted to decide when to stop the selection process. They advised stopping the selection and moving on to the next steps.
The snowballing approach (forward and backward) applied to 22 sets of studies resulted in 33 studies. The forward and backward snowballing helped in determining more primary studies. However, the final round of the selection procedure, in which two experts reviewed each set of papers, resulted in 28 papers, as again, there were a few
Fig. 2 Publication year of selected studies
secondary studies that were omitted. The selected set of 28 papers for this SLR is available in Appendix A.

3.3 Quality assessment

We have used the five-question criteria proposed by Liu et al. [29] to evaluate the quality of our selected studies. These questions evaluate the study’s empirical or non-empirical nature, limitations and future work description, findings and contributions clarity, research design suitability, and clarity. Every question was rated from 0 to 1 , where 0 meant “no,” 0.5 meant “partially,” and 1 meant “yes.” The papers were categorized as Good if the score was between 3 and 4, Fair if it was between 2 and 3 , and Poor if it was between 0 and 2 . The total quality score was determined by adding the scores of the five questions. Out of the 28 selected papers, 20 were deemed “Good” quality, 8 were “Fair” quality, and 0 were “Poor” quality, demonstrating the robustness of this review.

3.4 Data extraction

Demographic and content-related information from the 28 chosen papers on AI governance was extracted using an Excel spreadsheet. Demographic data encompassed paper title, abstract, publication year, venue, and citation count. The demographic analysis of the publication years of 28 papers indicated that the highest number of studies, i.e., 13 (A1, A2, A7-A10, A14, A17, A19-A22, and A26), were published in 2023, and the lowest number of studies, i.e., 2 , were published in 2017 (A27) and 2019 (A4) as shown in Fig. 2. The analysis of the citation count of 28 studies found that 3 studies (A13, A24, and A27) have received more than 200 to 500 citations. On the other hand, the remaining 25 studies got less than 100 citations. The Content-related data involved extracting AI governance solutions (frameworks, models, tools, policies, and guidelines), answers to 4 questions (who, what, when, how), and the AI governance challenges discussed in the studies. The first author performed manual coding for data extraction, which was cross-checked in weekly meetings with the other authors.

4 Data synthesis and analysis

This section presents the analysis of 28 selected studies by answering the 4 specific questions i.e., who is governing, what should be governed, when is it being governed, and how is AI being governed, and also presents the categorization of stakeholders based on Who is governing? and artifacts based on How is it governed? under five levels of AI governance i.e., team, organization, industry, national, and
international. Appendix B has the terminology to define the terms used in this SLR.

4.1 Analysis

Our analysis approach consists of questions, Who, What, When, and How, which have been explored for the selected set of 28 studies using thematic analysis. This analysis involved a comprehensive examination of the literature to identify recurring themes related to AI governance. Each question has been designed to cover one of the four pillars of an AI ecosystem, i.e., humans, data, systems, and processes, as proposed by Zowghi and da Rimini [30]. The human pillar covers the question, i.e., Who is governing? The data and system pillars cover the question, What is being governed? and the process pillar covers the question, When is it being governed? In an AI ecosystem, the human pillar plays an important role, as without human involvement, data, systems, or processes cannot be governed, and all four of these pillars are key elements of governance in an AI ecosystem [30]. The following are the questions:
  • Who is governing?: focuses on the stakeholders (key AI oversight roles) who should be involved in governing to oversee if AI complies with standards or regulations for ethical and responsible AI.
  • What is being governed?: focuses on data and system to ensure what element either data or/and system is being governed in AI governance. The data element emphasizes the importance of responsible data acquisition, processing, and utilization [30]. Effective AI governance requires a focus on data quality, privacy, and security to mitigate biases and promote fair and transparent AI decision-making [30]. The system encompasses the AI systems, which should be governed in consideration of their robustness, interpretability, and accountability to
Table 2 Who is governing?
Humans (Stakeholders)
Who is governing?
P-ID Key oversight roles Levels
A2 AI ethics committees by government National level
A3 A global governance coordinating committee GGCC International level
A11 Multi-disciplinary steering committee along with project-specific sub-committees Organization and team level
A13 Public managers Organization level
A23 World Health Organization and International Telecommunication Union state members International level
A28 Hospital administrators Organization level
guarantee their responsible and reliable operation [30]. While there are other elements such as “algorithms” and “applications” that are indeed significant categories, particularly in the EU AI Act [31], this study chose not to categorize them separately because these elements are inherently embedded within broader system governance. The governance of AI systems often encompasses algorithmic transparency and oversight as part of its robustness and accountability measures. Similarly, applications are sector-specific manifestations of AI systems, and their governance largely falls under the operational controls and ethical considerations of the broader system. By focusing on data and systems, our analysis captures the foundational elements that underpin AI governance across multiple domains, providing a more holistic view of the ethical and operational challenges inherent in AI development and deployment.
  • When is it being governed?: represents the three development stages of AI to which the particular governance solutions should be applied [30]. The three stages of AI development are the pre-development (planning, approval, and data collection), during-development (design, build models, verify, and validate), and postdevelopment (monitor, and use), in alignment with established frameworks and guidelines from organizations such as NIST [32], OECD [33].
  • How is it governed?: explores the artifacts of governance solutions for AI, such as ethical policies, principles and guidelines, tools, frameworks, and models.

4.1.1 Comprehensive analysis of questions

Who is governing?: Table 2 presents the answers to the question: who is governing? Six out of the 28 studies answered the question, and the stakeholders (key oversight roles) lie at various levels. Study [A2] mentions that national-level key oversight roles (AI ethics committee developed by the governments) should govern the higherlevel ethics committee organized by the companies to ensure that the risks associated with medical AI are minimized and that it is developed and deployed following AI standards and regulations [14]. The key factor discussed in the study [A2] is that multi-participation and international cooperation is essential in medical AI governance because the risks associated with medical AI are global. These risks can only be mitigated through international communication, which can be achieved if governments take responsibility by establishing an AI ethics committee after collecting multiple opinions [14]. Similarly, study [A3] has emphasized that international-level stakeholders i.e., the Global Governance Coordinating Committee (GGCC) should take the responsibility of governing regional regulatory bodies.
This ensures that they develop AI free of ethical and societal risks. The study [A3] indicates that the GGCC is an extended version of the Governance Coordinating Committee (GCC). It can propose a better governance mechanism for national and regional bodies to develop their AI systems free of risks [34]. Another study [A23] has also given importance to international communication and developed a Focus Group for Healthcare AI (FG-AI4H). In this group, international-level stakeholders i.e., members of the World Health Organization and the International Telecommunication Union can govern health and care service providers to ensure that healthcare AI is developed and deployed following AI standards and policies [35].
Three studies (A2, A3, A23) have focused on involving national and international level stakeholders in AI governance. This approach assists in formulating optimal AI governance mechanisms, engaging individuals from various national and international bodies to take responsibility for governing AI practitioners at the team, organization, and national levels. The remaining three studies (A11, A13, and A28) focused on involving a multi-disciplinary committee, public managers, and administration staff at the organizational level to govern faculty staff, firm managers, and healthcare providers and insurers. All three studies (A11, A13, and A28) have mentioned the key roles of governance in healthcare AI. Notably, no study among these 6 has focused on industry-level governance. As discussed earlier, the classification of stakeholders under different levels i.e., team, organization, industry, national and international has been done based on the study by Lu et al. [1].
AI governance varies significantly across regions, reflecting distinct geopolitical priorities. In Europe, the focus is on human rights and data protection, with frameworks like the General Data Protection Regulation (GDPR) [36] and the EU AI Act [31] emphasizing fairness, transparency, and accountability. European regulations aim to ensure AI systems uphold individual rights and do not contribute to inequalities or biases. In contrast, the United States adopts a market-driven approach, with sector-specific regulations and voluntary guidelines such as the NIST AI Risk Management Framework [37], emphasizing innovation, trustworthiness, and economic growth, with less centralized oversight. In the Asia-Pacific (APAC) region, there is considerable diversity: China follows a government-driven approach, using AI for social governance and state security, while countries like Singapore and Japan focus on responsible AI development, balancing ethics with technological advancement. Singapore’s Model AI Governance Framework highlights accountability and transparency, while Japan’s human-centric AI principles emphasize inclusivity and ethical use [38]. Australia, similarly, takes a proactive approach with its AI Ethics Framework, focusing on transparency, fairness, and
preventing discrimination, aligning with ethical principles while promoting innovation [39]. These regional differences reflect underlying geopolitical biases, with Europe prioritizing ethical standards, the U.S. focusing on innovation and market freedom, and APAC countries balancing state control and economic development. Australia’s framework, which emphasizes both ethical standards and innovation, offers a middle ground. Understanding these geographical nuances adds depth to the analysis of “who” governs AI and how governance structures are shaped by regional objectives.
What is governed?: Data: Nine studies have emphasized the need to govern data. Study [A1] highlighted that governing data is important to reduce the several challenges of security and privacy when collecting data using AI in the media and communication sector. Another study [A2] reveals that the unstructured nature and lack of standardization in medical data impact the quality of AI models due to which governing data is essential. The study [A14] suggested that data should be governed, particularly focusing on ethical and responsible data stewardship, governance, and accountability. The findings of the study [A21] emphasized that data governance significantly influences policy choices across different governance approaches. Another study [A23] focused on governing data is crucial for ensuring the reliability and effectiveness of AI systems in healthcare. The study [A27] highlighted the importance of governing data by arranging a workshop where the authors identified challenges like inefficiencies, biases, lack of transparency, and unfairness, due to which the authors emphasized the governance of data is important. Similarly, a study [A28] explored the significance of data governance, particularly in the context of implementing Responsible AI in healthcare. The remaining two studies [A12 and A13] emphasized governing data as well as systems which are covered later in this section.
System: Six studies have emphasized the need to govern the system. Study [A3] highlighted the need for governance of AI systems to mitigate various risks including ethical concerns related to military applications, ensuring safety in AI systems, addressing privacy issues, etc., associated with its rapid development. Similarly, another study [A5] also highlighted several risks associated with the deployment of autonomous systems in the Long-Term Care (LTC) sector in Singapore. These risks encompass safety, privacy, data security, and liability concerns, due to which the study emphasized the need for the governance of AI systems. Another study [A11] highlighted the importance of governing AI systems in healthcare to mitigate several risks including concerns related to patient safety, accountability, clinician trust, and the successful adoption of AI in healthcare. The findings of paper [A25] indicated that reducing ethical
issues especially the transparency in AI systems is essential and this can be done by governing AI systems using different governance mechanisms such as Ethical Considerations and Challenges of Learning Algorithms (ECCOLA) a tool for the governance of ethical and trustworthy AI systems. Overall, these studies focused on various risks associated with AI which emphasized that governing AI system is essential.
Data and System: There are 2 studies (A12, A13), common to both pillars: data and system, which emphasized the importance of governing both data and systems. Study [A12] highlighted that the rapid advancement of AI-driven technology in healthcare surpasses the global capacity for AI systems and data governance. Similarly, study [A13] emphasized that governing both data and system is essential to mitigate the seven dimensions of challenges i.e., social, economic, ethical, political/legal/policy-related, organizational/managerial, data, and technological challenges, associated with the adoption of AI in healthcare.
When it is being governed?: Table 3 presents the studies that answer the question, i.e., when it is being governed. As mentioned earlier, there are three stages of the AI development life cycle under the process pillar i.e., pre-development, during-development, and post-development [30].
Eight studies emphasize that AI governance solutions must cover different AI development stages. Five of these studies [A2], [A12], [A19], [A23], and [A25] emphasized that governance solutions should cover all stages of an AI development life cycle to ensure ethical development and deployment of AI. Study [A12] highlighted that there is a need for comprehensive policy frameworks covering the entire AI life cycle, including design, building, deployment, testing, and monitoring. Study [A19] highlighted a gap, namely, the lack of information robustness in ECCOLA. Consequently, the study suggests that governance measures should be implemented at all stages of an AI development life cycle to reduce the issues of information robustness.
A study [A7] suggested that involving humans at the AI stage, i.e., during development, for population health enhances governance practices and can result in the reduction of ethical issues in AI in population health. The study [A11] has highlighted the ethical challenges (patient safety, accountability, clinician trust, etc.) and mentioned that these challenges can be reduced if governance practices occur at the pre-development and post-development stages of an AI development life cycle. These studies emphasized the necessity of governance, particularly in addressing various ethical concerns, and indicated the importance of a comprehensive governance structure across the different stages of the AI development life cycle to ensure ethical and responsible AI deployment.
Table 3 When it is being governed?
Process
Pre-development During development Post-development
A2 A2 A2
A7
A11 A11
A12 A12 A12
A13
A19 A19 A19
A23 A23 A23
A25 A25 A25
Table 4 How is it governed?
P-ID Framework/models/tools/ethics (principles, policies, guidelines) Type
A2 Ethical AI Governance: Ethical values (toplevel) lead to Ethical Principles which guide the Ethical Norms Ethical principles
A12 AI Governance through Policies: Design Phase Policies, Testing and Validation Policies, Deployment Policies Ethical policie
A11, A13
AI Governance through Guidelines:
(1) Avoid “Vision Lock-In”
(2) Use Adaptive Governance
(3) Prioritize Data and Management Guidelines
(4) Focus on Governance of AI – Value stream structure to operationalize ethical guidelines
Ethical guidelines
A1 Media-AI Governance Framework: Multilevel framework: automating data processing and capture, automating content creation, automating content moderation, and automating communication Framework
A20 Theoretical AI Governance Framework Framework
A10 Dimensional AI Governance Model: AI dimensions: structural, relational, and procedural Model
A19 Extension of ECCOLA – A tool developed to embed AI Ethics Tool
A25 ECCOLA: A tool developed to embed AI Ethics Tool
How is it governed?: Table 4 presents the studies answered to the question of How is it governed. Nine studies have proposed different solutions (frameworks, models, tools, ethical principles, policies, or guidelines) for the governance of AI.
Ethics (Principles, Policies, Guidelines): There are 4 studies [A2], [A11-A13] proposed different ethical policies, guidelines, and principles to govern AI in different domains. The study [A2] proposed comprehensive governance countermeasures for trustworthy medical AI, emphasizing ethical, legal, and regulatory aspects. The proposed solution includes ethical values as a top-level design that leads to ethical principles that guide the ethical norms, emphasizing that AI technology must comply with medical ethics. The study [A12] discovered the range of policies span various
phases of the AI life cycle within the Global Digital Health Partnership. These policies include; Design Phase Policies: to introduce hard governance mechanisms. Testing and Validation Policies: should be flexible, appropriate, and adaptable for proving the efficacy of AI-driven technologies. Deployment Policies: focusing on policy development to address gaps in translating research into clinical practice. Monitoring and Oversight Procedures: to enhance national oversight procedures to improve collective intelligence at an international level.
The study [A11] highlighted the crucial need for effective governance in the rapidly growing adoption of AI applications in healthcare, focusing on ethical, regulatory, and trust concerns. The authors emphasized the importance of comprehensive and adaptive governance at the hospital level to address these issues and facilitate the deployment and adoption of predictive solutions. The next study [A13] used a qualitative approach in exploring the challenges of adopting AI in public healthcare, and based on the insights gained, it proposed sets of guidelines focusing on the governance of AI. The study highlighted that rather than replacing human decision-makers with AI, the focus should be on governing AI effectively.
Frameworks: There are two studies [A1], [A20] that have proposed frameworks to govern AI in different domains.
The study [A1] proposed a four-level AI governance framework to identify risks associated with AI in the media and communication (MC) sector: automating data capture and processing, content generation, content mediation, and communication. The next study [A20] mentioned that the fairness factors impact user experience, influencing aspects like unbiased treatment, transparency, and efficiency in work processes, due to which the study has introduced a theoretical framework in which AI technology governance encompassing accountability and fairness factors are explained.
Model: Only one study [A10] proposed an AI governance model that encapsulates structural, procedural, and relational components as key elements. The primary benefits of the model highlighted in the study include gaining a competitive advantage, reducing costs, and establishing reliable AI systems, all crucial for business success, especially in competitive markets. However, the study mentioned a few limitations including potential bias in data collection from companies with limited use of sensitive data, a snapshot approach that may not fully capture evolving practices, and the lack of sector diversity, raising concerns about generalizability.
Tools: The study [A25] proposed the ECCOLA (Ethical Considerations and Challenges of Learning Algorithms) tool to govern AI through ethical policies bridging the gap between AI ethics research and industry practices. It has three primary goals: raise awareness of AI ethics, offer a
modular method suitable for diverse Software Engineering contexts, and be adaptable to agile development processes for the development of AI. The study [A19] highlighted a gap in ECCOLA i.e., lack of information robustness, requiring the need for additional governance measures to govern AI effectively. Due to this, the study suggested aligning it with Generally Accepted Recordkeeping principles (GARP) information governance (IG) practices. The analysis of the study revealed that ECCOLA in alignment with GARP IG practices improves its adaptability and reduces the gaps in information robustness.
In summary, studies [A2], [A11], [A12], [A13] under the category of ethics have explored various ethical governance countermeasures, encompassing guidelines and policies to ensure the ethical development of AI. However, except for study [A11], these studies lack real-world implementation details, potentially which could limit their applicability across diverse contexts. The ethical AI principles emphasized in two studies [A1] and [A20] under the category of AI governance frameworks are fairness and transparency. However, the frameworks introduced in the studies exhibit a potential limitation in terms of proper structure and validation, raising questions about the comprehensive evaluation of key findings to justify the frameworks’ validity.
Three studies [A2], [A11], and [A13] have answered all 4 questions (who, what, when, and how). Comprehensive details on who should be accountable for the AI governance system, what elements need to be governed, when governance must occur within the AI development life cycle, and how it should be implemented through frameworks, tools, policies, or models are outlined in studies [A2], [A11], and [A13].

4.2 Al governance levels

Utilizing the categories suggested by Lu et al. [1], the stakeholders found under the question Who is governing? in this SLR is classified under the five groups, as illustrated in Table 2 and explained in Sect. 4.1.1 (Who is governing). AI governance solutions found under the question How is it governed? are grouped under team-level, organizationlevel, industry-level, national-level, and international-level governance. Figure 3 shows the categorization of the AI governance solutions under these levels. Unfortunately, none of the solutions lies under team-level and nationallevel governance therefore, three layers are added to Fig. 3.
The highest number (i.e., 7) of AI governance solutions are under organizational-level governance. The 3 studies [A2], [A11], and [A13], which answered all questions, lie under organizational-level governance. This reveals that these solutions are comprehensive and clear on who should be responsible for regulating the AI systems, what elements

International-Level Governance

  • AI Governance through Policies to Support GDHP Member Countries in Overcoming AI Governance Barriers [A12]

Industry-Level Governance

  • Media-AI Governance Framework [A1]

Organization-Level Governance

  • ECCOLA development: [A19]
  • ECCOLA extended version [A25]
  • Dimensional AI governance model [A10]
  • Theoretical AI governance Framework [A20]
  • AI governance through guidelines [A11], [A13]
  • Ethical AI Governance [A2]
Fig. 3 AI Governance Levels
Table 5 Ethical AI principles targeted in AI governance solutions
P-ID AI governance solutions Principles
A2 Ethical AI Governance Fairness privacy and security
A12 AI Governance through policies Not specified
A11, A13 AI Governance through guidelines Interpretability, accuracy, and fairness
A1 Media-AI Governance framework Transparency
A20 Theoretical AI Governance framework Fairness
A10 Dimensional AI Governance model Not specified
A19 Extension of ECCOLA Privacy and robustness
A25 ECCOLA development Robustness
should be governed at each development stage, and how to implement them through frameworks, tools, or policies. There is one AI governance solution in the study [A12] that lies under international-level governance.
It is important to recognize that, alongside organizational governance, the collaboration between national and international governance plays a pivotal role [34]. Coordinating national bodies with international efforts enables the formulation of best AI governance solutions, ensuring responsible behavior and ethical standards in the global AI landscape [34, 40].

5 Discussion

The analysis of AI governance frameworks, models, tools, and policies offered in the literature reveals important trends and gaps in addressing ethical challenges associated with AI technologies.

RQ1: What governance frameworks, models, tools, and policies (ethical policies, guidelines, principles) for AI are offered in the literature?

Table 4 presents AI governance frameworks, models, tools, and policies (ethical principles, policies, guidelines) offered in the literature. The comprehensive analysis of each solution has already been covered in Sect. 4.1.1. As 9 studies have proposed various AI governance solutions, including frameworks, tools, and ethics principles, each study has been examined to observe which ethical AI principles as mentioned in the specific study they target to make AI ethical and responsible across different domains. The studies on governance solutions have primarily focused on just one or two ethical AI principles, with the most frequently focused principle being fairness, followed by privacy as shown in Table 5. While it is understandable that very few studies have focused on ethical principles while proposing AI governance frameworks, models, tools, etc., it is essential to introduce more structured and robust governance solutions that make AI responsible and ethical [1].

RQ2: What are the limitations and challenges of AI governance discussed in the literature?

AI governance solutions are required to mitigate the risks associated with AI, such as bias, discrimination, lack of transparency, and unintended harmful impacts [39] [30]. However, there are challenges associated with AI governance solutions as well, which are discussed in the literature. There are AI governance solutions proposed in the literature that have not covered various ethical aspects including fairness, transparency, privacy, and trust, which makes these solutions non-robust and can not be used to make AI responsible and ethical [A6], [A15], [A22], and [A24]. Here are key findings on ethical challenges discovered in the literature:
  1. Less attention to ethical and responsible AI principles: The literature notes a perceived lack of attention given to ethical and responsible AI principles in existing governance efforts. Many existing governance frameworks prioritize compliance and risk management, often focusing on technical and operational aspects such as performance, accuracy, and scalability. However, this technical focus can overshadow essential ethical concerns like fairness, transparency, and inclusiveness. For example, in some cases, ethical guidelines are merely “suggestions” with no enforceable regulations to ensure compliance, leading to ethical principles being either overlooked or poorly integrated into AI systems. Additionally, the lack of a unified, standardized approach
    to responsible AI across different sectors and regions makes it challenging to adopt ethical AI principles universally. This inconsistency creates gaps, where organizations might adhere to the minimal legal requirements but fail to implement more robust ethical standards, potentially leading to bias, discrimination, or violations of privacy. The absence of enforceable ethical norms allows companies to bypass these principles, particularly in competitive markets where time-to-market and profitability are prioritized over ethical considerations [A2, A6, A15, A22, A24].
  2. Lack of human involvement:: The lack of human involvement in current AI governance approaches is discussed as a challenge that makes these approaches less human-centric. Many AI governance frameworks focus on automating decision-making processes, often sidelining the role of human judgment and accountability in these decisions. As AI systems increasingly handle sensitive and high-stakes tasks, such as hiring, law enforcement, and healthcare, the absence of human oversight can lead to unintended and harmful outcomes. Furthermore, human involvement is crucial to ensure that AI systems remain adaptable and responsive to changing ethical, social, and legal contexts. Without humans in the loop, AI systems might follow rigid rules and algorithms, which could be inappropriate or harmful when applied to evolving real-world situations [A6A7, A24].
  3. Inadequacy of current governance approaches: Some studies suggest that current AI governance frameworks may be insufficient to address all AI ethical concerns. While some frameworks emphasize risk management and regulatory compliance, they often fall short in addressing broader concerns related to trust, privacy, and accountability. This opacity can lead to “black box” models where the logic behind AI decisions is inaccessible, undermining trust in AI systems. Additionally, AI technologies are developed and deployed across borders, but there is no global standard or agreement on how to govern AI systems ethically. This lack of coherence makes it difficult to establish a comprehensive governance system that can mitigate the risks posed by AI across different regions and industries [A6, A24, A15, A22].By highlighting these challenges, it becomes evident that AI governance solutions should be fundamentally based on ethical and responsible AI principles for fostering trust, addressing societal concerns, and ensuring the long-term success of AI technologies [41-43]. As AI continues to integrate into high-stakes areas like healthcare, law enforcement, and employment, governance frameworks must evolve to prioritize ethical principles such as fairness, transparency, and
    accountability, which are currently under-addressed. For instance, the EU AI Act, which seeks to classify AI systems based on risk levels and impose strict regulations on high-risk applications, exemplifies this movement toward a more responsible AI landscape [31]. It is anticipated that frameworks like these will increasingly focus on human oversight, ensuring that AI systems not only meet technical standards but also align with societal values. Ultimately, the future of AI governance can involve balancing innovation with responsibility, with adaptable frameworks that can respond to evolving AI technologies while safeguarding ethical principles.

6 Threats to validity and limitations

6.1 Limitations

Although we have rigorously adhered to the comprehensive search strategy, ensuring a comprehensive selection of our studies, there’s still a possibility that certain papers might not have been incorporated into our data collection. This may result from their inaccessibility or non-existence on electronic platforms, of which we might be unaware or we have not targeted different digital libraries and focused on only Google Scholar and Scopus. In the creation of our search strings, the key terms “AI regulations”, “AI ethics”, “AI regulatory frameworks”, and “AI governance models” are omitted to minimize a large number of unrelated results. While we recognize this could have excluded certain relevant papers from our sample, we performed snowballing to recover any missing studies.

6.2 Internal validity

Our systematic literature review (SLR) includes primary studies published over the last ten years, up until 2023. As 2024 has already begun, we plan to incorporate studies from this year in our next research cycle. By focusing exclusively on primary studies, we acknowledge that our review might exclude various AI governance frameworks or models currently in use by organizations, which are often detailed in secondary sources such as white papers, or industry reports. Limiting our scope to the last ten years helps to manage the influence of rapidly evolving AI governance practices, ensuring a more consistent comparison of studies over a defined period. To maintain internal validity, we have defined clear inclusion and exclusion criteria, addressed potential biases by focusing on primary studies, and considered future updates to include newer studies. These measures ensure that our findings are robust, reliable,
and attributable to the primary studies reviewed, thereby enhancing the internal validity of our SLR.

6.3 External validity

The findings of this SLR provide a comprehensive summary of current AI governance solutions. However, the generalizability of these findings is limited by the scope of the selected studies, which may not capture the full spectrum of AI governance practices across diverse contexts. To manage this challenge, we tried to include a diverse range of primary studies and incorporate an ongoing analysis of grey literature to broaden our perspective.

7 Conclusion and future work

In conclusion, this systematic literature review of 28 selected studies achieves its objectives by providing a comprehensive summary of current AI governance solutions, including frameworks, tools, models, and ethical policies. The challenges within existing AI governance solutions are also presented in this SLR, emphasizing the prevalent focus on ethical considerations such as fairness, transparency, privacy, etc. The analysis reveals a critical gap in addressing the who, what, and when aspects of AI governance in a holistic manner. Only 3 studies have provided all the answers to questions (who is governing, what is being governed, when it is being governed, and how it is being governed). The analysis has also revealed that the highest number of governance solutions are classified under orga-nizational-level governance. While ethical principles play a vital role, there is a call for enhanced clarity, especially in stakeholder involvement at different AI development stages. The findings emphasize the imperative for AI governance solutions to address not only risks but also crucial ethical aspects, promoting responsible and effective governance in the dynamic landscape of artificial intelligence. This indicates the need for future AI governance solutions to closely align with ethical AI principles, fostering a holistic and principled approach to the governance of artificial intelligence.
As part of future work, an extended analysis delving into grey literature is ongoing. The decision to extend our SLR to grey literature is because we have identified a gap in the existing academic literature. Specifically, the primary studies included in our systematic literature review (SLR) did not adequately cover standards of AI governance, such as ISO standards, the NIST AI governance framework, etc. We have completed the collection and analysis of the grey literature on AI governance. This exploration aims to extract additional insights, contributing to a more nuanced understanding of AI governance and enriching the discourse on
AI governance practices, their implications, and ethical considerations.

Appendix A: List of 28 included studies

A1: Pierson, J., Kerr, A., Robinson, S.C., Fanni, R., Steinkogler, V.E., Milan, S. and Zampedri, G., 2023. Governing artificial intelligence in the media and communications sector. Internet policy review, 12(1), pp.28-28.
A2: Zhang, J. and Zhang, Z.M., 2023. Ethics and governance of trustworthy medical artificial intelligence. BMC medical informatics and decision making, 23(1), p.7.
A3: Wallach, W. and Marchant, G.E., 2018. An agile ethical/legal model for the international and national governance of AI and robotics. Association for the Advancement of Artificial Intelligence.
A4: Arthur, K.N.A. and Owen, R., 2022. A micro-ethnographic study of big data-based innovation in the financial services sector: Governance, ethics and organisational practices. In Business and the ethical implications of technology (pp. 57-69). Cham: Springer Nature Switzerland.
A5: Tan, S.Y. and Taeihagh, A., 2021. Governing the adoption of robotics and autonomous systems in long-term care in Singapore. Policy and society, 40(2), pp.211-231.
A6: Dickinson, H., Smith, C., Carey, N. and Carey, G., 2021. Exploring governance tensions of disruptive technologies: the case of care robots in Australia and New Zealand. Policy and Society, 40(2), pp.232-249.
A7: Couture, V., Roy, M.C., Dez, E., Laperle, S. and Bé-lisle-Pipon, J.C., 2023. Ethical implications of artificial intelligence in population health and the public’s role in its governance: perspectives from a citizen and expert panel. Journal of Medical Internet Research, 25, p.e44357.
A8: Hohma, E., Boch, A., Trauth, R. and Lütge, C., 2023. Investigating accountability for Artificial Intelligence through risk governance: A workshop-based exploratory study. Frontiers in Psychology, 14, p. 1073686.
A9: O’Shaughnessy, M.R., Schiff, D.S., Varshney, L.R., Rozell, C.J. and Davenport, M.A., 2023. What governs attitudes toward artificial intelligence adoption and governance?. Science and Public Policy, 50(2), pp.161-176.
A10: Papagiannidis, E., Enholm, I.M., Dremel, C., Mikalef, P. and Krogstie, J., 2023. Toward AI governance: Identifying best practices and potential barriers and outcomes. Information Systems Frontiers, 25(1), pp.123-141.
A11: Liao, F., Adelaine, S., Afshar, M. and Patterson, B.W., 2022. Governance of Clinical AI applications to
facilitate safe and equitable deployment in a large health system: Key elements and early successes. Frontiers in Digital Health, 4, p. 931439.
A12: Morley, J., Murphy, L., Mishra, A., Joshi, I. and Karpathakis, K., 2022. Governing data and artificial intelligence for health care: developing an international understanding. JMIR formative research, 6(1), p.e31623.
A13: Sun, T.Q. and Medaglia, R., 2019. Mapping the challenges of Artificial Intelligence in the public sector: Evidence from public healthcare. Government Information Quarterly, 36(2), pp.368-383.
A14: Okun, S., Hanger, M., Browne-James, L., Montgomery, T., Rafaloff, G. and van Delden, J.J., 2023. Commitments for Ethically Responsible Sourcing, Use, and Reuse of Patient Data in the Digital Age: Cocreation Process. Journal of Medical Internet Research, 25, p.e41095.
A15: Mökander, J., Sheth, M., Gersbro-Sundler, M., Blomgren, P. and Floridi, L., 2022. Challenges and best practices in corporate AI governance: Lessons from the biopharmaceutical industry. Frontiers in Computer Science, 4, p. 1068361.
A16: Bratton, B., 2021. AI urbanism: a design framework for governance, program, and platform cognition. AI and SOCIETY, 36(4), pp.1307-1312.
A17: Al Zaabi, K., Hammadi, K.A. and El Khatib, M., 2023. Highlights on Program Governance through AI and Blockchain. International Journal of Business Analytics and Security (IJBAS), 3(1), pp.92-102.
A18: SchÃafer, M., Schneider, J., Drechsler, K. and vom Brocke, J., 2022. AI Governance: Are Chief AI Officers and AI Risk Officers needed?. In ECIS.
A19: Agbese, M., Alanen, H.K., Antikainen, J., Erika, H., Isomaki, H., Jantunen, M., Kemell, K.K., Rousi, R., Vainio-Pekka, H. and Vakkuri, V., 2023. Governance in ethical and trustworthy AI systems: Extension of the ECCOLA method for AI ethics governance using GARP. e-Informatica Software Engineering Journal, 17(1).
A20: Malik, N., Kar, A.K., Tripathi, S.N. and Gupta, S., 2023. Exploring the impact of fairness of social bots on user experience. Technological Forecasting and Social Change, 197, p. 122913.
A21: Tan, E., Jean, M.P., Simonofski, A., Tombal, T., Kleizen, B., Sabbe, M., Bechoux, L. and Willem, P., 2023. Artificial intelligence and algorithmic decisions in fraud detection: An interpretive structural model. Data and policy, 5, p.e25.
A22: Heintz, F., CsÃjki, C., Bernardini, F., and Dobbe, R., 2023. Trustworthy AI Governance – Panel Discussion. CEUR Workshop Proceedings, vol. 3449, 2023 Joint of Ongoing Research, Practitioners, Posters, Workshops, and Projects at EGOV-CeDEM-ePart,
EGOV-CeDEM-ePart-JP 2023, Budapest, 4-7 September 2023. CEUR-WS.
A23: Salathé, M., Wiegand, T. and Wenzel, M., 2018. Focus group on artificial intelligence for health. arXiv preprint arXiv:1809.04797.
A24: Cath, C., 2018. Governing artificial intelligence: ethical, legal and technical opportunities and challenges. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 376(2133), p.20180080.
A25: Vakkuri, V., Kemell, K.K., Jantunen, M., Halme, E. and Abrahamsson, P., 2021. ECCOLA-A method for implementing ethically aligned AI systems. Journal of Systems and Software, 182, p. 111067.
A26: Arora, A., Alderman, J.E., Palmer, J., Ganapathi, S., Laws, E., McCradden, M.D., Oakden-Rayner, L., Pfohl, S.R., Ghassemi, M., McKay, F. and Treanor, D., 2023. The value of standards for health datasets in artificial in-telligence-based applications. Nature Medicine, 29(11), pp.2929-2938.
A27: Danaher, J., Hogan, M.J., Noone, C., Kennedy, R., Behan, A., De Paor, A., Felzmann, H., Haklay, M., Khoo, S.M., Morison, J. and Murphy, M.H., 2017. Algorithmic governance: Developing a research agenda through the power of collective intelligence. Big data and society, 4(2), p.2053951717726554.
A28: Johnson, M., Albizri, A. and Harfouche, A., 2023. Responsible artificial intelligence in healthcare: Predicting and preventing insurance claim denials for economic and social wellbeing. Information Systems Frontiers, 25(6), pp.2179-2195.

Appendix B: Terminology

For the sake of clarity, it is essential to define the key terms used in this SLR before moving on to answering the questions and classification.
  • AI Governance Framework: In this paper, an AI governance framework refers to structured approaches designed to systematically guide the development, deployment, and management of artificial intelligence systems, addressing ethical, regulatory, and operational considerations.
  • AI Governance Model: In this SLR, an AI governance model, represents a set of steps for overseeing and managing the ethical, legal, and operational aspects of artificial intelligence (AI) systems.
  • AI Governance Tool: In this paper, an AI governance tool refers to a set of specialized instruments, or structured set of steps, developed to assess, monitor, and
    enhance the ethical and responsible use of artificial intelligence (AI).
  • Ethical and Responsible AI Governance: In this study, Ethical and responsible AI governance represents a foundational set of values, and guidelines intended to guide the development, deployment, and utilization of artificial intelligence technologies in a manner that aligns with societal, moral, and legal considerations. These principles ensure responsible and ethical AI practices, emphasizing transparency, accountability, fairness, and the protection of individual rights.
Author contributions All authors contributed to this manuscript.
Funding Open access funding provided by CSIRO Library Services. Open access funding will be provided by CSIRO Library Services. No funding was received to assist with the preparation of this manuscript. No funding was received for conducting this study. No funds or grants were received.
Data availability Data related to this SLR can be accessed from the links given in the footnotes.

Declarations

Conflict of interest All the authors are full-time paid employee of Australian National Science Agency (CSIRO’s Data61). The authors have no Conflict of interest to declare that are relevant to the content of this article. The authors have no financial or proprietary interests in any material discussed in this article. On behalf of all authors, the corresponding author states that there is no Conflict of interest.
Open Access This article is licensed under a Creative Commons Attribution 4.0 International License, which permits use, sharing, adaptation, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if changes were made. The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material. If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder. To view a copy of this licence, visit http://creativecommons. org/licenses/by/4.0/.

References

  1. Lu, Q., Zhu, L., Xu, X., Whittle, J., Zowghi, D., Jacquet, A.: Responsible AI pattern catalogue: a collection of best practices for AI governance and engineering. ACM Comput. Surv. 56, 1-35 (2022)
  2. Shams, R.A., Zowghi, D., Bano, M.: Ai and the quest for diversity and inclusion: a systematic literature review. AI and Ethics, 1-28 (2023)
  3. Lütge, C., Poszler, F., Acosta, A.J., Danks, D., Gottehrer, G., Mihet-Popa, L., Naseer, A.: Ai4people: ethical guidelines for the automotive sector-fundamental requirements and practical recommendations. Int. J. Technoethics (IJT) 12(1), 101-125 (2021)
  4. Reddy, S., Allan, S., Coghlan, S., Cooper, P.: A governance model for the application of AI in health care. J. Am. Med. Inform. Assoc. 27(3), 491-497 (2020)
  5. Lee, J.: Access to finance for artificial intelligence regulation in the financial services industry. Eur. Bus. Organ. Law Rev. 21, 731-757 (2020)
  6. Bano, M., Zowghi, D., Shea, P., Ibarra, G.: Investigating responsible AI for scientific research: an empirical study. arXiv preprint arXiv:2312.09561 (2023)
  7. Jobin, A., Ienca, M., Vayena, E.: The global landscape of AI ethics guidelines. Nat. Mach. Intell. 1(9), 389-399 (2019)
  8. Mäntymäki, M., Minkkinen, M., Birkstedt, T., Viljanen, M.: Putting ai ethics into practice: the hourglass model of organizational ai governance. arXiv preprint arXiv:2206.00335 (2022)
  9. Koene, A., Smith, A.L., Egawa, T., Mandalh, S., Hatada, Y.: Ieee p70xx, establishing standards for ethical technology. In: Proceedings of KDD, ExCeL London UK (2018)
  10. Fjeld, J., Achten, N., Hilligoss, H., Nagy, A., Srikumar, M.: Principled artificial intelligence: mapping consensus in ethical and rights-based approaches to principles for AI. Berkman Klein Center Research Publication (2020-1) (2020)
  11. Attard-Frost, B., Brandusescu, A., Lyons, K.: The governance of artificial intelligence in Canada: findings and opportunities from a review of 84 AI governance initiatives. Gov. Inf. Q. 41(2), 101929 (2024)
  12. Maas, M.M.: Concepts in advanced AI governance: a literature review of key terms and definitions (2023)
  13. Kluge Corrêa, N., Galvão, C., Santos, J.W., Del Pino, C., Pontes Pinto, E., Barbosa, C., Massmann, D., Mambrini, R., Galvão, L., Terem, E.: Worldwide AI ethics: a review of 200 guidelines and recommendations for ai governance. arXiv e-prints, 2206 (2022)
  14. Zhang, J., Zhang, Z.-M.: Ethics and governance of trustworthy medical artificial intelligence. BMC Med. Inf. Decis. Making 23(1), 7 (2023)
  15. Pierson, J., Kerr, A., Robinson, C., Fanni, R., Steinkogler, V., Milan, S., Zampedri, G.: Governing artificial intelligence in the media and communications sector. Internet Policy Rev. 12(1), 28 (2023)
  16. Wang, X., Oussalah, M., Niemilä, M., Ristikari, T., Petri, V.: Towards AI-governance in psychosocial care: a systematic literature review analysis. J. Open Innov. Technol. Mark. Complex. 9, 100157 (2023)
  17. Corrêa, N.K., Galvão, C., Santos, J.W., Del Pino, C., Pinto, E.P., Barbosa, C., Massmann, D., Mambrini, R., Galvão, L., Terem, E., et al.: Worldwide AI ethics: a review of 200 guidelines and recommendations for AI governance. Patterns 4(10), 100857 (2023)
  18. Laux, J.: Institutionalised distrust and human oversight of artificial intelligence: towards a democratic design of ai governance under the European Union AI act. AI Soc., 1-14 (2023)
  19. Paz, J.V., Rodríguez-Picón, L.A., Morales-Rocha, V., TorresArgüelles, S.V.: A systematic review of risk management methodologies for complex organizations in industry 4.0 and 5.0. Systems 11(5), 218 (2023)
  20. Kreutz, H., Jahankhani, H.: Impact of artificial intelligence on enterprise information security management in the context of iso 27001 and 27002: A tertiary systematic review and comparative analysis. Cybersecur. Artif. Intell. Transf. Strategies Disrupt. Innov., 1-34 (2024)
  21. Alsaigh, R., Mehmood, R., Katib, I.: Ai explainability and governance in smart energy systems: a review. Front. Energy Res. 11, 1071291 (2023)
  22. Stogiannos, N., Malik, R., Kumar, A., Barnes, A., Pogose, M., Harvey, H., McEntee, M.F., Malamateniou, C.: Black box no more: a scoping review of AI governance frameworks to guide
    procurement and adoption of AI in medical imaging and radiotherapy in the UK. Br. J. Radiol. 96(1152), 20221157 (2023)
  23. Abbas, A., Mahrishi, M., Mishra, D.: Artificial intelligence (ai) governance in higher education: a meta-analytic systematic review. Available at SSRN 4657675 (2023)
  24. Kitchenham, B., Brereton, O.P., Budgen, D., Turner, M., Bailey, J., Linkman, S.: Systematic literature reviews in software engi-neering-a systematic literature review. Inf. Softw. Technol. 51(1), 7-15 (2009)
  25. Guan, J.: Artificial intelligence in healthcare and medicine: promises, ethical challenges and governance. Chin. Med. Sci. J. 34(2), 76-83 (2019)
  26. Ho, C., Soon, D., Caals, K., Kapur, J.: Governance of automated image analysis and artificial intelligence analytics in healthcare. Clin. Radiol. 74(5), 329-337 (2019)
  27. Fontes, C., Corrigan, C., Lütge, C.: Governing AI during a pandemic crisis: initiatives at the EU level. Technol. Soc. 72, 102204 (2023)
  28. Niet, I., Est, R., Veraart, F.: Governing AI in electricity systems: Reflections on the EU artificial intelligence bill. Front. Artif. Intell. 4, 690237 (2021). https://doi.org/10.3389/frai.2021.690237
  29. Liu, Y., Lu, Q., Zhu, L., Paik, H.-Y., Staples, M.: A systematic literature review on blockchain governance. J. Syst. Softw. 197, 111576 (2023)
  30. Zowghi, D., Rimini, F.: Diversity and inclusion in artificial intelligence. In: Lu, Q., et al. (eds.) Responsible AI: Best Practices for Creating Trustworthy AI Systems. Addi-son-Wesley, Sydney (2023). https://research.csiro.au/ss/ guidelines-for-diversity-and-inclusion-in-artificial-intelligence/
  31. European Union: High-Level Summary of the Artificial Intelligence Act. Accessed: 2024-10-22 (2024). https://artificialintelli-genceact.eu/high-level-summary/
  32. AI, N.: Artificial intelligence risk management framework (ai rmf 1.0) (2023)
  33. OECD: Artificial Intelligence in Society. Accessed: December 10, 2023. https://www.oecd-ilibrary.org/science-and-technology/ artificial-intelligence-in-society_eedfee77-en
  34. Wallach, W., Marchant, G.E.: An agile ethical/legal model for the international and national governance of ai and robotics. Association for the Advancement of Artificial Intelligence (2018)
  35. Salathé, M., Wiegand, T., Wenzel, M.: Focus group on artificial intelligence for health. arXiv preprint arXiv:1809.04797 (2018)
  36. GDPR: What is GDPR? https://gdpr.eu/what-is-gdpr/. Accessed: 2024-07-10 (2018)
  37. AI RMF Knowledge Base. https://airc.nist.gov/AI_RMF_Knowledge_Base/AI_RMF. Accessed: December 10, 2023
  38. (PDPC), P.D.P.C.: Model AI Governance Framework. Accessed: 2024-07-03 (2020). https://www.pdpc.gov.sg/-/media/Files/ PDPC/PDF-Files/Resource-for-Organisation/AI/SGMode1AIGovFramework2.pdf
  39. Australia’s National Artificial Intelligence Centre: Responsible AI. https://www.csiro.au/en/work-with-us/industries/technology/ national-ai-centre. Accessed: November 2023 (2023)
  40. Liebig, L., Güttel, L., Jobin, A., Katzenbach, C.: Subnational AI policy: shaping AI in a multi-level governance system. AI Soc. 39, 1477-1490 (2022)
  41. Sidorova, A., Saeed, K.: Incorporating stakeholder enfranchisement, risks, gains, and AI decisions in AI governance framework (2022)
  42. Wirtz, B.W., Weyerer, J.C., Sturm, B.J.: The dark sides of artificial intelligence: an integrated AI governance framework for public administration. Int. J. Public Adm. 43(9), 818-829 (2020)
  43. Knight, S., Shibani, A., Vincent, N.: Ethical AI governance: mapping a research ecosystem. AI and Ethics, 1-22 (2024)
Publisher’s Note Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.

  1. Amna Batool
    amna.batool@data61.csiro.au
    Didar Zowghi
    didar.zowghi@data61.csiro.au
    Muneera Bano
    muneera.bano@data61.csiro.au
    1 CSIRO’s Data61, Melbourne, Australia
  2. https://docs.google.com/document/d/1GsHUo84XwjP1Oa4ne2d7 E18G84VS1_g4/edit?usp=sharing&ouid=106380959154063406110&r tpof=true&sd=true.