DOI: https://doi.org/10.1016/j.techsoc.2024.102471
تاريخ النشر: 2024-01-26
المؤلف: Alexander Berman وآخرون
الموضوع الرئيسي: الأخلاقيات والآثار الاجتماعية للذكاء الاصطناعي
نظرة عامة
تتناول هذه الورقة البحثية تنفيذ الذكاء الاصطناعي (AI) داخل خدمة التوظيف العامة السويدية (PES)، مع التأكيد على أهمية الذكاء الاصطناعي الموثوق في اتخاذ القرارات العامة. على الرغم من الرقمنة المتقدمة في السويد ودمج الذكاء الاصطناعي، تحدد الدراسة اختلافات كبيرة بين المثالية النظرية والواقع العملي، لا سيما فيما يتعلق بموثوقية الذكاء الاصطناعي. باستخدام إطار نظري يتضمن النظرية المؤسسية، ووجهة النظر القائمة على الموارد (RBV)، ونظرية التكيف، يبرز المؤلفون تحديات مثل الشفافية، وقابلية التفسير، ومشاركة أصحاب المصلحة. تشير النتائج إلى أن الضغوط الاقتصادية من أجل الكفاءة غالبًا ما تطغى على الاعتبارات الأخلاقية، مما يؤدي إلى أنظمة ذكاء اصطناعي تفتقر إلى الوضوح وتفشل في إشراك الباحثين عن عمل بشكل كافٍ في عملية اتخاذ القرار.
في الاستنتاجات، تؤكد الدراسة على الفجوات الحرجة في مبادرة الذكاء الاصطناعي الخاصة بـ PES، “التحضير والمطابقة”، لا سيما فيما يتعلق بالشفافية، والدقة، والتواصل مع أصحاب المصلحة. يشدد المؤلفون على ضرورة أن تكون أنظمة الذكاء الاصطناعي قابلة للتفسير وأخلاقية، داعين إلى تعزيز مشاركة أصحاب المصلحة وتحسين معرفة الذكاء الاصطناعي بين الإدارة والموظفين. يدعون منظمات القطاع العام إلى إعطاء الأولوية للأطر الأخلاقية والامتثال القانوني في نشر الذكاء الاصطناعي، لضمان قدرة الأفراد على الطعن في القرارات التي تؤثر عليهم. تعتبر الورقة دعوة للعمل للكيانات في القطاع العام لتطوير أنظمة ذكاء اصطناعي ليست فقط كفؤة من الناحية التقنية ولكن أيضًا متوافقة مع القيم المجتمعية، مما يعزز ثقافة التحسين المستمر والتعاون في جهود دمج الذكاء الاصطناعي.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على الزيادة المستمرة في دمج أنظمة الذكاء الاصطناعي (AI) في القطاعات العامة حول العالم، مدفوعة بالرغبة في تحسين عمليات اتخاذ القرار. تؤكد هذه الاتجاهات على أهمية “الموثوقية” في الذكاء الاصطناعي، والتي تشمل الشفافية، والقدرة على التفسير، والشرعية، والأخلاق، والصلابة. تعتبر “إرشادات الأخلاقيات للذكاء الاصطناعي الموثوق” من الاتحاد الأوروبي مرجعًا أساسيًا لفهم هذه المبادئ. ومع ذلك، يشير المؤلفون إلى وجود فجوة كبيرة في التحليلات التجريبية التي تتناول في الوقت نفسه الأبعاد التكنولوجية والاجتماعية للذكاء الاصطناعي، لا سيما في التطبيقات الواقعية.
لمعالجة هذه الفجوة، تركز الورقة على حالة خدمة التوظيف العامة السويدية (PES) وتقييم موثوقية أنظمتها للذكاء الاصطناعي. تحدد الدراسة عدة تحديات، بما في ذلك طبيعة “الصندوق الأسود” للذكاء الاصطناعي، والشرح غير الكافي، والقضايا المتعلقة بعمليات اتخاذ القرار، مثل القدرة على الطعن في القرارات. استجابةً لذلك، يقترح المؤلفون حلولًا عملية تهدف إلى تحسين إطار اتخاذ القرار، والتي تشمل تعزيز مشاركة الباحثين عن عمل، وتوسيع الصلاحيات المهنية، وتنقيح مؤشرات الأداء، وتبسيط منطق اتخاذ القرار. تحدد الأقسام اللاحقة من الورقة الإطار النظري، ومنهجية البحث، وتحليل دراسة الحالة، والآثار المترتبة على حوكمة الذكاء الاصطناعي في اتخاذ القرارات العامة في المستقبل.
الطرق
في هذه الدراسة، تم استخدام تصميم بحث دراسة حالة للتحقيق في تنفيذ أنظمة الذكاء الاصطناعي (AI) داخل خدمة التوظيف العامة السويدية (PES). تم اختيار السويد كحالة نظرًا لالتزامها بالاستفادة من الرقمنة في عمليات القطاع العام وسمعتها في الحوكمة عالية الجودة والشفافية. شملت الأبحاث تحليلًا شاملاً للمواد التجريبية، بما في ذلك المقابلات، والمستندات الداخلية، وتقارير السياسات المتاحة للجمهور من وكالات الدولة المختلفة، مثل PES ومعهد تقييم سوق العمل وسياسة التعليم (IFAU).
شملت جمع البيانات 15 مقابلة شبه منظمة مع مدراء ومسؤولين من PES، أجريت بين نوفمبر 2021 وديسمبر 2023. استمرت كل مقابلة بين 45 و90 دقيقة، مع التركيز على تقديم نظام الذكاء الاصطناعي، واختلافاته النوعية عن عمليات اتخاذ القرار السابقة، وتوافقه مع المبادئ العامة مثل المساءلة والكفاءة. تم نسخ المقابلات وترجمتها إلى الإنجليزية، مما يضمن نهجًا متسقًا عبر المستجيبين. من الجدير بالذكر أن الدراسة تعترف بوجود فجوة في فهم تجارب الباحثين عن عمل مع نظام الذكاء الاصطناعي، مما أدى إلى استخدام معايير نظرية لتقييم جوانب مثل الفهم من منظورهم، نظرًا لافتراض معرفتهم المحدودة بالنظام مقارنةً بالمسؤولين في الوكالة.
النتائج
في تقييم نظام “التحضير والمطابقة” الخاص بخدمة التوظيف العامة السويدية (PES)، تم تحديد أوجه قصور كبيرة في التوافق مع مبادئ الذكاء الاصطناعي الموثوق. تشير النتائج الرئيسية إلى نقص في الوضوح بشأن أداء النظام، لا سيما في الدقة والتعاون بين الإنسان والذكاء الاصطناعي، مما يثير القلق بشأن موثوقية القرارات التي ينتجها الذكاء الاصطناعي. كانت قضايا الشفافية بارزة، حيث لم يتم إبلاغ أصحاب المصلحة بشكل كافٍ عن أداء النظام أو مستويات الثقة في مخرجاته. علاوة على ذلك، كانت عمليات اتخاذ القرار في النظام تفتقر إلى القابلية للتفسير والشرح، مما قد يؤدي إلى تحيزات ونتائج غير عادلة، وهو ما يعد ضارًا بشكل خاص في سياق الخدمة العامة. إن غياب آليات المساءلة الفعالة والإشراف البشري يضعف أيضًا مصداقية النظام.
تشير التحليلات إلى أن التحديات التي تواجهها PES السويدية في تنفيذ الذكاء الاصطناعي الموثوق قد تنبع من مزيج من الضغوط المؤسسية والضبابية الكامنة في تقنيات الشبكات العصبية. على الرغم من المعايير القوية في السويد التي تفضل الشفافية ومشاركة المواطنين، إلا أن اعتماد الذكاء الاصطناعي لم يتوافق مع هذه القيم، ربما بسبب نقص الفهم بين الإدارة بشأن الخوارزميات المستخدمة. قد تكون ضغوط الكفاءة الاقتصادية قد أعطت الأولوية لتدابير توفير التكاليف على إنشاء أنظمة ذكاء اصطناعي موثوقة. تشمل التوصيات للتحسين تعزيز معرفة الذكاء الاصطناعي بين الموظفين، وتعزيز التوازن بين استغلال الموارد الحالية واستكشاف تقنيات جديدة، وإنشاء آليات تغذية راجعة قوية للتكيف مع احتياجات أصحاب المصلحة والتغيرات الخارجية. تؤكد الدراسة على ضرورة التحديث التدريجي للتكنولوجيا الذي يعطي الأولوية لكل من تحسينات الخدمة الفورية وتطوير بنية تحتية موثوقة للذكاء الاصطناعي.
المناقشة
في قسم المناقشة من الورقة، يستكشف المؤلفون مفهوم الذكاء الاصطناعي الموثوق، لا سيما في سياق اتخاذ القرارات العامة من قبل خدمة التوظيف العامة السويدية (PES). يستخدمون ثلاثة أطر نظرية—النظرية المؤسسية، ووجهة النظر القائمة على الموارد (RBV)، ونظرية التكيف—لتحليل ديناميات دمج الذكاء الاصطناعي داخل المنظمات العامة. تساعد هذه الأطر في توضيح كيفية تأثير المعايير الاجتماعية، والموارد الداخلية، والتوازن بين استغلال القدرات الحالية واستكشاف تقنيات جديدة على اعتماد الذكاء الاصطناعي، والبيانات الكبيرة (BD)، وذكاء البيانات والتحليلات (DI&A). يؤكد المؤلفون أن هذه التقنيات مترابطة مع الممارسات والسياسات التنظيمية، والتي تعتبر حاسمة لفهم التحديات المتعلقة بموثوقية الذكاء الاصطناعي، بما في ذلك القابلية للتفسير، والامتثال القانوني، والمعايير الأخلاقية.
يقترح المؤلفون ستة مبادئ رئيسية لتعريف الذكاء الاصطناعي الموثوق: الأداء، والمعايرة، والقابلية للتفسير، والعدالة، والشرعية، والمساءلة. يتم تقييم الأداء على مستويات متعددة، بما في ذلك دقة النظام بشكل عام وتأثيره على اتخاذ القرار البشري، والذي يُطلق عليه “الأداء المعزز”. تشير المعايرة إلى قدرة الذكاء الاصطناعي على تقدير ثقته بدقة في القرارات، وهو أمر حيوي لثقة المستخدم. تعتبر القابلية للتفسير والشرح حاسمة لضمان قدرة المستخدمين على فهم قرارات الذكاء الاصطناعي، بينما تؤكد العدالة على المعاملة المتساوية وتجنب التحيز. يضمن الامتثال القانوني الالتزام بالتشريعات مثل اللائحة العامة لحماية البيانات (GDPR) للاتحاد الأوروبي، وتؤكد المساءلة على ضرورة وجود إشراف بشري في القرارات المدعومة بالذكاء الاصطناعي. يجادل المؤلفون بأن هذه المبادئ تساهم مجتمعة في إطار لتقييم موثوقية أنظمة الذكاء الاصطناعي في اتخاذ القرارات العامة، بهدف تعزيز الكفاءة والدقة والمعاملة العادلة في عمليات PES.
القيود
تقدم الدراسة عدة قيود يجب الاعتراف بها. في المقام الأول، تركز على حالة محددة داخل خدمة التوظيف العامة السويدية (PES)، مما قد يحد من إمكانية تعميم نتائجها وتوصياتها على منظمات القطاع العام الأخرى أو السياقات المختلفة. على الرغم من الحوكمة القوية في السويد والالتزام بالشفافية، تشير التحديات المحددة داخل PES إلى أن الوكالات العامة في ظروف أقل ملاءمة قد تواجه صعوبات أكبر.
علاوة على ذلك، تؤكد الطبيعة الديناميكية للذكاء الاصطناعي (AI) ودمجه في اتخاذ القرارات العامة على ضرورة البحث المستمر وتكييف استنتاجات الدراسة. بينما تعتبر الرؤى المقدمة مهمة، يجب اعتبارها خطوة أساسية لمزيد من التحقيق والتحسين في مجال الذكاء الاصطناعي الموثوق داخل القطاع العام.
DOI: https://doi.org/10.1016/j.techsoc.2024.102471
Publication Date: 2024-01-26
Author(s): Alexander Berman et al.
Primary Topic: Ethics and Social Impacts of AI
Overview
This research paper examines the implementation of Artificial Intelligence (AI) within the Swedish Public Employment Service (PES), emphasizing the importance of trustworthy AI in public decision-making. Despite Sweden’s advanced digitalization and AI integration, the study identifies significant discrepancies between theoretical ideals and practical realities, particularly concerning AI’s trustworthiness. Utilizing a theoretical framework that includes Institutional Theory, the Resource-Based View (RBV), and Ambidexterity Theory, the authors highlight challenges such as transparency, interpretability, and stakeholder engagement. The findings indicate that economic pressures for efficiency often overshadow ethical considerations, resulting in AI systems that lack clarity and fail to adequately involve jobseekers in the decision-making process.
In the conclusions, the study underscores the critical gaps in the PES’s AI initiative, Prepare and Match, particularly regarding transparency, accuracy, and stakeholder communication. The authors stress the necessity for AI systems to be interpretable and ethically sound, advocating for enhanced stakeholder engagement and improved AI literacy among management and staff. They call for public sector organizations to prioritize ethical frameworks and legal compliance in AI deployment, ensuring that individuals can challenge decisions affecting them. The paper serves as a call to action for public sector entities to develop AI systems that are not only technically proficient but also aligned with societal values, fostering a culture of continuous improvement and collaboration in AI integration efforts.
Introduction
The introduction of this research paper highlights the increasing integration of artificial intelligence (AI) systems in public sectors worldwide, driven by the desire to enhance decision-making processes. This trend underscores the importance of “trustworthiness” in AI, which encompasses transparency, explicability, legality, ethics, and robustness. The European Union’s “Ethics Guidelines for Trustworthy Artificial Intelligence” serve as a foundational reference for understanding these principles. However, the authors note a significant gap in empirical analyses that simultaneously address the technological and social dimensions of AI, particularly in real-world applications.
To address this gap, the paper focuses on the case of the Swedish Public Employment Service (PES) and evaluates the trustworthiness of its AI systems. The study identifies several challenges, including the AI’s “black box” nature, inadequate explanations, and issues related to decision-making processes, such as the ability to contest decisions. In response, the authors propose practical solutions aimed at improving the decision-making framework, which include enhancing jobseeker participation, expanding professional discretion, refining performance indicators, and simplifying decision-making logic. The subsequent sections of the paper outline the theoretical framework, research methodology, case study analysis, and implications for future AI governance in public decision-making.
Methods
In this study, a case-study research design was employed to investigate the implementation of artificial intelligence (AI) systems within the Swedish Public Employment Service (PES). Sweden was selected as a case due to its commitment to leveraging digitalization in public sector operations and its reputation for high-quality governance and transparency. The research involved a comprehensive analysis of empirical materials, including interviews, internal documents, and publicly available policy reports from various state agencies, such as the PES and the Institute for the Evaluation of Labor Market and Education Policy (IFAU).
Data collection included 15 semi-structured interviews with managers and officials from the PES, conducted between November 2021 and December 2023. Each interview lasted between 45 and 90 minutes, focusing on the introduction of the AI system, its qualitative differences from previous decision-making processes, and its alignment with public principles like accountability and efficiency. The interviews were transcribed and translated into English, ensuring a consistent approach across respondents. Notably, the study acknowledges a gap in understanding jobseekers’ experiences with the AI system, leading to the use of theoretical criteria to assess aspects such as intelligibility from their perspective, given their presumed limited knowledge of the system compared to agency officials.
Results
In the evaluation of the Swedish Public Employment Service’s (PES) Prepare and Match system, significant shortcomings in aligning with trustworthy AI principles were identified. Key findings indicate a lack of clarity regarding the system’s performance, particularly in accuracy and human-AI collaboration, raising concerns about the reliability of AI-generated decisions. Transparency issues were prominent, as stakeholders were not adequately informed about the system’s performance or the confidence levels of its outputs. Furthermore, the system’s decision-making processes lacked interpretability and explainability, which could lead to biases and unfair outcomes, particularly detrimental in a public service context. The absence of effective accountability and human oversight mechanisms further undermines the system’s credibility.
The analysis suggests that the challenges faced by the Swedish PES in implementing trustworthy AI may stem from a combination of institutional pressures and the inherent opacity of neural network technologies. Despite Sweden’s strong norms favoring transparency and citizen involvement, the adoption of AI has not aligned with these values, possibly due to a lack of understanding among management regarding the algorithms in use. Economic efficiency pressures may have prioritized cost-saving measures over the establishment of trustworthy AI systems. Recommendations for improvement include enhancing AI literacy among staff, fostering a balance between exploiting existing resources and exploring new technologies, and establishing robust feedback mechanisms to adapt to stakeholder needs and external changes. The study emphasizes the necessity for gradual technology upgrades that prioritize both immediate service improvements and the development of a reliable AI infrastructure.
Discussion
In the discussion section of the paper, the authors explore the concept of trustworthy AI, particularly in the context of public decision-making by the Swedish Public Employment Service (PES). They utilize three theoretical frameworks—Institutional Theory, Resource-Based View (RBV), and Ambidexterity Theory—to analyze the dynamics of AI integration within public organizations. These frameworks help elucidate how societal norms, internal resources, and the balance between exploiting existing capabilities and exploring new technologies influence the adoption of AI, Big Data (BD), and Data Intelligence and Analytics (DI&A). The authors emphasize that these technologies are interconnected with organizational practices and policies, which are crucial for understanding the challenges related to AI trustworthiness, including explainability, legal compliance, and ethical standards.
The authors propose six key principles for defining trustworthy AI: performance, calibration, interpretability, fairness, legality, and accountability. Performance is assessed at multiple levels, including system-wide accuracy and the impact on human decision-making, termed “augmented performance.” Calibration refers to the AI’s ability to accurately estimate its confidence in decisions, which is vital for user trust. Interpretability and explainability are crucial for ensuring that users can understand AI decisions, while fairness emphasizes equal treatment and the avoidance of bias. Legal compliance ensures adherence to regulations like the EU’s General Data Protection Regulation (GDPR), and accountability underscores the necessity for human oversight in AI-assisted decisions. The authors argue that these principles collectively contribute to a framework for evaluating the trustworthiness of AI systems in public decision-making, ultimately aiming to enhance efficiency, accuracy, and equitable treatment in the PES’s operations.
Limitations
The study presents several limitations that must be acknowledged. Primarily, it is centered on a specific case within the Swedish Public Employment Service (PES), which may restrict the generalizability of its findings and recommendations to other public sector organizations or contexts. Despite Sweden’s robust governance and commitment to transparency, the challenges identified within the PES indicate that public agencies in less favorable conditions could encounter even greater difficulties.
Moreover, the dynamic nature of artificial intelligence (AI) and its integration into public decision-making underscores the necessity for continuous research and adaptation of the study’s conclusions. While the insights offered are significant, they should be regarded as a foundational step for further investigation and enhancement in the domain of trustworthy AI within the public sector.