DOI: https://doi.org/10.1007/s43681-024-00489-4
PMID: https://pubmed.ncbi.nlm.nih.gov/40352578
تاريخ النشر: 2024-05-28
المؤلف: Andreas Tsamados وآخرون
الموضوع الرئيسي: التفاعل بين الإنسان والآلات والسلامة
نظرة عامة
تستعرض هذه المقالة نهجين رئيسيين للتحكم البشري في أنظمة الذكاء الاصطناعي: التحكم البشري الإشرافي (SHC) وتعاون الإنسان والآلة (HMT). تفحص كيف يشكل كل نهج التفاعل بين سلوكيات الإنسان والنظام لتعزيز فعالية أنظمة الذكاء الاصطناعي، وخاصة تلك المعتمدة على نماذج الأساس—نماذج كبيرة الحجم تظهر قدرات عامة وسلوك غير حتمي. من خلال التركيز على أمثلة من قطاعات الدفاع والأمن، تسلط المقالة الضوء على التحديات العملية المرتبطة بالتحكم البشري في الأتمتة وتدعو إلى التحول نحو فهم التحكم كوكالة تعاونية ضمن نظام متعدد الوكلاء بدلاً من الإشراف البشري الحصري.
تؤكد الخاتمة أن SHC تواجه قيودًا كبيرة بسبب الاستقلالية الكامنة في أنظمة الذكاء الاصطناعي التي تستخدم نماذج الأساس، مما يتعارض مع الافتراضات الأساسية لـ SHC. في المقابل، يقدم HMT إطارًا أكثر قابلية للتطبيق لإدارة التحكم البشري على هذه الأنظمة من خلال تعزيز التفاعلات ثنائية الاتجاه. يعتقد المؤلفون أنه طالما استمرت الابتكارات في الذكاء الاصطناعي في إعطاء الأولوية لنماذج الأساس، سيكون HMT ضروريًا للتعاون الفعال بين الإنسان والذكاء الاصطناعي. ومع ذلك، إذا كان هناك تحول نحو هياكل ذكاء اصطناعي أكثر قابلية للتفسير والتنبؤ، فقد يتم إعادة تأكيد أهمية SHC. في النهاية، يُعتبر استكشاف HMT مفيدًا لتعزيز التفاعلات بين الإنسان والذكاء الاصطناعي وتحسين ديناميات الأنظمة متعددة الوكلاء، مما يستدعي المزيد من الاستثمار في البحث في هذا المجال بغض النظر عن التغييرات المستقبلية في قدرات الذكاء الاصطناعي.
مقدمة
تتناول مقدمة هذه الورقة البحثية القضية الحرجة للتحكم البشري في أنظمة الذكاء الاصطناعي (AI)، وخاصة ضمن قطاعات الدفاع والأمن. تبرز إطارين رئيسيين للتحكم البشري: التحكم البشري الإشرافي (SHC) وتعاون الإنسان والآلة (HMT). يؤكد المؤلفون على التحديات الفريدة التي تطرحها نماذج الأساس—أنظمة الذكاء الاصطناعي المتقدمة التي تم تدريبها مسبقًا على مجموعات بيانات واسعة وقادرة على معالجة عدة أنماط إدخال. بينما تقدم هذه النماذج مرونة كبيرة، فإنها أيضًا تقدم مخاطر أخلاقية وتشغيلية، مثل عدم القدرة على التنبؤ، والتحيزات، والثغرات الأمنية، مما يتطلب إشرافًا بشريًا فعالًا.
تهدف الورقة إلى وضع إطار للتحكم البشري التشغيلي، والذي يُعرف بأنه عمليات اتخاذ القرار والإجراءات التي يقوم بها المشغلون البشر لضمان أن تكون أنظمة الذكاء الاصطناعي فعالة وآمنة ومتوافقة أثناء النشر. يجادل المؤلفون بأن الأساليب التقليدية مثل SHC و HMT قد لا تعالج بشكل كافٍ تعقيدات نماذج الأساس، حيث تتطلب هذه الأنظمة تفاعلًا أكثر ديناميكية بين الوكلاء البشريين والذكاء الاصطناعي. تمهد المقدمة الطريق لتحليل مفصل لهذه الأساليب التحكمية، وتقييم قابليتها للتطبيق ومرونتها في مواجهة الحقائق التشغيلية لأنظمة الذكاء الاصطناعي المعتمدة على نماذج الأساس، مما يدعو في النهاية إلى وكالة تعاونية بين الوكلاء البشريين والاصطناعيين لتعزيز التحكم وتقليل المخاطر.
نقاش
تناقش هذه الفقرة التحديات المرتبطة بالتحكم البشري الإشرافي (SHC) في سياق تفاعلات الوكلاء البشريين والاصطناعيين، مع التركيز بشكل خاص على تصنيف مستويات الأتمتة (LOA). يحدد إطار SHC عملية متسلسلة حيث يقوم مشرف بشري بمراقبة والتدخل في تصرفات وكيل اصطناعي. ومع ذلك، يكشف تطبيق هذا الإطار عن قيود كبيرة، مثل فقدان الوعي بالوضع بين المشغلين البشر، مما يمكن أن يؤدي إلى فشل كارثي، كما يتضح من الحوادث التاريخية مثل حالات “النيران الصديقة” لنظام صواريخ باتريوت الأمريكي. يبرز المؤلفون أن تصنيف LOA يفتقر إلى التحقق التجريبي ويفشل في معالجة تعقيدات التفاعلات بين الإنسان والآلة، خاصة في البيئات الديناميكية حيث قد تحتاج تخصيصات المهام إلى التغيير.
علاوة على ذلك، تحدد المناقشة أربعة تحديات رئيسية: تدهور الوعي بالوضع، التغيرات السياقية التي تعطل تخصيصات المهام، قضايا الثقة بين المشغلين البشر وأنظمة الذكاء الاصطناعي، والتحيز نحو مخاطر الأداء على المخاطر الاجتماعية والقانونية. يجادل المؤلفون بأن هذه التحديات تتطلب إعادة تقييم نهج SHC، خاصة فيما يتعلق بأنظمة الذكاء الاصطناعي المتقدمة، بما في ذلك نماذج الأساس. تقدم هذه النماذج تعقيدات إضافية، مثل السلوكيات غير الحتمية وعدم القدرة على التواصل بفعالية حول قيودها، مما يعقد الإشراف والتدخل البشري. يدعو المؤلفون إلى فهم أكثر دقة لتفاعلات الإنسان والذكاء الاصطناعي يتجاوز الأطر التقليدية لـ SHC، مع التأكيد على الحاجة إلى مرونة تشغيلية ونهج شامل للتحكم البشري يأخذ في الاعتبار كل من الأبعاد الأداء والاجتماعية والقانونية.
DOI: https://doi.org/10.1007/s43681-024-00489-4
PMID: https://pubmed.ncbi.nlm.nih.gov/40352578
Publication Date: 2024-05-28
Author(s): Andreas Tsamados et al.
Primary Topic: Human-Automation Interaction and Safety
Overview
This article reviews two primary approaches to human control of AI systems: supervisory human control (SHC) and human-machine teaming (HMT). It examines how each approach shapes the interaction between human and system behaviors to enhance the effectiveness of AI systems, particularly those based on foundation models—large-scale models that exhibit general capabilities and non-deterministic behavior. By focusing on examples from the defense and security sectors, the article highlights the practical challenges associated with human control in automation and argues for a shift towards understanding control as a collaborative agency within a multi-agent system rather than through exclusive human oversight.
The conclusion emphasizes that SHC faces significant limitations due to the inherent autonomy of AI systems that utilize foundation models, which contradicts the assumptions underlying SHC. In contrast, HMT presents a more viable framework for managing human control over these AI systems by fostering bi-directional interactions. The authors posit that as long as AI innovation continues to prioritize foundation models, HMT will be essential for effective human-AI collaboration. However, should there be a shift towards more explainable and predictable AI architectures, the relevance of SHC may be reinstated. Ultimately, the exploration of HMT is deemed beneficial for enhancing human-AI interactions and improving the dynamics of multi-agent systems, warranting further research investment in this area regardless of future changes in AI capabilities.
Introduction
The introduction of this research paper addresses the critical issue of human control over artificial intelligence (AI) systems, particularly within the defense and security sectors. It highlights two primary frameworks for human control: supervisory human control (SHC) and human-machine teaming (HMT). The authors emphasize the unique challenges posed by foundation models—advanced AI systems that are pre-trained on extensive datasets and capable of processing multiple input modalities. While these models offer significant versatility, they also introduce ethical and operational risks, such as unpredictability, biases, and security vulnerabilities, which necessitate effective human oversight.
The paper aims to establish a framework for operational human control, defined as the decision-making processes and actions of human operators to ensure AI systems are effective, safe, and compliant during deployment. The authors argue that traditional approaches like SHC and HMT may not adequately address the complexities of foundation models, as these systems require a more dynamic interaction between human and AI agents. The introduction sets the stage for a detailed analysis of these control approaches, assessing their applicability and adaptability to the operational realities of foundation model-based AI systems, ultimately advocating for a collaborative agency between human and artificial agents to enhance control and mitigate risks.
Discussion
The section discusses the challenges associated with Supervisory Human Control (SHC) in the context of human and artificial agent interactions, particularly focusing on the Levels of Automation (LOA) taxonomy. The SHC framework outlines a sequential process where a human supervisor monitors and intervenes in the actions of an artificial agent. However, the application of this framework reveals significant limitations, such as the loss of situational awareness among human operators, which can lead to catastrophic failures, as evidenced by historical incidents like the US Patriot missile system’s “friendly fire” cases. The authors highlight that the LOA taxonomy lacks empirical validation and fails to address the complexities of human-machine interactions, particularly in dynamic environments where task allocations may need to shift.
Moreover, the discussion identifies four primary challenges: the deterioration of situational awareness, contextual changes disrupting task allocations, trust issues between human operators and AI systems, and a bias towards performance risks over socio-legal risks. The authors argue that these challenges necessitate a reevaluation of the SHC approach, especially as it pertains to advanced AI systems, including foundation models. These models introduce additional complexities, such as non-deterministic behaviors and the inability to communicate their limitations effectively, which further complicates human oversight and intervention. The authors advocate for a more nuanced understanding of human-AI interactions that transcends traditional SHC frameworks, emphasizing the need for operational flexibility and a comprehensive approach to human control that considers both performance and socio-legal dimensions.