DOI: https://doi.org/10.1038/s41598-025-30899-1
PMID: https://pubmed.ncbi.nlm.nih.gov/41495117
تاريخ النشر: 2026-01-07
المؤلف: Sijia Hao وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي القابل للتفسير (XAI)
نظرة عامة
هذا القسم من ورقة البحث يبرز أهمية الثقة في التفاعلات بين الإنسان والآلة، لا سيما في سياق أنظمة الذكاء الاصطناعي، التي غالبًا ما تُعتبر صناديق سوداء. تدرس الدراسة بشكل كمي تأثير الذكاء الاصطناعي القابل للتفسير (XAI) وشبكات الحالة الصدى (ESNs) على معايرة الثقة باستخدام مجموعتي بيانات مرجعية: CIFAR-10 للمهام البصرية وSQuAD للمهام النصية. من خلال استخدام تصميم تجريبي بين الموضوعات 2×2، يقيم الباحثون كيف تؤثر قابلية تفسير الذكاء الاصطناعي (قابل للتفسير مقابل غير قابل للتفسير) ونتائج التفاعل (ناجحة مقابل فاشلة) على مقاييس الثقة الصريحة والضمنية. إن دمج الشبكات العصبية التلافيفية (CNNs) مع تقنيات XAI، مثل Grad-CAM للمهام البصرية وآليات الانتباه للنص، يعزز من شفافية النموذج ويعزز الثقة، لا سيما في السيناريوهات التي تتضمن تفاعلات فاشلة.
تشير النتائج إلى أن الذكاء الاصطناعي القابل للتفسير يعدل بشكل كبير مستويات الثقة، خاصة عندما يتلقى المستخدمون تفسيرات لقرارات الذكاء الاصطناعي. بينما ترتبط مقاييس الثقة الضمنية والصريحة ارتباطًا قويًا، تكشف المقاييس الضمنية عن ديناميكيات ثقة دقيقة قد لا تلتقطها التقارير الذاتية. ومن الجدير بالذكر أن العوامل الديموغرافية، بما في ذلك الجنس، لا تؤثر بشكل كبير على الثقة، مما يشير إلى التطبيق الواسع للطرق المستخدمة. تُظهر الدراسة أداءً متفوقًا مقارنة بخمسة طرق متطورة من حيث الدقة، ومعايرة الثقة، ورضا المستخدم، مع الحفاظ على كفاءة حسابية تنافسية. تسلط هذه النتائج الضوء على الدور الحاسم لقابلية التفسير ومعايرة الثقة الديناميكية في تعزيز الثقة في أنظمة الذكاء الاصطناعي، وهو أمر ضروري لاعتمادها في المجالات الحساسة مثل الرعاية الصحية، القيادة الذاتية، والأمن السيبراني.
طرق
يستعرض قسم “الطرق” في ورقة البحث التصميم التجريبي، والمواد، والمنهجيات المستخدمة لتقييم تأثيرات الذكاء الاصطناعي القابل للتفسير (XAI)، وشبكات الحالة الصدى (ESNs)، ومقاييس معايرة الثقة على التفاعلات بين الإنسان والآلة. تستخدم الدراسة مجموعتي بيانات: CIFAR-10 للمهام البصرية ومجموعة بيانات Stanford Question Answering (SQuAD) للمهام النصية. يتم تنفيذ تصميم تجريبي بين الموضوعات 2×2، مع متغيرات مستقلة تشمل قابلية تفسير الذكاء الاصطناعي (XAI مقابل الذكاء الاصطناعي غير القابل للتفسير) ونتائج التفاعل (تفاعلات ناجحة مقابل فاشلة). يتم تعريف الشروط التجريبية بوضوح، وتتكون من أربعة سيناريوهات: (1) الذكاء الاصطناعي القابل للتفسير مع تفاعل ناجح، (2) الذكاء الاصطناعي القابل للتفسير مع تفاعل فاشل، (3) الذكاء الاصطناعي غير القابل للتفسير مع تفاعل ناجح، و(4) الذكاء الاصطناعي غير القابل للتفسير مع تفاعل فاشل.
تُهيكل النتائج من التجارب في أقسام فرعية تستكشف أبعادًا مختلفة من الدراسة، مثل تأثير XAI على مستويات الثقة، ودور الشبكات العصبية التلافيفية (CNNs) في تعزيز قابلية التفسير، والتمييز بين مقاييس الثقة الضمنية والصريحة. تتكون العملية التجريبية من ثلاث مراحل: الاختبار المسبق، التفاعل، والاختبار اللاحق. خلال الاختبار المسبق، يتم تهيئة الذكاء الاصطناعي، ويتم حساب قيم الثقة المحاكية بناءً على تصورات المستخدمين. في مرحلة التفاعل، يقوم مستخدمان محاكيان بتصنيف الصور من مجموعة بيانات CIFAR-10، مع توفير الشرط القابل للتفسير لخرائط حرارة Grad-CAM كتفسيرات بصرية. بالنسبة لمجموعة بيانات SQuAD، يتم استخدام أوزان الانتباه كتفسيرات لمساعدة المستخدمين في الإجابة على الأسئلة، مع تسجيل نتائج هذه التفاعلات للتحليل.
نقاش
يسلط قسم النقاش في الورقة الضوء على الدور الحاسم لثقة الآلة في اعتماد وفعالية أنظمة الذكاء الاصطناعي (AI). الثقة ضرورية لتمكين المستخدمين من التفاعل مع تقنيات الذكاء الاصطناعي، ومع ذلك، يتردد العديد من المستخدمين في اعتماد هذه الأنظمة على الرغم من مزاياها، مثل الكفاءة والدقة المحسنتين. تكمن التحديات في الطبيعة “الصندوق الأسود” للعديد من أنظمة الذكاء الاصطناعي، مما يحجب عمليات اتخاذ القرار الخاصة بها ويمكن أن يؤدي إلى إحباط المستخدمين وفقدان الثقة عندما تحدث نتائج غير متوقعة. يظهر الذكاء الاصطناعي القابل للتفسير (XAI) كحل محوري، حيث يوفر الشفافية من خلال طرق مثل Grad-CAM وآليات الانتباه التي توضح الأسباب وراء قرارات الذكاء الاصطناعي، مما يعزز الثقة الصريحة والضمنية.
تستكشف الدراسة التأثيرات التآزرية لـ XAI وشبكات الحالة الصدى (ESNs) على معايرة الثقة في التفاعلات بين الإنسان والآلة. تعزز تقنيات XAI معايرة الثقة الصريحة من خلال جعل مخرجات الذكاء الاصطناعي قابلة للتفسير، بينما تقوم ESNs بنمذجة ديناميكيات الثقة الضمنية، متكيفة مع الأداء في الوقت الحقيقي. تستخدم الدراسة تجربة بين الموضوعات 2×2 باستخدام مجموعات بيانات مثل CIFAR-10 للمهام البصرية ومجموعة بيانات Stanford Question Answering (SQuAD) للمهام النصية. يهدف هذا الإطار إلى تفكيك تأثيرات قابلية تفسير الذكاء الاصطناعي ونتائج التفاعل على معايرة الثقة، مما يساهم في فهم شامل لديناميكيات الثقة في أنظمة الذكاء الاصطناعي. تؤكد النتائج على أهمية دمج كل من مقاييس الثقة الصريحة والضمنية لضمان قبول المستخدم ونشر فعال لتقنيات الذكاء الاصطناعي في سياقات مختلفة.
DOI: https://doi.org/10.1038/s41598-025-30899-1
PMID: https://pubmed.ncbi.nlm.nih.gov/41495117
Publication Date: 2026-01-07
Author(s): Sijia Hao et al.
Primary Topic: Explainable Artificial Intelligence (XAI)
Overview
This section of the research paper emphasizes the importance of trust in human-machine interactions, particularly in the context of AI systems, which are often perceived as black boxes. The study quantitatively investigates the impact of Explainable Artificial Intelligence (XAI) and Echo State Networks (ESNs) on trust calibration using two benchmark datasets: CIFAR-10 for visual tasks and SQuAD for text-based tasks. Employing a 2×2 between-subjects experimental design, the researchers assess how AI explainability (explainable vs. non-explainable) and interaction outcomes (successful vs. failed) influence both explicit and implicit trust measures. The integration of convolutional neural networks (CNNs) with XAI techniques, such as Grad-CAM for visual tasks and attention mechanisms for text, enhances model transparency and fosters trust, particularly in scenarios involving failed interactions.
The findings indicate that explainable AI significantly moderates trust levels, especially when users receive rationales for AI decisions. While implicit and explicit trust measures correlate strongly, implicit metrics reveal nuanced trust dynamics that self-reports may not capture. Notably, demographic factors, including gender, do not significantly affect trust, suggesting the broad applicability of the methods employed. The study demonstrates superior performance compared to five state-of-the-art methods in terms of accuracy, trust calibration, and user satisfaction, while maintaining competitive computational efficiency. These results highlight the critical role of explainability and dynamic trust calibration in fostering trust in AI systems, which is essential for their adoption in high-stakes domains such as healthcare, autonomous driving, and cybersecurity.
Methods
The “Methods” section of the research paper details the experimental design, materials, and methodologies employed to assess the effects of explainable AI (XAI), Echo State Networks (ESNs), and trust calibration metrics on human-machine interactions. The study utilizes two datasets: CIFAR-10 for visual tasks and the Stanford Question Answering Dataset (SQuAD) for text-based tasks. A 2×2 between-subjects experimental design is implemented, with independent variables including AI explainability (XAI vs. non-explainable AI) and interaction outcomes (successful vs. failed interactions). The experimental conditions are clearly defined, comprising four scenarios: (1) Explainable AI with successful interaction, (2) Explainable AI with failed interaction, (3) Non-explainable AI with successful interaction, and (4) Non-explainable AI with failed interaction.
The findings from the experiments are structured into subsections that explore various dimensions of the study, such as the influence of XAI on trust levels, the role of Convolutional Neural Networks (CNNs) in enhancing explainability, and the distinctions between implicit and explicit trust measures. The experimental process consists of three phases: pre-test, interaction, and post-test. During the pre-test, the AI is initialized, and simulated trust values are calculated based on user perceptions. In the interaction phase, two simulated users classify images from the CIFAR-10 dataset, with the explainable condition providing Grad-CAM heatmaps as visual explanations. For the SQuAD dataset, attention weights are utilized as explanations to assist users in answering questions, with the outcomes of these interactions being logged for analysis.
Discussion
The discussion section of the paper highlights the critical role of machine trust in the adoption and efficacy of artificial intelligence (AI) systems. Trust is essential for users to engage with AI technologies, yet many users hesitate to adopt these systems despite their advantages, such as enhanced efficiency and accuracy. The challenge lies in the “black box” nature of many AI systems, which obscures their decision-making processes and can lead to user frustration and distrust when unexpected outcomes occur. Explainable AI (XAI) emerges as a pivotal solution, providing transparency through methods like Grad-CAM and attention mechanisms that elucidate the rationale behind AI decisions, thereby fostering both explicit and implicit trust.
The research explores the synergistic effects of XAI and Echo State Networks (ESNs) on trust calibration in human-machine interactions. XAI techniques enhance explicit trust calibration by making AI outputs interpretable, while ESNs model implicit trust dynamics, adapting to real-time performance. The study employs a 2×2 between-subjects experiment using datasets like CIFAR-10 for visual tasks and the Stanford Question Answering Dataset (SQuAD) for text-based tasks. This framework aims to disentangle the influences of AI explainability and interaction outcomes on trust calibration, ultimately contributing to a comprehensive understanding of trust dynamics in AI systems. The findings underscore the importance of integrating both explicit and implicit trust measures to ensure user acceptance and effective deployment of AI technologies in various contexts.