هل استراتيجيات تقييم الذكاء الاصطناعي القابل للتفسير (XAI) متوافقة؟ مقارنة التدابير التقييمية الذاتية والموضوعية والرياضية باستخدام خرائط البروز Are explainable AI (XAI) evaluation strategies aligned? Comparing subjective, objective, and mathematical evaluation measures using saliency maps

شارك:
المجلة: Computers in Human Behavior، المجلد: 187
DOI: https://doi.org/10.1016/j.chb.2026.109163
تاريخ النشر: 2026-09-02
المؤلف: Felix Kares وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي القابل للتفسير (XAI)

نظرة عامة

تستكشف هذه الدراسة التوافق والاختلاف بين ثلاث عائلات من مقاييس التقييم للذكاء الاصطناعي القابل للتفسير (XAI): المقاييس الذاتية (مثل الثقة والرضا)، المقاييس الموضوعية (مثل أداء المهام)، والمقاييس الرياضية (مثل الإخلاص). أجريت الدراسة على عينة من 166 مشاركًا، واستخدمت ثلاث تقنيات لخريطة البروز—LIME وGrad-CAM وGuided Backpropagation (GBP)—لتقييم هذه الطرق التقييمية. كشفت النتائج أنه بينما لم يبلغ المشاركون عن اختلافات كبيرة في الثقة أو الرضا عبر التقنيات، فإن Grad-CAM عزز بشكل ملحوظ أداء المستخدمين في توقع نتائج النموذج، بينما تفوق GBP في التقييمات الرياضية. ومع ذلك، كانت العلاقة بين المقاييس الرياضية وفهم المستخدم معقدة وغالبًا ما تكون غير بديهية.

تؤكد النتائج على ضرورة اتباع نهج متعدد الأوجه لتقييم XAI، حيث لا تتماشى التقييمات الذاتية والموضوعية والرياضية بشكل متسق. تقترح الدراسة أن المقاييس الرياضية لا ينبغي أن تحل محل دراسات المستخدمين، بل تكملها، حيث تلتقط كل عائلة من المقاييس جوانب مميزة من جودة التفسير. يدعو المؤلفون إلى إجراء أبحاث مستقبلية لاستكشاف التركيبات النظامية لهذه العائلات من المقاييس لتلبية الاحتياجات المعتمدة على السياق لأساليب XAI.

مقدمة

تتناول مقدمة الورقة الدور الحاسم للذكاء الاصطناعي القابل للتفسير (XAI) في تعزيز رضا المستخدم وفهمه، خاصة من خلال طرق مثل خرائط البروز. تؤكد على ضرورة التقييم المتسق لهذه الأساليب، والتي يمكن تحقيقها من خلال دراسات المستخدمين—سواء كانت ذاتية (عبر الاستبيانات) أو موضوعية (قياس أداء المستخدم)—بالإضافة إلى المقاييس الرياضية التي تقيم خصائص مثل الإخلاص. بينما يدعو بعض الباحثين إلى استخدام المقاييس الرياضية كبديل محتمل لدراسات المستخدمين، تبرز الورقة قيود كلا الطريقتين، بما في ذلك التحيزات في دراسات المستخدمين وتباين المقاييس الرياضية التي يمكن أن تؤدي إلى تقييمات متناقضة.

يقترح المؤلفون التحقيق في العلاقة بين دراسات المستخدمين والمقاييس الرياضية من خلال استخدام ثلاث تقنيات متميزة لخريطة البروز—تخطيط تنشيط الفئة المدعوم بالتدرج (Grad-CAM)، وGuided Backpropagation (GBP)، وLocal Interpretable Model-Agnostic Explanations (LIME)—في تجربة مسجلة مسبقًا عبر الإنترنت. تهدف هذه الدراسة إلى مقارنة ردود فعل المستخدمين، وأداء المهام، والتقييمات الرياضية ضمن إطار تجريبي موحد. تشير النتائج الرئيسية إلى أن دراسات المستخدمين والمقاييس الرياضية لا تتماشى دائمًا؛ على سبيل المثال، بينما تم تقييم GBP بشكل إيجابي من قبل المقاييس، لم يعزز أداء المستخدمين بنفس فعالية Grad-CAM. وهذا يشير إلى تفاعل معقد بين طرق التقييم ويتحدى الفكرة القائلة بأن المقاييس الرياضية يمكن أن تحل ببساطة محل دراسات المستخدمين في تقييم أساليب XAI.

الطرق

في قسم الطرق، تقيم الدراسة أداء ثلاث طرق لرسم خرائط البروز—Grad-CAM وLIME وGBP—عبر مقاييس تقييم مختلفة. تشير النتائج إلى أن جميع الطرق الثلاث حققت تقييمات متقاربة من حيث الثقة والرضا، مما يختلف عن الأبحاث السابقة التي أجراها خاديفبور وآخرون [40]، التي فضلت Grad-CAM بسبب فهمها المتصور. قد تنشأ هذه الفجوة من اختلاف طرق القياس؛ بينما اعتمد خاديفبور وآخرون على تصنيفات المشاركين، استخدمت هذه الدراسة مقياس رضا عن التفسير يركز على الفائدة. بالإضافة إلى ذلك، تتماشى النتائج مع ملاحظات موريسون وآخرون [53]، الذين أشاروا إلى تفوق Grad-CAM في مساعدة المستخدم مقارنة بـ LIME في مهام مماثلة.

تسلط الدراسة الضوء أيضًا على الأداء الدقيق لـ Grad-CAM، الذي يحقق توازنًا في الدقة الدلالية—مقدمًا معلومات ذات صلة دون إرباك المستخدمين—بينما قد تبسط LIME وGBP أو تعقد التصورات. على الرغم من أن GBP أظهر أفضل أداء عبر بعض المقاييس الرياضية، فإن هذا يتناقض مع النتائج من زانغ وآخرون [85] ولي وآخرون [47]، حيث كان Grad-CAM غالبًا متفوقًا. يقترح المؤلفون أن الاختلافات في نطاق مجموعة البيانات والمقاييس المختارة قد تفسر هذه الفروقات. بشكل عام، تؤكد النتائج على تعقيد تحديد طريقة بروز متفوقة بشكل قاطع، حيث لا تتفوق أي طريقة واحدة باستمرار على الأخرى عبر جميع معايير التقييم.

النتائج

في هذه الدراسة، استخدمنا ANOVA، واختبارات t، ونماذج مختلطة خطية (LMM) لتحليل بيانات المشاركين، مع التركيز على الفرق في الدقة المطلقة ومعدلات خطأ التنبؤ عبر 12 تجربة لكل مشارك. تم إجراء حسابات أولية للقيم المتوسطة، وتم تقييم افتراضات تجانس التباين والطبيعية باستخدام اختبارات ليفين، واختبارات شابيرو-ويلك، ومخططات Q-Q. بينما تم استيفاء معظم الافتراضات، لوحظت انحرافات عن الطبيعية بشكل خاص لتحليلات الفرق في الدقة المطلقة ومعدلات خطأ التنبؤ، مما يستدعي تفسيرًا حذرًا لهذه النتائج.

تسلط النتائج الضوء على أهمية الافتراضات الإحصائية في تحليل البيانات، حيث قد تؤثر الانحرافات الملحوظة على موثوقية الاستنتاجات المستخلصة من مقاييس الدقة المطلقة ومعدلات خطأ التنبؤ. قد يكون من الضروري إجراء مزيد من التحقيق لاستكشاف تداعيات هذه الانحرافات على النتائج العامة وقابليتها للتطبيق في سياقات أوسع.

المناقشة

في قسم المناقشة من الورقة، يستكشف المؤلفون أهمية تصنيف الصور باستخدام الذكاء الاصطناعي ودور خرائط البروز في تعزيز الذكاء الاصطناعي القابل للتفسير (XAI). يعد تصنيف الصور أمرًا حاسمًا عبر مختلف القطاعات، بما في ذلك الرعاية الصحية والأمن والمركبات الذاتية القيادة، حيث تعد الشبكات العصبية التلافيفية (CNNs) هي النماذج السائدة بسبب دقتها العالية. يؤكد المؤلفون على أهمية الثقة في أنظمة الذكاء الاصطناعي، خاصة في التطبيقات الحساسة، وكيف يمكن أن يسهل XAI فهم المستخدم واتخاذ القرار. تُبرز خرائط البروز، التي تشير بصريًا إلى أكثر المناطق تأثيرًا في الصورة للتصنيف، كأدوات أساسية في XAI، مع مناقشة طرق مثل Grad-CAM وGuided Backpropagation (GBP) وLIME لخصائص التصور الفريدة الخاصة بها.

يتناول المؤلفون أيضًا تقييم أساليب XAI، مميزين بين التقييمات الموجهة نحو الإنسان (المقاييس الذاتية والموضوعية) والمقاييس الرياضية. يشيرون إلى النتائج المختلطة في الأدبيات الحالية بشأن تأثير طرق خرائط البروز المختلفة على ثقة المستخدم وفهمه، مشيرين إلى الفجوات في الأدلة التجريبية التي تهدف دراستهم إلى ملئها. تثير الورقة عدة أسئلة بحثية تتعلق بالرضا والثقة المتصورة المرتبطة بخرائط البروز المختلفة، فضلاً عن فعاليتها في تعزيز فهم المستخدم من خلال المقاييس الموضوعية. يقترح المؤلفون مقارنة منهجية بين Grad-CAM وGBP وLIME، باستخدام حجم عينة قوي وطرق تقييم متنوعة لتقديم رؤى جديدة حول فعالية تقنيات رسم خرائط البروز هذه.

القيود

ت stem القيود في هذه الدراسة بشكل أساسي من تجانس مجموعة المشاركين، التي تتكون فقط من أفراد يتحدثون الإنجليزية ولديهم خلفيات في تكنولوجيا المعلومات والاتصالات (ICT). قد لا يمثل هذا التركيز الضيق بشكل كافٍ وجهات النظر الثقافية والتجريبية المتنوعة للأشخاص العاديين الذين يواجهون خرائط البروز، مما قد يؤدي إلى مواقف مختلفة تجاه أساليب القابلية للتفسير. بينما من المحتمل أن يقوم المشاركون المختارون بتقييم خرائط البروز بشكل نقدي نظرًا لصلتها المهنية، يجب أن تتضمن الأبحاث المستقبلية مجموعة أوسع من مجموعات أصحاب المصلحة لتعزيز قابلية تعميم النتائج.

بالإضافة إلى ذلك، فإن اعتماد الدراسة على مصنف واحد يحد من قابلية تطبيق النتائج، حيث تشير الأبحاث السابقة إلى أن أداء المستخدم يمكن أن يختلف بشكل كبير عبر مصنفات مختلفة. يبرز التصميم الحالي القضية الحرجة المتمثلة في أن طرق التقييم قد لا تتماشى، مما يعزز النتائج السابقة. تواجه الدراسة أيضًا تحديات تتعلق بعدد الاختبارات الإحصائية التي تم إجراؤها، خاصة في معالجة الأسئلة البحثية RQ3 وRQ4، مما يزيد من خطر الأخطاء من النوع الأول. علاوة على ذلك، قد يؤدي النطاق المحدود لفئات الصور التي تم تحليلها إلى إخفاء العلاقات الأضعف في أداء المشاركين. قد يؤثر السياق المنخفض المخاطر لتصنيف ImageNet أيضًا على أحكام الثقة، حيث قد لا يتفاعل المشاركون مع التفسيرات بعمق كما يفعلون في السيناريوهات عالية المخاطر، مثل الرعاية الصحية أو الأمن السيبراني. أخيرًا، اختلفت طريقة تقديم خرائط البروز عبر الأساليب، مما قد يؤثر على فهم المستخدم وأدائه، مما يشير إلى أن الدراسات المستقبلية يجب أن توحد العروض المرئية لتخفيف العبء المعرفي وتعزيز اتساق التقييم.

Journal: Computers in Human Behavior, Volume: 187
DOI: https://doi.org/10.1016/j.chb.2026.109163
Publication Date: 2026-09-02
Author(s): Felix Kares et al.
Primary Topic: Explainable Artificial Intelligence (XAI)

Overview

This study investigates the alignment and divergence among three families of evaluation metrics for explainable AI (XAI): subjective measures (e.g., trust and satisfaction), objective measures (e.g., task performance), and mathematical metrics (e.g., faithfulness). Conducted with a sample of 166 participants, the research utilized three saliency map techniques—LIME, Grad-CAM, and Guided Backpropagation (GBP)—to assess these evaluation methods. The findings revealed that while participants did not report significant differences in trust or satisfaction across the techniques, Grad-CAM notably enhanced user performance in predicting model outcomes, whereas GBP excelled in mathematical evaluations. However, the relationship between mathematical metrics and user understanding was complex and often counterintuitive.

The results underscore the necessity of a multifaceted approach to XAI evaluation, as subjective, objective, and mathematical assessments do not consistently align. The study suggests that mathematical metrics should not replace user studies but rather complement them, as each metric family captures distinct aspects of explanation quality. The authors advocate for future research to explore systematic combinations of these metric families to address the context-dependent needs of XAI methodologies.

Introduction

The introduction of the paper addresses the critical role of explainable AI (XAI) in enhancing user satisfaction and understanding, particularly through methods like saliency maps. It emphasizes the necessity for consistent evaluation of these approaches, which can be achieved through user studies—both subjective (via questionnaires) and objective (measuring user performance)—as well as through mathematical metrics assessing properties such as fidelity. While some researchers advocate for the use of mathematical metrics as a potential substitute for user studies, the paper highlights the limitations of both methods, including biases in user studies and the divergence of mathematical metrics that can lead to contradictory evaluations.

The authors propose to investigate the relationship between user studies and mathematical metrics by employing three distinct saliency map techniques—Gradient-Weighted Class Activation Mapping (Grad-CAM), Guided Backpropagation (GBP), and Local Interpretable Model-Agnostic Explanations (LIME)—in a preregistered online experiment. This study aims to compare user reactions, task performance, and mathematical evaluations within a unified experimental framework. Key findings indicate that user studies and mathematical metrics do not always align; for instance, GBP, while rated favorably by metrics, did not enhance user performance as effectively as Grad-CAM. This suggests a complex interplay between evaluation methods and challenges the notion that mathematical metrics can straightforwardly replace user studies in assessing XAI approaches.

Methods

In the Methods section, the study evaluates the performance of three saliency mapping approaches—Grad-CAM, LIME, and GBP—across various evaluation metrics. The findings indicate that all three methods yielded comparable trust and satisfaction ratings, diverging from previous research by Khadivpour et al. [40], which favored Grad-CAM for its perceived understandability. This discrepancy may stem from differing measurement approaches; while Khadivpour et al. relied on participant rankings, this study utilized an explanation satisfaction scale focusing on usefulness. Additionally, the results align with Morrison et al. [53], who noted Grad-CAM’s superior user assistance compared to LIME in similar tasks.

The study also highlights the nuanced performance of Grad-CAM, which strikes a balance in semantic granularity—providing relevant information without overwhelming users—while LIME and GBP may either oversimplify or overcomplicate the visualizations. Although GBP showed the best performance across certain mathematical metrics, this contrasts with findings from Zhang et al. [85] and Li et al. [47], where Grad-CAM was often superior. The authors suggest that variations in dataset scope and selected metrics may account for these differences. Overall, the results underscore the complexity of determining a definitive superior saliency method, as no single approach consistently outperforms the others across all evaluation criteria.

Results

In this study, we employed ANOVA, t-tests, and linear mixed models (LMM) to analyze participant data, focusing on absolute accuracy difference and prediction error rates across 12 trials per participant. Initial calculations of mean values were conducted, and the assumptions of homogeneity of variance and normality were evaluated using Levene’s tests, Shapiro-Wilk tests, and Q-Q plots. While most assumptions were satisfied, deviations from normality were noted specifically for the absolute accuracy difference and prediction error rate analyses, prompting a cautious interpretation of these results.

The findings highlight the importance of statistical assumptions in data analysis, as the observed deviations may influence the reliability of the conclusions drawn from the absolute accuracy and prediction error metrics. Further investigation may be warranted to explore the implications of these deviations on the overall results and their applicability in broader contexts.

Discussion

In the discussion section of the paper, the authors explore the significance of AI image classification and the role of saliency maps in enhancing explainable AI (XAI). Image classification is critical across various sectors, including healthcare, security, and autonomous vehicles, with convolutional neural networks (CNNs) being the predominant models due to their high accuracy. The authors emphasize the importance of trust in AI systems, particularly in sensitive applications, and how XAI can facilitate user understanding and decision-making. Saliency maps, which visually indicate the most influential regions in an image for classification, are highlighted as foundational tools in XAI, with methods like Grad-CAM, Guided Backpropagation (GBP), and LIME being discussed for their unique visualization properties.

The authors also address the evaluation of XAI approaches, distinguishing between human-centered evaluations (subjective and objective measures) and mathematical metrics. They note the mixed findings in existing literature regarding the impact of different saliency map methods on user trust and understanding, pointing out gaps in empirical evidence that their study aims to fill. The paper raises several research questions regarding the perceived satisfaction and trust associated with different saliency maps, as well as their effectiveness in enhancing user understanding through objective measures. The authors propose a systematic comparison of Grad-CAM, GBP, and LIME, using a robust sample size and diverse evaluation methods to provide new insights into the effectiveness of these saliency mapping techniques.

Limitations

The limitations of this study primarily stem from the homogeneity of the participant pool, which consisted solely of English-speaking individuals with backgrounds in Information and Communication Technology (ICT). This narrow focus may not adequately represent the diverse cultural and experiential perspectives of laypeople who encounter saliency maps, potentially leading to differing attitudes towards explainability methods. While the chosen participants are likely to critically evaluate saliency maps due to their professional relevance, future research should include a broader range of stakeholder groups to enhance the generalizability of findings.

Additionally, the study’s reliance on a single classifier restricts the applicability of results, as previous research indicates that user performance can vary significantly across different classifiers. The current design highlights the critical issue that evaluation methods may not align, reinforcing earlier findings. The study also faces challenges related to the number of statistical tests conducted, particularly in addressing research questions RQ3 and RQ4, which increases the risk of Type I errors. Furthermore, the limited scope of image classes analyzed may obscure weaker relationships in participant performance. The low-risk context of the ImageNet-based classification may also influence trust judgments, as participants might not engage with the explanations as deeply as they would in high-stakes scenarios, such as healthcare or cybersecurity. Lastly, the presentation of saliency maps varied across methods, potentially affecting user comprehension and performance, suggesting that future studies should standardize visual presentations to mitigate cognitive load and enhance evaluation consistency.