DOI: https://doi.org/10.1007/s43684-023-00060-8
تاريخ النشر: 2024-02-09
المؤلف: Meng Li وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي القابل للتفسير (XAI)
نظرة عامة
تقدم هذه القسم نظرة شاملة على طرق نسبة الميزات المعتمدة على قيمة شابلي، التي اكتسبت شهرة في معالجة تحديات التفسير في أنظمة التعلم الآلي (ML). يبدأ المؤلفون بمناقشة النظرية الأساسية لقيم شابلي، المستمدة من نظرية الألعاب التعاونية، ويبرزون خصائصها المرغوبة التي تساهم في تعزيز الثقة في نماذج التعلم الآلي. لتسهيل الفهم وتحديد الخوارزميات ذات الصلة، يتم اقتراح إطار تصنيفي، يصنف الطرق الحالية بناءً على ثلاثة أبعاد: نوع قيمة شابلي، طريقة استبدال الميزات، وطريقة التقريب.
تؤكد التطبيقات العملية لقيم شابلي عبر مراحل مختلفة من تطوير نموذج التعلم الآلي، بما في ذلك مراحل ما قبل النمذجة، النمذجة، وما بعد النمذجة. على الرغم من المزايا، يتناول المؤلفون أيضًا عدة قيود مرتبطة بتقريبات قيمة شابلي، مثل التعقيد الحسابي، والغموض في تفاعلات الميزات، والتحديات في التفسير. يدعون إلى مزيد من البحث لمعالجة هذه القيود واستكشاف سبل تحسين تفسيرات النماذج، خاصة في مواءمتها مع الحدس البشري ومعالجة قضايا مثل عيوب النماذج والتعلم السريع.
مقدمة
تسلط مقدمة الورقة الضوء على التقدمات الكبيرة والتطبيقات في التعلم الآلي (ML) عبر مجالات مختلفة، بما في ذلك الألعاب، القيادة الذاتية، توقع بنية البروتين، ومعالجة اللغة الطبيعية. ومع ذلك، تتناول أيضًا التحديات التي تطرحها التعقيدات المتزايدة لنماذج التعلم الآلي، والتي يمكن أن تؤدي إلى تحيزات غير مقصودة تتعلق بالسمات الحساسة وتثير مخاوف بشأن الامتثال للأطر القانونية مثل اللائحة العامة لحماية البيانات (GDPR). للتخفيف من هذه القضايا، ظهرت الذكاء الاصطناعي القابل للتفسير (XAI) كنهج حاسم، خاصة من خلال طرق النسبة المحلية التي توضح توقعات النموذج.
تؤكد الورقة على قيمة شابلي كإطار قوي لنسبة الميزات في التعلم الآلي، الذي أسسه لوندبرغ ولي في عام 2017. تستند قيمة شابلي إلى نظرية الألعاب التعاونية وتلبي أربعة مسلمات رئيسية: الكفاءة، التماثل، اللاعب الوهمي، والإضافة. على الرغم من مزاياها، أدت زيادة انتشار طرق قيمة شابلي إلى احتمال حدوث ارتباك وسوء استخدام. يهدف المؤلفون إلى توضيح هذه المفاهيم من خلال تقديم تصنيف مفصل لخوارزميات قيمة شابلي، ومراجعة تطبيقاتها وقيودها، واقتراح إطار تصنيفي ثلاثي الأبعاد. يصنف هذا الإطار الطرق الحالية بناءً على نوع قيمة شابلي، وطريقة استبدال الميزات، وطريقة التقريب، مما يسهل الفهم الأفضل وتحديد الخوارزميات ذات الصلة في هذا المجال. توضح الورقة مساهماتها، بما في ذلك استكشاف شامل لقيم شابلي في التعلم الآلي، وتطبيقاتها عبر خط أنابيب التعلم الآلي، ورؤى حول اتجاهات البحث المستقبلية.
طرق
في هذا القسم، يناقش المؤلفون المنهجية لتقدير قيم شابلي في التعلم الآلي (ML)، مع التركيز على دورها في نسبة الميزات. توضح مثال تحفيزي العملية، حيث يتم استخدام مجموعة بيانات خلفية تمثلها نقطة بيانات واحدة \( x^* \) لاستبدال ميزة مفقودة في الحالة \( x \). تتوافق دالة القيمة لمجموعة فارغة مع الناتج المتوقع لمجموعة البيانات الخلفية، المعبر عنها كـ \( v(\phi) = f(x^*) \). يتم إنشاء العلاقة بين قيم شابلي والقيمة المتوقعة \( f(x) \)، مما يظهر أن مجموع \( v(\phi) \) ونسب الميزات يساوي \( f(x) \). تكون هذه الاتساق واضحة بشكل خاص في النماذج التنبؤية الخطية، حيث توفر قيم شابلي رؤى حول سلوك النموذج على المستويين المحلي والعالمي.
ومع ذلك، يبرز المؤلفون تحديًا حسابيًا كبيرًا مرتبطًا بحساب قيم شابلي، والذي يتطلب التكرار عبر جميع مجموعات الميزات، مما يؤدي إلى تعقيد قدره \( O(2^n) \). بالنسبة لمجموعات البيانات التي تحتوي على 32 ميزة، ينتج عن ذلك حوالي 17.1 مليار تعداد، مما يجعل الحساب المباشر غير عملي. لمعالجة هذه المشكلة، ركزت الأبحاث الحديثة على تطوير طرق تقريبية لتسريع حسابات قيمة شابلي. ينتهي القسم بالإشارة إلى أن الأجزاء اللاحقة من الورقة ستقدم وتقارن هذه التقنيات التقريبية، كما هو موضح في الشكل 3.
نقاش
في هذا القسم، تناقش الورقة قيمة شابلي وقيمة أوين في سياق الألعاب التعاونية، مع التركيز على تطبيقاتها في التعلم الآلي (ML) لنسبة الميزات. تُعرف قيمة شابلي، المستمدة من الألعاب التعاونية ذات المنفعة القابلة للتحويل (TU)، من خلال دالة مميزة تقيس القيمة التي تولدها ائتلافات اللاعبين. إنها تلتزم بأربعة مسلمات: الكفاءة، التماثل، اللاعب الوهمي، والإضافة. تمتد قيمة أوين إلى قيمة شابلي من خلال دمج هياكل الائتلاف، مما يسمح بأخذ ائتلافات الأولوية في الاعتبار، وهو أمر ذو صلة خاصة في السيناريوهات التي يفضل فيها المشاركون العمل في مجموعات.
تستكشف الورقة أيضًا تطبيق قيمة شابلي في التعلم الآلي، مع تسليط الضوء على فائدتها في نسبة الميزات لكل من النماذج الخطية وغير الخطية. تصف طرق تقريبية مختلفة، بما في ذلك أخذ عينات مونت كارلو وتقنيات محددة للنموذج، والتي تعزز الكفاءة الحسابية مع الحفاظ على الدقة. بالإضافة إلى ذلك، يقدم القسم قيم شابلي المقيدة، مثل قيمة أوين وقيمة شابلي السببية، التي تأخذ في الاعتبار هياكل الائتلاف والعلاقات السببية بين الميزات، على التوالي. تُعتبر هذه التطورات في منهجيات قيمة شابلي حاسمة لتحسين اختيار الميزات، وتخصيص الائتمان في التعلم المعزز متعدد الوكلاء التعاوني، وتقييم البيانات، وشرح النماذج، مما يعزز قابلية التفسير وفعالية نماذج التعلم الآلي.
قيود
يسلط القسم الخاص بالقيود الضوء على عدة تحديات مرتبطة بتطبيق قيمة شابلي في التعلم الآلي (ML). تشمل القضايا الرئيسية التعقيد الحسابي، حيث يبقى حساب قيم شابلي مكلفًا من حيث الموارد، خاصة بالنسبة للنماذج ومجموعات البيانات الكبيرة. بالإضافة إلى ذلك، فإن افتراض استقلال الميزات في مساهماتها لا يأخذ في الاعتبار التفاعلات المحتملة بين الميزات، مما يعقد النسبة الدقيقة. يمكن أن تؤدي حساسية قيم شابلي للتغييرات في النموذج أو بيانات التدريب إلى عدم الاستقرار، بينما قد تشكل قابليتها للتفسير صعوبات لغير الخبراء، خاصة في النماذج المعقدة.
علاوة على ذلك، فإن الاعتماد على تقنيات أخذ العينات لتقدير مساهمات الميزات يثير مخاوف بشأن تمثيل العينة، حيث يمكن أن تؤدي العينات المتحيزة إلى نتائج مضللة. أخيرًا، قد تنتهك بعض طرق التقريب المسلمات الخاصة بقيمة شابلي بسبب الافتراضات الأساسية، مما يعقد تطبيقها. تشير هذه القيود إلى الحاجة إلى مزيد من البحث في المستقبل لمعالجة هذه التحديات وتعزيز متانة وقابلية تطبيق قيم شابلي في سياقات التعلم الآلي.
DOI: https://doi.org/10.1007/s43684-023-00060-8
Publication Date: 2024-02-09
Author(s): Meng Li et al.
Primary Topic: Explainable Artificial Intelligence (XAI)
Overview
This section provides a comprehensive overview of Shapley value-based feature attribution methods, which have gained prominence in addressing the interpretability challenges of machine learning (ML) systems. The authors begin by discussing the foundational theory of Shapley values, derived from cooperative game theory, and highlight their desirable properties that contribute to enhancing trust in ML models. To facilitate understanding and identification of relevant algorithms, a classification framework is proposed, categorizing existing methods based on three dimensions: Shapley value type, feature replacement method, and approximation method.
The practical applications of Shapley values are emphasized across various stages of ML model development, including pre-modeling, modeling, and post-modeling phases. Despite the advantages, the authors also address several limitations associated with Shapley value approximations, such as computational complexity, ambiguity in feature interactions, and challenges in interpretability. They advocate for further research to tackle these limitations and explore avenues for improving model explanations, particularly in aligning them with human intuition and addressing issues like model defects and shortcut learning.
Introduction
The introduction of the paper highlights the significant advancements and applications of machine learning (ML) across various domains, including gaming, autonomous driving, protein structure prediction, and natural language processing. However, it also addresses the challenges posed by the increasing complexity of ML models, which can lead to unintended biases related to sensitive attributes and raise concerns regarding compliance with legal frameworks like the General Data Protection Regulation (GDPR). To mitigate these issues, explainable artificial intelligence (XAI) has emerged as a critical approach, particularly through local attribution methods that elucidate model predictions.
The paper emphasizes the Shapley value as a robust framework for feature attribution in ML, established by Lundberg and Lee in 2017. The Shapley value is grounded in cooperative game theory and satisfies four key axioms: efficiency, symmetry, dummy player, and additivity. Despite its advantages, the proliferation of Shapley value-based methods has led to potential confusion and misuse. The authors aim to clarify these concepts by providing a detailed classification of Shapley value algorithms, reviewing their applications and limitations, and proposing a three-dimensional classification framework. This framework categorizes existing methods based on Shapley value type, feature replacement method, and approximation method, thereby facilitating better understanding and identification of relevant algorithms in the field. The paper outlines its contributions, including a comprehensive exploration of Shapley values in ML, their applications throughout the ML pipeline, and insights into future research directions.
Methods
In this section, the authors discuss the methodology for estimating Shapley values in machine learning (ML), emphasizing their role in feature attribution. A motivating example illustrates the process, where a background dataset represented by a single data point \( x^* \) is used to replace a missing feature in the instance \( x \). The value function for the empty set corresponds to the expected output of the background dataset, expressed as \( v(\phi) = f(x^*) \). The relationship between the Shapley values and the predicted value \( f(x) \) is established, showing that the sum of \( v(\phi) \) and the feature attributions equals \( f(x) \). This consistency is particularly evident in linear predictive models, where Shapley values provide insights into model behavior at both local and global levels.
However, the authors highlight a significant computational challenge associated with calculating Shapley values, which requires iterating through all subsets of features, leading to a complexity of \( O(2^n) \). For datasets with 32 features, this results in approximately 17.1 billion enumerations, rendering direct computation impractical. To address this issue, recent research has focused on developing approximation methods to expedite Shapley value calculations. The section concludes by indicating that subsequent parts of the paper will introduce and compare these approximation techniques, as illustrated in Figure 3.
Discussion
In this section, the paper discusses the Shapley value and Owen value within the context of cooperative games, emphasizing their applications in machine learning (ML) for feature attribution. The Shapley value, derived from Transferable Utility (TU) cooperative games, is defined through a characteristic function that quantifies the value generated by coalitions of players. It adheres to four axioms: efficiency, symmetry, dummy player, and additivity. The Owen value extends the Shapley value by incorporating coalition structures, allowing for the consideration of priority coalitions, which is particularly relevant in scenarios where participants prefer to act in groups.
The paper further explores the application of the Shapley value in ML, highlighting its utility in feature attribution for both linear and non-linear models. It describes various approximation methods, including Monte Carlo sampling and model-specific techniques, which enhance computational efficiency while maintaining accuracy. Additionally, the section introduces restricted Shapley values, such as the Owen value and causal Shapley value, which account for coalition structures and causal relationships among features, respectively. These advancements in Shapley value methodologies are positioned as critical for improving feature selection, credit assignment in cooperative multi-agent reinforcement learning, data valuation, and model explainability, thereby enhancing the interpretability and effectiveness of ML models.
Limitations
The section on limitations highlights several challenges associated with the application of the Shapley value in machine learning (ML). Key issues include computational complexity, as calculating Shapley values remains resource-intensive, particularly for large-scale models and datasets. Additionally, the assumption of feature independence in their contributions does not account for potential interactions among features, complicating accurate attribution. The sensitivity of Shapley values to changes in the model or training data can lead to instability, while their interpretability may pose difficulties for non-experts, particularly in complex models.
Furthermore, the reliance on sampling techniques for estimating feature contributions raises concerns about sample representativeness, where biased samples can yield misleading results. Lastly, some approximation methods may violate the axioms of the Shapley value due to underlying assumptions, further complicating their application. These limitations suggest a need for future research to address these challenges and enhance the robustness and applicability of Shapley values in ML contexts.