DOI: https://doi.org/10.1007/s10260-026-00839-y
تاريخ النشر: 2026-03-30
المؤلف: Giulia Vannucci وآخرون
الموضوع الرئيسي: تصميم هندسي احتمالي وقوي
نظرة عامة
تقدم هذه الورقة طريقة RF_GS-VI، وهي نهج جديد لأهمية المتغيرات في الغابات العشوائية يدمج مبادئ التحليل الحساس العالمي. على عكس مقاييس أهمية المتغيرات التقليدية التي تركز فقط على الصلة التنبؤية، تهدف RF_GS-VI إلى تحديد الميزات التي تؤثر هيكليًا على الاستجابة ضمن عملية توليد البيانات (DGP). يظهر المؤلفون من خلال دراسات المحاكاة أن RF_GS-VI تعطي الأولوية بفعالية للمتغيرات المؤثرة حقًا، خاصة في السيناريوهات التي قد تؤدي فيها التأثيرات غير المباشرة أو الارتباطات الهامشية إلى تضليل الطرق التقليدية. تُظهر الطريقة حساسية محسّنة للاعتمادات الهيكلية وتحافظ على الاستقرار عبر أحجام عينات متغيرة، مما يدل على قوتها في تحديد التأثيرات السببية الحقيقية.
تسلط النتائج الضوء على قيود مقاييس أهمية المتغيرات التقليدية، خاصة في وجود انحياز المراسل، حيث يمكن أن تنشأ ارتباطات زائفة. تميز RF_GS-VI نفسها من خلال الحفاظ على احتمال غير صفري لتحديد المحركات التوليدية الحقيقية، حتى عند مواجهة ارتباطات هامشية قوية. تضع هذه القدرة RF_GS-VI كأداة تشخيصية قيمة للباحثين، تشير إلى متى قد تكون الترتيبات التنبؤية مضللة. يقترح المؤلفون أن إطار RF_GS-VI يمكن توسيعه ليشمل نماذج التعلم الخاضع الأخرى، مما يعزز القابلية للتفسير والشفافية في تطبيقات التعلم الآلي حيث يكون فهم العلاقات السببية أمرًا حاسمًا.
مقدمة
تناقش مقدمة الورقة تطور وتطبيق تقنيات التعلم الآلي (ML) عبر مجالات علمية مختلفة، مع تسليط الضوء على أصولها في الذكاء الاصطناعي وعلم الإدراك خلال منتصف القرن العشرين. تؤكد الورقة على التبني المتزايد لـ ML، وخاصة الطرق المعتمدة على الأشجار، في مجالات مثل المالية، وعلوم البيئة، والطب، بسبب قوتها التنبؤية وقدرتها على التعامل مع عدم الخطية. ومع ذلك، تظهر تحديات كبيرة عند الانتقال من نماذج الأشجار الفردية إلى طرق التجميع، حيث غالبًا ما تفقد الأخيرة قابلية التفسير، مما يجعلها “صناديق سوداء” تخفي العلاقات بين الميزات والتنبؤات.
يتناول المؤلفون مفاهيم القابلية للتفسير والشرح في ML، مع تعريف القابلية للتفسير على أنها مدى إمكانية فهم الآليات الداخلية لنموذج ما مباشرة، بينما تتعلق القابلية للشرح بجعل مخرجات النموذج مفهومة، غالبًا من خلال أدوات التحليل اللاحق مثل SHAP. يجادلون بأنه بينما يمكن أن توفر مقاييس أهمية المتغيرات التقليدية (VI) رؤى حول مساهمات الميزات، إلا أنها قد لا تعكس بشكل كافٍ العمليات الأساسية لتوليد البيانات. لسد هذه الفجوة، تقترح الورقة نهجًا جديدًا يدمج التحليل الحساس العالمي (GSA) مع الغابات العشوائية لإنشاء تصنيفات أهمية المتغيرات التوليدية. يهدف هذا الأسلوب إلى تعزيز فهم الاعتمادات والتفاعلات بين المتغيرات، خاصة في السياقات المعقدة حيث قد تفشل طرق VI القياسية. توضح الورقة هيكلها، مشيرة إلى استكشاف شامل لأشجار الانحدار، وGSA، والمنهجية المقترحة، مما يؤدي إلى دراسات محاكاة وتطبيقات عملية.
طرق
تحدد هذه القسم استخدام الطرق المعتمدة على الأشجار للانحدار، مع التأكيد على قابليتها للتطبيق عبر مجالات مختلفة مثل الطب، وعلم الوراثة، والمالية، والتسويق. تُميز هذه الطرق بأنها غير معلمية وخالية من التوزيع، مما يعالج بفعالية العلاقات غير الخطية بين المتغيرات التفسيرية ومتغير الاستجابة. المنهجية الرئيسية التي تم مناقشتها هي أشجار التصنيف والانحدار (CART)، التي أنشأها بريمان وآخرون (1984)، مع تركيز خاص على مشاكل الانحدار.
في هذا السياق، يتم تعريف المتغير العشوائي المتعدد الأبعاد على أنه $(Y, X)$، حيث يمثل $X$ متجهًا من $K$ ميزات (متغيرات الإدخال) الموجودة في $\Xi \in \mathbb{R}^K$، و$Y$ يدل على المخرجات العددية في الفضاء الحقيقي $\mathbb{R}$. الهدف من نموذج التعلم الخاضع للرقابة للانحدار هو اشتقاق دالة متنبئة $d(x)$ من عينة تعلم $L = \{(y_n, x_n), n = 1, \ldots, N\}$، التي يتم سحبها من التوزيع المتعدد الأبعاد لـ $(Y, X)$. تهدف هذه الدالة إلى توفير قيمة مقابلة في $\mathbb{R}$ لكل قياس $x$.
نقاش
في نقاش أشجار الانحدار (RT) والغابات العشوائية (RF)، تتناول الورقة المنهجيات لبناء هذه النماذج التنبؤية، مع التأكيد على أهمية هيكل الشجرة، واختيار المتغيرات، والتوازن بين التحيز والتباين. يتم تعريف شجرة الانحدار على أنها تقسيم تكراري لمساحة المتنبئ، حيث يمثل كل عقدة داخلية قرارًا بناءً على متغير متنبئ يهدف إلى تقليل متوسط مربع الخطأ (MSE). يتم تحديد حجم الشجرة الأمثل من خلال تقنيات مثل تقليم التكلفة-التعقيد والتحقق المتبادل، والتي تساعد في تحقيق التوازن بين تعقيد النموذج وأداء التعميم. تسلط الورقة الضوء على أنه بينما تعتبر RTs قابلة للتفسير ومفيدة للتحليل الاستكشافي، فإن RFs تعزز الدقة التنبؤية من خلال تجميع عدة أشجار مبنية على مجموعات عشوائية من البيانات والميزات، مما يستفيد من تنوع المتعلمين الضعفاء.
تناقش القسم أيضًا مقاييس أهمية المتغيرات (VI) في كل من سياقات RT وRF، موضحةً طرقًا مختلفة لترتيب المتنبئين بناءً على مساهمتهم في أداء النموذج. تدمج الطريقة المقترحة RF_GS-VI التحليل الحساس العالمي (GSA) لتوفير تقييم أكثر شمولاً لأهمية المتغيرات، مما يلتقط كل من التأثيرات المباشرة والتفاعلية. من خلال دراسة محاكاة، يقيم المؤلفون فعالية طرق VI المختلفة عبر عمليات توليد البيانات (DGPs) المختلفة، مما يظهر أن RF_GS-VI تصنف باستمرار المتغيرات ذات الصلة الحقيقية بدقة أكبر من مقاييس VI التقليدية، خاصة مع زيادة أحجام العينات. يبرز هذا إمكانات الأساليب المستندة إلى GSA في تعزيز قابلية التفسير والصلابة لتقييمات أهمية المتغيرات في النماذج التنبؤية المعقدة.
DOI: https://doi.org/10.1007/s10260-026-00839-y
Publication Date: 2026-03-30
Author(s): Giulia Vannucci et al.
Primary Topic: Probabilistic and Robust Engineering Design
Overview
This paper presents the RF_GS-VI method, a novel approach to variable importance in Random Forests that integrates Global Sensitivity Analysis principles. Unlike traditional variable importance measures that focus solely on predictive relevance, RF_GS-VI aims to identify features that structurally influence the response within the data-generating process (DGP). The authors demonstrate through simulation studies that RF_GS-VI effectively prioritizes truly influential variables, particularly in scenarios where indirect effects or marginal associations may mislead classical methods. The method shows improved sensitivity to structural dependencies and maintains stability across varying sample sizes, indicating its robustness in identifying genuine causal influences.
The findings highlight the limitations of conventional variable importance measures, especially in the presence of collider bias, where spurious correlations can arise. RF_GS-VI distinguishes itself by maintaining a non-zero probability of identifying true generative drivers, even when faced with strong marginal associations. This capability positions RF_GS-VI as a valuable diagnostic tool for researchers, signaling when predictive rankings may be misleading. The authors suggest that the RF_GS-VI framework can be extended to other supervised learning models, enhancing interpretability and transparency in machine learning applications where understanding causal relationships is critical.
Introduction
The introduction of the paper discusses the evolution and application of Machine Learning (ML) techniques across various scientific domains, highlighting their origins in artificial intelligence and cognitive science during the mid-20th century. The paper emphasizes the growing adoption of ML, particularly tree-based methods, in fields such as finance, environmental science, and medicine, due to their predictive power and ability to handle non-linearities. However, a significant challenge arises when transitioning from single tree-based models to ensemble methods, as the latter often lose interpretability, rendering them “black boxes” that obscure the relationships between features and predictions.
The authors address the concepts of interpretability and explainability in ML, defining interpretability as the extent to which a model’s internal mechanics can be understood directly, while explainability pertains to making model outputs comprehensible, often through post-hoc analysis tools like SHAP. They argue that while traditional variable importance (VI) measures can provide insights into feature contributions, they may not adequately reflect the underlying data-generating processes. To bridge this gap, the paper proposes a novel approach that integrates Global Sensitivity Analysis (GSA) with Random Forests to create generative variable importance rankings. This method aims to enhance the understanding of variable dependencies and interactions, particularly in complex contexts where standard VI methods may fall short. The paper outlines its structure, indicating a comprehensive exploration of regression trees, GSA, and the proposed methodology, culminating in simulation studies and practical applications.
Methods
The section outlines the use of tree-based methods for regression, emphasizing their applicability across various fields such as medicine, genetics, finance, and marketing. These methods are characterized as non-parametric and distribution-free, effectively addressing non-linear relationships between explanatory variables and a response variable. The primary methodology discussed is Classification and Regression Trees (CART), established by Breiman et al. (1984), with a specific focus on regression problems.
In this context, the multivariate random variable is defined as $(Y, X)$, where $X$ represents a vector of $K$ features (input variables) residing in $\Xi \in \mathbb{R}^K$, and $Y$ denotes the numerical output in the real space $\mathbb{R}$. The objective of the supervised learning model for regression is to derive a predictor function $d(x)$ from a learning sample $L = \{(y_n, x_n), n = 1, \ldots, N\}$, which is drawn from the multivariate distribution of $(Y, X)$. This function aims to provide a corresponding value in $\mathbb{R}$ for each measurement $x$.
Discussion
In the discussion of regression trees (RT) and random forests (RF), the paper elaborates on the methodologies for constructing these predictive models, emphasizing the importance of tree structure, variable selection, and the trade-off between bias and variance. The regression tree is defined as a recursive partitioning of the predictor space, where each internal node represents a decision based on a predictor variable aimed at minimizing the mean squared error (MSE). The optimal tree size is determined through techniques such as cost-complexity pruning and cross-validation, which help balance model complexity and generalization performance. The paper highlights that while RTs are interpretable and useful for exploratory analysis, RFs enhance predictive accuracy by aggregating multiple trees built on random subsets of data and features, thus leveraging the diversity of weak learners.
The section also discusses variable importance (VI) measures in both RT and RF contexts, detailing various methods for ranking predictors based on their contribution to model performance. The proposed RF_GS-VI method integrates global sensitivity analysis (GSA) to provide a more comprehensive assessment of variable relevance, capturing both direct and interaction effects. Through a simulation study, the authors evaluate the effectiveness of different VI methods across various data-generating processes (DGPs), demonstrating that RF_GS-VI consistently ranks truly relevant variables more accurately than traditional VI measures, particularly as sample sizes increase. This underscores the potential of GSA-informed approaches in enhancing the interpretability and robustness of variable importance assessments in complex predictive models.