مقدرات جديدة قوية للانحدار اللوجستي لنمذجة فعالة للبيانات الثنائية متعددة المتغيرات تحت وجود القيم الشاذة والتعدد الخطي: تطبيق على بيانات تلوث المعادن الثقيلة في مكبات النفايات في الخرج Novel robust logistic regression estimators for effectively modeling of multivariate binary data under outliers and multicollinearity: application to heavy metal contamination data in Al-Kharj landfills

شارك:
المجلة: AIMS Mathematics، المجلد: 11، العدد: 6
DOI: https://doi.org/10.3934/math.2026662
تاريخ النشر: 2026-01-01
المؤلف: Eslam Hussam وآخرون
الموضوع الرئيسي: طرق ونماذج إحصائية متقدمة

نظرة عامة

تتناول ورقة البحث التحديات التي تطرحها التعدد الخطي والقيم الشاذة في نماذج الانحدار اللوجستي، والتي يمكن أن تؤثر على استقرار وموثوقية مقدرات الاحتمال الأقصى (MLE). يقترح المؤلفون فئة جديدة من مقدرات نوع الحافة القوية التي تدمج تقنيات التقدير القوي مع طرق الانكماش للتخفيف من آثار كلا المشكلتين في الوقت نفسه. تُظهر دراسة شاملة لمحاكاة مونت كارلو أن هذه المقدرات المقترحة، وخاصة LRT-BYE و LRT-CE، تتفوق باستمرار على MLE التقليدي والبدائل الموجودة من حيث الدقة والموثوقية، خاصة في السيناريوهات التي تتضمن متنبئين مترابطين وقيم شاذة.

تطبيق تجريبي للمقدرات المقترحة لتحليل تلوث المعادن الثقيلة والمعادن الشبيهة في مواقع المدافن في الخرج، المملكة العربية السعودية، يؤكد أيضًا على فائدتها العملية. أظهر مقدر LRT-CE، على وجه الخصوص، أقل متوسط خطأ تربيعي عبر ظروف محاكاة متنوعة، مما يبرز فعاليته في البيئات التي تتأثر فيها بيانات النتائج الثنائية بالتعدد الخطي والقيم الشاذة. ومع ذلك، تعترف الدراسة بالقيود، مثل الاعتماد على اختيار معلمات الانكماش المستندة إلى البيانات وأداء الطريقة غير المختبر تحت مستويات أعلى من تلوث القيم الشاذة. تشمل اتجاهات البحث المستقبلية توسيع المنهجية لتشمل نماذج خطية عامة أخرى وتعزيز أطر اختيار معلمات الضبط لتحسين الأداء في السياقات عالية الأبعاد.

مقدمة

تناقش مقدمة الورقة نموذج الانحدار اللوجستي (LoRM)، وهو طريقة إحصائية رئيسية لتحليل النتائج الثنائية عبر مجالات متنوعة، بما في ذلك الإحصاء الحيوي والمالية. عادةً ما يستخدم LoRM تقدير الاحتمال الأقصى (MLE) لتحديد معلماته؛ ومع ذلك، تفترض هذه الطريقة الاستقلالية بين المتغيرات التفسيرية، وهي حالة غالبًا ما يتم انتهاكها في الممارسة العملية بسبب التعدد الخطي. يمكن أن يؤدي هذا الانتهاك إلى عدم الكفاءة وعدم الاستقرار في تقديرات المعلمات. لمعالجة هذه القضايا، تم اقتراح عدة مقدرات متحيزة، بما في ذلك مقدرات الانحدار الحدي ومقدرات ليو، من بين أمور أخرى.

بالإضافة إلى ذلك، يمكن أن تؤدي وجود القيم الشاذة إلى تقويض موثوقية MLE، مما يستلزم تقنيات تقدير قوية. تسلط الورقة الضوء على مختلف المقدرات القوية التي تم تطويرها لـ LoRM، مثل تلك التي قدمها فنغ وآخرون وبيانكو وآخرون، والتي تهدف إلى تعزيز مرونة النموذج ضد القيم الشاذة. ركزت التطورات الأخيرة على دمج الطرق لمعالجة التعدد الخطي وآثار القيم الشاذة في إطار موحد. يقترح المؤلفون مقدرات قوية جديدة لـ LoRM تجمع بين تقنيات التقدير المتحيز مع الطرق القوية المعروفة، بهدف تحسين الأداء في وجود كل من التعدد الخطي والقيم الشاذة. ستستخدم الدراسة محاكيات مونت كارلو وتطبيقات البيانات الحقيقية لتقييم المقدرات المقترحة، مع تقديم نهج منظم للأقسام التالية من الورقة.

الطرق

في هذا القسم، يحدد المؤلفون المنهجيات المستخدمة في بحثهم، مع التركيز بشكل خاص على نموذج أقل قوة (LoRM) وتقدير الاحتمال الأقصى العادي (MLE). يقدمون مراجعة شاملة لكل من المقدرات القوية وغير القوية (المتحيزة)، مع التأكيد على فعاليتها في معالجة القضايا المتعلقة بالتعدد الخطي والقيم الشاذة. تبرز المناقشة الأساليب المتميزة التي تتبعها هذه المقدرات، سواء كانت تعالج المشكلات بشكل مستقل أو بالتزامن، مما يمهد الطريق للتحليل والنتائج التالية المقدمة في الورقة.

المناقشة

تتناول قسم المناقشة في ورقة البحث نموذج الانحدار اللوجستي (LoRM) وموثوقيته ضد التعدد الخطي والقيم الشاذة. يفترض إطار عمل LoRM أن كل ملاحظة من المتغير التابع الثنائي \( y_i \) تتبع توزيع برنولي، مع الاحتمال الشرطي \( \pi_i = P(y_i = 1 | x_i) \) الذي يتم نمذجته باستخدام الدالة اللوجستية. يتم اشتقاق تقدير الاحتمال الأقصى (MLE) من دالة اللوغاريتم الاحتمالي، وترتبط مصفوفة التباين الخاصة به بخصائص مصفوفة المعلومات، والتي يمكن أن تتأثر سلبًا بالتعدد الخطي. تؤدي وجود متنبئين مترابطين بشكل كبير إلى مصفوفة معلومات ذات حالة سيئة، مما يزيد من التباين الأسيمبتي للنتائج ويقوض استقرار معاملات الانحدار.

لزيادة الموثوقية، تناقش الورقة مجموعة من المقدرات، بما في ذلك مقدر بيانكو ويوهاي ومقدر التأثير المحدود غير المتحيز الشرطي، والتي تعالج تأثير القيم الشاذة مع الحفاظ على الخصائص النظرية المرغوبة. بالإضافة إلى ذلك، يقترح المؤلفون مقدرات جديدة من نوع الحافة، مثل مقدر الحافة اللوجستي (LRTE)، الذي يدمج معلمات الانكماش للتخفيف من آثار التعدد الخطي. تجمع المقدرات المقترحة، بما في ذلك LRT-BYE و LRT-CE، بين مزايا الانحدار الحدي وتقنيات التقدير القوي، مما يظهر أداءً متفوقًا في المحاكيات، خاصة في ظل ظروف التعدد الخطي العالي وتلوث القيم الشاذة. تؤكد النتائج على أهمية اختيار معلمات التحيز المناسبة لتحسين أداء المقدرات، خاصة في سياق نماذج الانحدار اللوجستي.

Journal: AIMS Mathematics, Volume: 11, Issue: 6
DOI: https://doi.org/10.3934/math.2026662
Publication Date: 2026-01-01
Author(s): Eslam Hussam et al.
Primary Topic: Advanced Statistical Methods and Models

Overview

The research paper addresses the challenges posed by multicollinearity and outliers in logistic regression models, which can compromise the stability and reliability of maximum likelihood estimators (MLE). The authors propose a novel class of robust ridge-type estimators that integrate robust estimation techniques with shrinkage methods to simultaneously mitigate the effects of both issues. A comprehensive Monte Carlo simulation study demonstrates that these proposed estimators, specifically the LRT-BYE and LRT-CE, consistently outperform traditional MLE and existing alternatives in terms of accuracy and robustness, particularly in scenarios involving correlated predictors and outliers.

The empirical application of the proposed estimators to analyze heavy metal and metalloid contamination in landfill sites in Al-Kharj, Saudi Arabia, further validates their practical utility. The LRT-CE estimator, in particular, exhibited the lowest mean squared error across various simulated conditions, highlighting its effectiveness in environments where binary outcome data are affected by multicollinearity and outliers. However, the study acknowledges limitations, such as the reliance on data-driven selection of shrinkage parameters and the untested performance of the method under higher levels of outlier contamination. Future research directions include extending the methodology to other generalized linear models and enhancing tuning parameter selection frameworks to improve performance in high-dimensional contexts.

Introduction

The introduction of the paper discusses the logistic regression model (LoRM), a key statistical method for analyzing binary outcomes across various fields, including biostatistics and finance. The LoRM typically employs maximum likelihood estimation (MLE) to determine its parameters; however, this method assumes independence among explanatory variables, a condition often violated in practice due to multicollinearity. This violation can lead to inefficiencies and instability in parameter estimates. To address these issues, several biased estimators have been proposed, including ridge logistic estimators and Liu estimators, among others.

Additionally, the presence of outliers can further compromise the reliability of MLE, necessitating robust estimation techniques. The paper highlights various robust estimators developed for the LoRM, such as those by Feng et al. and Bianco et al., which aim to enhance the model’s resilience against outliers. Recent advancements have focused on integrating methods to simultaneously tackle multicollinearity and outlier effects within a unified framework. The authors propose new robust estimators for the LoRM that combine biased estimation techniques with established robust methods, aiming to improve performance in the presence of both multicollinearity and outliers. The study will utilize Monte Carlo simulations and real data applications to evaluate the proposed estimators, with a structured approach outlined for the subsequent sections of the paper.

Methods

In this section, the authors outline the methodologies employed in their research, specifically focusing on the Least Robust Model (LoRM) and the ordinary Maximum Likelihood Estimation (MLE). They provide a comprehensive review of both robust and non-robust (biased) estimators, emphasizing their effectiveness in addressing issues related to multicollinearity and outliers. The discussion highlights the distinct approaches these estimators take, whether tackling the problems independently or in conjunction, thereby setting the stage for the subsequent analysis and findings presented in the paper.

Discussion

The discussion section of the research paper elaborates on the Logistic Regression Model (LoRM) and its robustness against multicollinearity and outliers. The LoRM framework posits that each observation of the binary dependent variable \( y_i \) follows a Bernoulli distribution, with the conditional probability \( \pi_i = P(y_i = 1 | x_i) \) modeled using the logistic function. The maximum likelihood estimation (MLE) is derived from the log-likelihood function, and its covariance matrix is linked to the characteristics of the information matrix, which can be adversely affected by multicollinearity. The presence of highly correlated predictors leads to a poorly conditioned information matrix, increasing the asymptotic variance of the estimates and compromising the stability of regression coefficients.

To enhance robustness, the paper discusses various estimators, including the Bianco and Yohai estimator and the conditionally unbiased bounded influence estimator, which address the influence of outliers while maintaining desirable theoretical properties. Additionally, the authors propose new ridge-type estimators, such as the Logistic Ridge-Type Estimator (LRTE), which incorporates shrinkage parameters to mitigate the effects of multicollinearity. The proposed estimators, including LRT-BYE and LRT-CE, combine the strengths of ridge regression with robust estimation techniques, demonstrating superior performance in simulations, particularly under conditions of high multicollinearity and outlier contamination. The findings underscore the importance of selecting appropriate biasing parameters to optimize estimator performance, particularly in the context of logistic regression models.