DOI: https://doi.org/10.47813/2782-5280-2026-5-1-1033-1041
تاريخ النشر: 2026-03-31
المؤلف: Ahmed Mutlag Algboory
الموضوع الرئيسي: طرق ونماذج إحصائية متقدمة
نظرة عامة
في هذا القسم، يتناول البحث قيود مقدر الاحتمالية القصوى (MLE) في نماذج الانحدار اللوجستي (LRM) عند مواجهة تعدد الارتباط الكبير بين المتغيرات التفسيرية. تؤدي عدم استقرار MLE إلى تباينات كبيرة، وفترات ثقة واسعة، وقوة إحصائية منخفضة، مما يعقد الاستدلال والتنبؤ. للتخفيف من هذه القضايا، يقترح الدراسة مقدر الانحدار اللوجستي العام (GRL)، الذي يتضمن مصفوفة معلمة الانحدار \( K \) للتحكم في الانكماش وتقليل تباين تقديرات المعاملات. يتم تقدير معلمات GRL باستخدام نهج الاحتمالية القصوى، ويتم تقييم أداء مقدر GRL مقابل MLE التقليدي من خلال محاكاة مونت كارلو.
تكشف النتائج أن مقدر GRL يحقق باستمرار قيم خطأ متوسط مربع (MSE) أقل مقارنة بـ MLE التقليدي عبر هياكل الارتباط المختلفة ومستويات الضوضاء، مما يبرز فعاليته في التصنيف ونمذجة التنبؤ في وجود تعدد الارتباط. بالإضافة إلى ذلك، تحدد الدراسة أربعة عوامل حاسمة تؤثر على أداء المقدر: عدد الملاحظات (\( n \))، عدد المتغيرات التفسيرية (\( s \))، والارتباط (\( \rho \)) بين المتغيرات. وتخلص إلى أنه يجب تجنب MLE في ظل تعدد الارتباط العالي بسبب زيادة MSE، بينما يُوصى بمقدرات معلمات الانحدار، وخاصة \( K_9 \)، لقدرتها على تقليل التباين بشكل كبير عبر سيناريوهات مختلفة.
مقدمة
تناقش مقدمة الورقة تطبيق الانحدار اللوجستي في نمذجة البيانات الثنائية، وخاصة في علوم الصحة والإحصاء الحيوي. تبرز المشكلة المتعلقة بتعدد الارتباط، التي لاحظها فرش في عام 1934، والتي تنشأ عندما تكون المتغيرات المستقلة مرتبطة، مما يعقد تقدير معاملات الانحدار ويؤدي إلى تباينات عالية وقيم t منخفضة. يمكن أن تقوض هذه العلاقة موثوقية تقدير الاحتمالية القصوى (MLE)، وهي طريقة شائعة لتقدير المعاملات في نماذج الانحدار اللوجستي، حيث تفترض أن المتغيرات التفسيرية مستقلة وغير مرتبطة.
لمعالجة التحديات التي يطرحها تعدد الارتباط، تقدم الورقة الانحدار الجبلي كحل قابل للتطبيق. يعدل الانحدار الجبلي عملية التقدير من خلال إدخال معلمة انكماش، تُعرف بـ $K$، والتي تقلل من تباين معاملات الميل على حساب إدخال بعض التحيز. يشير المؤلفون إلى دراسات مختلفة استكشفت فعالية الانحدار الجبلي وتطبيقه في النماذج الخطية العامة (GLMs). الهدف الرئيسي من المقال هو تطبيق الانحدار اللوجستي الجبلي العام (GRL) في ظل ظروف الارتباط العالي بين المتغيرات التفسيرية، موضحًا النموذج، مقدمًا مقدر انحدار جبلي عام (GRE)، وإجراء تجارب محاكاة لتقييم أداء المعلمات المقترحة من حيث خطأ متوسط مربع (MSE). يتم توضيح هيكل الورقة، مع أقسام مخصصة لشرح النموذج، تقديم المقدر، نتائج المحاكاة، والاستنتاجات.
طرق
يستعرض قسم “المواد والطرق” تصميم التجربة والإجراءات المستخدمة في الدراسة. يوضح المواد المستخدمة، بما في ذلك الكواشف المحددة، والمعدات، وأي عينات بيولوجية متعلقة بالبحث. يتم وصف المنهجية خطوة بخطوة، مع تسليط الضوء على التقنيات المستخدمة لجمع البيانات وتحليلها، مثل الطرق الإحصائية أو النماذج الحسابية.
بالإضافة إلى ذلك، قد يتضمن القسم معلومات حول الظروف التجريبية، والضوابط، وأي معلمات ذات صلة تم قياسها. يضمن هذا النهج الشامل إمكانية إعادة الإنتاج ويسمح بفهم واضح لكيفية اشتقاق النتائج، مما يسهم في صحة النتائج المقدمة في الدراسة.
مناقشة
في هذا القسم من المناقشة، يحلل المؤلفون أداء مختلف المقدرات في سياق نموذج الانحدار اللوجستي الجبلي (LRRM) وآثاره على تعدد الارتباط. يبرزون أن مقدر الانحدار الجبلي العام (GRE) يتفوق على المقدرات التقليدية، وخاصة مقدر الاحتمالية القصوى (MLE)، الذي يعاني من خطأ متوسط مربع (MSE) مرتفع بسبب تعدد الارتباط بين المتغيرات المستقلة. تشير نتائج المحاكاة إلى أن مقدر GRR_Lukman9 يحقق باستمرار أقل MSE عبر ظروف مختلفة، بينما يظهر MLE أسوأ أداء، خاصة مع اقتراب معامل الارتباط ($\rho$) من 0.99.
يشير المؤلفون أيضًا إلى أن زيادة حجم العينة ($n$) تؤثر إيجابيًا على أداء المقدر، مما يؤدي إلى قيم MSE أقل، خاصة لمقدر GRR_K9. على العكس، فإن زيادة عدد المتغيرات التفسيرية ($p$) تؤدي عمومًا إلى قيم MSE أعلى، مما يعقد المقارنات المباشرة. تشير النتائج إلى أنه بينما يعد الانحدار اللوجستي مفيدًا في سيناريوهات الارتباط العالي، فإن اختيار المقدر أمر حاسم، حيث يظهر K9 كأفضل خيار عبر مستويات الارتباط المتنوعة. بشكل عام، تختتم الدراسة بأن مقدرات معلمات الانحدار الجبلي يمكن أن تقلل التباين بشكل فعال، ويجب تجنب MLE في حالات تعدد الارتباط العالي.
DOI: https://doi.org/10.47813/2782-5280-2026-5-1-1033-1041
Publication Date: 2026-03-31
Author(s): Ahmed Mutlag Algboory
Primary Topic: Advanced Statistical Methods and Models
Overview
In this section, the research addresses the limitations of the maximum likelihood estimator (MLE) in logistic regression models (LRM) when faced with significant multicollinearity among explanatory variables. The instability of MLE leads to large variances, wide confidence intervals, and diminished statistical power, complicating inference and prediction. To mitigate these issues, the study proposes a generalized ridge logistic regression (GRL) estimator, which incorporates a ridge parameter matrix \( K \) to control shrinkage and reduce the variance of coefficient estimates. The GRL parameters are estimated using the maximum likelihood approach, and the performance of the GRL estimator is evaluated against traditional MLE through Monte Carlo simulations.
The findings reveal that the GRL estimator consistently achieves lower mean squared error (MSE) values compared to the conventional MLE across various correlation structures and noise levels, underscoring its effectiveness for classification and predictive modeling in the presence of multicollinearity. Additionally, the study identifies four critical factors influencing estimator performance: the number of observations (\( n \)), the number of explanatory variables (\( s \)), and the correlation (\( \rho \)) among variables. It concludes that MLE should be avoided under high multicollinearity due to increased MSE, while ridge parameter estimators, particularly \( K_9 \), are recommended for their ability to significantly reduce variance across different scenarios.
Introduction
The introduction of the paper discusses the application of logistic regression in modeling binary data, particularly within health sciences and biostatistics. It highlights the issue of multicollinearity, first noted by Frisch in 1934, which arises when independent variables are correlated, complicating the estimation of regression coefficients and leading to high variances and low t-values. This correlation can undermine the reliability of maximum likelihood estimation (MLE), a common method for estimating coefficients in logistic regression models, as it assumes that explanatory variables are independent and uncorrelated.
To address the challenges posed by multicollinearity, the paper introduces ridge regression as a viable solution. Ridge regression modifies the estimation process by introducing a shrinkage parameter, denoted as $K$, which reduces the variance of the slope coefficients at the cost of introducing some bias. The authors reference various studies that have explored the effectiveness of ridge regression and its application in generalized linear models (GLMs). The primary aim of the article is to apply generalized ridge logistic regression (GRL) under conditions of high correlation among explanatory variables, detailing the model, presenting a generalized ridge estimator (GRE), and conducting simulation experiments to evaluate the performance of the proposed parameters in terms of mean squared error (MSE). The structure of the paper is outlined, with sections dedicated to model explanation, estimator presentation, simulation results, and conclusions.
Methods
The “Materials and Methods” section outlines the experimental design and procedures utilized in the study. It details the materials used, including specific reagents, equipment, and any biological samples involved in the research. The methodology is described step-by-step, highlighting the techniques employed for data collection and analysis, such as statistical methods or computational models.
Additionally, the section may include information on the experimental conditions, controls, and any relevant parameters that were measured. This comprehensive approach ensures reproducibility and allows for a clear understanding of how the findings were derived, thereby contributing to the validity of the results presented in the study.
Discussion
In this discussion section, the authors analyze the performance of various estimators within the context of a Logistic Ridge Regression Model (LRRM) and its implications for multicollinearity. They highlight that the Generalized Ridge Estimator (GRE) outperforms traditional estimators, particularly the Maximum Likelihood Estimator (MLE), which suffers from high mean squared error (MSE) due to multicollinearity among independent variables. The simulation results indicate that the GRR_Lukman9 estimator consistently yields the lowest MSE across various conditions, while the MLE exhibits the worst performance, especially as the correlation coefficient ($\rho$) approaches 0.99.
The authors further note that increasing the sample size ($n$) positively impacts estimator performance, leading to lower MSE values, particularly for the GRR_K9 estimator. Conversely, an increase in the number of explanatory variables ($p$) generally results in higher MSE values, complicating direct comparisons. The findings suggest that while logistic regression is advantageous in high-correlation scenarios, the choice of estimator is crucial, with K9 emerging as the optimal choice across varying correlation levels. Overall, the study concludes that ridge parameter estimators can effectively reduce variance, and the MLE should be avoided in cases of high multicollinearity.