DOI: https://doi.org/10.56801/jmasm.v23.i2.4
تاريخ النشر: 2024-01-09
المؤلف: Netti Herawati وآخرون
الموضوع الرئيسي: طرق ونماذج إحصائية متقدمة
نظرة عامة
تبحث هذه الدراسة في فعالية أربع تقنيات انحدار—المربعات الصغرى العادية (OLS)، مشغل الانكماش المطلق الأدنى والاختيار (LASSO)، انحدار ريدج (RR)، وElastic-Net—في معالجة التعدد الخطي بين المتغيرات المستقلة في تحليل الانحدار المتعدد. باستخدام بيانات محاكاة تم توليدها من نموذج يحتوي على ستة متنبئين يظهرون تعدد خطي مرتفع (ρ = 0.99) عبر أحجام عينات مختلفة (n = 25، 50، 75)، تقيم الدراسة الطرق بناءً على متوسط مربع الخطأ (AMSE) وقيم معيار معلومات أكايك (AIC). تشير النتائج إلى أن Elastic-Net يتفوق باستمرار على الطرق الأخرى من حيث كل من AMSE وAIC عبر جميع أحجام العينات.
علاوة على ذلك، فإن تطبيق هذه الطرق على بيانات العالم الحقيقي المتعلقة بحالات التقزم لدى الأطفال الصغار في إندونيسيا يؤكد نتائج المحاكاة، حيث أظهر Elastic-Net أداءً متفوقًا في إدارة التعدد الخطي. تكشف التحليلات أن عوامل مثل معدلات سوء التغذية، ونسب الرضاعة الطبيعية الحصرية، ومراقبة النمو، وتغطية خدمات الصحة للنساء الحوامل، وتوافر القوى العاملة الغذائية، والوصول إلى المياه النظيفة والصرف الصحي في الأسر تؤثر بشكل كبير على نتائج التقزم. في الختام، تؤكد كل من تحليلات البيانات المحاكاة والبيانات الحقيقية أن Elastic-Net هو الطريقة الأكثر فعالية للتخفيف من مشكلات التعدد الخطي مقارنةً بـ OLS وريدج وLASSO.
مقدمة
تناقش مقدمة الورقة أهمية تحليل الانحدار، وخاصة الانحدار الخطي المتعدد، في نمذجة العلاقات بين المتغيرات التابعة والمستقلة. إحدى القضايا الحرجة التي تم تحديدها في هذا السياق هي التعدد الخطي، الذي يحدث عندما تكون المتغيرات المستقلة مرتبطة، مما يؤدي إلى تقديرات غير دقيقة لمعاملات الانحدار، وزيادة الأخطاء المعيارية، وقيم p غير موثوقة. يمكن أن تؤثر هذه الحالة بشكل كبير على قدرات النموذج التنبؤية وتؤدي إلى استنتاجات خاطئة، مما يبرز ضرورة وجود طرق فعالة لمعالجة التعدد الخطي.
لكشف التعدد الخطي، تشير الورقة إلى تقنيات مثل فحص الارتباطات بين المتغيرات المستقلة واستخدام عامل تضخم التباين (VIF). يقترح المؤلفون عدة طرق تنظيمية للتخفيف من آثار التعدد الخطي، بما في ذلك انحدار ريدج، ومشغل الانكماش المطلق الأدنى والاختيار (LASSO)، وElastic-Net. يهدف انحدار ريدج إلى استقرار تقديرات المعاملات من خلال إدخال تحيز، مما يقلل من الأخطاء المعيارية ويحسن الدقة مقارنةً بالمربعات الصغرى العادية (OLS). كما تعالج LASSO وElastic-Net التعدد الخطي من خلال تقليص معاملات المتغيرات المرتبطة بشدة نحو الصفر. تهدف الدراسة إلى استكشاف هذه الطرق بالتفصيل لتعزيز قوة تحليل الانحدار المتعدد في وجود التعدد الخطي.
طرق
في هذه الدراسة، تم استخدام كل من البيانات المحاكاة والبيانات الحقيقية للتحقيق في آثار التعدد الخطي. تضمنت البيانات المحاكاة نموذجًا يحتوي على ستة متنبئين ($p = 6$) وأحجام عينات متغيرة ($n = 25، 50، 75$)، حيث تم تعريف النموذج الحقيقي على أنه $Y = X\beta + \epsilon$. تم تعيين متجه المعاملات مع $\beta_0 = 0$ و$\beta_1 = \beta_2 = \ldots = \beta_6 = 1$. لإدخال التعدد الخطي في مجموعات البيانات، تم توليد المتغيرات المستقلة $X_p$ باستخدام محاكاة مونت كارلو، وفقًا للصيغة:
\[
X_{ij} = \sqrt{1 – \rho^2} \cdot u_{ij} + \rho \cdot u_{i(p+1)},
\]
حيث يمثل $u_{ij}$ أرقامًا عشوائية معيارية مستقلة، و$\rho$ محدد لتحقيق ارتباط نظري قدره $\rho^2$ بين أي متغيرين مستقلين. تم اشتقاق المتغير التابع $Y$ من النموذج $Y = X\beta + \epsilon$، مع اتباع $\epsilon$ توزيعًا طبيعيًا $N(0، 1)$.
نتائج
تشير نتائج الدراسة إلى أن قيم عامل تضخم التباين (VIF) الأولية تم تعيينها لإظهار ارتباط مرتفع ($\rho = 0.99$) بين ثلاثة متغيرات مستقلة، مما أدى إلى تجاوز قيم VIF 10، مما يدل على مشكلات التعدد الخطي. من خلال 1000 تكرار للمحاكاة، وُجد أن طريقة Elastic-Net تفوقت على مقدرات أخرى في سيناريوهات التعدد الخطي الشديد، كما يتضح من انخفاض متوسط مربع الخطأ (AMSE) وقيم معيار معلومات أكايك (AIC) مقارنةً بالمربعات الصغرى العادية (OLS) وريدج وLASSO. ومن الملاحظ أن زيادة أحجام العينات ارتبطت بانخفاض قيم AMSE وAIC، خاصةً في الحالات ذات التعدد الخطي العالي.
في تحليل البيانات الحقيقية المتعلقة بالأطفال المصابين بالتقزم في إندونيسيا، أظهرت ستة متغيرات مستقلة قيم VIF أكبر من 10، مما يؤكد وجود التعدد الخطي. كانت المتغيرات المحددة مرتبطة، مما يتطلب تطبيق طرق انحدار ريدج وLASSO وElastic-Net لإدارة هذه الارتباطات. أكدت النتائج أن Elastic-Net حقق أدنى AMSE، مما يثبت فعاليته في التحكم في التعدد الخطي. علاوة على ذلك، حدد التحليل العوامل الرئيسية المؤثرة على التقزم لدى الأطفال، بما في ذلك معدلات سوء التغذية، ونسب الرضاعة الطبيعية الحصرية، ومراقبة النمو، وتغطية خدمات الصحة للنساء الحوامل، وتوافر القوى العاملة الغذائية، والوصول إلى مياه الشرب والصرف الصحي الكافية، بالإضافة إلى مؤشر التنمية البشرية وكثافة السكان.
مناقشة
في قسم المناقشة، تقيم الورقة تقنيات الانحدار المختلفة لمعالجة التعدد الخطي في المتغيرات المستقلة، مع التركيز على المربعات الصغرى العادية (OLS)، وانحدار ريدج، ومشغل الانكماش المطلق الأدنى والاختيار (LASSO)، وElastic-Net. يتم تسليط الضوء على OLS لسهولته ولكنه محدود بمتطلبات عدم وجود تعدد خطي بين المتنبئين، مما يمكن أن يؤدي إلى تقديرات غير دقيقة للمعاملات. يخفف انحدار ريدج من التعدد الخطي من خلال إدخال معامل ريدج ($\lambda$) الذي يعدل المعادلات العادية، مما يؤدي إلى تقديرات متحيزة ولكن أكثر استقرارًا. تقوم LASSO بمزيد من تحسين هذا النهج من خلال تطبيق عقوبة القيمة المطلقة التي يمكن أن تقلص بعض المعاملات إلى الصفر، وبالتالي تؤدي إلى اختيار المتغيرات.
تجمع طريقة Elastic-Net بين مزايا كل من ريدج وLASSO، مما يسمح باختيار المتغيرات وتقليص المعاملات في وقت واحد. إنها فعالة بشكل خاص في السيناريوهات ذات التعدد الخطي العالي وعندما يتجاوز عدد المتنبئين عدد الملاحظات. تستخدم الورقة متوسط مربع الخطأ (AMSE) ومعيار معلومات أكايك (AIC) كمقاييس للأداء، وتخلص إلى أن Elastic-Net يتفوق على OLS وريدج وLASSO في التعامل مع التعدد الخطي، كما يتضح من انخفاض قيم AMSE وAIC في كل من مجموعات البيانات المحاكاة والحقيقية. وبالتالي، يُوصى باستخدام Elastic-Net كأفضل طريقة لمعالجة مشكلات التعدد الخطي في تحليل الانحدار.
DOI: https://doi.org/10.56801/jmasm.v23.i2.4
Publication Date: 2024-01-09
Author(s): Netti Herawati et al.
Primary Topic: Advanced Statistical Methods and Models
Overview
This research investigates the efficacy of four regression techniques—Ordinary Least Squares (OLS), Least Absolute Shrinkage and Selection Operator (LASSO), Ridge Regression (RR), and Elastic-Net—in addressing multicollinearity among independent variables in multiple regression analysis. Utilizing simulation data generated from a model with six predictors exhibiting high multicollinearity (ρ = 0.99) across various sample sizes (n = 25, 50, 75), the study evaluates the methods based on their Average Mean Square Error (AMSE) and Akaike Information Criterion (AIC) values. The findings indicate that Elastic-Net consistently outperforms the other methods in terms of both AMSE and AIC across all sample sizes.
Furthermore, the application of these methods to real-world data concerning stunting cases in Indonesian toddlers corroborates the simulation results, with Elastic-Net demonstrating superior performance in managing multicollinearity. The analysis reveals that factors such as malnutrition rates, exclusive breastfeeding percentages, growth monitoring, health service coverage for pregnant women, nutrition workforce availability, and household access to clean water and sanitation significantly influence stunting outcomes. In conclusion, both simulated and real data analyses affirm that Elastic-Net is the most effective method for mitigating multicollinearity issues compared to OLS, Ridge, and LASSO.
Introduction
The introduction of the paper discusses the significance of regression analysis, particularly multiple linear regression, in modeling relationships between dependent and independent variables. A critical issue identified in this context is multicollinearity, which occurs when independent variables are correlated, leading to inaccurate estimates of regression coefficients, inflated standard errors, and unreliable p-values. This condition can severely compromise the model’s predictive capabilities and result in erroneous conclusions, highlighting the necessity for effective methods to address multicollinearity.
To detect multicollinearity, the paper references techniques such as examining correlations among independent variables and utilizing the Variance Inflation Factor (VIF). The authors propose several regularization methods to mitigate the effects of multicollinearity, including Ridge Regression, Least Absolute Shrinkage and Selection Operator (LASSO), and Elastic-Net. Ridge Regression aims to stabilize coefficient estimates by introducing bias, thereby reducing standard errors and improving accuracy compared to ordinary least squares (OLS). LASSO and Elastic-Net further address multicollinearity by shrinking the coefficients of highly correlated variables towards zero. The study aims to explore these methods in detail to enhance the robustness of multiple regression analysis in the presence of multicollinearity.
Methods
In this study, both simulated and real data were utilized to investigate multicollinearity effects. The simulated data involved a model with six predictors ($p = 6$) and varying sample sizes ($n = 25, 50, 75$), where the true model was defined as $Y = X\beta + \epsilon$. The parameter vector was set with $\beta_0 = 0$ and $\beta_1 = \beta_2 = \ldots = \beta_6 = 1$. To introduce multicollinearity into the datasets, the independent variables $X_p$ were generated using a Monte Carlo simulation, following the formula:
\[
X_{ij} = \sqrt{1 – \rho^2} \cdot u_{ij} + \rho \cdot u_{i(p+1)},
\]
where $u_{ij}$ represents independent standard normal pseudo-random numbers and $\rho$ is specified to achieve a theoretical correlation of $\rho^2$ between any two independent variables. The dependent variable $Y$ was derived from the model $Y = X\beta + \epsilon$, with $\epsilon$ following a normal distribution $N(0, 1)$.
Results
The results of the study indicate that the initial variance inflation factor (VIF) values were set to demonstrate a high correlation ($\rho = 0.99$) among three independent variables, leading to VIF values exceeding 10, which signifies multicollinearity issues. Through 1000 simulation repetitions, it was found that the Elastic-Net method outperformed other estimators in scenarios of severe multicollinearity, as evidenced by its lower average mean squared error (AMSE) and Akaike Information Criterion (AIC) values compared to Ordinary Least Squares (OLS), Ridge, and LASSO methods. Notably, increasing sample sizes correlated with reduced AMSE and AIC values, particularly in cases with high multicollinearity.
In the analysis of real data concerning stunted toddlers in Indonesia, six independent variables exhibited VIF values greater than 10, confirming multicollinearity. The variables identified were correlated, necessitating the application of Ridge regression, LASSO, and Elastic-Net methods to manage these correlations. The results reaffirmed that Elastic-Net yielded the lowest AMSE, validating its effectiveness in controlling multicollinearity. Furthermore, the analysis identified key factors influencing stunting in toddlers, including malnutrition rates, exclusive breastfeeding percentages, growth monitoring, health service coverage for pregnant women, nutrition workforce availability, and household access to adequate drinking water and sanitation, as well as the human development index and population density.
Discussion
In the discussion section, the paper evaluates various regression techniques for addressing multicollinearity in independent variables, emphasizing Ordinary Least Squares (OLS), Ridge Regression, Least Absolute Shrinkage and Selection Operator (LASSO), and Elastic-Net. OLS is highlighted for its simplicity but is limited by the requirement of no multicollinearity among predictors, which can lead to imprecise coefficient estimates. Ridge Regression mitigates multicollinearity by introducing a ridge parameter ($\lambda$) that modifies the normal equations, resulting in biased yet more stable estimates. LASSO further refines this approach by applying an absolute value penalty that can shrink some coefficients to zero, thus performing variable selection.
The Elastic-Net method combines the strengths of both Ridge and LASSO, allowing for simultaneous variable selection and coefficient shrinkage. It is particularly effective in scenarios with high multicollinearity and when the number of predictors exceeds the number of observations. The paper employs Average Mean Square Error (AMSE) and Akaike Information Criterion (AIC) as performance metrics, concluding that Elastic-Net outperforms OLS, Ridge, and LASSO in handling multicollinearity, as evidenced by lower AMSE and AIC values in both simulated and real datasets. Thus, Elastic-Net is recommended as the superior method for addressing multicollinearity issues in regression analysis.