DOI: https://doi.org/10.1017/psy.2026.10108
PMID: https://pubmed.ncbi.nlm.nih.gov/41957966
تاريخ النشر: 2026-04-10
المؤلف: Sun‐Joo Cho وآخرون
الموضوع الرئيسي: المنهجيات النفسية والاختبار
نظرة عامة
تقدم هذه المقالة إطار عمل مختلط التأثيرات للتعلم الآلي، يسمى LMM-XGBoost، مصمم لنمذجة العلاقات المعقدة وغير الخطية بين المتنبئين والنتائج المستمرة في بيانات متعددة المستويات مصنفة عبر الفئات. من خلال دمج تعزيز التدرج المتطرف (XGBoost) ضمن نموذج مختلط خطي (LMM)، يلتقط LMM-XGBoost بفعالية التأثيرات غير الخطية وتفاعلاتها مع الأخذ في الاعتبار التأثيرات العشوائية التي نمذجة الاعتماد بين الملاحظات. يطور المؤلفون إجراء تقدير تكراري لـ LMM-XGBoost، إلى جانب مقياس أهمية التبديل الواعي للمجموعات الذي يحترم الاعتماد متعدد المستويات، واستراتيجية التحقق المتقاطع (CV) للمجموعات المجمعة لضبط المعلمات، والتنبؤ خارج الطي (OOF)، وتقدير الأهمية.
تظهر دراسة المحاكاة أن LMM-XGBoost يوفر استردادًا قويًا للمعلمات حتى مع تباينات التأثيرات العشوائية غير الصفرية. مقارنةً بأساليب LMM و XGBoost القياسية، يؤدي LMM-XGBoost إلى تقليل أخطاء التنبؤ خارج الطي وتحقيق استرداد أكثر دقة لأهمية المتغيرات. بالإضافة إلى ذلك، فإن طرق التحقق المتقاطع للمجموعات المجمعة وأهمية التبديل الواعية للمجموعات تنتج تقديرات خطأ أقل تحيزًا وتحسنًا كبيرًا في التوافق مع تصنيفات الأهمية الحقيقية مقارنةً بمقاييس التبديل التقليدية. توضح تطبيق تجريبي باستخدام بيانات من دراسة Add Health قدرة الإطار على تحديد العوامل الحاسمة عبر مجالات مختلفة تتعلق بأعراض الاكتئاب لدى المراهقين.
مقدمة
تحدد مقدمة ورقة البحث السياق الأساسي وأهمية الدراسة. تبرز الأهداف الرئيسية، التي تهدف إلى معالجة فجوة معينة في الأدبيات الحالية. يؤكد المؤلفون على أهمية سؤال البحث الخاص بهم وآثاره على المجال الأوسع. يتم تلخيص النتائج الرئيسية من الدراسات السابقة لتأسيس إطار نظري، موضحًا كيف يبني هذا البحث على المعرفة القائمة وينحرف عنها.
علاوة على ذلك، تهيئ المقدمة المسرح للمنهجية المستخدمة في الدراسة، مشيرة إلى الأساليب التحليلية ومصادر البيانات المستخدمة لاستخلاص الاستنتاجات. يوضح المؤلفون المساهمات المتوقعة لعملهم، مقترحين أن النتائج يمكن أن تقدم رؤى جديدة أو تطبيقات عملية ضمن التخصص. بشكل عام، تؤطر المقدمة بفعالية مشكلة البحث وتؤكد على أهمية الدراسة في تعزيز الفهم في المجال المعني.
الطرق
في هذا القسم، يناقش المؤلفون قيود أساليب النمذجة الحالية لتحليل علاقات المتنبئ-النتيجة، خاصة في سياقات البيانات متعددة المستويات. تتطلب النماذج البارامترية التقليدية، مثل الامتدادات متعددة الحدود والنماذج المختلطة المضافة العامة (GAMMs)، خيارات محددة مسبقًا بشأن المتنبئين وتفاعلاتهم، مما قد يؤدي إلى إدخال تحيز. بينما تقدم الأساليب غير البارامترية مثل الغابات العشوائية (RF) وتعزيز التدرج (GB) مرونة في التقاط العلاقات المعقدة دون تحديد أشكال وظيفية، فإنها تتطلب التحكم الدقيق في التعقيد لتجنب الإفراط في التكيف. يبرز المؤلفون أن الأساليب الهجينة التي تجمع بين تقنيات التعلم الآلي (ML) والنماذج المختلطة الخطية (LMMs) قد أظهرت تحسينًا في دقة التنبؤ من خلال الأخذ في الاعتبار الاعتمادات على مستوى الكتلة، ومع ذلك، ركزت معظم الأبحاث السابقة على الهياكل المتداخلة بدلاً من الإعدادات المصنفة عبر الفئات.
يقدم المؤلفون تعزيز التدرج المتطرف (XGBoost) كطريقة قوية لم يتم دمجها سابقًا مع LMMs للاستجابات المستمرة، خاصة في السياقات المصنفة عبر الفئات. تعزز ميزات تصميم XGBoost، بما في ذلك التنظيم والفرز الفرعي، أدائه في التعامل مع التعدد الخطي والتفاعلات المعقدة. ومع ذلك، لا تزال قابلية تفسير XGBoost ضمن إطار LMM-ML الهجين غير مستكشفة، خاصة فيما يتعلق بمقاييس الأهمية التي تأخذ في الاعتبار الاعتمادات المجمعة. يتناول القسم أيضًا التحديات المتعلقة بتطبيق التحقق المتقاطع (CV) في الإعدادات المصنفة عبر الفئات متعددة المستويات، مشيرًا إلى أن CV القياسي K-fold يمكن أن يؤدي إلى تسرب المعلومات وسوء تمثيل خطأ التعميم بسبب الطبيعة المتشابكة للكتل. يقترح المؤلفون خوارزمية LMM-XGBoost تكرارية لمعالجة هذه القضايا، مع توضيح سير العمل الكامل في الخوارزمية 1.
النتائج
يقدم قسم النتائج في ورقة البحث تقييمًا شاملاً لأداء LMM-XGBoost مقارنةً بالنماذج التقليدية LMM و XGBoost من خلال سلسلة من المحاكاة. قامت الدراسة بتغيير تباينات التأثيرات العشوائية (الارتباطات داخل الفئة، ICCs) وعدد الكتل بشكل منهجي لتقييم دقة النموذج واسترداد المعلمات. تشير النتائج إلى أن LMM-XGBoost حقق باستمرار أقل خطأ متوسط تربيعي شرطي (MSE) عندما كانت تباينات التأثيرات العشوائية غير صفرية، متفوقًا على كل من LMM و XGBoost. على وجه التحديد، بينما أظهرت LMM و LMM-XGBoost زيادة في MSE الهامشي مع ارتفاع ICCs، ظل MSE الشرطي لـ LMM-XGBoost متفوقًا، مما يبرز قدرته على الاستفادة من التأثيرات العشوائية بفعالية.
كشفت تحليل استرداد المعلمات أن التحيز وجذر متوسط الخطأ التربيعي (RMSE) للاعتراض الثابت زاد مع ارتفاع ICCs وعدد أقل من الكتل، بينما أظهرت الانحرافات المعيارية للتأثيرات العشوائية تحسنًا في التحيز مع زيادة ICCs وعدد الكتل. من الجدير بالذكر أن LMM-XGBoost أظهر أعلى ارتباطات ترتيبية لأهمية التبديل، مما يدل على قوته في التقاط أهمية المتنبئين عبر المستويات الهرمية. كما أكدت النتائج على قدرة النموذج على الأخذ في الاعتبار التفاعلات المعقدة والعلاقات غير الخطية، خاصة بين تقدير الذات والدعم الاجتماعي فيما يتعلق بدرجات الاكتئاب، كما هو موضح من خلال مخططات التأثير المحلي المتراكم (ALE). بشكل عام، لم يعزز LMM-XGBoost دقة التنبؤ فحسب، بل أعاد تشكيل أهمية المتغيرات من خلال إعطاء الأولوية للعوامل السياقية على المؤشرات الديموغرافية الثابتة.
المناقشة
تسلط قسم المناقشة في الورقة الضوء على التعقيدات المرتبطة بنمذجة السلوك البشري ضمن العلوم الاجتماعية والسلوكية، خاصة عند التعامل مع هياكل البيانات المصنفة عبر الفئات متعددة المستويات. غالبًا ما يواجه الباحثون تحديات في تقدير تأثيرات المتغيرات على مستوى الفرد والسياق بدقة بسبب الاعتماد الإحصائي الذي ينشأ من التأثيرات المشتركة داخل الكتل. تُستخدم النماذج المختلطة الخطية التقليدية (LMMs) عادةً لمعالجة هذه القضايا، لكنها قد تفشل في التقاط العلاقات غير الخطية والتفاعلات المعقدة بين المتنبئين. تؤكد الورقة على الحاجة إلى إطار نمذجة أكثر قوة يدمج تقنيات التعلم الآلي، وخاصة XGBoost، في LMMs لتعزيز تقدير التأثيرات غير الخطية والتفاعلية مع استيعاب التأثيرات العشوائية الناتجة عن التجميع.
يهدف إطار LMM-XGBoost المقترح إلى معالجة هذه القيود من خلال الجمع بين نقاط القوة في LMMs والتعلم الآلي. يسمح بنمذجة العلاقات المعقدة دون فرض شكل بارامتر محدد مسبقًا، مما يحسن من قابلية التفسير وقوة التحليلات الاستكشافية. تحدد الدراسة أربع مساهمات منهجية: دمج XGBoost في LMMs، تطوير إجراء تقدير لهذا النموذج الهجين، تقديم مقياس أهمية التبديل الواعي للمجموعات، وطريقة تحقق متقاطع للمجموعات المجمعة لضبط المعلمات. توضح التطبيق التجريبي لـ LMM-XGBoost على أعراض الاكتئاب لدى المراهقين إمكانيته في إبلاغ التدخلات المستهدفة في الصحة العقلية، بينما تحقق دراسات المحاكاة من أدائه مقارنةً بالطرق التقليدية. بشكل عام، يسعى هذا النهج المبتكر إلى تعزيز القدرات التحليلية في استكشاف البيانات متعددة المستويات، مما يمهد الطريق لرؤى أكثر دقة حول السلوك البشري.
القيود
تسلط القيود المفروضة على إطار LMM-XGBoost المقترح الضوء على عدة مجالات للتطوير المنهجي الإضافي. تستخدم مواصفات النموذج الحالية الاعتراضات العشوائية لحساب الاعتماد على مستوى الكتلة، بينما تلتقط مكون XGBoost العلاقات المعقدة بين المتنبئين والنتائج. ومع ذلك، لا يتضمن الإطار انحدارات عشوائية بارامترية، والتي يمكن أن تمثل انحرافات محددة غير مفسرة في تأثيرات المتنبئين. يجب أن تستكشف الأبحاث المستقبلية دمج الانحدارات العشوائية في إطار LMM-XGBoost، مما يتطلب تعديلات على خوارزمية التقدير، خاصةً خطوة الإسقاط التي تفصل بين التأثيرات الثابتة والعشوائية.
بالإضافة إلى ذلك، قد يؤدي اعتماد الإطار على المتنبئين الملاحظين لشرح التباين على مستوى الكتلة إلى تحيز المتغيرات المفقودة، مما يؤدي إلى فصل غير كامل بين المكونات الثابتة غير الخطية والتأثيرات العشوائية. تتفاقم هذه القيود في العينات المحدودة، خاصةً مع معاملات الارتباط داخل الفئة الصغيرة (ICCs) والكتل المحدودة، حيث قد تكون تقديرات مكونات التباين مبالغ فيها. يجب أن تركز الدراسات المستقبلية على تطوير إجراءات تشخيصية لتحديد المتنبئين المفقودين واستراتيجيات ضبط المعلمات التكيفية ضمن الإطار التكراري. علاوة على ذلك، قد يؤدي توسيع الإطار لاستيعاب هياكل البيانات الطولية وتطوير مقاييس أهمية المتغيرات الخاصة بالكتل إلى تعزيز قابليته للتطبيق وقوته في التقاط التباين عبر الكتل.
DOI: https://doi.org/10.1017/psy.2026.10108
PMID: https://pubmed.ncbi.nlm.nih.gov/41957966
Publication Date: 2026-04-10
Author(s): Sun‐Joo Cho et al.
Primary Topic: Psychometric Methodologies and Testing
Overview
This article introduces a mixed-effects machine-learning framework, termed LMM-XGBoost, designed to model complex, nonlinear relationships between predictors and continuous outcomes in multilevel cross-classified data. By integrating extreme gradient boosting (XGBoost) within a linear mixed model (LMM), LMM-XGBoost effectively captures nonlinear and interaction effects while accounting for random effects that model dependence among observations. The authors develop an iterative estimation procedure for LMM-XGBoost, along with a group-aware permutation importance measure that respects multilevel dependence, and a combined-group cross-validation (CV) strategy for hyperparameter tuning, out-of-fold (OOF) prediction, and importance estimation.
The simulation study demonstrates that LMM-XGBoost provides robust parameter recovery even with non-zero random-effect variances. Compared to standard LMM and XGBoost approaches, LMM-XGBoost results in lower OOF prediction errors and more accurate variable importance recovery. Additionally, the combined-group CV and group-aware permutation importance methods yield less biased error estimates and significantly improved alignment with true importance rankings compared to traditional permutation measures. An empirical application using data from the Add Health study showcases the framework’s capability to identify critical factors across various domains related to adolescent depressive symptoms.
Introduction
The introduction of the research paper outlines the foundational context and significance of the study. It highlights the primary objectives, which aim to address a specific gap in the existing literature. The authors emphasize the relevance of their research question and its implications for the broader field. Key findings from previous studies are summarized to establish a theoretical framework, demonstrating how this research builds upon and diverges from established knowledge.
Furthermore, the introduction sets the stage for the methodology employed in the study, indicating the analytical approaches and data sources utilized to derive conclusions. The authors articulate the anticipated contributions of their work, suggesting that the findings could offer new insights or practical applications within the discipline. Overall, the introduction effectively frames the research problem and underscores the importance of the study in advancing understanding in the relevant area.
Methods
In this section, the authors discuss the limitations of existing modeling methods for analyzing predictor-outcome relationships, particularly in multilevel data contexts. Traditional parametric models, such as polynomial extensions and generalized additive mixed models (GAMMs), require predefined choices regarding predictors and their interactions, which can introduce bias. While nonparametric methods like random forests (RF) and gradient boosting (GB) offer flexibility in capturing complex relationships without specifying functional forms, they necessitate careful complexity control to avoid overfitting. The authors highlight that hybrid approaches combining machine learning (ML) techniques with linear mixed models (LMMs) have shown improved prediction accuracy by accounting for cluster-level dependencies, yet most prior research has focused on nested structures rather than cross-classified settings.
The authors introduce extreme gradient boosting (XGBoost) as a robust method that has not been previously integrated with LMMs for continuous responses, especially in cross-classified contexts. XGBoost’s design features, including regularization and subsampling, enhance its performance in handling multicollinearity and complex interactions. However, the interpretability of XGBoost within a hybrid LMM-ML framework remains unexplored, particularly regarding importance measures that account for clustered dependencies. The section also addresses the challenges of applying cross-validation (CV) in multilevel cross-classified settings, noting that standard K-fold CV can lead to information leakage and misrepresentation of generalization error due to the intertwined nature of clusters. The authors propose an iterative LMM-XGBoost algorithm to address these issues, with a complete workflow outlined in Algorithm 1.
Results
The results section of the research paper presents a comprehensive evaluation of the performance of LMM-XGBoost compared to traditional LMM and XGBoost models through a series of simulations. The study systematically varied the variances of random effects (intraclass correlations, ICCs) and the number of clusters to assess model accuracy and parameter recovery. The findings indicate that LMM-XGBoost consistently achieved the lowest conditional mean squared error (MSE) when random-effect variances were non-zero, outperforming both LMM and XGBoost. Specifically, while LMM and LMM-XGBoost exhibited increasing marginal MSE with higher ICCs, LMM-XGBoost’s conditional MSE remained superior, highlighting its ability to leverage random effects effectively.
The analysis of parameter recovery revealed that the bias and root mean squared error (RMSE) of the fixed intercept increased with higher ICCs and fewer clusters, while the random-effects standard deviations showed improved bias with greater ICCs and cluster numbers. Notably, LMM-XGBoost demonstrated the highest rank correlations for permutation importance, indicating its robustness in capturing predictor importance across hierarchical levels. The results also emphasized the model’s ability to account for complex interactions and non-linear relationships, particularly between self-esteem and social support in relation to depression scores, as illustrated through accumulated local effect (ALE) plots. Overall, LMM-XGBoost not only enhanced predictive accuracy but also reshaped variable importance by prioritizing contextual factors over static demographic indicators.
Discussion
The discussion section of the paper highlights the complexities involved in modeling human behavior within social and behavioral sciences, particularly when dealing with multilevel cross-classified data structures. Researchers often face challenges in accurately estimating the effects of both individual-level and contextual-level variables due to the statistical dependence that arises from shared influences within clusters. Traditional linear mixed models (LMMs) are commonly used to address these issues, but they may fall short in capturing nonlinear relationships and complex interactions among predictors. The paper emphasizes the need for a more robust modeling framework that integrates machine learning techniques, specifically XGBoost, into LMMs to enhance the estimation of nonlinear and interaction effects while accommodating random effects from clustering.
The proposed LMM-XGBoost framework aims to address these limitations by combining the strengths of LMMs and machine learning. It allows for the modeling of complex relationships without imposing a prespecified parametric form, thereby improving the interpretability and robustness of exploratory analyses. The study outlines four methodological contributions: the integration of XGBoost into LMMs, the development of an estimation procedure for this hybrid model, the introduction of a group-aware permutation importance measure, and a combined-group cross-validation method for hyperparameter tuning. The empirical application of LMM-XGBoost to adolescent depressive symptoms illustrates its potential to inform targeted mental health interventions, while simulation studies validate its performance against traditional methods. Overall, this innovative approach seeks to enhance the analytical capabilities in the exploration of multilevel data, paving the way for more nuanced insights into human behavior.
Limitations
The limitations of the proposed LMM-XGBoost framework highlight several areas for further methodological development. The current model specification utilizes random intercepts to account for cluster-level dependence, while the XGBoost component captures complex predictor-outcome relationships. However, the framework does not incorporate parametric random slopes, which could represent unexplained cluster-specific deviations in predictor effects. Future research should explore the integration of random slopes into the LMM-XGBoost framework, necessitating modifications to the estimation algorithm, particularly the projection step that separates fixed and random effects.
Additionally, the framework’s reliance on observed predictors to explain cluster-level heterogeneity may lead to omitted variable bias, resulting in imperfect separation between nonlinear fixed components and random effects. This limitation is exacerbated in finite samples, particularly with small intraclass correlation coefficients (ICCs) and limited clusters, where variance component estimates may be inflated. Future studies should focus on developing diagnostic procedures for identifying omitted predictors and adaptive hyperparameter tuning strategies within the iterative framework. Furthermore, extending the framework to accommodate longitudinal data structures and developing cluster-specific variable importance measures could enhance its applicability and robustness in capturing heterogeneity across clusters.