التحقق الزمني من نماذج التعلم الآلي المستخدمة في التنبؤ بالصحة النفسية لدى طلاب الجامعات: دراسة طولية لمدة ثلاث سنوات Temporal Validation of Machine Learning Models Utilized for Mental Health Prediction in College Students: A Three-Year Longitudinal Study

شارك:
المجلة: Engineering Technology & Applied Science Research، المجلد: 16، العدد: 3
DOI: https://doi.org/10.48084/etasr.17715
تاريخ النشر: 2026-06-06
المؤلف: Tolkyn Tuleutayeva وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية

نظرة عامة

تدرس هذه الدراسة الاستقرار الطولي لنماذج التنبؤ بالصحة النفسية باستخدام بيانات من دراسة العقول الصحية، التي شملت 265,870 طالبًا جامعيًا تم استطلاع آرائهم من 2022 إلى 2025. استخدمت الأبحاث تقنيات إحصائية متنوعة لتقييم انحراف البيانات وقيمت أداء ثلاثة خوارزميات تعلم آلي—الانحدار اللوجستي (LR)، وغابة عشوائية (RF)، وXGBoost—عبر استراتيجيات نمذجة زمنية مختلفة. تم تشغيل خطر الصحة النفسية كوجود أعراض متوسطة إلى شديدة من الاكتئاب أو القلق.

أشارت النتائج إلى تغييرات توزيع ذات دلالة إحصائية في البيانات؛ ومع ذلك، كانت أحجام التأثير صغيرة، مما يشير إلى انحراف عملي محدود. ظل أداء النموذج قويًا على مدار السنوات الثلاث، مع متوسط درجة F1 يبلغ 0.71 ومتوسط منطقة تحت منحنى التشغيل (AUROC) يبلغ 0.80، إلى جانب تدهور زمني ضئيل بنسبة 1.8%. من الجدير بالذكر أن الرفاهية تم تحديدها كأهم متنبئ بخطر الصحة النفسية، مما يبرز دورها الحاسم في نماذج التنبؤ. تؤكد هذه النتائج موثوقية نماذج التنبؤ بالصحة النفسية في ظل الاستقرار الزمني وتؤكد أهمية الرفاهية في تقييم مخاطر الصحة النفسية.

مقدمة

تسلط مقدمة الدراسة الضوء على التحديات الكبيرة في الصحة النفسية التي يواجهها الطلاب الجامعيون، كما يتضح من دراسة العقول الصحية 2024-2025 (HMS)، التي وجدت أن 37% من الطلاب أبلغوا عن أعراض اكتئاب متوسطة إلى شديدة و32% أبلغوا عن قلق متوسط إلى شديد. على الرغم من أن هذه الأرقام تظهر انخفاضًا عن ذروات فترة الوباء، إلا أنها لا تزال مرتفعة مقارنة بمستويات ما قبل الوباء. تفشل نماذج الرعاية الصحية النفسية التقليدية، التي تعتمد بشكل أساسي على الإحالة الذاتية، في تلبية احتياجات العديد من الطلاب، حيث يسعى فقط 20-40% للعلاج. وقد أثار هذا الفجوة اهتمامًا بأساليب الفحص الاستباقي، خاصة تلك التي تستخدم تعلم الآلة (ML)، لكن الانتقال إلى التطبيقات الواقعية معقد بسبب مشكلة انحراف البيانات الزمنية.

يشير انحراف البيانات الزمنية إلى التغييرات المنهجية في توزيعات البيانات مع مرور الوقت، والتي يمكن أن تقوض أداء نماذج ML إذا لم تتم إدارتها بشكل صحيح. تساهم عوامل مثل التحولات الديموغرافية، ووعي الأعراض المتطور، والأحداث الاجتماعية مثل جائحة COVID-19 في هذه التغييرات. تهدف الدراسة إلى سد فجوة حاسمة في الأدبيات من خلال التحقق من صحة نماذج ML باستخدام ثلاث سنوات من بيانات HMS (2022-2025) لتقييم مدى انحراف البيانات العملي، وتأثيره على أداء النموذج عبر فترات زمنية مختلفة، واستراتيجيات الحفاظ على استقرار النموذج في ظل هذه التغييرات. من خلال استخدام تقنيات الكشف عن الانحراف الرسمية وإجراء تحقق زمني متعدد السنوات، تسعى هذه الأبحاث إلى تعزيز قوة تطبيقات ML في فحص الصحة النفسية، متجاوزة الدقة التنبؤية البسيطة لضمان فعالية تشغيلية مستدامة.

طرق

في قسم الطرق، استخدم المؤلفون مجموعة متنوعة من تقنيات الكشف عن الانحراف لتقييم التغييرات الزمنية في البيانات، مع إعطاء الأولوية لأحجام التأثير على القيم p لتجنب سوء تفسير الفروق ذات الدلالة الإحصائية ولكن غير المهمة عمليًا بسبب حجم العينة الكبير. بالنسبة للمتغيرات المستمرة، تم استخدام اختبارات كولموغوروف-سميرنوف (K-S) لعينتين لتحديد الفروق التوزيعية بين أزواج السنوات، مدعومة بأحجام تأثير كوهين d لتQuantify الفروق المتوسطة. تم توجيه تفسير كوهين d بواسطة العتبات المعتمدة: تأثيرات تافهة (d < 0.20)، تأثيرات متوسطة (0.20 ≤ d < 0.50)، وتأثيرات كبيرة (d > 0.50).

بالإضافة إلى ذلك، تم استخدام مؤشر استقرار السكان (PSI) لقياس التحولات التوزيعية، مع عتبة 0.10 تشير إلى الاستقرار، و0.10-0.25 تشير إلى الحاجة إلى المراقبة، والقيم التي تتجاوز 0.25 تشير إلى انحراف كبير يتطلب إعادة تدريب النموذج أو إعادة معايرته. بالنسبة للمتغيرات الفئوية، تم إجراء اختبارات كاي-تربيع جنبًا إلى جنب مع أحجام تأثير كرامر V. كما قام المؤلفون بتحليل مصفوفات الارتباط عبر السنوات لتقييم استقرار العلاقات بين المتنبئين، مع اعتبار التغييرات التي تبلغ 0.10 أو أكثر في الارتباط المطلق ذات دلالة محتملة، وفقًا لإرشادات الأهمية العملية في أبحاث قياس النفس.

نتائج

في قسم النتائج، كشفت تحليلات الكشف عن الانحراف عن اختلافات ذات دلالة إحصائية في التوزيعات بين بيانات سنوات 2022-2023 و2024-2025، كما يتضح من اختبارات K-S التي أسفرت عن قيم p أقل من 0.001. ومع ذلك، كانت أحجام التأثير، التي تم قياسها بواسطة كوهين d، ضئيلة، تتراوح بين 0.001 إلى 0.115، مما يشير إلى عدم وجود دلالة عملية حيث أنها تقع تحت عتبة 0.20. بالإضافة إلى ذلك، ظلت قيم مؤشر استقرار السكان (PSI) مستقرة، باستمرار أقل من عتبة 0.10، مما يشير إلى أن كل من توزيعات المتغيرات الفردية والعلاقات بين المتنبئين تم الحفاظ عليها مع مرور الوقت.

دعمت مصفوفات الارتباط هذه النتائج، حيث كانت أقصى تغيير مطلق في الارتباطات الزوجية فقط 0.041، وهو أقل بكثير من العتبة المحددة مسبقًا 0.10. من الجدير بالذكر أن الارتباط السلبي بين الازدهار والوحدة ظل مستقرًا (-0.39 ≤ r ≤ -0.41)، بينما أظهر الارتباط بين القلق بشأن انعدام الأمن الغذائي والسكن بعض التغيرات الطفيفة (0.43 ≤ r ≤ 0.50). تقدم الجدول IV ملخصًا لنتائج الكشف عن الانحراف، مع تسليط الضوء على الدلالة الإحصائية وأحجام التأثير لمتغيرات مختلفة، بما في ذلك PHQ-9 وGAD-7، حيث أظهرت كلاهما قيم p ذات دلالة ولكن أحجام تأثير ضئيلة.

مناقشة

تسلط قسم المناقشة في ورقة البحث الضوء على النتائج الرئيسية المتعلقة بنشر نماذج تعلم الآلة (ML) في التنبؤ بنتائج الصحة النفسية بين الطلاب الجامعيين. استخدمت الدراسة بيانات من استطلاع HMS، الذي شمل عينة كبيرة من 234,544 طالبًا عبر ثلاث سنوات أكاديمية. كشفت التحليلات أنه على الرغم من تحقيق الدلالة الإحصائية باستمرار، كانت الدلالة العملية ضئيلة، مع أحجام تأثير أقل من 0.15. يشير هذا إلى أنه، على الرغم من أن حجم العينة الكبير يسمح بالكشف عن تأثيرات طفيفة، قد لا تترجم هذه النتائج إلى تغييرات ذات مغزى في أداء النموذج. وبالتالي، يجادل المؤلفون بأهمية الإبلاغ عن أحجام التأثير جنبًا إلى جنب مع القيم p في الدراسات الكبيرة لتمييز بين النتائج المهمة والتافهة.

كما تؤكد الورقة على الآثار المترتبة على نشر النموذج، مشيرة إلى أن المنظمات يمكن أن تستخدم بفعالية نماذج ثابتة تم تدريبها على بيانات تاريخية دون الحاجة إلى أنظمة إعادة تدريب معقدة، شريطة الحفاظ على مراقبة مستمرة لأداء النموذج. تدعم نسبة التدهور الزمني الملحوظة (1.80%) الفكرة القائلة بأن النماذج المدربة على بيانات سابقة يمكن أن تظل موثوقة مع مرور الوقت. علاوة على ذلك، تؤكد الدراسة على هيمنة الرفاهية كعامل وقائي في الصحة النفسية، حيث تمثل 54.30% من أهمية الميزات في النماذج. تدعو هذه النتيجة إلى تحول في التدخلات الصحية النفسية نحو تعزيز الصحة النفسية الإيجابية والرفاهية، مما يشير إلى أن البرامج الشاملة قد تكون بنفس أهمية التدخلات المستهدفة للأفراد ذوي المخاطر العالية. بشكل عام، تقدم الأبحاث حالة مقنعة للاستخدام الفعال لـ ML في سياقات الصحة النفسية مع تسليط الضوء على الحاجة إلى اعتبار دقيق لقابلية تعميم النموذج والانحياز في الاستجابة.

القيود

تسلط قيود الدراسة الضوء على عدة عوامل حاسمة قد تؤثر على صحة وعمومية النتائج. أولاً، كانت مجموعة المتنبئين محدودة بسبب البيانات المفقودة، مما يشير إلى أن دمج متغيرات إضافية ذات فقدان أقل يمكن أن يعزز دقة التنبؤ. تثير معدلات الاستجابة التي تتراوح بين 15-30% من استطلاع HMS مخاوف بشأن انحياز الاختيار، لا سيما فيما يتعلق بالتمثيل المفرط للطالبات والأشخاص الأكثر استعدادًا لمشاركة تجاربهم في الصحة النفسية. على الرغم من استخدام العينة الطبقية، فإن التمثيل الناقص المحتمل لمجموعات ديموغرافية مثل الطلاب الملونين، والطلاب من الجيل الأول، وأولئك من خلفيات اقتصادية اجتماعية منخفضة قد يؤدي إلى تفاوتات في أداء النموذج عبر مجموعات فرعية مختلفة. يجب أن تركز الأبحاث المستقبلية على تدقيق أداء النموذج عبر هذه المستويات الديموغرافية لتحديد ومعالجة مثل هذه التفاوتات.

بالإضافة إلى ذلك، تعكس فترة الملاحظة التي استمرت ثلاث سنوات في الدراسة مرحلة محددة من التعافي بعد الوباء، مما يتطلب آفاق زمنية أطول لتقييم استقرار النتائج تحت ظروف اجتماعية أو مؤسسية متغيرة. على الرغم من أن البحث يشمل مجموعة متنوعة من المؤسسات الأمريكية، قد لا تكون النتائج قابلة للتطبيق على أنظمة التعليم غير الأمريكية أو الكليات المجتمعية. سيتطلب التحقق الخارجي الحقيقي اختبارًا على عينات مستقلة من مؤسسات مختلفة لتقييم قابلية التعميم الأوسع. يؤكد المؤلفون على أهمية التحقق الزمني والإبلاغ عن أحجام التأثير، داعين إلى دراسات مستقبلية تمتد لفترات أطول وتستكشف تشغيل تدخلات الرفاهية، نظرًا لدورها المهم في الأهمية التنبؤية.

Journal: Engineering Technology & Applied Science Research, Volume: 16, Issue: 3
DOI: https://doi.org/10.48084/etasr.17715
Publication Date: 2026-06-06
Author(s): Tolkyn Tuleutayeva et al.
Primary Topic: Artificial Intelligence in Healthcare

Overview

This study examines the longitudinal stability of mental health prediction models using data from the Healthy Minds Study, which included 265,870 college students surveyed from 2022 to 2025. The research employed various statistical techniques to evaluate data drift and assessed the performance of three Machine Learning algorithms—Logistic Regression (LR), Random Forest (RF), and XGBoost—across different temporal modeling strategies. Mental health risk was operationalized as the presence of moderate-to-severe symptoms of depression or anxiety.

The results indicated statistically significant distributional changes in the data; however, the effect sizes were small, suggesting limited practical drift. Model performance remained robust over the three years, with a mean F1-score of 0.71 and a mean Area Under the Receiver Operating Characteristic curve (AUROC) of 0.80, alongside minimal temporal degradation of 1.8%. Notably, well-being was identified as the most significant predictor of mental health risk, underscoring its critical role in the prediction models. These findings affirm the reliability of mental health prediction models in the presence of temporal stability and emphasize the importance of well-being in assessing mental health risks.

Introduction

The introduction of the study highlights the significant mental health challenges faced by college students, as evidenced by the 2024-2025 Healthy Minds Study (HMS), which found that 37% of students reported moderate-to-severe depressive symptoms and 32% reported moderate-to-severe anxiety. Although these figures show a decline from pandemic-era peaks, they remain elevated compared to pre-pandemic levels. Traditional mental health care models, which primarily rely on self-referral, fail to address the needs of many students, with only 20-40% seeking treatment. This gap has spurred interest in proactive screening methods, particularly those utilizing Machine Learning (ML), but the transition to real-world applications is complicated by the issue of temporal data drift.

Temporal data drift refers to systematic changes in data distributions over time, which can undermine the performance of ML models if not properly managed. Factors such as shifting demographics, evolving symptom awareness, and societal events like the COVID-19 pandemic contribute to these changes. The study aims to fill a critical gap in the literature by validating ML models using three years of HMS data (2022-2025) to assess the extent of practical data drift, its impact on model performance across different time periods, and strategies to maintain model stability amidst these changes. By employing formal drift detection techniques and conducting multi-year temporal validation, this research seeks to enhance the robustness of ML applications in mental health screening, moving beyond mere predictive accuracy to ensure sustainable operational effectiveness.

Methods

In the methods section, the authors employed a variety of drift detection techniques to assess temporal changes in data, prioritizing effect sizes over p-values to avoid misinterpretation of statistically significant but practically insignificant differences due to the large sample size. For continuous variables, two-sample Kolmogorov-Smirnov (K-S) tests were utilized to identify distributional differences between year pairs, supplemented by Cohen’s d effect sizes to quantify mean differences. The interpretation of Cohen’s d was guided by established thresholds: trivial effects (d < 0.20), medium effects (0.20 ≤ d < 0.50), and large effects (d > 0.50).

Additionally, the Population Stability Index (PSI) was employed to measure distributional shifts, with a threshold of 0.10 indicating stability, 0.10-0.25 suggesting the need for monitoring, and values exceeding 0.25 signaling significant drift that necessitates model retraining or recalibration. For categorical variables, chi-square tests were conducted alongside Cramér’s V effect sizes. The authors also analyzed correlation matrices across years to evaluate the stability of relationships among predictors, marking changes of 0.10 or more in absolute correlation as potentially meaningful, in line with practical significance guidelines in psychological measurement research.

Results

In the results section, drift detection analyses revealed statistically significant differences in distributions between the data from the years 2022-2023 and 2024-2025, as evidenced by K-S tests yielding p-values below 0.001. However, the effect sizes, measured by Cohen’s d, were minimal, ranging from 0.001 to 0.115, indicating a lack of practical significance since they fall below the threshold of 0.20. Additionally, Population Stability Index (PSI) values remained stable, consistently below the 0.10 threshold, suggesting that both individual variable distributions and the relationships among predictors were maintained over time.

Correlation matrices further supported these findings, with the maximum absolute change in pairwise correlations being only 0.041, well below the pre-specified threshold of 0.10. Notably, the negative correlation between flourishing and loneliness remained stable (-0.39 ≤ r ≤ -0.41), while the correlation between food and housing insecurity worry exhibited slight variation (0.43 ≤ r ≤ 0.50). Table IV provides a summary of the drift detection results, highlighting the statistical significance and effect sizes for various variables, including PHQ-9 and GAD-7, both showing significant p-values but minimal effect sizes.

Discussion

The discussion section of the research paper highlights key findings regarding the deployment of machine learning (ML) models in predicting mental health outcomes among college students. The study utilized data from the HMS survey, which included a substantial sample of 234,544 students across three academic years. The analysis revealed that while statistical significance was consistently achieved, practical significance was minimal, with effect sizes below 0.15. This suggests that, despite the large sample size allowing for the detection of minor effects, these findings may not translate into meaningful changes in model performance. Consequently, the authors argue for the importance of reporting effect sizes alongside p-values in large studies to differentiate between significant and trivial findings.

The paper also emphasizes the implications for model deployment, indicating that organizations can effectively utilize static models trained on historical data without necessitating complex retraining systems, provided that ongoing monitoring of model performance is maintained. The minimal observed temporal degradation (1.80%) supports the notion that models trained on earlier data can remain reliable over time. Furthermore, the study underscores the dominance of well-being as a protective factor in mental health, accounting for 54.30% of feature importance in the models. This finding advocates for a shift in mental health interventions towards promoting positive mental health and well-being, suggesting that universal programs may be as critical as targeted interventions for high-risk individuals. Overall, the research presents a compelling case for the effective use of ML in mental health contexts while highlighting the need for careful consideration of model generalizability and response bias.

Limitations

The limitations of the study highlight several critical factors that may affect the validity and generalizability of the findings. Firstly, the predictor set was limited by missing data, suggesting that incorporating additional variables with lower missingness could enhance predictive accuracy. The response rates of 15-30% from the HMS survey raise concerns about selection bias, particularly regarding the overrepresentation of female students and those more willing to share their mental health experiences. Despite employing stratified sampling, the potential under-representation of demographic groups such as students of color, first-generation students, and those from lower socioeconomic backgrounds could lead to disparities in model performance across different subpopulations. Future research should focus on auditing model performance across these demographic levels to identify and address such disparities.

Additionally, the study’s three-year observation period reflects a specific post-pandemic recovery phase, necessitating longer time horizons to assess the stability of the findings under varying social or institutional conditions. While the research encompasses a diverse range of U.S. institutions, the results may not be applicable to non-U.S. educational systems or community colleges. True external validation would require testing on independent samples from various institutions to evaluate broader generalizability. The authors emphasize the importance of temporal validation and effect size reporting, advocating for future studies that span longer durations and explore the operationalization of well-being interventions, given its significant role in predictive importance.