DOI: https://doi.org/10.6339/26-jds1241
تاريخ النشر: 2026-01-01
المؤلف: Xiaohui Yin وآخرون
الموضوع الرئيسي: طرق إحصائية واستدلال
نظرة عامة
تناقش هذه الفقرة أهمية التنبؤ بدقة بعائد الطلاب للمؤسسات الأكاديمية، حيث يؤثر ذلك بشكل مباشر على تخصيص الموارد، وعروض الدورات، وسعة السكن، وقرارات الميزانية. يبرز المؤلفون أنه بينما تركز النماذج الحالية بشكل أساسي على احتمالات التسجيل الفردية، فإن التخطيط المؤسسي الفعال يتطلب توقعات دقيقة لعدد التسجيلات الإجمالية والشكوك المرتبطة بها.
لمعالجة هذه الحاجة، يطور المؤلفون طرقًا إحصائية لتوقع التسجيلات الإجمالية وتقدير الفترات باستخدام نماذج متنوعة، بما في ذلك الانحدار اللوجستي، والانحدار المنتظم، والأساليب المعتمدة على الأشجار، وتصنيف التجميع. يستخرجون فترة توقع حدية غير محددة وفترة محاكاة بارامترية للانحدار اللوجستي غير المعاقب، والتي تأخذ في الاعتبار عدم اليقين في المعاملات. بالنسبة للمتعلمين المنتظمين والمعتمدين على الأشجار، يتم تقديم فترة bootstrap غير مرتبطة بالنموذج لتجميع الاختيار، والتقدير، وعدم اليقين التنبؤي. بالإضافة إلى ذلك، يقترح المؤلفون مقاييس AUC الجزئية والهامشية لتقييم مساهمات مجموعات الميزات المختلفة في الهيكل التنبؤي. تظهر دراسات المحاكاة أن الفترات المقترحة تحقق تغطية قريبة من النمط، وعند تطبيقها على مجموعات الطلاب الجدد في ولاية كونيتيكت من 2020-2025، فإن الفترات تشمل بنجاح عدد التسجيلات الملحوظة لعام 2025 بينما تحدد مجموعات الميزات الرئيسية المساهمة.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على الدور الحاسم لإدارة التسجيل في التعليم العالي، وخاصة بالنسبة للجامعات العامة التي يجب أن توازن بين أحجام الفصول الدراسية والموارد المتاحة والأهداف المالية. يؤكد المؤلفون على العواقب الكبيرة لأخطاء توقع العائد، والتي يمكن أن تؤدي إما إلى ضغط على الموارد من التقديرات المنخفضة أو عجز في الميزانية من التقديرات المرتفعة. تبني الورقة على الأدبيات الحالية من خلال تقديم منهجيات متقدمة لتوقع العائد، بما في ذلك فترة توقع حدية مغلقة للانحدار اللوجستي غير المعاقب وفترة توقع bootstrap غير مرتبطة بالنموذج للانحدار المنتظم ونماذج التعلم الآلي.
لتحسين قابلية التفسير، يقترح المؤلفون مقاييس أهمية المجموعة المستندة إلى AUC – AUC الجزئية (pAUC) وAUC الهامشية (mAUC) – لتقييم مساهمات مجموعات الميزات المختلفة في توقع التسجيل. يتم تطبيق الإطار على مجموعات الطلاب الجدد في ولاية كونيتيكت، مما يوفر توقعات تسجيل إجمالية ورؤى حول العوامل المؤثرة في قرارات التسجيل. تحدد الأقسام اللاحقة من الورقة مجموعة البيانات، والنماذج التنبؤية، وبناء فترات التوقع، والنتائج من دراسة محاكاة، مما يؤدي إلى مناقشة النتائج واتجاهات البحث المستقبلية.
طرق
في هذا القسم، يحدد المؤلفون الإطار المنهجي لتوقع التسجيل الفردي باستخدام نماذج التنبؤ المرشحة. يعرفون مقياسين مستندين إلى منطقة تحت المنحنى (AUC) لتقييم مساهمة مجموعات الميزات: AUC الجزئية (pAUC) وAUC المعدلة (mAUC). تشير المتغيرات الاستجابة الثنائية \( y \) إلى حالة التسجيل، حيث \( y \in \{0, 1\} \). يعتمد التحليل على مجموعة بيانات تتكون من ملاحظات مستقلة لـ \( y \) جنبًا إلى جنب مع 63 متنبئًا مطابقًا، كما هو موضح في القسم 2.
بالإضافة إلى ذلك، يقدم المؤلفون منهجية فترة التوقع تهدف إلى تقدير العدد الإجمالي للتسجيلات، مما يعزز قوة نماذجهم التنبؤية. يسمح هذا النهج الشامل بفهم دقيق للعوامل المؤثرة في التسجيل والأداء التنبؤي العام للنماذج المستخدمة.
نتائج
تشير النتائج إلى أن التمييز على مستوى الفرد العالي لا يضمن فترات توقع موثوقة لتوقع التسجيل الإجمالي. يتم تصنيف الطرق التي تم تقييمها إلى ثلاث فئات بناءً على تمييز المتقدمين الفرديين، كما هو ملخص بواسطة مقاييس AUROC وAUPRC. تشمل الفئة العليا نموذجين من نماذج تعزيز التدرج (XGBoost، CatBoost) ونموذجين من التجميع (SuperLearner، MoE)، بينما يتبع الانحدار اللوجستي (LR) والشبكة المرنة (ENet) عن كثب، ويحتل Ranger وLR الفئة الأدنى. من الجدير بالذكر أن مستويات التمييز تقترب من معيار oracle، مع AUROC المتوقع بحوالي 0.74 وAUPRC بقيمة 0.32. ومع ذلك، فإن التشابه في عرض الفترات بين الطرق يخفي اختلافات كبيرة في جودة أسطح الاحتمالات الأساسية، مما يبرز بشكل خاص أن القيم المرتفعة للخطأ المطلق المتوسط (MAE) لـ Ranger وSuperLearner تشير إلى تحيز احتمالي منهجي بدلاً من مجرد تباين متبقي.
يكشف التحليل أن استقرار bootstrap هو عامل حاسم في التغطية المنخفضة الملحوظة بين نماذج التعلم الآلي. بينما يظهر LR وENet وMoE توافقًا وثيقًا بين أداء bootstrap-fit وأداء التدريب الكامل، يظهر CatBoost وSuperLearner تدهورًا كبيرًا في AUROC الخاص بـ bootstrap-fit، مما يؤدي إلى نقص التغطية على الرغم من تمييزهما القوي الأولي. على العكس من ذلك، يظهر Ranger استقرارًا في bootstrap ولكنه لا يزال يعاني من نقص التغطية، مما يشير إلى أن معايرة الاحتمالات أمر ضروري. تؤكد النتائج أن توقع الفترات الموثوقة يعتمد أكثر على استقرار ومعايرة سطح الاحتمال الملائم بدلاً من أداء التمييز وحده، مع كون استقرار bootstrap أداة تشخيصية قيمة لتقييم موثوقية الفترات عبر الطرق المرشحة.
مناقشة
في هذا القسم، تناقش البحث المنهجية والنتائج المتعلقة بتوقع نتائج التسجيل للطلاب الجدد غير المنقولين في ولاية كونيتيكت في حرم ستورز من 2020 إلى 2025. تستخدم الدراسة بيانات مؤسسية لتحليل حوالي 1,800-2,300 طالب جديد كل خريف، مع التركيز على متغير نتيجة ثنائي للتسجيل (1 للتسجيل، 0 خلاف ذلك). يستخدم التحليل إطار نمذجة تنبؤية يتضمن 63 متنبئًا مصنفة إلى خمس مجموعات ميزات: جانب الشخص، جانب الطلب، المدرسة الثانوية، الجغرافيا، ومتغيرات العائد المتأخرة. من الجدير بالذكر أن مجموعة جانب الطلب مقسمة أيضًا إلى خمس مجموعات فرعية، مما يعزز دقة التحليل. تشمل النماذج الانحدار اللوجستي، والشبكة المرنة، ومجموعة متنوعة من الأساليب المعتمدة على الأشجار (Ranger، XGBoost، CatBoost)، مع اعتبار أساليب التجميع مثل SuperLearner وMixture-of-Experts (MoE) أيضًا لتحسين الأداء التنبؤي.
تشير النتائج إلى أنه بينما يختلف التمييز على مستوى الفرد بشكل كبير بين الطرق المرشحة، تظل توقعات التسجيل الإجمالية متسقة عبر جميع النماذج. تظهر أساليب التجميع، وخاصة MoE وSuperLearner، تمييزًا متفوقًا، حيث تحقق قيم AUROC قريبة من 77% وقيم AUPRC فوق 61%. على الرغم من الاختلافات في الأداء على مستوى الفرد، تتنبأ جميع الطرق بنجاح بعدد التسجيلات الإجمالية لمجموعة 2025، مع تقديرات نقطية متوافقة بشكل وثيق مع العدد الملحوظ البالغ 1,875. يكشف تحليل أهمية المتغيرات أن مجموعة مراجعة الطلب تحتل باستمرار المرتبة الأكثر تأثيرًا، بينما توفر مجموعتا المدرسة الثانوية والجغرافيا معلومات متداخلة، كما يتضح من قيم AUC الهامشية العالية (mAUC) ولكن قيم AUC الجزئية المنخفضة (pAUC). بشكل عام، تؤكد النتائج فعالية إطار نمذجة التنبؤ في التقاط ديناميات التسجيل بينما تبرز أهمية مجموعات الميزات المحددة في التأثير على قرارات التسجيل.
DOI: https://doi.org/10.6339/26-jds1241
Publication Date: 2026-01-01
Author(s): Xiaohui Yin et al.
Primary Topic: Statistical Methods and Inference
Overview
This section discusses the importance of accurately forecasting student yield for academic institutions, as it directly influences resource allocation, course offerings, housing capacity, and budget decisions. The authors highlight that while existing models primarily focus on individual matriculation probabilities, effective institutional planning requires accurate predictions of aggregate enrollment counts and their associated uncertainties.
To address this need, the authors develop statistical methods for aggregate enrollment prediction and interval estimation using various models, including logistic regression, regularized regression, tree-based methods, and ensemble classification. They derive an asymptotic prediction interval and a parametric-simulation interval for unpenalized logistic regression, which accounts for coefficient uncertainty. For regularized and tree-based learners, a model-agnostic bootstrap interval is introduced to encapsulate selection, estimation, and predictive uncertainty. Additionally, the authors propose partial and marginal AUC measures to assess the contributions of different feature groups to the predictive structure. Simulation studies demonstrate that the proposed intervals achieve close-to-nominal coverage, and when applied to the University of Connecticut’s in-state freshman cohorts from 2020-2025, the intervals successfully encompass the observed 2025 enrollment count while identifying key contributing feature groups.
Introduction
The introduction of this research paper highlights the critical role of enrollment management in higher education, particularly for public universities that must balance class sizes with available resources and financial objectives. The authors emphasize the significant consequences of yield forecasting errors, which can lead to either resource strain from underestimations or budget shortfalls from overestimations. The paper builds on existing literature by introducing advanced methodologies for yield forecasting, including a closed-form asymptotic prediction interval for unpenalized logistic regression and a model-agnostic bootstrap prediction interval for regularized regression and machine-learning models.
To enhance interpretability, the authors propose two AUC-based group importance measures—partial AUC (pAUC) and marginal AUC (mAUC)—to assess the contributions of various feature groups in predicting enrollment. The framework is applied to the University of Connecticut’s in-state freshman cohorts, providing aggregate enrollment forecasts and insights into the factors influencing enrollment decisions. The subsequent sections of the paper outline the dataset, predictive models, construction of prediction intervals, and results from a simulation study, culminating in a discussion of findings and future research directions.
Methods
In this section, the authors outline the methodological framework for predicting individual enrollment using candidate predictive models. They define two area under the curve (AUC)-based metrics to assess the contribution of feature groups: the partial AUC (pAUC) and the modified AUC (mAUC). The binary response variable \( y \) indicates enrollment status, where \( y \in \{0, 1\} \). The analysis is based on a dataset comprising independent observations of \( y \) alongside 63 corresponding predictors, as detailed in Section 2.
Additionally, the authors introduce a prediction-interval methodology aimed at estimating the aggregate count of enrollments, enhancing the robustness of their predictive models. This comprehensive approach allows for a nuanced understanding of the factors influencing enrollment and the overall predictive performance of the models employed.
Results
The results indicate that high individual-level discrimination does not ensure reliable prediction intervals for aggregate enrollment forecasting. The methods evaluated are categorized into three tiers based on individual-applicant discrimination, as summarized by AUROC and AUPRC metrics. The top tier includes two gradient-boosting models (XGBoost, CatBoost) and two ensembles (SuperLearner, MoE), while logistic regression (LR) and elastic net (ENet) follow closely, and Ranger and LR occupy the lower tier. Notably, the discrimination levels approach an oracle benchmark, with an expected AUROC of approximately 0.74 and an AUPRC of 0.32. However, the similarity in interval widths among methods conceals significant differences in the quality of their underlying probability surfaces, particularly highlighting that elevated mean absolute error (MAE) values for Ranger and SuperLearner are indicative of systematic probability bias rather than mere residual variation.
The analysis reveals that bootstrap stability is a critical factor in the observed undercoverage among machine-learning models. While LR, ENet, and MoE demonstrate close alignment between bootstrap-fit and full-train performance, CatBoost and SuperLearner exhibit significant degradation in bootstrap-fit AUROC, leading to undercoverage despite their strong initial discrimination. Conversely, Ranger shows bootstrap stability but still suffers from undercoverage, suggesting that probability calibration is essential. The findings emphasize that reliable interval prediction relies more on the stability and calibration of the fitted probability surface than on discrimination performance alone, with bootstrap stability serving as a valuable diagnostic tool for assessing interval reliability across the candidate methods.
Discussion
In this section, the research discusses the methodology and findings related to predicting enrollment outcomes for in-state first-year non-transfer freshman applicants at the University of Connecticut’s Storrs campus from 2020 to 2025. The study utilizes institutional data to analyze approximately 1,800-2,300 freshmen each fall, focusing on a binary outcome variable for enrollment (1 for enrolled, 0 otherwise). The analysis employs a predictive modeling framework that incorporates 63 predictors categorized into five feature groups: person-aspect, application-aspect, high-school, geographic, and lagged-yield variables. Notably, the application-aspect group is further divided into five subgroups, enhancing the granularity of the analysis. The models include logistic regression, Elastic Net, and various tree-based methods (Ranger, XGBoost, CatBoost), with ensemble approaches like SuperLearner and Mixture-of-Experts (MoE) also considered to improve predictive performance.
The results indicate that while individual-level discrimination varies significantly among the candidate methods, aggregate enrollment forecasts remain consistent across all models. The ensemble methods, particularly MoE and SuperLearner, demonstrate superior discrimination, achieving AUROC values near 77% and AUPRC values above 61%. Despite differences in individual-level performance, all methods successfully predict the total enrollment count for the 2025 cohort, with point estimates closely aligned with the observed count of 1,875. The analysis of variable importance reveals that the Application Review group consistently ranks as the most influential, while the High School and Geography groups provide overlapping information, as indicated by their high marginal AUC (mAUC) but lower partial AUC (pAUC) values. Overall, the findings underscore the effectiveness of the predictive modeling framework in capturing enrollment dynamics while highlighting the importance of specific feature groups in influencing enrollment decisions.
