DOI: https://doi.org/10.3389/fpsyg.2026.1746479
PMID: https://pubmed.ncbi.nlm.nih.gov/41798021
تاريخ النشر: 2026-02-20
المؤلف: Marie-Luise Leitner وآخرون
الموضوع الرئيسي: التعلم عبر الإنترنت والتحليلات
نظرة عامة
تستكشف هذه الدراسة فعالية الشبكات العصبية الاصطناعية (ANNs) مقارنةً بنماذج التعلم الآلي التقليدية – وبالتحديد الانحدار اللوجستي، وشجرة القرار، والغابة العشوائية – في التقييم النفسي لطلبات الالتحاق بالجامعة. باستخدام مجموعة بيانات تضم 4,155 متقدمًا، تقيم البحث أداء النموذج من خلال الدقة وتحليل خصائص التشغيل المستقبلية (ROC)، مع منطقة تحت المنحنى (AUC) كمقياس رئيسي. تشير النتائج إلى أن الانحدار اللوجستي حقق أعلى أداء تنبؤي (الدقة = 0.973، AUC = 0.99)، تليه الغابة العشوائية عن كثب (الدقة = 0.961، AUC = 0.98). بينما كانت الشبكة العصبية الاصطناعية تنافسية في الدقة (0.933)، أظهرت قدرة تمييز أقل (AUC = 0.87) وعلامات على الإفراط في التكيف.
تشير النتائج إلى أن نماذج التعلم الآلي التقليدية تتفوق على الشبكة العصبية الاصطناعية التي تم تقييمها من حيث الاستقرار، وقابلية التفسير، والصلابة لمجموعات البيانات النفسية المتوسطة الحجم والمنظمة. وهذا يبرز أهمية اختيار النموذج والتحيز الاستقرائي في البحث النفسي التطبيقي، داعيًا إلى الاستمرار في استخدام أساليب التعلم الآلي الكلاسيكية في سياقات الاختيار والتقييم. كما تسلط التحليل الضوء على البيولوجيا، والكيمياء، والتفكير العددي كمتنبئين رئيسيين لنجاح القبول.
مقدمة
تناقش مقدمة ورقة البحث الاستخدام المتزايد للتعلم الآلي (ML) والشبكات العصبية الاصطناعية (ANNs) في تحليل البيانات النفسية، لا سيما في علم النفس التعليمي. تسهل هذه النماذج الحسابية المتقدمة تحديد الأنماط وتوقع النتائج من مجموعات البيانات المعقدة (جوردان وميتشل، 2015). يركز البحث بشكل رئيسي على تحليل خصائص التشغيل المستقبلية (ROC)، الذي يعد معيارًا ذهبيًا لتقييم النماذج التنبؤية من خلال تقييم قدرتها على التمييز بين الفئات عبر عتبات قرار مختلفة (فوسيت، 2006؛ ميتز، 1978). يوفر تحليل ROC مقاييس أداء حاسمة، مثل الحساسية (معدل الإيجابيات الحقيقية) والخصوصية (معدل السلبيات الحقيقية)، والتي تعتبر ضرورية لفهم دقة التصنيف في النتائج الثنائية.
تتوسع الورقة في التطبيقات المنهجية لتحليل ROC، بما في ذلك اختيار العتبات، ومقارنة المصنفات من خلال مقاييس منطقة تحت المنحنى (AUC)، وتقييم قدرة التمييز للنموذج. تبرز أهمية منحنيات ROC في التقييمات النفسية، حيث يمكن أن تؤثر تداعيات الإيجابيات الكاذبة والسلبيات الكاذبة بشكل كبير على اتخاذ القرار (سويتس، 1988؛ ستراينر وكيرني، 2007). تستخدم الدراسة تحليل ROC لمقارنة أربعة خوارزميات تصنيف – الانحدار اللوجستي، وأشجار القرار، والغابات العشوائية، والشبكات العصبية ذات الطبقة الواحدة – مع التركيز على منحنيات ROC الخاصة بها، وقيم AUC، وانحياز المصنف، مما يضع إطارًا شاملاً لتقييم أداء النموذج في البحث النفسي.
طرق
في هذه الدراسة، قام المؤلفون بتحليل مجموعة بيانات تضم N = 4,155 متقدمًا لامتحان دخول الجامعة في العلوم الصحية. تضمنت البيانات، التي تم جمعها بأثر رجعي، ميزات سكانية واجتماعية وأكاديمية ومعرفية متنوعة، دون تفاعل مباشر مع المشاركين، مما يلغي الحاجة إلى الموافقة الأخلاقية. بعد تنظيف مجموعة البيانات لإزالة القيم الشاذة والمدخلات غير المعقولة، تكونت العينة النهائية من 2,447 أنثى و1,708 ذكور، تتراوح أعمارهم بين 18 و38 عامًا، مع كون الغالبية من المواطنين النمساويين. جاء المتقدمون من خلفيات مدرسية ثانوية متنوعة وتم تقييمهم على مؤشرات أكاديمية في البيولوجيا، والكيمياء، والفيزياء، والرياضيات، إلى جانب مقاييس القدرة المعرفية مثل التشابهات الشكلية، وسلاسل الأرقام، وأداء الذاكرة، والتفكير الرياضي.
لتقييم المتنبئين بنتائج القبول (متغير ثنائي: sel؛ 0 = غير مختار، 1 = مختار)، تم إجراء تحليلات الارتباط المتبادل. أظهرت النتائج وجود تباين مشترك منخفض بين المتنبئين، حيث كانت جميع الارتباطات الزوجية أقل من \( r = 0.70 \). بالإضافة إلى ذلك، كانت قيم عامل تضخم التباين (VIF) أقل من عتبة 5، وتجاوزت إحصائيات التسامح 0.20، مما يؤكد أن التعددية الخطية لم تكن مشكلة. تشير هذه النتائج إلى أن المتنبئين مستقلون بما فيه الكفاية لتقدير النموذج بشكل فعال، مما يتماشى مع الإرشادات المعمول بها في الأدبيات (دانغتي، 2017؛ هير وآخرون، 2010).
نتائج
يقدم قسم النتائج أداء النماذج الأربعة للتعلم الآلي المصممة لتصنيف النجاح في امتحان دخول الجامعة. تم تدريب جميع النماذج على نفس مجموعات الميزات وتم تقييمها باستخدام تقسيمات تدريب واختبار متسقة للحفاظ على القابلية للمقارنة. تضمنت مقاييس الأداء دقة التصنيف العامة، وتحليل خصائص التشغيل المستقبلية (ROC)، ومنطقة تحت منحنى ROC (AUC). تعتبر AUC مقياسًا مستقلًا عن العتبة للتمييز، مما يوفر رؤى قيمة حول قابلية تعميم النماذج عبر حدود القرار المختلفة، كما أبرز فوسيت (2006). من خلال الإبلاغ عن كل من الدقة وAUC، تقدم الدراسة تقييمًا شاملاً لأداء النماذج، مع معالجة الجوانب المعتمدة على العتبة وغير المعتمدة على العتبة.
مناقشة
تسلط قسم المناقشة في الدراسة الضوء على الأداء المقارن لنماذج التعلم الآلي التقليدية والشبكات العصبية الاصطناعية (ANNs) في تصنيف نتائج القبول النفسي بناءً على مجموعة بيانات تضم 4,155 متقدمًا. تكشف النتائج أن الانحدار اللوجستي حقق أعلى دقة (0.973) وAUC (0.99)، مما يدل على قوته وقابلية تفسيره، مما يجعله مناسبًا بشكل خاص لمهام التصنيف الثنائي في السياقات النفسية. كما أدت نموذج الغابة العشوائية أداءً جيدًا، بدقة 0.961 وAUC 0.98، مما يدل على فعاليته في التعميم عبر عتبات التصنيف. في المقابل، بينما حققت الشبكة العصبية الاصطناعية دقة محترمة تبلغ 0.933، أظهرت إفراطًا كبيرًا في التكيف وقيم AUC أقل، مما يبرز التحديات في تطبيق الشبكات العصبية على مجموعات البيانات الصغيرة والمنظمة دون تنظيم مناسب.
تؤكد الدراسة على أهمية قابلية تفسير النموذج ودور أهمية الميزات في فهم المتنبئين بالنجاح في عملية القبول. تشمل المتنبئين الرئيسيين الذين تم تحديدهم عبر النماذج الكفاءات الخاصة بالموضوع في البيولوجيا والكيمياء، إلى جانب القدرات المعرفية مثل التفكير العددي. تشير النتائج إلى أن النماذج التقليدية، وخاصة الانحدار اللوجستي والغابات العشوائية، أكثر فعالية وقابلية للتفسير لمهام التصنيف النفسي، خاصة في السياقات التي تحتوي على بيانات محدودة. كما تسلط النتائج الضوء على الحاجة إلى النظر بعناية في الضوضاء واستقرار النموذج، حيث لوحظت تقلبات في الأداء، خاصة في أشجار القرار والشبكات العصبية الاصطناعية. بشكل عام، تدعو الدراسة إلى الاستمرار في استخدام أساليب التعلم الآلي التقليدية في البحث النفسي مع الدعوة إلى تقدم في منهجيات الشبكات العصبية لمعالجة التحديات الفريدة في هذا المجال بشكل أفضل.
DOI: https://doi.org/10.3389/fpsyg.2026.1746479
PMID: https://pubmed.ncbi.nlm.nih.gov/41798021
Publication Date: 2026-02-20
Author(s): Marie-Luise Leitner et al.
Primary Topic: Online Learning and Analytics
Overview
This study investigates the efficacy of artificial neural networks (ANNs) compared to traditional machine learning models—specifically logistic regression, decision tree, and random forest—in psychological assessment for university admissions. Utilizing a dataset of 4,155 applicants, the research evaluates model performance through accuracy and receiver operating characteristic (ROC) analysis, with the area under the curve (AUC) as the primary metric. The results indicate that logistic regression achieved the highest predictive performance (accuracy = 0.973, AUC = 0.99), followed closely by random forest (accuracy = 0.961, AUC = 0.98). The ANN, while competitive in accuracy (0.933), demonstrated lower discriminative ability (AUC = 0.87) and signs of overfitting.
The findings suggest that traditional machine learning models outperform the evaluated ANN in terms of stability, interpretability, and robustness for medium-sized, structured psychological datasets. This emphasizes the significance of model selection and inductive bias in applied psychological research, advocating for the continued use of classical machine learning approaches in selection and assessment contexts. The analysis also highlights biology, chemistry, and numerical reasoning as key predictors of admission success.
Introduction
The introduction of the research paper discusses the growing utilization of machine learning (ML) and artificial neural networks (ANNs) in analyzing psychological data, particularly within educational psychology. These advanced computational models facilitate the identification of patterns and prediction of outcomes from complex datasets (Jordan and Mitchell, 2015). A key focus is on Receiver Operating Characteristic (ROC) analysis, which serves as a gold standard for evaluating predictive models by assessing their ability to distinguish between classes across varying decision thresholds (Fawcett, 2006; Metz, 1978). ROC analysis provides critical performance metrics, such as sensitivity (true positive rate) and specificity (true negative rate), which are essential for understanding classification accuracy in binary outcomes.
The paper further elaborates on the methodological applications of ROC analysis, including threshold selection, classifier comparison through area under the curve (AUC) metrics, and the evaluation of a model’s discrimination capacity. It highlights the importance of ROC curves in psychological assessments, where the implications of false positives and negatives can significantly impact decision-making (Swets, 1988; Streiner and Cairney, 2007). The study employs ROC analysis to compare four classification algorithms—logistic regression, decision trees, random forests, and single-layer neural networks—focusing on their ROC curves, AUC values, and classifier bias, thereby establishing a comprehensive framework for evaluating model performance in psychological research.
Methods
In this study, the authors analyzed a dataset comprising N = 4,155 applicants to a university entrance examination in health sciences. The data, collected retrospectively, included various sociodemographic, academic, and cognitive features, with no direct interaction with participants, thus negating the need for ethical approval. After cleaning the dataset to remove outliers and implausible entries, the final sample consisted of 2,447 females and 1,708 males, aged 18 to 38 years, with a majority being Austrian citizens. The applicants came from diverse secondary school backgrounds and were assessed on academic indicators in biology, chemistry, physics, and mathematics, alongside cognitive ability measures such as figural analogies, number series, memory performance, and mathematical thinking.
To evaluate the predictors of admission outcomes (binary variable: sel; 0 = not selected, 1 = selected), intercorrelation analyses were performed. The results indicated low shared variance among predictors, with all pairwise correlations below \( r = 0.70 \). Additionally, variance inflation factor (VIF) values were below the threshold of 5, and tolerance statistics exceeded 0.20, confirming that multicollinearity was not an issue. These findings suggest that the predictors are sufficiently independent for effective model estimation, aligning with established guidelines in the literature (Dangeti, 2017; Hair et al., 2010).
Results
The results section presents the predictive performance of four machine learning models designed to classify success in a university entrance examination. All models were trained on the same feature sets and evaluated using consistent training and test splits to maintain comparability. Performance metrics included overall classification accuracy, receiver operating characteristic (ROC) analysis, and the area under the ROC curve (AUC). The AUC serves as a threshold-independent measure of discrimination, providing valuable insights into the models’ generalizability across different decision boundaries, as highlighted by Fawcett (2006). By reporting both accuracy and AUC, the study offers a comprehensive assessment of the models’ performance, addressing both threshold-dependent and threshold-independent aspects.
Discussion
The discussion section of the study highlights the comparative performance of traditional machine learning models and artificial neural networks (ANNs) in classifying psychological admissions outcomes based on a dataset of 4,155 applicants. The findings reveal that logistic regression achieved the highest accuracy (0.973) and AUC (0.99), demonstrating its robustness and interpretability, making it particularly suitable for binary classification tasks in psychological contexts. The random forest model also performed well, with an accuracy of 0.961 and an AUC of 0.98, indicating its effectiveness in generalizing across classification thresholds. In contrast, the ANN, while achieving a respectable accuracy of 0.933, exhibited significant overfitting and lower AUC values, underscoring the challenges of applying neural networks to smaller, structured datasets without appropriate regularization.
The study emphasizes the importance of model interpretability and the role of feature importance in understanding predictors of success in the admissions process. Key predictors identified across models included subject-specific competencies in biology and chemistry, alongside cognitive abilities such as numerical reasoning. The results suggest that traditional models, particularly logistic regression and random forests, are more effective and interpretable for psychological classification tasks, especially in contexts with limited data. The findings also highlight the need for careful consideration of noise and model stability, as variability in performance was noted, particularly in decision trees and ANNs. Overall, the study advocates for the continued use of traditional machine learning approaches in psychological research while calling for advancements in neural network methodologies to better address the unique challenges of this field.