DOI: https://doi.org/10.1038/s41598-025-31215-7
PMID: https://pubmed.ncbi.nlm.nih.gov/41484417
تاريخ النشر: 2026-01-02
المؤلف: Ismail Almuniri وآخرون
الموضوع الرئيسي: التعلم عبر الإنترنت والتحليلات
نظرة عامة
تقدم هذه الدراسة إطار تقييم تفاعل متعدد الوسائط مصمم لتحسين تقييم تفاعل الطلاب في بيئات التعلم المعززة بالتكنولوجيا. يتناول الإطار تحديات كبيرة مثل عدم توازن الفصول، وعدم استقرار النموذج، وقابلية التفسير من خلال ثلاث استراتيجيات رئيسية: استخدام دوال خسارة مدركة للفصول للتخفيف من عدم توازن الفصول، وزيادة البيانات الزمنية مع تجميع غير متجانس لتعزيز استقرار النموذج، وتحليل قائم على SHAP لتحسين قابلية التفسير. حقق الإطار دقة متوسطة قدرها $0.901 \pm 0.043$ ومتوسط درجة F1 ماكرو قدرها $0.847 \pm 0.068$، متفوقًا على المعايير المعتمدة مثل ResNet و LightGBM.
أشارت دراسات الإزالة إلى أن زيادة البيانات الزمنية وتنوع التجميع كانت حاسمة لتحسين الأداء، بينما أكدت تحليلات الحساسية على قوة النموذج عبر تكوينات مختلفة. حددت ملفات تعريف الكفاءة أن MCNN و TimeCNN هما الأكثر فعالية، حيث توازن بين الدقة العالية والكفاءة الحاسوبية. بالإضافة إلى ذلك، قدمت التفسيرات القائمة على SHAP رؤى حول نسب الميزات على مستوى الميزات والفصول، مما يبرز العلاقة بين التنبؤات ومؤشرات سلوكية أو معرفية محددة. تؤكد النتائج على أهمية التقييم المتوازن واستقرار التجميع في تحقيق تقييمات موثوقة لتفاعل الطلاب.
الطرق
تقدم منهجية هذه الدراسة إطارًا شاملاً لتحليل التجميع متعدد المراحل (MSEA)، وهيكلت في خمس مراحل رئيسية: وصف مجموعة البيانات والمعالجة المسبقة، وزيادة البيانات الزمنية للتعامل مع عدم توازن الفصول، وبنية النموذج التي تستخدم تجميع اللقطات، وإعداد التجربة والتقييم، والتحليلات الإحصائية والتفسيرية بعد الحدث. تم تنفيذ نهج التحقق المتداخل لضمان نتائج موثوقة وقابلة للتكرار، باستخدام التحقق المتقاطع ذو الخمس طيات المتدرجة المتكرر مع ثلاثة بذور عشوائية متميزة (13، 23، و42) لتقليل التباين والارتباط في تقسيم البيانات.
في إعداد التجربة، تم تقسيم بيانات التدريب إلى 80% للتدريب و20% للتحقق ضمن كل طية خارجية، مع استخدام مجموعة التحقق لاختيار النموذج وإيقاف مبكر بناءً على عتبات الصبر من 20-25 حقبة. تم تدريب جميع النماذج باستخدام معلمات ثابتة مع مُحسِّن آدم بمعدل تعلم ابتدائي قدره $1 \times 10^{-3}$. كانت دالة الخسارة المستخدمة هي خسارة فوكال فئة متفرقة موزونة محددة كالتالي: $FL(p_t) = -\alpha_t(1 – p_t)^\gamma \log(p_t)$، حيث تم تعيين $\gamma$ إلى 2.0 وتم اشتقاق أوزان الفصول $\alpha_t$ من تكرارات الفصول. لتعزيز معايرة الاحتمالية، تم تطبيق تلطيف التسميات، وضبط مُجدول معدل التعلم معدل التعلم بناءً على أداء التحقق. كانت المقياس الرئيسي للأداء هو درجة F1 المتوسطة الموزونة، مدعومة بالدقة، والدقة الموزونة، والاسترجاع الموزون، وκ لـ Cohen، إلى جانب مقاييس الكفاءة الحاسوبية لتقييم كل من الأداء التنبؤي ومتطلبات الموارد.
النتائج
يقدم قسم النتائج نتائج الدراسة، مع تسليط الضوء على النتائج الرئيسية المستمدة من الطرق التجريبية أو التحليلية المستخدمة. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات قيد التحقيق، حيث تؤكد التحليلات الإحصائية على قوة هذه النتائج. من الجدير بالذكر أن النتائج تشير إلى أن العلاقات المفترضة صحيحة عبر ظروف مختلفة، مما يعزز الإطار النظري الذي تم تأسيسه في المقدمة.
بالإضافة إلى النتائج الرئيسية، يتناول النقاش تداعيات هذه النتائج ضمن السياق الأوسع للمجال. يتناول القيود المحتملة للدراسة ويقترح سبلًا للبحث المستقبلي، مؤكدًا على الحاجة إلى مزيد من الاستكشاف للتحقق من النتائج الحالية وتوسيع نطاقها. بشكل عام، يبرز القسم مساهمة الدراسة في الأدبيات الحالية وأهميتها للتطبيقات العملية.
النقاش
يستعرض قسم النقاش في ورقة البحث تطور تقييم تفاعل الطلاب الآلي، مع التركيز على الانتقال من أطر التعلم العميق أحادي الوسيط إلى متعدد الوسائط (MDL). يبرز الأسس النظرية للتفاعل، والتي تستند بشكل أساسي إلى نموذج فريدريكس وآخرين، الذي يصنف التفاعل إلى أبعاد سلوكية وعاطفية ومعرفية. ينتقد القسم الأساليب السابقة التي اعتمدت على وسائط بيانات واحدة، مثل بيانات تدفق النقر وتحليل تعبيرات الوجه، والتي، على الرغم من قابليتها للتوسع، إلا أنها كافحت لالتقاط تعقيد التفاعل. يُلاحظ التحول نحو MDL لقدرتها على دمج مصادر بيانات متنوعة، مما يؤدي إلى تحسين الأداء في اكتشاف التفاعل. ومع ذلك، لا تزال التحديات مثل دمج البيانات، وقابلية التفسير، وعدم توازن الفصول، وتصميم التقييم قائمة، مما يحد من التطبيق الأوسع لهذه الأساليب في السياقات التعليمية.
تناقش الورقة أيضًا التقدمات الأخيرة في الدمج متعدد الوسائط، بما في ذلك النماذج الهجينة التي تجمع بين الشبكات العصبية التلافيفية (CNNs) وشبكات الذاكرة طويلة وقصيرة الأجل (LSTM)، بالإضافة إلى تقنيات النمذجة الزمانية المكانية التي تعزز فهم ديناميات التفاعل. على الرغم من هذه التقدمات، لا تزال القضايا مثل عدم وجود استراتيجيات عالمية لدمج البيانات وطبيعة نماذج التعلم العميق الغامضة تشكل حواجز كبيرة. يضع المؤلفون إطارهم المقترح كاستجابة لهذه التحديات، بهدف تعزيز القوة، وقابلية التفسير، والتعميم في بيئات التعلم الواقعية. يختتم القسم بتلخيص الدراسات الأساسية وفجواتها، مشيرًا إلى الحاجة إلى تحسين المنهجيات في تقييم التفاعل متعدد الوسائط.
القيود
تقتصر تقييمات الإطار المقترح على عدة قيود تؤثر على تفسير نتائجه. إحدى القضايا الرئيسية هي قابلية تعميم النتائج، التي تستند إلى مجموعة بيانات واحدة صغيرة نسبيًا (SEA، $N = 205$). تحد هذه القيود من الصلاحية الخارجية للنتائج لتكون قابلة للتطبيق على بيئات الفصول الدراسية الجامعية المدمجة المماثلة. على الرغم من استخدام أساليب مثل التحقق المتقاطع المتكرر، وزيادة البيانات الزمنية، ودوال خسارة مدركة للفصول لتعزيز القوة الداخلية، إلا أنها لا تحل محل الحاجة إلى التحقق الخارجي. يجب أن تركز الأبحاث المستقبلية على تقييم الإطار عبر سياقات متنوعة، بما في ذلك MOOCs والمجموعات متعددة اللغات، لتحسين قابلية التعميم.
بالإضافة إلى ذلك، يخضع الإطار لقيود الوسائط ومشكلات دقة الميزات، مما قد يؤثر على فعاليته في بيئات تعليمية متنوعة. يعد معالجة هذه القيود أمرًا حيويًا لتحسين الإطار وتوسيع قابليته للتطبيق على مجموعة أوسع من السكان المتعلمين ووسائط التعليم.
DOI: https://doi.org/10.1038/s41598-025-31215-7
PMID: https://pubmed.ncbi.nlm.nih.gov/41484417
Publication Date: 2026-01-02
Author(s): Ismail Almuniri et al.
Primary Topic: Online Learning and Analytics
Overview
This research presents a multimodal engagement assessment framework designed to improve the evaluation of student engagement in technology-enhanced learning environments. The framework addresses significant challenges such as class imbalance, model instability, and interpretability through three main strategies: the use of class-aware loss functions to mitigate class imbalance, temporal data augmentation combined with heterogeneous ensembling to bolster model stability, and SHAP-based analysis for enhanced interpretability. The framework achieved a mean accuracy of $0.901 \pm 0.043$ and a mean macro F1 score of $0.847 \pm 0.068$, outperforming established baselines like ResNet and LightGBM.
Ablation studies indicated that temporal augmentation and ensemble diversity were critical for performance improvements, while sensitivity analyses confirmed the robustness of the model across various configurations. The efficiency profiling identified MCNN and TimeCNN as the most effective architectures, balancing high accuracy with computational efficiency. Additionally, SHAP-based interpretations provided insights into feature-level and class-wise attributions, highlighting the connection between predictions and specific behavioral or cognitive indicators. The findings underscore the importance of balanced evaluation and ensemble stability in achieving reliable assessments of student engagement.
Methods
The methodology of this study introduces a comprehensive framework for Multi-Stage Ensemble Analysis (MSEA), structured into five key stages: dataset description and preprocessing, temporal data augmentation for class imbalance, model architecture utilizing snapshot ensembling, experimental setup and evaluation, and post-hoc statistical and interpretability analyses. A nested cross-validation approach was implemented to ensure reliable and reproducible results, employing stratified five-fold cross-validation repeated with three distinct random seeds (13, 23, and 42) to minimize variability and correlation in data partitioning.
In the experimental setup, the training data was split into 80% for training and 20% for validation within each outer fold, with the validation set used for model selection and early stopping based on patience thresholds of 20-25 epochs. All models were trained using fixed hyperparameters with the Adam optimizer at an initial learning rate of $1 \times 10^{-3}$. The loss function utilized was a weighted sparse categorical focal loss defined as $FL(p_t) = -\alpha_t(1 – p_t)^\gamma \log(p_t)$, where $\gamma$ was set to 2.0 and class weights $\alpha_t$ were derived from class frequencies. To enhance probability calibration, label smoothing was applied, and a learning rate scheduler adjusted the learning rate based on validation performance. The primary performance metric was the macro-averaged F1-score, supplemented by accuracy, weighted precision, weighted recall, and Cohen’s κ, alongside computational efficiency metrics to evaluate both predictive performance and resource requirements.
Results
The results section presents the findings of the study, highlighting key outcomes derived from the experimental or analytical methods employed. The data indicates a significant correlation between the variables under investigation, with statistical analyses confirming the robustness of these results. Notably, the findings suggest that the hypothesized relationships hold true across various conditions, reinforcing the theoretical framework established in the introduction.
In addition to the primary results, the discussion elaborates on the implications of these findings within the broader context of the field. It addresses potential limitations of the study and suggests avenues for future research, emphasizing the need for further exploration to validate and expand upon the current results. Overall, the section underscores the contribution of the study to existing literature and its relevance to practical applications.
Discussion
The discussion section of the research paper reviews the evolution of automated student engagement assessment, emphasizing the transition from unimodal to multimodal deep learning (MDL) frameworks. It highlights the theoretical underpinnings of engagement, primarily based on Fredricks et al.’s model, which categorizes engagement into behavioral, emotional, and cognitive dimensions. The section critiques earlier approaches that relied on single data modalities, such as clickstream data and facial expression analysis, which, while scalable, struggled to capture the complexity of engagement. The shift towards MDL is noted for its ability to integrate diverse data sources, leading to improved performance in engagement detection. However, challenges such as data fusion, interpretability, class imbalance, and evaluation design persist, limiting the broader application of these methods in educational contexts.
The paper further discusses recent advancements in multimodal integration, including hybrid models that combine convolutional neural networks (CNNs) and long short-term memory (LSTM) networks, as well as spatiotemporal modeling techniques that enhance the understanding of engagement dynamics. Despite these advancements, issues such as the lack of universal strategies for data fusion and the opaque nature of deep learning models remain significant barriers. The authors position their proposed framework as a response to these challenges, aiming to enhance robustness, interpretability, and generalization in real-world learning environments. The section concludes by summarizing foundational studies and their gaps, indicating the need for improved methodologies in multimodal engagement assessment.
Limitations
The proposed framework’s evaluation is constrained by several limitations that affect the interpretation of its findings. A primary concern is the generalizability of the results, which are based on a single, relatively small dataset (SEA, $N = 205$). This limitation restricts the external validity of the findings to similar blended university classroom environments. Although methods such as repeated k-fold cross-validation, temporal augmentation, and class-aware loss functions were utilized to enhance internal robustness, they do not replace the need for external validation. Future research should focus on evaluating the framework across diverse contexts, including MOOCs and multilingual cohorts, to improve generalizability.
Additionally, the framework is subject to modality constraints and feature granularity issues, which may impact its effectiveness in varying educational settings. Addressing these limitations is crucial for refining the framework and expanding its applicability to a broader range of learner populations and educational modalities.