DOI: https://doi.org/10.1371/journal.pone.0325377
PMID: https://pubmed.ncbi.nlm.nih.gov/40493580
تاريخ النشر: 2025-06-10
المؤلف: Lijuan Yan وآخرون
الموضوع الرئيسي: التعلم عبر الإنترنت والمختلط
نظرة عامة
تقدم ورقة البحث إطار عمل للتعلم العميق متعدد الأنماط مصمم لتقييم تفاعل الطلاب في بيئات التعلم المدمجة. يدمج هذا الإطار بيانات من ثلاثة أنماط—فيديو، نص، وسجلات—لاستخراج مؤشرات التفاعل وتقييم مستويات التفاعل باستخدام نماذج التعلم العميق. الابتكار الرئيسي هو تطبيق رسم خرائط حجم التدرج، الذي يعزز التمييز بين التغيرات الدقيقة في التفاعل. تؤكد الدراسات التجريبية فعالية الإطار، مما يظهر دقة عالية في تحديد الطلاب بمستويات تفاعل مختلفة، مع تسليط الضوء بشكل خاص على أداء الشبكة التلافيفية الكاملة (FCN).
تشير النتائج إلى أن طريقة قياس درجة التفاعل المقترحة، المستندة إلى رسم خرائط حجم التدرج، ترتبط إيجابياً بالأداء الأكاديمي، مما يقترح موثوقيتها في تحسين تقييمات التفاعل. تناقش الورقة أيضاً الحاجة إلى التمييز بين التفاعل قصير الأمد وطويل الأمد، مع التأكيد على أهمية تقييم تأثير التفاعل المستمر على نتائج التعلم. تشمل اتجاهات البحث المستقبلية دمج أنماط إضافية، مثل البيانات الفسيولوجية والصوتية، واستكشاف المنطق الضبابي لتعزيز قابلية التكيف في التصنيف في البيئات التعليمية الديناميكية. يهدف المؤلفون إلى تحسين قابلية الفهم في التفسيرات التنبؤية لمساعدة المعلمين والطلاب في فهم مقاييس التفاعل.
مقدمة
تؤكد مقدمة ورقة البحث على الأهمية المتزايدة لتفاعل الطلاب في تعزيز نتائج التعلم، وتعزيز البيئات التعليمية الإيجابية، وتحسين الجودة التعليمية العامة. تبرز الحاجة إلى تقييم تفاعل الطلاب لتحديد مجالات عدم التفاعل وتسهيل تجارب التعلم الشخصية. تشير الورقة إلى ظهور تقنيات تعدين البيانات المختلفة، وخاصة خوارزميات التجميع والتصنيف، التي أثبتت فعاليتها في تحليل أنماط التفاعل في سياقات التعلم عبر الإنترنت والمختلط. تقدم هذه الطرق مزايا على تقنيات التقييم التقليدية من خلال توفير تقييمات أكثر موضوعية وأقل إزعاجًا لتفاعل الطلاب.
يقترح المؤلفون إطار عمل للتعلم العميق متعدد الأنماط لتقييم تفاعل الطلاب (SEA)، يدمج بيانات من مصادر الفيديو والنص والسجلات لالتقاط رؤية شاملة لتفاعل الطلاب. يحددون مساهماتهم، بما في ذلك طريقة لدمج البيانات باستخدام السلاسل الزمنية متعددة المتغيرات، وتطبيق خوارزميات التعلم العميق للسلاسل الزمنية لتقييم التفاعل بشكل خشن، وخوارزمية قياس لدرجات التفاعل بشكل دقيق. تمهد المقدمة الطريق للأقسام التالية، التي ستستكشف الأدبيات ذات الصلة، وتقدم الإطار المقترح والمنهجية، وتناقش التقييمات التجريبية للتحقق من فعالية نهجهم.
طرق
لم تتطلب الطرق المستخدمة في هذه الدراسة موافقة أخلاقية، حيث تم جمع البيانات خلال تقييمات جودة التعليم الروتينية. تم إبلاغ المشاركين، الذين تتراوح أعمارهم بين 19 و20 عامًا، بأهداف الدراسة وقدموا موافقة خطية لاستخدام بيانات عملية التعلم الخاصة بهم، والتي تم إخفاء هويتهم لاحقًا لحماية خصوصيتهم.
تستند المنهجية التجريبية إلى ثلاثة أنماط: الفيديو، النص، وبيانات السجلات. كما هو موضح في الشكل 1، تشمل الطريقة عدة مكونات رئيسية: استخراج مؤشرات التفاعل، دمج البيانات، تقييم خشن باستخدام نماذج التعلم العميق، وتقييم دقيق يركز على قابلية تفسير النموذج. يهدف هذا الإطار الشامل إلى تعزيز فهم تفاعل الطلاب من خلال تحليل متعدد الأبعاد للبيانات المجمعة.
نتائج
تتناول قسم النتائج الإعداد الحاسوبي والمنهجية المستخدمة في الدراسة، التي استخدمت نظام MacOS مزود بشريحة Apple M2 Ultra، تحتوي على معالج مركزي 24-core، ومعالج رسومي 60-core، وذاكرة 128GB. تم إجراء التجارب باستخدام Python وKeras، مع إعدادات المعلمات الفائقة لأربعة شبكات عصبية تلافيفية (CNNs) موضحة في الجدول 3. كان الهدف الرئيسي من الدراسة المقارنة التجريبية هو تقييم قابلية تطبيق الإطار المقترح في السياقات التعليمية الحقيقية، مع معالجة ثلاثة أسئلة بحث رئيسية تتعلق بفعاليته، وأداء نماذج التعلم العميق المختلفة في تمييز مستويات التفاعل، ومعقولية درجات التفاعل الكمية.
تم تصنيف إشارات التفاعل المرتبطة بمستويات مختلفة من تفاعل الطلاب إلى تفاعل منخفض، معتدل، وعالي، كما هو موضح في الجدول 2. تم تمييز التفاعل المنخفض بعدم الاستجابة للأسئلة وتنوع تعبيرات الوجه، بينما شمل التفاعل المعتدل الاستجابات وتعبيرات وجه مريحة. تم تمييز التفاعل العالي بالمشاركة النشطة والتركيز. تهدف نتائج الدراسة إلى تقديم رؤى حول التطبيق العملي للإطار وفعالية نماذج التعلم العميق في تقييم تفاعل الطلاب في البيئات التعليمية.
نقاش
في قسم النقاش، تستعرض الورقة التقدمات الكبيرة في التعلم العميق متعدد الأنماط، خاصة في سياق تقييم تفاعل الطلاب. تبرز أهمية دمج أنماط متعددة—مثل حركات العين، تعبيرات الوجه، بيانات EEG، والإشارات الفسيولوجية—لتوفير فهم شامل لتفاعل الطلاب. أظهرت الدراسات السابقة أن الأساليب متعددة الأنماط تحقق نتائج أفضل في التعرف على الحالات المعرفية والعاطفية، مما يعزز دقة تقييمات التفاعل. يقترح المؤلفون إطار عمل جديد لتقييم التفاعل متعدد الأنماط يتكون من ثلاث مراحل: استخراج مؤشرات التفاعل، دمج البيانات، وتقييم التفاعل. يركز هذا الإطار على إنشاء مساحة تمثيل مشتركة لالتقاط وتحليل المعلومات التكميلية من أنماط مختلفة بشكل فعال.
تشمل مرحلة استخراج مؤشرات التفاعل في الإطار معالجة البيانات من أنماط مختلفة بشكل منفصل، باستخدام تقنيات مثل الشبكات العصبية التلافيفية (CNNs) لبيانات الفيديو وTF-IDF لبيانات النص. تتماشى مرحلة دمج البيانات مع هذه الأنماط زمنياً لإنشاء سلسلة زمنية متعددة المتغيرات، وهو أمر حاسم للحفاظ على العلاقات بين أنواع البيانات المختلفة. أخيرًا، تستخدم مرحلة تقييم التفاعل خوارزميات التعلم العميق لتصنيف مستويات التفاعل إلى فئات عالية، معتدلة، ومنخفضة. تناقش الورقة أيضًا قابلية تفسير نماذج التعلم العميق، وتقترح طريقة لتحسين تقييمات التفاعل من خلال تحليل مساهمات التدرج من بيانات الميزات. تتيح هذه الطريقة فهمًا أكثر دقة لتفاعل الطلاب، مما يسهل استراتيجيات ونتائج تعليمية أفضل.
DOI: https://doi.org/10.1371/journal.pone.0325377
PMID: https://pubmed.ncbi.nlm.nih.gov/40493580
Publication Date: 2025-06-10
Author(s): Lijuan Yan et al.
Primary Topic: Online and Blended Learning
Overview
The research paper presents a multimodal deep learning framework designed for assessing student engagement in blended learning environments. This framework integrates data from three modalities—video, text, and logs—to extract engagement indicators and evaluate engagement levels using deep learning models. A key innovation is the application of gradient magnitude mapping, which enhances the differentiation of subtle engagement variations. Empirical studies validate the framework’s effectiveness, demonstrating high accuracy in identifying students with varying levels of engagement, particularly highlighting the performance of the Fully Convolutional Network (FCN).
The findings indicate that the proposed engagement score quantification method, based on gradient magnitude mapping, correlates positively with academic performance, suggesting its reliability in refining engagement assessments. The paper also discusses the need to differentiate between short-term and long-term engagement, emphasizing the importance of evaluating sustained engagement’s impact on learning outcomes. Future research directions include the integration of additional modalities, such as physiological and audio data, and the exploration of fuzzy logic to enhance classification adaptability in dynamic educational settings. The authors aim to improve interpretability in predictive explanations to aid educators and students in understanding engagement metrics.
Introduction
The introduction of the research paper emphasizes the increasing significance of student engagement in enhancing learning outcomes, fostering positive educational environments, and improving overall educational quality. It highlights the necessity of assessing student engagement to identify disengagement areas and facilitate personalized learning experiences. The paper notes the emergence of various data mining techniques, particularly clustering and classification algorithms, which have proven effective in analyzing engagement patterns in online and blended learning contexts. These methods offer advantages over traditional assessment techniques by providing more objective and less disruptive evaluations of student engagement.
The authors propose a multimodal deep learning framework for student engagement assessment (SEA), integrating data from video, text, and log sources to capture a comprehensive view of student engagement. They outline their contributions, including a method for data fusion using multivariate time series, the application of time series deep learning algorithms for coarse-grained engagement assessment, and a quantification algorithm for fine-grained engagement scoring. The introduction sets the stage for the subsequent sections, which will explore related literature, present the proposed framework and methodology, and discuss experimental evaluations to validate the effectiveness of their approach.
Methods
The methods employed in this study did not require ethical approval, as the data was collected during routine teaching quality assessments. Participants, aged 19 to 20, were informed about the study’s objectives and provided written consent for the use of their learning process data, which was subsequently anonymized to protect their identities.
The empirical methodology is structured around three modalities: video, text, and log data. As illustrated in Figure 1, the approach encompasses several key components: the extraction of engagement indicators, data fusion, a coarse-grained assessment utilizing deep learning models, and a fine-grained assessment that emphasizes model interpretability. This comprehensive framework aims to enhance the understanding of student engagement through a multi-faceted analysis of the collected data.
Results
The results section details the computational setup and methodology employed in the study, which utilized a MacOS system equipped with an Apple M2 Ultra chip, featuring a 24-core CPU, 60-core GPU, and 128GB of memory. The experiments were conducted using Python and Keras, with hyperparameter settings for four convolutional neural networks (CNNs) outlined in Table 3. The primary objective of the empirical comparative study was to assess the applicability of the proposed framework in real educational contexts, addressing three key research questions regarding its effectiveness, the performance of various deep learning models in distinguishing engagement levels, and the reasonableness of quantified engagement scores.
Engagement cues associated with different levels of student engagement were categorized into low, moderate, and high engagement, as detailed in Table 2. Low engagement was characterized by a lack of response to questions and varied facial expressions, while moderate engagement included responses and relaxed facial expressions. High engagement was marked by active participation and focused attention. The study’s findings aim to provide insights into the framework’s practical application and the efficacy of deep learning models in evaluating student engagement in educational settings.
Discussion
In the discussion section, the paper reviews significant advancements in multimodal deep learning, particularly in the context of student engagement assessment. It highlights the importance of integrating multiple modalities—such as eye movements, facial expressions, EEG data, and physiological signals—to provide a comprehensive understanding of student engagement. Previous studies have demonstrated that multimodal approaches yield superior results in recognizing cognitive and emotional states, thereby enhancing the accuracy of engagement evaluations. The authors propose a novel framework for multimodal engagement assessment that consists of three stages: Engagement Indicator Extraction, Data Fusion, and Engagement Assessment. This framework emphasizes the creation of a shared representation space to effectively capture and analyze complementary information from various modalities.
The framework’s Engagement Indicator Extraction stage involves processing data from different modalities separately, using techniques such as Convolutional Neural Networks (CNNs) for video data and TF-IDF for text data. The Data Fusion stage aligns these modalities temporally to create a multivariate time series, which is crucial for preserving the relationships between different data types. Finally, the Engagement Assessment stage employs deep learning algorithms to classify engagement levels into high, moderate, and low categories. The paper also discusses the interpretability of deep learning models, proposing a method to refine engagement assessments by analyzing gradient contributions from feature data. This approach allows for a more nuanced understanding of student engagement, facilitating better educational strategies and outcomes.