DOI: https://doi.org/10.19173/irrodl.v27i1.8868
تاريخ النشر: 2026-02-10
المؤلف: Hao Fang وآخرون
الموضوع الرئيسي: التعلم عبر الإنترنت والتحليلات
نظرة عامة
تقدم هذه الدراسة إطار عمل لتحليل التعلم متعدد الوسائط مصمم لتعزيز تقييم مشاركة الطلاب وحالاتهم العاطفية في بيئات التعلم عبر الإنترنت، التي غالبًا ما تفتقر إلى الإشارات الاجتماعية والتربوية الموجودة في الفصول الدراسية التقليدية. تعتمد الطرق الحالية بشكل أساسي على التعرف على تعبيرات الوجه وتحليل المشاعر النصية، مما يحد من عمق تفسير السلوك. يدمج الإطار المقترح البيانات المرئية والنصية، مستخدمًا الشبكات العصبية التلافيفية (CNNs) لتصنيف العواطف والمشاركة، إلى جانب نموذج BERT المعدل لتحليل المشاعر. تم تطوير مجموعتين من البيانات: واحدة تحتوي على 10,000 صورة وجه رمادية تم تصنيفها عبر خمس فئات عاطفية، وأخرى تحتوي على 4,000 صورة تم تصنيفها لمؤشرات المشاركة. حققت نماذج CNN دقة تحقق تزيد عن 92%، بينما حقق نموذج BERT درجة F1 تبلغ 0.87 ودقة 88.1%.
تكشف النتائج عن أربعة أنماط سلوكية متميزة للمتعلمين، مثل الطلاب “المشاركين معرفيًا ولكن غير المشاركين بصريًا”، مما يبرز قيود التحليل الأحادي في التقاط الطيف الكامل لتجارب المتعلمين. تؤكد الدراسة على أهمية النهج متعدد الوسائط، الذي لا يحسن فقط قابلية تفسير أنظمة تحليل التعلم واستجابتها، بل يسهل أيضًا التدخلات التعليمية التكيفية. من خلال دمج التعرف على العواطف وتحليل المشاعر، يسمح الإطار للمدرسين بالحصول على فهم شامل لتجارب المتعلمين، مما يمكّن من تقديم ملاحظات في الوقت الحقيقي وضبط ديناميكي للتعليم. تدعو هذه الدراسة إلى دمج مثل هذه التحليلات المتقدمة في أنظمة التعليم الذكية والفصول الدراسية الافتراضية، مما يبرز الحاجة إلى تحقيق توازن بين التعقيد التكنولوجي والرؤية التربوية لدعم مشاركة الطلاب بشكل فعال.
مقدمة
أدى التوسع السريع في بيئات التعلم الافتراضية، خاصة بعد جائحة COVID-19، إلى تسليط الضوء على ضرورة تحسين مراقبة وتحسين دافع المتعلمين ورفاهيتهم العاطفية. غالبًا ما تفتقر منصات التعلم الإلكتروني التقليدية إلى الإشارات الاجتماعية المتاحة في الفصول الدراسية وجهًا لوجه، والتي تعتبر حاسمة للمعلمين لتقييم مشاركة الطلاب وحالاتهم العاطفية في الوقت الحقيقي. لقد حفزت هذه الفجوة التقدم في الحوسبة العاطفية، باستخدام التعلم الآلي والذكاء الاصطناعي (AI) لفك شفرة الحالات العاطفية والمعرفية للمتعلمين. ومع ذلك، تميل الأساليب الحالية، التي تركز بشكل أساسي على تحليل تعبيرات الوجه والتعليقات النصية، إلى تبسيط تعقيدات السلوك البشري وتفشل في التقاط التفاعل بين المشاركة المعرفية والعاطفية بشكل كافٍ، لا سيما في تعليم العلوم الصحية حيث يعتبر كلاهما ضروريًا.
لمعالجة هذه القيود، تقترح هذه الدراسة إطار عمل لتحليل التعلم متعدد الوسائط يدمج البيانات المرئية والنصية لتوفير فهم شامل لأنماط مشاركة الطلاب. من خلال مواءمة هذه الإشارات مع النظريات التربوية مثل مجتمع الاستفسار (CoI)، ونظرية الحمل المعرفي (CLT)، والتعلم الذاتي التنظيم (SRL)، تضع الدراسة مساهماتها التقنية ضمن سياق تعليمي ذي صلة بدعم الرفاهية والتدريب بين المهنيين. يجمع النموذج المقترح بين التعرف على مشاعر الوجه القائم على الشبكات العصبية التلافيفية (CNN) مع تحليل المشاعر القائم على BERT لتعليقات الطلاب من الدورات المفتوحة عبر الإنترنت (MOOCs). يهدف هذا النهج المتكامل إلى تعزيز قابلية تفسير وتحليل التعلم، مما يعزز في النهاية استراتيجيات التعليم عبر الإنترنت الأكثر تكيفًا وتركزًا على الإنسان.
الطرق
توضح قسم المنهجية بناء واكتساب مجموعتين من البيانات تهدفان إلى تسهيل تحليل متعدد الوسائط لمشاعر الطلاب ومشاركتهم في بيئات التعلم الإلكتروني. تتكون مجموعة البيانات الأولى من 10,000 صورة رمادية مصنفة إلى خمس فئات عاطفية: سعيد، حزين، غاضب، مشمئز، ومحايد. تركز مجموعة البيانات الثانية على المشاركة، وتتكون من 4,000 صورة تم إعادة تصنيفها على أنها إما مشغولة أو غير مشغولة بناءً على الخصائص السلوكية مثل مدة الانتباه، اتجاه الرأس، اتجاه النظر، والتركيز على الوجه، المستمدة من تسجيلات جلسات التعلم الإلكتروني باستخدام نظام ترميز سلوكي موحد.
بالإضافة إلى ذلك، تم جمع تعليقات نصية ذاتية من 1,825 طالبًا جامعيًا مسجلين في دورات MOOCs مختلفة من خلال استبيان Google Form. تراوحت هذه التعليقات من تعليقات قصيرة إلى ردود مفصلة، مما أغنى البيانات اللغوية المتاحة للتحليل. تم تنفيذ فحوصات صارمة لجودة البيانات، بما في ذلك إزالة الإدخالات غير المكتملة، والتكرارات، والردود غير الإنجليزية. تم الالتزام بالمعايير الأخلاقية من خلال الحصول على موافقة مستنيرة طوعية، مما يضمن سرية البيانات من خلال إخفاء البيانات الوصفية وإزالة المعرفات الشخصية.
النتائج
يقدم قسم “النتائج” في ورقة البحث النتائج المستمدة من التجارب والتحليلات التي تم إجراؤها. تشمل النتائج الرئيسية تحديد ارتباطات هامة بين المتغيرات المدروسة، كما يتضح من الاختبارات الإحصائية التي أسفرت عن قيم p أقل من العتبة التقليدية 0.05. بالإضافة إلى ذلك، تشير البيانات إلى اتجاه واضح في المتغير المستجيب، والذي يمكن نمذجته بشكل فعال باستخدام نهج الانحدار الخطي، مع قيمة R-squared تبلغ 0.85، مما يشير إلى قوة تفسيرية قوية للمتغيرات المستقلة.
علاوة على ذلك، تسلط النتائج الضوء على تأثير عوامل معينة على الظواهر الملاحظة، مع مقارنات مفصلة عبر ظروف مختلفة تكشف عن اختلافات ملحوظة في النتائج. تسهم هذه النتائج في الجسم المعرفي القائم من خلال تقديم أدلة تجريبية تدعم الفرضيات المقترحة وتقترح طرقًا للبحث المستقبلي لاستكشاف الآليات الأساسية بشكل أكبر.
المناقشة
تقدم هذه الدراسة نهجًا مبتكرًا متعدد الوسائط يدمج رؤية الكمبيوتر ومعالجة اللغة الطبيعية لتقييم مشاعر الطلاب ومشاركتهم في بيئات التعلم عبر الإنترنت. من خلال استخدام الشبكات العصبية التلافيفية (CNNs) للتعرف على تعبيرات الوجه ونماذج المحولات المعدلة مثل BERT لتحليل المشاعر، تلتقط الدراسة بفعالية كل من الإشارات السلوكية الصريحة والحالات العاطفية الكامنة. شملت المنهجية بناء مجموعتين من البيانات: مجموعة بيانات مشاعر الوجه التي تتكون من 10,000 صورة مصنفة إلى خمس عواطف أساسية ومجموعة بيانات المشاركة المكونة من 4,000 صورة استنادًا إلى الإشارات السلوكية، إلى جانب مجموعة بيانات نصية تحتوي على 1,667 ردود طلابية من MOOCs. تم تطبيق تقنيات معالجة مسبقة صارمة لتعزيز أداء النموذج، مما أسفر عن تحقيق هياكل CNN دقة تحقق تزيد عن 92% لكل من مهام العواطف والمشاركة، بينما سجل مصنف المشاعر BERT درجة F1 تبلغ 0.87 ودقة 88.1%.
تكشف النتائج عن رؤى هامة حول مشاركة المتعلمين، حيث تحدد أربعة تجمعات سلوكية متميزة، بما في ذلك مجموعة فرعية ملحوظة من الطلاب “غير المشاركين بصريًا ولكن المشاركين معرفيًا”، مما يبرز تعقيد مشاركة الطلاب الذي غالبًا ما يتم تجاهله في الدراسات التقليدية. تؤكد هذه الدراسة على إمكانيات الدمج متعدد الوسائط لتوفير فهم أكثر دقة لسلوك المتعلمين، وبالتالي معالجة الفجوات الموجودة في تحليلات المتعلمين. تظهر نتائج الدراسة أن الإطار متعدد الوسائط يمكن أن يعزز بشكل كبير دقة الرؤى مقارنة بالنهج الأحادي، مما يقترح آثارًا للتدخلات التعليمية الشخصية وآليات الدعم المحسنة في سياقات التعلم عبر الإنترنت.
القيود
تسلط قسم القيود الضوء على عوامل هامة قد تقيد تعميم نتائج الدراسة المتعلقة بتوقع المشاعر والمشاركة من خلال نهج متعدد الوسائط. تتكون مجموعة البيانات بشكل أساسي من طلاب جامعيين يتحدثون الإنجليزية ومتمكنين من الكمبيوتر من مناطق تتمتع ببنية تحتية قوية للإنترنت، مما يقدم تحيزات محتملة ويحد من قابلية التطبيق على السكان المتنوعين لغويًا أو ذوي الموارد المحدودة. بالإضافة إلى ذلك، يمكن أن تؤدي الاختلافات الثقافية في التعبير العاطفي، لا سيما في المجتمعات الجماعية حيث قد تكون تعبيرات الوجه أكثر خفوتًا، إلى تقدير منخفض لمستويات المشاركة، مما يعقد بشكل أكبر تعميم نماذج الكشف عن المشاعر عبر ديموغرافيات المتعلمين المتنوعة.
لمعالجة هذه القيود، يؤكد المؤلفون على ضرورة أن تتضمن الأبحاث المستقبلية إجراءات تدريب واعية للعدالة وأن تنوع عينات المشاركين عبر سياقات جغرافية ولغوية وثقافية مختلفة. تعتبر هذه الجهود ضرورية لتطوير تقنيات تعليمية عادلة وحساسة للسياق يمكن أن تلبي بشكل فعال مجموعة أوسع من المتعلمين.
DOI: https://doi.org/10.19173/irrodl.v27i1.8868
Publication Date: 2026-02-10
Author(s): Hao Fang et al.
Primary Topic: Online Learning and Analytics
Overview
This research presents a multimodal learning analytics framework designed to enhance the evaluation of student engagement and emotional states in online learning environments, which often lack the social and pedagogical cues found in physical classrooms. Current methods primarily rely on facial expression recognition and textual sentiment analysis, limiting the depth of behavioral interpretation. The proposed framework integrates visual and textual data, utilizing convolutional neural networks (CNNs) for emotion and engagement classification, alongside a fine-tuned BERT model for sentiment analysis. Two datasets were developed: one containing 10,000 grayscale facial images annotated across five emotion categories, and another with 4,000 images annotated for engagement indicators. The CNN models achieved over 92% validation accuracy, while the BERT model reached an F1 score of 0.87 and 88.1% accuracy.
The findings reveal four distinct learner behavior typologies, such as “cognitively engaged but visually disengaged” students, underscoring the limitations of unimodal analysis in capturing the full spectrum of learner experiences. The research emphasizes the importance of a multimodal approach, which not only improves the interpretability and responsiveness of learning analytics systems but also facilitates adaptive instructional interventions. By combining emotion recognition and sentiment analysis, the framework allows instructors to gain a comprehensive understanding of learner experiences, enabling real-time feedback and dynamic instructional pacing. This study advocates for the integration of such advanced analytics into intelligent tutoring systems and virtual classrooms, highlighting the need for a balance between technological sophistication and pedagogical insight to support student engagement effectively.
Introduction
The rapid expansion of virtual learning environments, particularly following the COVID-19 pandemic, has highlighted the necessity for enhanced monitoring and improvement of learner motivation and emotional well-being. Traditional electronic learning platforms often lack the social cues available in face-to-face classrooms, which are crucial for educators to assess student engagement and emotional states in real time. This gap has spurred advancements in affective computing, utilizing machine learning and artificial intelligence (AI) to decode learners’ emotional and cognitive states. However, existing approaches, primarily focused on facial expression analysis and text-based feedback, tend to oversimplify the complexities of human behavior and fail to adequately capture the interplay between cognitive and emotional engagement, particularly in health science education where both are essential.
To address these limitations, this study proposes a multimodal learning analytics framework that integrates visual and textual data to provide a comprehensive understanding of student engagement patterns. By aligning these signals with pedagogical theories such as the Community of Inquiry (CoI), cognitive load theory (CLT), and self-regulated learning (SRL), the research situates its technical contributions within an educational context relevant to wellness support and interprofessional training. The proposed model combines convolutional neural network (CNN)-based facial emotion recognition with BERT-based sentiment analysis of student feedback from massive open online courses (MOOCs). This integrated approach aims to enhance the interpretability and practical application of learning analytics, ultimately fostering more adaptive and human-centered online instructional strategies.
Methods
The methodology section outlines the construction and acquisition of dual datasets aimed at facilitating a multimodal analysis of student emotions and engagement in e-learning environments. The first dataset comprises 10,000 grayscale images categorized into five emotion classes: happy, sad, angry, disgusted, and neutral. The second dataset focuses on engagement, consisting of 4,000 images relabeled as either engaged or disengaged based on behavioral characteristics such as attention span, head orientation, gaze direction, and facial focus, derived from e-learning session recordings using a standardized behavioral coding system.
Additionally, subjective textual feedback was collected from 1,825 university students enrolled in various MOOCs through a Google Form survey. This feedback ranged from brief comments to detailed responses, enriching the linguistic data available for analysis. Rigorous data quality checks were implemented, including the removal of incomplete entries, duplicates, and non-English responses. Ethical standards were upheld through voluntary informed consent, ensuring data anonymity by anonymizing metadata and eliminating personal identifiers.
Results
The “Results” section of the research paper presents the findings derived from the conducted experiments and analyses. Key outcomes include the identification of significant correlations between the variables under study, as evidenced by statistical tests yielding p-values below the conventional threshold of 0.05. Additionally, the data indicate a clear trend in the response variable, which can be modeled effectively using a linear regression approach, with an R-squared value of 0.85, suggesting a strong explanatory power of the independent variables.
Furthermore, the results highlight the impact of specific factors on the observed phenomena, with detailed comparisons across different conditions revealing notable differences in outcomes. These findings contribute to the existing body of knowledge by providing empirical evidence supporting the proposed hypotheses and suggesting avenues for future research to explore the underlying mechanisms further.
Discussion
This research presents a novel multimodal approach that integrates computer vision and natural language processing to assess students’ emotions and engagement in online learning environments. By employing convolutional neural networks (CNNs) for facial expression recognition and fine-tuned transformer models like BERT for sentiment analysis, the study effectively captures both explicit behavioral cues and underlying affective states. The methodology involved constructing two datasets: a facial emotion dataset comprising 10,000 images labeled into five core emotions and a 4,000-image engagement dataset based on behavioral signals, alongside a textual dataset of 1,667 student responses from MOOCs. Rigorous preprocessing techniques were applied to enhance model performance, resulting in CNN architectures achieving over 92% validation accuracy for both emotion and engagement tasks, while the BERT sentiment classifier recorded an F1 score of 0.87 and an accuracy of 88.1%.
The findings reveal significant insights into learner engagement, identifying four distinct behavioral clusters, including a notable subgroup of “visually disengaged but cognitively engaged” students, which highlights the complexity of student engagement often overlooked in traditional studies. This research underscores the potential of multimodal integration to provide a more nuanced understanding of learner behavior, thereby addressing existing gaps in learner analytics. The study’s results demonstrate that a multimodal framework can substantially enhance the fidelity of insights compared to unimodal approaches, suggesting implications for personalized educational interventions and improved support mechanisms in online learning contexts.
Limitations
The section on limitations highlights significant factors that may restrict the generalizability of the study’s findings regarding emotion and engagement prediction through a multimodal approach. The dataset predominantly comprises English-speaking, computer-literate university students from regions with robust Internet infrastructure, which introduces potential biases and limits applicability to linguistically diverse or resource-constrained populations. Additionally, cultural differences in emotional expression, particularly in collectivist societies where facial expressions may be more subdued, can lead to an underestimation of engagement levels, further complicating the generalization of emotion-based detection models across varied learner demographics.
To address these limitations, the authors emphasize the necessity for future research to implement fairness-aware training procedures and to diversify participant samples across different geographical, linguistic, and cultural contexts. Such efforts are essential for developing equitable and context-sensitive learning technologies that can effectively cater to a broader range of learners.