DOI: https://doi.org/10.1007/s11042-026-21884-5
تاريخ النشر: 2026-09-08
المؤلف: Sharva Gogawale وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج
نظرة عامة
تناقش الورقة البحثية الأهمية المتزايدة للتعليم عبر الإنترنت والتحديات التي يواجهها المعلمون في تقييم انتباه وفهم المتعلمين في الوقت الحقيقي. لمعالجة هذه المشكلة، يقترح المؤلفون نهجًا جديدًا يعتمد على رؤية الكمبيوتر يستخدم الشبكات العصبية التلافيفية (CNNs) لتحليل وقياس انتباه المتعلمين ومشاركتهم خلال جلسات التعلم عبر الإنترنت. يتم بناء الطريقة على إطار تصنيف متعدد الفئات ومخرجات متعددة باستخدام مجموعة بيانات DAiSEE المتاحة للجمهور، مما يؤدي إلى خوارزمية تعلم آلي تنتج مؤشر انتباه شامل. يقوم النظام المقترح بمعالجة تدفقات الفيديو المباشرة لتزويد المعلمين بتحليلات مفصلة حول انتباه المتعلمين، مما يظهر أداءً متفوقًا مقارنة بالطرق الحالية.
في الختام، تؤكد الورقة على إمكانيات الذكاء الاصطناعي في تعزيز تجارب التعلم الإلكتروني من خلال تمكين التنبؤ بالانتباه في الوقت الحقيقي من خلال بنية هجينة تجمع بين CNN و EfficientNet. يسمح هذا النهج بتصنيف حالات عاطفية متعددة في وقت واحد، مما يوفر رؤية أكثر شمولية مقارنة بالطرق التقليدية. كما يقدم المؤلفون خط أنابيب فعال من حيث التكلفة يمكن دمجه مع منصات مؤتمرات الفيديو والتعلم الإلكتروني الحالية، مما يوفر بيانات انتباه مجمعة للمعلمين. تشمل اتجاهات البحث المستقبلية استكشاف مقاييس متقدمة مثل حركات الرأس والعين، بالإضافة إلى دمج إشارات EEG لتحسين تقييم الانتباه، مع الدعوة لإنشاء مجموعة بيانات متنوعة ومتوازنة لتدريب النموذج وتقييمه بشكل قوي.
مقدمة
أدى وباء كوفيد-19 إلى تحول كبير من الفصول الدراسية التقليدية إلى بيئات التعلم الرقمية، باستخدام منصات مثل Google Meet و Zoom و Teams. بينما يوفر التعلم الإلكتروني مرونة وتعلمًا ذاتيًا، فإنه يقدم تحديات، خاصة في غياب آليات التغذية الراجعة في الوقت الحقيقي التي يعتمد عليها المعلمون لتقييم مشاركة الطلاب من خلال الإشارات غير اللفظية. يمكن أن تعيق هذه الفجوة في التفاعل القدرة على تعديل استراتيجيات التدريس بناءً على الحالات العاطفية للمتعلمين، والتي تعتبر حاسمة لتحقيق نتائج تعلم فعالة. يمكن أن يعزز فهم هذه الحالات العاطفية – مثل الملل، والارتباك، والمشاركة – تصميم التعليم ويدعم المتعلمين، مما قد يقلل من معدلات التسرب.
لمعالجة هذه التحديات، تقترح البحث بنية هجينة تستخدم الشبكات العصبية التلافيفية (CNNs) لتحليل الحالات العاطفية للمتعلمين وانتباهم خلال الجلسات عبر الإنترنت. يهدف هذا الإطار إلى تسهيل التعرف على المشاعر وتقدير الانتباه بطريقة فعالة من حيث التكلفة، مما يجعله مناسبًا للتكامل مع منصات التعلم الإلكتروني الحالية. من خلال أتمتة اكتشاف الاستجابات العاطفية للمتعلمين، يمكن للمعلمين الحصول على رؤى قيمة حول مستويات المشاركة، مما يحسن تجربة التعلم بشكل عام. توضح الورقة المنهجية، ومجموعة البيانات، والنماذج المستخدمة، بالإضافة إلى تطوير مؤشر الانتباه وتقييمات الأداء للنظام المقترح مقارنة بالأساليب الحالية.
النتائج
في قسم النتائج، يتم تقديم التحليل التجريبي للنهج المقترح، مع التركيز على تقييم مقارن ضد الأبحاث السابقة. يتم فحص نموذجين: بنية هجينة تشبه CNN وبنية هجينة تشبه EfficientNet، وكلاهما يتضمن خسارة مركزة. تُلاحظ هذه النماذج لعددها المنخفض من المعلمات القابلة للتدريب وكفاءتها الحسابية المحسنة مقارنة بالهياكل التقليدية مثل VGG و ResNet. تشير النتائج، الملخصة في الجدول 2، إلى أن الطرق المقترحة تتفوق على النماذج الحالية، خاصة في تصنيف جميع الحالات العاطفية الأربعة ضمن مجموعة البيانات، بدلاً من التركيز فقط على المشاركة، التي كانت محور التركيز الرئيسي للدراسات السابقة.
تظهر النتائج التجريبية أيضًا فعالية النماذج المقترحة، كما هو موضح في الجدول 3، الذي يقارن أدائها بشكل خاص في سياق حالة المشاركة العاطفية. حقق النموذج الهجين الشبيه بـ CNN دقة بلغت 73.04%، 79.98%، 80.17%، و85.37% للملل، والمشاركة، والارتباك، والإحباط، على التوالي. في حين حقق النموذج الهجين الشبيه بـ EfficientNet دقة بلغت 73.16%، 80.32%، 79.76%، و85.20% لنفس الحالات. بشكل عام، تظهر الطرق المقترحة أداءً متفوقًا في تصنيف الحالات العاطفية، كما يتضح من مقياس مؤشر الانتباه الشامل والنتائج المقارنة المقدمة.
المناقشة
تسلط قسم المناقشة في الورقة الضوء على التقدم الكبير في الكشف الآلي عن مشاركة المتعلمين، خاصة في البيئات التعليمية عبر الإنترنت. يصنف الأساليب الحالية إلى تقنيات تعتمد على رؤية الكمبيوتر وتقنيات متعددة الوسائط، مشيرًا إلى أنه بينما تتطلب الأساليب متعددة الوسائط غالبًا معدات باهظة الثمن، يمكن أن تستخدم طرق رؤية الكمبيوتر معلومات بصرية أكثر وصولاً. استخدمت دراسات متنوعة أنظمة تتبع العين وبيانات حسية أخرى لتحليل المشاركة، لكن العديد من هذه الطرق محدودة بسبب اعتمادها على الأجهزة المتخصصة وجمع البيانات غير المتصل. تؤكد الورقة على الحاجة إلى أنظمة كشف مشاركة فعالة من حيث التكلفة وفي الوقت الحقيقي يمكن دمجها بسهولة في بيئات التعلم عبر الإنترنت.
يهدف النظام المقترح إلى سد هذه الفجوات من خلال الاستفادة من تقنيات التعلم العميق ورؤية الكمبيوتر لتوفير تحليلات في الوقت الحقيقي حول انتباه المتعلمين. يستخدم مجموعة بيانات متاحة للجمهور، DAiSEE، لتصنيف الحالات العاطفية مثل الملل، والارتباك، والمشاركة، والإحباط. تقدم الدراسة صيغة جديدة لمؤشر الانتباه الذي يقيس انتباه المتعلمين بناءً على حالاتهم العاطفية، مما يظهر أن المشاركة والارتباك يؤثران إيجابيًا على الانتباه، بينما يؤثر الملل والإحباط سلبًا. تم تصميم النظام للتطبيق العملي في الفصول الدراسية الافتراضية، مما يوفر للمعلمين تغذية راجعة ديناميكية حول مستويات مشاركة الطلاب وتوصيات لتحسين استراتيجيات التدريس. تشمل اتجاهات البحث المستقبلية تعزيز قوة النظام من خلال دمج مصادر بيانات إضافية وضمان مجموعة بيانات متنوعة للتدريب.
DOI: https://doi.org/10.1007/s11042-026-21884-5
Publication Date: 2026-09-08
Author(s): Sharva Gogawale et al.
Primary Topic: Emotion and Mood Recognition
Overview
The research paper discusses the increasing importance of online education and the challenges instructors face in assessing learners’ attention and comprehension in real-time. To address this issue, the authors propose a novel computer vision-based approach that utilizes convolutional neural networks (CNNs) to analyze and quantify learners’ attentiveness and engagement during online learning sessions. The method is built on a multiclass multioutput classification framework using the publicly available DAiSEE dataset, resulting in a machine learning algorithm that generates a comprehensive attentiveness index. The proposed system processes live video feeds to provide instructors with detailed analytics on learners’ attentiveness, demonstrating superior performance compared to existing methods.
In conclusion, the paper emphasizes the potential of artificial intelligence to enhance e-learning experiences by enabling real-time attentiveness prediction through a hybrid architecture combining CNN and EfficientNet. This approach allows for the classification of multiple affective states simultaneously, offering a more holistic view than traditional methods. The authors also present a cost-effective pipeline that can be integrated with existing video conferencing and e-learning platforms, providing aggregated attentiveness data to instructors. Future research directions include exploring advanced metrics such as head and eye movements, as well as incorporating EEG signals to further improve attentiveness assessment, while advocating for the creation of a diverse and balanced dataset for robust model training and evaluation.
Introduction
The Covid-19 pandemic has catalyzed a significant shift from traditional classroom settings to digital learning environments, utilizing platforms such as Google Meet, Zoom, and Teams. While e-learning offers flexibility and self-paced learning, it presents challenges, particularly in the absence of real-time feedback mechanisms that instructors rely on to gauge student engagement through non-verbal cues. This lack of interaction can hinder the ability to adapt teaching strategies based on learners’ emotional states, which are critical for effective learning outcomes. Understanding these affective states—such as boredom, confusion, and engagement—can enhance instructional design and support learners, potentially reducing dropout rates.
To address these challenges, the research proposes a hybrid architecture employing convolutional neural networks (CNNs) to analyze learners’ emotional states and attentiveness during online sessions. This framework aims to facilitate emotion recognition and attentiveness estimation in a cost-effective manner, making it suitable for integration into existing e-learning platforms. By automating the detection of learners’ emotional responses, instructors can gain valuable insights into engagement levels, thereby improving the overall learning experience. The paper outlines the methodology, dataset, and models used, along with the development of an Attentiveness Index and performance evaluations of the proposed system compared to existing approaches.
Results
In the Results section, the experimental analysis of the proposed approach is presented, focusing on a comparative evaluation against prior research. Two models are examined: a hybrid CNN-like architecture and a hybrid EfficientNet-like architecture, both incorporating focal loss. These models are noted for their reduced number of trainable parameters and enhanced computational efficiency compared to traditional architectures such as VGG and ResNet. The findings, summarized in Table 2, indicate that the proposed methods outperform existing models, particularly in classifying all four affective states within the dataset, rather than solely focusing on Engagement, which has been the primary focus of previous studies.
The experimental results further reveal the effectiveness of the proposed models, as illustrated in Table 3, which compares their performance specifically in the context of the Engagement affective state. The CNN-like hybrid model achieved accuracies of 73.04%, 79.98%, 80.17%, and 85.37% for boredom, engagement, confusion, and frustration, respectively. Meanwhile, the EfficientNet-like hybrid model attained accuracies of 73.16%, 80.32%, 79.76%, and 85.20% for the same states. Overall, the proposed methods demonstrate superior performance in affective state classification, as evidenced by the comprehensive Attentiveness Index metric and the comparative results presented.
Discussion
The discussion section of the paper highlights the significant advancements in automated learner engagement detection, particularly in online educational settings. It categorizes existing methods into computer vision-based and multimodal techniques, noting that while multimodal approaches often require expensive equipment, computer vision methods can utilize more accessible visual information. Various studies have employed eye-tracking systems and other sensory data to analyze engagement, but many of these methods are limited by their reliance on specialized hardware and offline data collection. The paper emphasizes the need for cost-effective, real-time engagement detection systems that can be easily integrated into online learning environments.
The proposed system aims to fill these gaps by leveraging deep learning and computer vision techniques to provide real-time analytics on learner attentiveness. It utilizes a publicly available dataset, DAiSEE, to classify affective states such as boredom, confusion, engagement, and frustration. The study introduces a novel attentiveness index formula that quantifies learners’ attentiveness based on their affective states, demonstrating that engagement and confusion positively influence attentiveness, while boredom and frustration have negative impacts. The system is designed for practical application in virtual classrooms, offering instructors dynamic feedback on student engagement levels and recommendations for improving instructional strategies. Future research directions include enhancing the system’s robustness by incorporating additional data sources and ensuring a diverse dataset for training.