الكشف عن سلوك الطلاب في الفصل الدراسي في الوقت الحقيقي بناءً على تحسين YOLOv8s Real-time classroom student behavior detection based on improved YOLOv8s

شارك:
المجلة: Scientific Reports، المجلد: 15، العدد: 1
DOI: https://doi.org/10.1038/s41598-025-99243-x
PMID: https://pubmed.ncbi.nlm.nih.gov/40281063
تاريخ النشر: 2025-04-25
المؤلف: Xiaojing Sheng وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة

نظرة عامة

تتناول ورقة البحث تأثير جودة التعليم على تعلم الطلاب وتسلط الضوء على الاستخدام المتزايد لتكنولوجيا كشف السلوك في الفصول الدراسية. تحدد التحديات في الكشف بدقة عن سلوكيات الطلاب في البيئات الديناميكية وتقترح خوارزمية جديدة تعتمد على بنية YOLO لمعالجة هذه القضايا. تتميز الخوارزمية بوحدة الالتفاف ذات النواة الكبيرة متعددة المقاييس (MLKCM) التي تستخدم نوى الالتفاف بأحجام مختلفة لإنشاء مجالات استقبالية قابلة للتكيف، مما يلتقط بفعالية ميزات متعددة المقاييس مع تقليل الضوضاء الخلفية. بالإضافة إلى ذلك، تم تقديم وحدة تحسين الميزات التدريجي (PFOM) لتنقيح استخراج الميزات من خلال دمج المعلومات المحلية والعالمية، مما يعزز دقة الكشف.

أسفرت النتائج التجريبية باستخدام مجموعات البيانات SCB-Dataset3-S و SCB-Dataset3-U عن قيم دقة متوسطة (mAP) بلغت 76.5% و 95.0% على التوالي، متفوقة على تقنيات الكشف الحالية. تم تصميم الطريقة المقترحة للمراقبة في الوقت الحقيقي لسلوك الطلاب في بيئات الفصول الدراسية المعقدة، مما يحسن جودة التعليم وكفاءة تعلم الطلاب. تضمن الطبيعة الخفيفة للإطار العملي إمكانية التطبيق العملي دون المساس بالدقة، مما يجعله أداة قيمة لتعزيز التفاعلات في الفصول الدراسية ونتائج التعلم.

طرق

تم هيكلة منهجية كاشف المرحلة الواحدة المقترح إلى ثلاثة مكونات رئيسية: الشبكة الأساسية، هيكل العنق، ورأس الكشف. تم تنظيم الشبكة الأساسية إلى أربع مراحل (L1، L2، L3، L4)، مع تطبيق وحدة PFO في نهاية كل مرحلة لتعزيز تعديل الميزات واستخراج المعلومات الدقيقة. هيكل العنق، المعروف باسم PAFPN، مسؤول عن استخراج الميزات متعددة المقاييس من الشبكة الأساسية، مما يسهل الدمج الأولي في الطبقات السطحية ويوجه رأس الكشف لإنتاج مخرجات متنوعة. يقوم رأس الكشف بعد ذلك بتحليل هذه التمثيلات متعددة المقاييس للميزات لإنتاج نتائج التنبؤ وحساب الخسائر المرتبطة.

لتقييم فعالية الطريقة المقترحة، تم إجراء تجارب في بيئة مسيطر عليها باستخدام نظام Windows 10 مزود بمعالج Intel Xeon Gold 6130 ووحدة معالجة الرسوميات NVIDIA GeForce RTX 3090. تم تنفيذ العمل باستخدام PyTorch 2.0.1، مع CUDA 11.8 و cuDNN 8.6.0. استخدمت عملية تحسين النموذج مُحسِّن SGD مع زخم قدره 0.937، وحجم دفعة قدره 8، ومعدل تعلم أولي قدره 0.01 على مدى 300 دورة تدريبية. لتخفيف الإفراط في التكيف، تم تنفيذ إيقاف مبكر، مما أدى إلى إيقاف التدريب بعد 50 دورة. تم إجراء جميع التجارب المقارنة دون استخدام أوزان مدربة مسبقًا لضمان العدالة والموثوقية.

نقاش

تسلط قسم النقاش في ورقة البحث الضوء على التقدم في الشبكات العصبية الالتفافية (CNNs) من خلال دمج كتل الالتفاف ذات النواة الكبيرة ووحدات التنقيح التدريجي. يستعرض الأعمال ذات الصلة التي تستخدم الالتفافات ذات النواة الكبيرة، مثل AlexNet و GoogleNet، والتي تعزز استخراج الميزات من خلال التقاط ميزات مكانية متنوعة عبر مقاييس متعددة. تعمل وحدة الالتفاف ذات النواة الكبيرة متعددة المقاييس (MLKCM) المقترحة على تحقيق توازن فعال بين فوائد النوى الكبيرة مع إدارة تعقيد النموذج، مما يحسن قدرة الشبكة على معالجة معلومات الميزات عبر مقاييس مختلفة. بالإضافة إلى ذلك، تعزز وحدة تحسين الميزات التدريجي (PFOM) استخراج الميزات من خلال تقسيم القنوات وتحسين الميزات من خلال وحدة خفيفة قابلة للتكرار، مما يؤدي إلى تحسين أداء الكشف.

تناقش الورقة أيضًا تقييم الطريقة المقترحة باستخدام مجموعات البيانات SCB-Dataset3-S و SCB-Dataset3-U، مما يظهر أداءً متفوقًا في الكشف عن سلوكيات الطلاب مقارنة بالنماذج الحالية. تشير النتائج إلى أن الإطار المقترح يحقق أعلى دقة متوسطة (mAP) ويتفوق في فئات معينة مثل رفع اليد، القراءة، والكتابة. ومع ذلك، يعترف المؤلفون بالقيود المتعلقة بتنوع مجموعة البيانات وقابلية التطبيق في العالم الحقيقي، مما يشير إلى الحاجة إلى مجموعة بيانات أكثر شمولاً لمعالجة الظروف المتنوعة. ستركز الأعمال المستقبلية على تعزيز قدرات الكشف في الوقت الحقيقي وتقييم أداء النموذج في البيئات التعليمية العملية، بهدف تحسين جودة التعليم وكفاءة تعلم الطلاب.

Journal: Scientific Reports, Volume: 15, Issue: 1
DOI: https://doi.org/10.1038/s41598-025-99243-x
PMID: https://pubmed.ncbi.nlm.nih.gov/40281063
Publication Date: 2025-04-25
Author(s): Xiaojing Sheng et al.
Primary Topic: Advanced Neural Network Applications

Overview

The research paper discusses the impact of instructional quality on student learning and highlights the growing use of behavior detection technology in classrooms. It identifies challenges in accurately detecting student behaviors in dynamic environments and proposes a novel algorithm based on the YOLO architecture to address these issues. The algorithm features a Multi-scale Large Kernel Convolution Module (MLKCM) that employs convolution kernels of varying sizes to create adaptive receptive fields, effectively capturing multi-scale features while reducing background noise. Additionally, a Progressive Feature Optimization Module (PFOM) is introduced to refine feature extraction by integrating local and global information, enhancing detection accuracy.

Experimental results using the SCB-Dataset3-S and SCB-Dataset3-U datasets yielded mean Average Precision (mAP) values of 76.5% and 95.0%, respectively, outperforming existing detection techniques. The proposed method is designed for real-time monitoring of student behavior in complex classroom settings, thereby improving teaching quality and student learning efficiency. The lightweight nature of the framework ensures practical applicability without compromising accuracy, making it a valuable tool for enhancing classroom interactions and learning outcomes.

Methods

The methodology of the proposed one-stage detector is structured into three primary components: the backbone network, neck structure, and detection head. The backbone is organized into four stages (L1, L2, L3, L4), with a PFO module applied at the conclusion of each stage to enhance feature modulation and extract fine-grained information. The neck structure, referred to as PAFPN, is responsible for multi-scale feature extraction from the backbone, facilitating preliminary fusion in the shallow layers and directing the detection head to yield diverse outputs. The detection head subsequently analyzes these multi-scale feature representations to produce prediction results and calculate associated losses.

To assess the effectiveness of the proposed method, experiments were conducted in a controlled environment utilizing a Windows 10 system equipped with an Intel Xeon Gold 6130 CPU and an NVIDIA GeForce RTX 3090 GPU. The implementation was carried out using PyTorch 2.0.1, with CUDA 11.8 and cuDNN 8.6.0. The model optimization employed the SGD optimizer with a momentum of 0.937, a batch size of 8, and an initial learning rate of 0.01 over 300 training epochs. To mitigate overfitting, early stopping was implemented, halting training after 50 epochs. All comparative experiments were conducted without the use of pre-trained weights to ensure fairness and reliability.

Discussion

The discussion section of the research paper highlights the advancements in convolutional neural networks (CNNs) through the integration of large kernel convolution blocks and progressive refinement modules. It reviews related works that utilize large kernel convolutions, such as AlexNet and GoogleNet, which enhance feature extraction by capturing diverse spatial features across multiple scales. The proposed multi-scale large kernel convolution module (MLKCM) effectively balances the benefits of large kernels while managing model complexity, thereby improving the network’s ability to process feature information across various scales. Additionally, the progressive feature optimization module (PFOM) enhances feature extraction by segmenting channels and optimizing features through a repeatable lightweight module, leading to improved detection performance.

The paper also discusses the evaluation of the proposed method using the SCB-Dataset3-S and SCB-Dataset3-U datasets, demonstrating superior performance in detecting student behaviors compared to existing models. The results indicate that the proposed framework achieves the highest mean average precision (mAP) and excels in specific categories such as hand-raising, reading, and writing. However, the authors acknowledge limitations related to dataset diversity and real-world applicability, suggesting the need for a more comprehensive dataset to address varying conditions. Future work will focus on enhancing real-time detection capabilities and assessing the model’s performance in practical educational settings, ultimately aiming to improve teaching quality and student learning efficiency.

شارك: