DOI: https://doi.org/10.1186/s44147-024-00457-z
تاريخ النشر: 2024-05-28
المؤلف: Dina Salem وآخرون
الموضوع الرئيسي: النوم والإرهاق المرتبط بالعمل
نظرة عامة
تبحث ورقة البحث في طرق الكشف عن النعاس، مع التركيز على استخدام الشبكات العصبية التلافيفية (CNN) والتعلم الانتقالي. تقدم تطبيقًا عمليًا في شكل تطبيق موبايل سهل الاستخدام يدمج هذه التقنيات المتقدمة. تقيم الدراسة النموذج باستخدام مجموعات بيانات متنوعة، محققة معدلات دقة مثيرة للإعجاب تتراوح بين 90% و99.86% لكل من سيناريوهات التصنيف المتعدد والثنائي. لا تعزز هذه العمل الفهم الأكاديمي للكشف عن النعاس فحسب، بل تظهر أيضًا التطبيق الفعال لهذه المنهجيات في السياقات الواقعية.
في الاستنتاجات، يبرز المؤلفون النتائج الواعدة لنماذج الكشف عن النعاس الخاصة بهم، مشيرين إلى جدواها في تعزيز السلامة والانخراط في قطاعات النقل والتعليم والترفيه. تهدف الأعمال المستقبلية إلى تحسين الدقة من خلال استخدام مجموعات بيانات إضافية واستكشاف تطبيقات أخرى، مثل التكامل مع منصات مثل Microsoft Teams وNetflix. تشمل التحسينات المقترحة نظام تنبيه قابل للتخصيص يتضمن اهتزازات في عجلة القيادة، مما يسمح للمستخدمين باختيار آلية التنبيه المفضلة لديهم. يهدف هذا النهج الموجه نحو المستخدم إلى زيادة السلامة وتلبية التفضيلات الفردية، مع إمكانية إضافة ميزات إضافية مثل ردود الفعل اللمسية لتعزيز رضا المستخدم بشكل أكبر.
مقدمة
تتناول مقدمة ورقة البحث هذه القضية الحرجة للنعاس، الذي يؤثر بشكل كبير على اليقظة والوظيفة الإدراكية، مما يؤدي إلى عواقب وخيمة في مختلف القطاعات مثل النقل والتعليم والترفيه. من الجدير بالذكر أن نعاس السائقين يُعتبر مساهمًا رئيسيًا في حوادث الطرق، مما يؤدي إلى العديد من الإصابات والوفيات على مستوى العالم. بالإضافة إلى ذلك، يؤثر النعاس سلبًا على نتائج التعلم، خاصة في البيئات التعليمية عبر الإنترنت.
لمعالجة تحدي الكشف عن النعاس، تستكشف الورقة تقنيات متقدمة، وتحديدًا الشبكات العصبية التلافيفية (CNNs) والتعلم الانتقالي، التي تعتبر فعالة في تحليل الصور لتحديد مؤشرات الوجه الدقيقة للنعاس. تهدف الدراسة إلى تحقيق هدفين رئيسيين: أولاً، تقييم فعالية نهج الكشف المقترح من خلال تقييمات الدقة في كل من سيناريوهات التصنيف المتعدد والثنائي؛ وثانيًا، تنفيذ نظام عملي للكشف عن النعاس يعزز السلامة والانخراط في المجالات الحرجة. توضح الورقة هيكلها، مع تفاصيل حول الأعمال ذات الصلة، ومجموعات البيانات، والمنهجية، والنتائج التجريبية، والمناقشات حول التطبيق والآثار المترتبة على النتائج، مما culminates في استنتاج يلخص الرؤى الرئيسية واتجاهات البحث المستقبلية.
طرق
في هذا القسم، يصف المؤلفون المنهجية المستخدمة في دراستهم للكشف عن نعاس السائقين باستخدام الشبكات العصبية التلافيفية (CNNs). يعمل النموذج المقترح على نظام عدّاد يُفعّل إنذارًا صوتيًا عندما يتم تجاوز حد زمني محدد مسبقًا، تحديدًا عندما تكون عيون السائق مغلقة لفترة طويلة. تهدف الدراسة إلى مقارنة أداء CNN المدرب من الصفر مقابل CNN الذي يستخدم التعلم الانتقالي (TL) لتحديد النهج الأكثر فعالية للكشف عن النعاس. تعتبر هذه التحليل المقارن حاسمة لتقييم قابلية تطبيق CNNs في السياقات الحرجة للسلامة.
يتم تقييم أداء النماذج باستخدام أربعة مقاييس رئيسية: الدقة، والدقة، والاسترجاع، ودرجة F1. توفر هذه المقاييس مجتمعة فهمًا شاملاً لفعالية النماذج في مهام التصنيف، حيث تقدم الدقة نظرة عامة عامة وتفصل المقاييس الأخرى قدرات النماذج في تحديد الحالات الإيجابية والسلبية. تشير النتائج، الموضحة في الشكل 6، إلى أن نموذج CNN يظهر دقة متفوقة في الكشف عن النعاس عبر مجموعات بيانات متنوعة، بما في ذلك YAWDD وCEW وGLASSES وOC وMRL وNTHU وDriver-Drowsiness dataset، مع تحقيق الأخير لأعلى أداء. سيتناول القسم التالي تحليلًا مفصلًا لأداء كل نموذج عبر هذه المجموعات.
نتائج
تكشف نتائج الدراسة أن النماذج الثلاثة—CNN وInception V3 وMobileNet V2—تظهر دقة عالية، وغالبًا ما تتجاوز 95% عبر مجموعات بيانات متنوعة. من الجدير بالذكر أن MobileNet V2 تحقق أعلى دقة بنسبة 99.94% على مجموعة بيانات Driver-Drowsiness. ومع ذلك، يظهر Inception V3 باستمرار استرجاعًا ودقة أعلى مقارنة بالنماذج الأخرى.
بينما يُعترف بـ MobileNet V2 لمرونته وأدائه القوي عبر مجموعات بيانات متنوعة، قد يظهر أحيانًا استرجاعًا أقل. نموذج CNN، على الرغم من أدائه الجيد بشكل عام، لا يصل إلى مستويات الدقة والاسترجاع لـ Inception V3. في النهاية، قد يعتمد اختيار النموذج على متطلبات محددة مثل التوازن بين الدقة والاسترجاع، والقدرة على التكيف مع مجموعات بيانات مختلفة، والكفاءة الحسابية. باختصار، يُفضل Inception V3 من حيث الدقة والاسترجاع، وMobileNet V2 من حيث القدرة على التكيف، وCNN من حيث الأداء المتوازن.
مناقشة
تؤكد قسم المناقشة في ورقة البحث على الأهمية الحاسمة للكشف عن النعاس في تعزيز سلامة الطرق، مع تسليط الضوء على التقدم الكبير في التقنيات المعتمدة على الصور وطرق التعلم العميق، وخاصة الشبكات العصبية التلافيفية (CNNs). يتم الإشارة إلى دراسات بارزة، بما في ذلك واحدة من Chand وKarthikeyan، التي حققت دقة 93% في الكشف عن تعب السائق من خلال نموذج توزيع متعدد المستويات يدمج تحليل العواطف بناءً على أنماط الوجه. تظهر دراسات أخرى، مثل تلك التي أجراها Duggal وEd-Doughmi وآخرون، أيضًا معدلات دقة عالية (تصل إلى 94.98%) باستخدام مؤشرات سلوكية متنوعة وهياكل CNN المتقدمة، مما يبرز فعالية هذه الأساليب في الكشف عن النعاس في الوقت الحقيقي.
تتناول الورقة أيضًا دمج مجموعات بيانات متعددة، بما في ذلك مجموعة بيانات جديدة تم تنسيقها تجمع بين الموارد الحالية، لتعزيز قوة النماذج المقترحة. استخدم المؤلفون تقنيات التعلم الانتقالي مع نماذج مدربة مسبقًا مثل InceptionV3 وMobileNetV2، محققين مقاييس أداء مثيرة للإعجاب عبر مهام التصنيف المختلفة. تشير النتائج إلى أن النماذج تقدم باستمرار دقة عالية، ودقة، واسترجاع، ودرجات F1، مع تحقيق أفضل أداء قريب من الدرجات المثالية في الكشف عن النعاس. تختتم الدراسة بتطوير تطبيق سهل الاستخدام يهدف إلى الكشف عن نعاس السائقين في العالم الحقيقي، مع دمج ميزات تعزز عادات القيادة المسؤولة وتزيد من انخراط المستخدم. يُقترح العمل المستقبلي لمزيد من تحسين النماذج وتوسيع تطبيقاتها عبر مجالات مختلفة، مع التأكيد على إمكانية تحقيق تحسينات كبيرة في السلامة في النقل وما بعده.
DOI: https://doi.org/10.1186/s44147-024-00457-z
Publication Date: 2024-05-28
Author(s): Dina Salem et al.
Primary Topic: Sleep and Work-Related Fatigue
Overview
The research paper investigates drowsiness detection methods, emphasizing the use of convolutional neural networks (CNN) and transfer learning. It presents a practical application in the form of a user-friendly mobile application that integrates these advanced techniques. The study evaluates the model using diverse datasets, achieving impressive accuracy rates between 90% and 99.86% for both multi-class and binary classification scenarios. This work not only enhances academic understanding of drowsiness detection but also demonstrates the effective application of these methodologies in real-world contexts.
In the conclusions, the authors highlight the promising results of their drowsiness detection models, suggesting their viability for enhancing safety and engagement in transportation, education, and entertainment sectors. Future work aims to improve accuracy by utilizing additional datasets and exploring further applications, such as integration with platforms like Microsoft Teams and Netflix. The proposed enhancements include a customizable alert system featuring vibrations in the steering wheel, allowing users to select their preferred alert mechanism. This user-centric approach is intended to increase safety and cater to individual preferences, with potential for additional features like haptic feedback to further enhance user satisfaction.
Introduction
The introduction of this research paper addresses the critical issue of drowsiness, which significantly impairs alertness and cognitive function, leading to serious consequences in various sectors such as transportation, education, and entertainment. Notably, driver drowsiness is identified as a primary contributor to road accidents, resulting in numerous injuries and fatalities globally. Additionally, drowsiness adversely affects learning outcomes, particularly in online educational settings.
To tackle the challenge of drowsiness detection, the paper explores advanced technologies, specifically convolutional neural networks (CNNs) and transfer learning, which are effective in analyzing images to identify subtle facial indicators of drowsiness. The study aims to achieve two main objectives: first, to evaluate the effectiveness of the proposed detection approach through accuracy assessments in both multiclass and binary classification scenarios; and second, to implement a practical drowsiness detection system that enhances safety and engagement in critical areas. The paper outlines its structure, detailing sections on related work, datasets, methodology, experimental results, and discussions on the application and implications of the findings, culminating in a conclusion that summarizes key insights and future research directions.
Methods
In this section, the authors describe the methodology employed in their study to detect driver drowsiness using convolutional neural networks (CNNs). The proposed model operates on a counter system that triggers an audio alarm when a predefined time limit is exceeded, specifically when the driver’s eyes are closed for an extended duration. The research aims to compare the performance of a CNN trained from scratch against a CNN utilizing transfer learning (TL) to identify the more effective approach for drowsiness detection. This comparative analysis is crucial for assessing the applicability of CNNs in safety-critical contexts.
The evaluation of the models’ performance is conducted using four key metrics: accuracy, precision, recall, and F1-score. These metrics collectively provide a comprehensive understanding of the models’ effectiveness in classification tasks, with accuracy offering a general overview and the other metrics detailing the models’ capabilities in identifying positive and negative instances. The results, illustrated in Figure 6, indicate that the CNN model demonstrates superior accuracy in detecting drowsiness across various datasets, including YAWDD, CEW, GLASSES, OC, MRL, NTHU, and the Driver-Drowsiness dataset, with the latter yielding the highest performance. The subsequent section will delve into a detailed analysis of each model’s performance across these datasets.
Results
The results of the study reveal that the three models—CNN, Inception V3, and MobileNet V2—exhibit high accuracy, often exceeding 95% across various datasets. Notably, MobileNet V2 achieves the highest accuracy at 99.94% on the Driver-Drowsiness dataset. However, Inception V3 consistently demonstrates superior recall and precision compared to the other models.
While MobileNet V2 is recognized for its flexibility and strong performance across diverse datasets, it may occasionally show lower recall. The CNN model, despite its overall good performance, does not reach the precision and recall levels of Inception V3. Ultimately, the choice of model may depend on specific requirements such as the balance between precision and recall, adaptability to different datasets, and computational efficiency. In summary, Inception V3 is preferred for precision and recall, MobileNet V2 for adaptability, and CNN for balanced performance.
Discussion
The discussion section of the research paper emphasizes the critical importance of drowsiness detection in enhancing road safety, highlighting significant advancements in image-based technologies and deep learning methods, particularly convolutional neural networks (CNNs). Notable studies are referenced, including one by Chand and Karthikeyan, which achieved a 93% accuracy in detecting driver fatigue through a multi-level distribution model that integrates emotion analysis based on facial patterns. Other studies, such as those by Duggal and Ed-Doughmi et al., also demonstrate high accuracy rates (up to 94.98%) using various behavioral indicators and advanced CNN architectures, underscoring the effectiveness of these approaches in real-time drowsiness detection.
The paper further discusses the integration of multiple datasets, including a newly curated dataset combining existing resources, to enhance the robustness of the proposed models. The authors utilized transfer learning techniques with pre-trained models like InceptionV3 and MobileNetV2, achieving impressive performance metrics across various classification tasks. The results indicate that the models consistently deliver high accuracy, precision, recall, and F1 scores, with the best performance reaching near-perfect scores in detecting drowsiness. The research culminates in the development of a user-friendly application aimed at real-world driver drowsiness detection, incorporating features that promote responsible driving habits and enhance user engagement. Future work is proposed to further refine the models and expand their application across different domains, emphasizing the potential for significant safety improvements in transportation and beyond.