DOI: https://doi.org/10.1038/s41598-024-78746-z
PMID: https://pubmed.ncbi.nlm.nih.gov/39613761
تاريخ النشر: 2024-11-29
المؤلف: Binay Kumar Pandey وآخرون
الموضوع الرئيسي: طرق المراقبة بالفيديو والتتبع
نظرة عامة
تقدم البحث نظام تحديد الهوية للكمامات ومراقبة التباعد الاجتماعي باستخدام الطائرات بدون طيار (UAVs) لتعزيز سلامة الصحة العامة، خاصة في سياق جائحة COVID-19. يستخدم النظام تقنيات معالجة الصور المتقدمة، بما في ذلك تحويل الصور إلى تدرج الرمادي، وتعزيز التباين عبر تقنية التمويه القائم على الموجات المثلى ومنهجية الكوكو المعززة (ECM)، واستخراج الميزات من خلال تحويل جابور (GT) وتحويل عرض الضربة (SWT). يتم استخدام تصنيف بايز الساذج الموزون (WNBC) لاكتشاف الكمامات، بينما يعتمد نهج التعلم العميق على الشبكات العصبية التلافيفية المعتمدة على المناطق الأسرع (R-CNN) المحسّنة باستخدام تحسين سرب الجاذبية التكيفي (AGSO) لتحديد الاستخدام الصحيح وغير الصحيح للكمامات ومراقبة التباعد الاجتماعي في البيئات المزدحمة.
تشير النتائج إلى أن نظام الطائرات بدون طيار المقترح يحسن بشكل كبير من اكتشاف مرتدي الكمامات والامتثال لإرشادات التباعد الاجتماعي. أظهر نموذج Faster R-CNN أداءً متفوقًا مقارنة بالنماذج الأخرى، حيث حقق دقة تدريب بنسبة 98.9% لاكتشاف الكمامات و86.9% لاكتشاف عدم ارتداء الكمامات، إلى جانب درجات استرجاع وF1 عالية. ومع ذلك، تشير الدراسة أيضًا إلى تحديات مثل الإفراط في التكيف، خاصة عند التدريب باستخدام أكثر من 12,000 صورة، مما يؤدي إلى زيادة فقدان التحقق. يتم التحقق من فعالية المنهجية من خلال مقاييس مثل الدقة، والاسترجاع، ودرجة F1، مع نتائج تشير إلى أن النظام يمكن أن يساعد بكفاءة في فرض بروتوكولات الصحة في الأماكن العامة.
طرق
تركز المنهجية المقترحة على تعزيز قدرات التعرف على الوجه، خاصة في سياق اكتشاف الكمامات خلال جائحة COVID-19. من خلال الاستفادة من الشبكات العصبية التلافيفية (CNNs) وتقنيات مختلفة مثل R-CNN، وfast R-CNN، وfaster R-CNN، تهدف الدراسة إلى تحسين دقة وكفاءة تحديد الأفراد الذين يرتدون الكمامات. تتضمن المنهجية مكتبة OpenCV و Raspberry Pi لتطوير نظام إنترنت الأشياء (IoT) لاكتشاف الكمامات في الوقت الحقيقي، إلى جانب نظام الطائرات بدون طيار (UAV) لمراقبة التباعد الاجتماعي.
تشمل معالجة الصور تقنية تمويه ديناميكية غير حادة وتحويل الموجات المنفصلة (DWT) لتفكيك الصور إلى نطاقات ترددية، مما يسهل استخراج الميزات المحسنة. تستخدم الدراسة خوارزميات متقدمة، بما في ذلك خوارزمية بحث الكوكو لتعزيز تباين الصور وتحويل جابور لاستخراج الميزات، والتي يتم تصنيفها بعد ذلك باستخدام مصنف بايز الساذج الموزون (WNBC). يهدف دمج طريقة تحسين البحث الجاذبي التكيفي (AGSO) مع faster R-CNN إلى تحسين معلمات الوزن، مما يحسن دقة الاكتشاف في السيناريوهات المعقدة. يتم تسليط الضوء على نظام الطائرات بدون طيار كأداة متعددة الاستخدامات لجمع البيانات والمراقبة في تطبيقات العالم الحقيقي المختلفة، مع التأكيد على إمكانياته في سلامة العامة وإدارة الحشود.
نتائج
في قسم النتائج، يوضح المؤلفون إعداد التجارب ونتائج نموذج التعرف المقترح، الذي تم تنفيذه باستخدام MATLAB وTensorFlow وPyTorch على معالج Intel Core i7-8565U مع 8GB RAM. استخدمت التجارب مجموعة من المعلمات الفائقة، بما في ذلك حجم السكان 20، ومعدل التعلم 0.5204، وحد أقصى من 100 دورة. تم تحقيق الأداء الأمثل للتدريب عند الدورة 81، مما أسفر عن خطأ متوسط مربعات (MSE) قدره 0.097828. من الجدير بالذكر أن تمديد عدد الدورات إلى ما بعد 81 لم يسفر عن تحسينات كبيرة في MSE، مما يشير إلى أن 81 دورة كانت كافية لتدريب النموذج.
بالإضافة إلى ذلك، يناقش القسم تقييم مقاييس الأداء المختلفة، مثل فقدان التحقق، ودقة التحقق، والدقة، والاسترجاع، ودرجة F1. يتم مقارنة المنهجية المقترحة مع التقنيات المعتمدة على نفس مجموعة بيانات الصور تحت ظروف متغيرة. ستتناول النتائج النهائية آثار ارتداء الكمامات، وممارسات التباعد الاجتماعي، واستخدام خدمات الفيديو المتدفقة المصرح بها على أداء النموذج.
نقاش
في قسم النقاش من الورقة، يستكشف المؤلفون مجموعة من المنهجيات المبتكرة التي تم تطويرها لمكافحة جائحة COVID-19، مع التركيز بشكل خاص على استخدام تقنيات إنترنت الأشياء (IoT) والتعلم العميق لاكتشاف الكمامات ومراقبة التباعد الاجتماعي. تستخدم البحث نموذج Faster R-CNN المعتمد على التعلم العميق لتحديد الأفراد الذين يرتدون الكمامات وقياس التباعد الاجتماعي في الوقت الحقيقي، باستخدام مجموعات بيانات مأخوذة من منصات مثل GitHub وKaggle. تؤكد الدراسة على أهمية استخدام النماذج المدربة مسبقًا مثل MobileNet وResNet، وتبرز فعالية تقنيات زيادة البيانات لتعزيز قوة النموذج وتقليل مشاكل الإفراط في التكيف.
تشير النتائج إلى أن المنهجية المقترحة تظهر أداءً متفوقًا مقارنة بالتقنيات الحالية، حيث تحقق دقة عالية، واسترجاع، ودرجات F1 لكل من تصنيفات مرتدي الكمامات وغير مرتدي الكمامات. على وجه الخصوص، حقق النموذج دقة تدريب بنسبة 98.9% للأفراد الذين يرتدون الكمامات و86.9% لأولئك الذين لا يرتدونها. تناقش الورقة أيضًا التحديات التي واجهت أثناء التنفيذ، بما في ذلك محدودية تنوع مجموعة البيانات وكثافة البكسل، مما يستدعي مزيدًا من البحث من أجل التحسين. بشكل عام، تؤكد الدراسة على إمكانيات الطائرات بدون طيار المزودة بخوارزميات التعلم العميق المتقدمة لمراقبة الامتثال لإرشادات الصحة، مما يساهم في التخفيف من انتقال COVID-19.
DOI: https://doi.org/10.1038/s41598-024-78746-z
PMID: https://pubmed.ncbi.nlm.nih.gov/39613761
Publication Date: 2024-11-29
Author(s): Binay Kumar Pandey et al.
Primary Topic: Video Surveillance and Tracking Methods
Overview
The research presents a mask identification and social distance monitoring system utilizing Unmanned Aerial Vehicles (UAVs) to enhance public health safety, particularly in the context of the COVID-19 pandemic. The system employs advanced image processing techniques, including grayscale conversion, contrast enhancement via Optimum Wavelet-Based Masking and the Enhanced Cuckoo Methodology (ECM), and feature extraction through Gabor-Transform (GT) and Stroke Width Transform (SWT). A Weighted Naive Bayes Classification (WNBC) is used for mask detection, while a deep learning approach based on Faster Region-Based Convolutional Neural Networks (R-CNN) optimized with Adaptive Galactic Swarm Optimization (AGSO) identifies proper and improper mask usage and monitors social distancing in crowded environments.
The findings indicate that the proposed UAV system significantly improves the detection of mask-wearers and adherence to social distancing guidelines. The Faster R-CNN model demonstrated superior performance compared to other models, achieving a training precision of 98.9% for mask detection and 86.9% for non-mask detection, alongside high recall and F1 scores. However, the study also notes challenges such as overfitting, particularly when training with more than 12,000 images, leading to increased validation loss. The methodology’s effectiveness is validated through metrics such as precision, recall, and F1-score, with results suggesting that the system can efficiently aid in enforcing health protocols in public spaces.
Methods
The proposed methodology focuses on enhancing face recognition capabilities, particularly in the context of mask detection during the COVID-19 pandemic. Leveraging Convolutional Neural Networks (CNNs) and various techniques such as R-CNN, fast R-CNN, and faster R-CNN, the study aims to improve the accuracy and efficiency of identifying individuals wearing masks. The methodology incorporates the OpenCV library and a Raspberry Pi to develop an Internet of Things (IoT) system for real-time mask detection, alongside an Unmanned Aerial Vehicle (UAV) system for monitoring social distancing.
The image processing involves a dynamic un-sharp masking technique and the Discrete Wavelet Transform (DWT) to decompose images into frequency bands, facilitating enhanced feature extraction. The study employs advanced algorithms, including a cuckoo search algorithm for image contrast enhancement and Gabor’s Transform for feature extraction, which are subsequently classified using a weighted Naive Bayes Classifier (WNBC). The integration of an Adaptive Gravitational Search Optimization (AGSO) method with faster R-CNN aims to optimize weight parameters, improving detection accuracy in complex scenarios. The UAV system is highlighted as a versatile tool for data collection and monitoring in various real-world applications, emphasizing its potential in public safety and crowd management.
Results
In the results section, the authors detail the experimental setup and findings of their proposed identification model, implemented using MATLAB, TensorFlow, and PyTorch on an Intel Core i7-8565U CPU with 8GB RAM. The experiments utilized a range of hyperparameters, including a population size of 20, a learning rate of 0.5204, and a maximum of 100 epochs. The optimal training performance was achieved at epoch 81, yielding a mean square error (MSE) of 0.097828. Notably, extending the number of epochs beyond 81 did not result in significant improvements in MSE, indicating that 81 epochs were sufficient for the model’s training.
Additionally, the section discusses the evaluation of various performance metrics, such as validation loss, validation accuracy, precision, recall, and F1-score. The proposed methodology is compared against established techniques applied to the same image dataset under varying conditions. The final outcomes will address the effects of wearing face masks, social distancing practices, and the usage of authorized streaming video services on the model’s performance.
Discussion
In the discussion section of the paper, the authors explore various innovative methodologies developed to combat the COVID-19 pandemic, particularly focusing on the use of Internet of Things (IoT) and deep learning techniques for face-mask detection and social distancing monitoring. The research employs a deep learning-based Faster R-CNN model to identify individuals wearing masks and measure social distancing in real-time, utilizing datasets sourced from platforms like GitHub and Kaggle. The study emphasizes the importance of employing pre-trained models such as MobileNet and ResNet, and highlights the effectiveness of data augmentation techniques to enhance model robustness and mitigate overfitting issues.
The findings indicate that the proposed methodology demonstrates superior performance compared to existing techniques, achieving high precision, recall, and F1-scores for both mask-wearing and non-mask-wearing classifications. Specifically, the model achieved a training precision of 98.9% for individuals wearing masks and 86.9% for those without. The paper also discusses the challenges faced during implementation, including limited dataset variability and pixel density, which necessitate further research for optimization. Overall, the study underscores the potential of UAVs equipped with advanced deep learning algorithms to effectively monitor compliance with health guidelines, thereby contributing to the mitigation of COVID-19 transmission.