DOI: https://doi.org/10.1038/s41598-025-01898-z
PMID: https://pubmed.ncbi.nlm.nih.gov/40379779
تاريخ النشر: 2025-05-16
المؤلف: Mahmoud Elnady وآخرون
الموضوع الرئيسي: التعرف على وضع الجسم والحركة
نظرة عامة
تقدم ورقة البحث نهجًا جديدًا للتعرف على حركة الإنسان (HAR) من خلال دمج نموذج “تنظر مرة واحدة فقط” (YOLO) لاستخراج الميزات المكانية مع شبكات الذاكرة طويلة وقصيرة المدى (LSTM) للنمذجة الزمنية. يعالج هذا الإطار الهجين بفعالية التحديات المتعلقة بالتعرف على الحركة في تسلسلات الفيديو، مثل الحجب، والإضاءة المتغيرة، والخلفيات المعقدة. يمكّن نموذج YOLO المعالجة في الوقت الحقيقي من خلال التعرف بكفاءة على الميزات الرئيسية من الإطارات الفردية، بينما تلتقط شبكة LSTM الاعتماديات الزمنية اللازمة لفهم الديناميات المتسلسلة في حركات الإنسان.
تم تقييم إطار YOLO-LSTM المقترح على عدة مجموعات بيانات HAR متاحة للجمهور، محققًا نتائج مثيرة للإعجاب: 96% دقة، 96% دقة، 97% استرجاع، و96% درجة F1 على مجموعة بيانات UCF101؛ 99% عبر جميع المقاييس على مجموعة بيانات KTH؛ 100% على مجموعة بيانات WEIZMANN؛ و98% على مجموعة بيانات IXMAS. تُظهر هذه النتائج الأداء المتفوق للإطار مقارنة بالطرق الحالية، مما يبرز إمكانيته للتطبيقات الواقعية في المراقبة، والرعاية الصحية، والتفاعل بين الإنسان والحاسوب. تؤكد الدراسة على أهمية النماذج الهجينة التي تدمج كل من الميزات المكانية والزمنية لتعزيز قوة ودقة أنظمة HAR.
النتائج
أظهر النموذج المقترح أداءً قويًا عبر عدة مجموعات بيانات مرجعية، تحديدًا UCF101، KTH، WEIZMANN، وIXMAS. كانت هذه المجموعات بيانات أساسية في تقييم فعالية النموذج في التعرف على حركات الإنسان عبر مصادر فيديو متنوعة. تشير النتائج إلى أن النموذج يمتلك قدرات تعميم قوية، مما يقترح إمكانية تطبيقه في سيناريوهات العالم الحقيقي المتعلقة بالتعرف على حركة الإنسان.
المناقشة
تسلط المناقشة حول التعرف على حركة الإنسان (HAR) الضوء على التقدمات الكبيرة في هذا المجال، خاصة من خلال دمج تقنيات التعلم العميق والنهج متعددة الوسائط التي تجمع بين بيانات الفيديو RGB مع الصوت. لقد تم استبدال الطرق التقليدية المعتمدة على RGB، التي اعتمدت في البداية على الميزات اليدوية، إلى حد كبير بنماذج التعلم العميق، مثل CNNs ذات التدفقين، وRNNs، وTransformers، التي أظهرت أداءً متفوقًا على مجموعات بيانات مرجعية مثل UCF101، HMDB51، وKinetics400. من الجدير بالذكر أن طرق الدمج متعددة الوسائط قد أظهرت دقة محسنة من خلال الاستفادة من المعلومات التكميلية من كل من البيانات البصرية والسمعية، مع نماذج مثل AVSlowFast وMM-ViT التي تحقق معدلات دقة ملحوظة.
لقد أدت الابتكارات الحديثة، بما في ذلك إدخال بحث بنية الشبكة العصبية (NAS) وآليات الانتباه المتقدمة، إلى تحسين نماذج HAR بشكل أكبر، مما يجعلها أكثر كفاءة وقوة. يدمج الإطار الهجين المقترح في هذه الدراسة YOLO لاستخراج الميزات المكانية وLSTM للتحليل الزمني، مما يوفر توازنًا بين الكفاءة الحسابية والأداء. هذا النهج مناسب بشكل خاص للتطبيقات الواقعية، مثل المراقبة، حيث يكون التعرف السريع والدقيق على الحركة أمرًا حاسمًا. تشير النتائج إلى أن نموذج YOLO-LSTM المقترح لا يتفوق فقط على الطرق التقليدية ولكنه أيضًا يظهر قوة عبر مجموعات البيانات، مما يجعله مساهمة مهمة في التطور المستمر لأنظمة HAR.
القيود
تسلط القيود المفروضة على نماذج التسلسل المختلفة للتعرف على حركة الإنسان (HAR) الضوء على نقاط القوة والضعف في كل نهج. تعتبر الشبكات العصبية التكرارية التقليدية (RNNs) فعالة في التسلسلات القصيرة ولكنها تواجه صعوبة مع الاعتماديات طويلة المدى بسبب مشكلة تلاشي التدرج. تُفضل شبكات الذاكرة طويلة وقصيرة المدى (LSTM) لأنها تتعامل بشكل أفضل مع هذه الاعتماديات وتوفر تحكمًا معززًا على الذاكرة من خلال آليات البوابة الخاصة بها. تقدم وحدات البوابة المتكررة (GRUs) أوقات تدريب أسرع ولكن قد تكون أقل تعبيرًا من LSTMs للتسلسلات الطويلة جدًا. بينما تتفوق الشبكات العصبية التلافيفية أحادية البعد (CNNs) في استخراج الميزات المكانية في التسلسلات القصيرة، إلا أنها محدودة في التقاط الاعتماديات الزمنية على مدى فترات أطول. تسهل الشبكات التحويلية المعالجة المتوازية للتسلسلات الطويلة ولكنها تتطلب موارد حسابية كبيرة ومجموعات بيانات كبيرة، مما يجعل LSTMs خيارًا أكثر كفاءة لتطبيقات HAR في الوقت الحقيقي.
تستخدم الدراسة إطار YOLO-LSTM الهجين، حيث يعزز متتبع SORT الاتساق الزمني من خلال ربط الكائنات المكتشفة عبر الإطارات. يتم تدريب نموذج LSTM باستخدام خسارة الانتروبيا المتقاطعة الفئوية، مع كون الخسارة الإجمالية مجموعًا مرجحًا لخسائر YOLO وLSTM. يتم إجراء ضبط المعلمات الفائقة بشكل منهجي باستخدام Keras Tuner لتحسين أداء النموذج، مع التركيز على المعلمات الرئيسية مثل عدد وحدات LSTM ومعدلات التسرب. تتضمن عملية التدريب إيقافًا مبكرًا وجدول زمني لمعدل التعلم للتخفيف من الإفراط في التكيف وضمان التقارب الفعال. يتم تقييم أداء النموذج النهائي على مجموعة بيانات اختبار منفصلة، تقيس الدقة، والدقة، والاسترجاع، ودرجة F1، مما يؤكد فعالية النهج المقترح في التقاط الاعتماديات الزمنية مع الحفاظ على الكفاءة الحسابية.
DOI: https://doi.org/10.1038/s41598-025-01898-z
PMID: https://pubmed.ncbi.nlm.nih.gov/40379779
Publication Date: 2025-05-16
Author(s): Mahmoud Elnady et al.
Primary Topic: Human Pose and Action Recognition
Overview
The research paper presents a novel approach to Human Action Recognition (HAR) by integrating the You Only Look Once (YOLO) model for spatial feature extraction with Long Short-Term Memory (LSTM) networks for temporal modeling. This hybrid framework effectively addresses the challenges of action recognition in video sequences, such as occlusions, varying illumination, and complex backgrounds. The YOLO model enables real-time processing by efficiently identifying key features from individual frames, while the LSTM network captures the temporal dependencies necessary for understanding sequential dynamics in human movements.
The proposed YOLO-LSTM framework was evaluated on multiple publicly available HAR datasets, achieving impressive results: 96% accuracy, 96% precision, 97% recall, and 96% F1-score on the UCF101 dataset; 99% across all metrics on the KTH dataset; 100% on the WEIZMANN dataset; and 98% on the IXMAS dataset. These findings demonstrate the framework’s superior performance compared to existing methods, highlighting its potential for real-world applications in surveillance, healthcare, and human-computer interaction. The study emphasizes the importance of hybrid models that integrate both spatial and temporal features to enhance the robustness and accuracy of HAR systems.
Results
The proposed model demonstrated robust performance across several benchmark datasets, specifically UCF101, KTH, WEIZMANN, and IXMAS. These datasets were instrumental in assessing the model’s effectiveness in recognizing human actions across diverse video sources. The results indicate that the model possesses strong generalization capabilities, suggesting its potential applicability in real-world scenarios involving human action recognition.
Discussion
The discussion on Human Action Recognition (HAR) highlights significant advancements in the field, particularly through the integration of deep learning techniques and multimodal approaches that combine RGB video data with audio. Traditional RGB-based methods, which initially relied on handcrafted features, have largely been supplanted by deep learning models, such as two-stream CNNs, RNNs, and Transformers, which have demonstrated superior performance on benchmark datasets like UCF101, HMDB51, and Kinetics400. Notably, multimodal fusion methods have shown enhanced accuracy by leveraging complementary information from both visual and auditory data, with models like AVSlowFast and MM-ViT achieving remarkable accuracy rates.
Recent innovations, including the introduction of Neural Architecture Search (NAS) and advanced attention mechanisms, have further optimized HAR models, making them more efficient and robust. The proposed hybrid framework in this study integrates YOLO for spatial feature extraction and LSTM for temporal analysis, offering a balance between computational efficiency and performance. This approach is particularly suited for real-world applications, such as surveillance, where rapid and accurate action recognition is critical. The results indicate that the proposed YOLO-LSTM model not only outperforms traditional methods but also demonstrates cross-dataset robustness, making it a significant contribution to the ongoing evolution of HAR systems.
Limitations
The limitations of various sequential models for human action recognition (HAR) highlight the strengths and weaknesses of each approach. Traditional Recurrent Neural Networks (RNNs) are effective for short sequences but struggle with long-term dependencies due to the vanishing gradient problem. Long Short-Term Memory (LSTM) networks are preferred as they better handle these dependencies and provide enhanced control over memory through their gating mechanisms. Gated Recurrent Units (GRUs) offer faster training times but may be less expressive than LSTMs for very long sequences. While 1D Convolutional Neural Networks (CNNs) excel at spatial feature extraction in short sequences, they are limited in capturing temporal dependencies over longer durations. Transformer networks facilitate parallel processing of long sequences but require substantial computational resources and large datasets, making LSTMs a more efficient choice for real-time HAR applications.
The study employs a hybrid YOLO-LSTM framework, where the SORT tracker enhances temporal consistency by associating detected objects across frames. The LSTM model is trained using categorical cross-entropy loss, with the total loss being a weighted sum of the YOLO and LSTM losses. Hyperparameter tuning is systematically conducted using Keras Tuner to optimize model performance, focusing on key parameters such as the number of LSTM units and dropout rates. The training process incorporates early stopping and a learning rate scheduler to mitigate overfitting and ensure efficient convergence. The final model’s performance is evaluated on a separate testing dataset, measuring accuracy, precision, recall, and F1-score, thereby confirming the effectiveness of the proposed approach in capturing temporal dependencies while maintaining computational efficiency.