كشف سقوط الإنسان في الوقت الحقيقي من الفيديو باستخدام YOLOv11 مع تقدير الوضع: تحول نموذجي نحو هياكل قائمة على المحولات الفعالة Real-Time Human Fall Detection From Video Using YOLOv11 With Pose Estimation: A Paradigm Shift Toward Efficient Transformer-Based Architectures

شارك:
المجلة: IEEE Access، المجلد: 14
DOI: https://doi.org/10.1109/access.2026.3674843
تاريخ النشر: 2026-01-01
المؤلف: Adel BenAbdennour وآخرون
الموضوع الرئيسي: التعرف على وضع الجسم والحركة

نظرة عامة

تتناول ورقة البحث الحاجة الملحة لأنظمة الكشف عن سقوط الإنسان الآلي الفعالة بسبب تزايد عدد السكان المسنين في العالم والمخاطر المرتبطة بالسقوط. تقدم نظام تعلم عميق مبتكر من مرحلتين يدمج نموذج تقدير الوضع YOLOv11-Pose مع شبكة تحويل مدمجة للتصنيف الزمني. تشمل المنهجية خط أنابيب شامل لمعالجة البيانات ودراسات إلغاء منهجية، مما يؤدي إلى نتائج مثيرة للإعجاب على مجموعة بيانات تتكون من 6,988 فيديو، محققة دقة بنسبة 97.96% ودرجة F1 تبلغ 97.74% على مجموعة الاختبار. كما يظهر النموذج قدرات تعميم قوية مع درجة F1 تبلغ 91.65% على مجموعة بيانات LE2I دون ضبط دقيق، كل ذلك مع الحفاظ على بنية خفيفة الوزن تتطلب فقط 142 ميجابايت من VRAM وتعالج الإطارات بسرعة 76.2 إطارًا في الثانية على جهاز Tesla P100.

في الختام، تسلط الدراسة الضوء على عدة مساهمات رئيسية، بما في ذلك البنية المعمارية القائمة على المحولات بكفاءة مع 4.08 مليون معلمة فقط، وتحدد أبعاد النموذج كعامل حاسم يؤثر على الأداء. كما تؤكد الأبحاث على تركيز النموذج على نقاط الجسم العلوية أثناء الكشف عن السقوط، مما يعزز من قابلية التفسير. تهدف الأعمال المستقبلية إلى تعزيز قدرات النظام من خلال دمج تقدير الوضع ثلاثي الأبعاد والمدخلات متعددة الوسائط، مثل الإشارات الصوتية، لتحسين الدقة والموثوقية في ظروف العالم الحقيقي المتنوعة. بالإضافة إلى ذلك، يُقترح استكشاف تقنيات التكيف مع المجال لتعزيز التعميم عبر البيئات المتنوعة، ومعالجة القيود التي لوحظت في النظام الحالي.

مقدمة

تسلط مقدمة ورقة البحث هذه الضوء على القلق المتزايد بشأن السكان المسنين والقضية الحرجة للصحة العامة التي تطرحها السقوط العرضي بين الأفراد المسنين. تؤدي السقوط إلى إصابات خطيرة، وزيادة في معدل الوفيات، ومجموعة من النتائج السلبية، بما في ذلك العزلة الاجتماعية وزيادة الطلبات على الرعاية الصحية. يتم التأكيد على تعقيد الكشف بدقة عن السقوط من خلال تباين أحداث السقوط المتأثرة بالعديد من العوامل مثل العمر، والحالة البدنية، والسياقات البيئية. تواجه طرق الكشف الحالية، وخاصة أجهزة الاستشعار القابلة للارتداء والأنظمة المعتمدة على الرؤية، تحديات كبيرة، بما في ذلك الامتثال من قبل المستخدم، ومشاكل الخصوصية، والحاجة إلى قدرات المعالجة في الوقت الحقيقي.

لمعالجة هذه التحديات، يقترح المؤلفون بنية تعلم عميق مبتكرة من مرحلتين تدمج تقدير الوضع ونمذجة التسلسل الزمني للكشف عن السقوط في الوقت الحقيقي. باستخدام YOLOv11-Pose لاستخراج الميزات، يقوم النظام بإدخال تسلسلات الوضع في شبكة تحويل مدمجة تم تحسينها لتصنيف أحداث السقوط. تدعي الورقة عدة مساهمات رئيسية: تقديم خط أنابيب قوي من مرحلتين، وتقييمات شاملة على مجموعة بيانات FallVision، ودراسات إلغاء منهجية، والتحقق عبر مجموعات البيانات على مجموعة بيانات LE2I، وتحليل قابلية التفسير الميكانيكية. تهدف هذه الطريقة المبتكرة إلى تحقيق توازن بين الدقة العالية والكفاءة الحاسوبية، مما يجعلها حلاً واعدًا للرصد في الوقت الحقيقي في بيئات متنوعة. تم هيكلة الورقة لمراجعة الأعمال ذات الصلة، وتفصيل المنهجية، وعرض النتائج التجريبية، ومناقشة الآثار، واختتام بأهم نتائج الدراسة.

الطرق

تتفصل قسم المنهجية في تطوير وتقييم نموذج الكشف عن السقوط القائم على المحولات، مع التركيز على إعداد البيانات، وبنية النموذج، والصياغة الرياضية، وبروتوكولات التقييم. تشمل مقاييس التقييم المستخدمة الدقة، والدقة (السقوط)، والاسترجاع (السقوط)، ودرجة F1 (السقوط)، مع إعطاء الأولوية لدرجة F1 كمؤشر الأداء الرئيسي بسبب تمثيلها المتوازن للدقة والاسترجاع، وهو أمر حيوي للتطبيقات الحرجة للسلامة. تشمل المقاييس الإضافية لكفاءة الحوسبة عدد المعلمات، وحجم النموذج، واستخدام VRAM الأقصى، وزمن الاستدلال.

يتم تلخيص بروتوكول التدريب في الجدول 7، مع تسليط الضوء على المعلمات الفائقة الرئيسية مثل معدل التعلم $0.0005$، وطول التسلسل $60$ إطارًا، وأبعاد النموذج $d = 256$، التي تم تحسينها من خلال دراسات إلغاء منهجية. تم تدريب النموذج باستخدام مُحسِّن AdamW مع انحدار الوزن $10^{-5}$، وحجم دفعة $64$، وفقدان Binary Cross-Entropy، مع دمج التوقف المبكر استنادًا إلى درجة F1 للتحقق. تستخدم منهجية نقل التسمية تعليقات الإطار لمجموعة بيانات LE2I لتأسيس بروتوكول تقييم قائم على المنطقة، حيث يتم تصنيف المقاطع إلى مناطق عدم السقوط، والسقوط، وحدود/ما بعد السقوط لتخفيف الغموض الزمني وضمان تقييم عادل لأداء النموذج عبر مجموعات البيانات.

النتائج

في قسم النتائج، يظهر النموذج أداءً قويًا عبر مجموعات بيانات مختلفة، محققًا درجة F1 تبلغ 91.65% على مجموعة بيانات LE2I دون أي ضبط دقيق، وهو ما يقل بنسبة 6.1% فقط عن أدائه على توزيع التدريب. تكشف دراسة إلغاء أن زيادة أبعاد النموذج ($d_{model}$) تؤدي إلى أكبر تحسين في درجة F1، مع زيادة قدرها 5.55% لوحظت عند مقارنة التكوينات. تحقق التكوينات المثلى لـ $d=256$ و$d=400$ درجات F1 قصوى تبلغ 96.62% و96.63% على التوالي، مع اختيار النموذج النهائي لـ $d=256$ بسبب نسبة الدقة إلى المعلمة المواتية.

تشير التحليلات الإضافية إلى أن عدد طبقات الترميز ($L$) يصل إلى ذروته عند $L=2$ مع درجة F1 تبلغ 95.09%، بينما تؤدي الطبقات الإضافية إلى عوائد متناقصة وزيادة في عدد المعلمات. يظهر عدد رؤوس الانتباه ($H$) حساسية ضئيلة، مع تباين في درجة F1 يبلغ 0.35% فقط، مما يشير إلى أن حتى رأس انتباه واحد يكفي لالتقاط الأنماط الزمنية الأساسية. بشكل عام، يبرز أداء النموذج عبر مجموعات البيانات قدرة النموذج على التعميم بفعالية عبر بيئات مختلفة، وإعدادات الكاميرا، والمواضيع. يوفر الملحق نتائج مفصلة من 54 تجربة إلغاء، مؤكداً التكوين الأساسي ويسلط الضوء على أفضل المعلمات أداءً.

المناقشة

تسلط قسم المناقشة في الورقة الضوء على التقدمات والتحديات الحرجة في أنظمة الكشف عن السقوط، وخاصة لكبار السن. تصنف الأبحاث الحالية إلى منهجيات متنوعة، بما في ذلك الأنظمة المعتمدة على أجهزة الاستشعار القابلة للارتداء والتقنيات المعتمدة على الرؤية، مع التأكيد على قيود كل نهج. تواجه الأنظمة القابلة للارتداء، على الرغم من فعاليتها في التقاط بيانات الحركة، مشكلات تتعلق بالامتثال من قبل المستخدم ومعدلات إنذار كاذب مرتفعة. في المقابل، تقدم الطرق المعتمدة على الرؤية بدائل غير متطفلة ولكنها تثير مخاوف تتعلق بالخصوصية ويمكن أن تعيقها العوامل البيئية. تُلاحظ تقنيات تقدير الوضع والشبكات المعتمدة على YOLO لصلابتها وقدراتها في الوقت الحقيقي، ومع ذلك، تتطلب تحسينًا للنشر العملي.

تقدم الورقة خط أنابيب مبتكر للتعلم العميق من مرحلتين يدمج نموذج تقدير الوضع المتقدم، YOLOv11-Pose، مع شبكة تحويل مدمجة للتصنيف الزمني. تهدف هذه البنية إلى تحقيق توازن بين الدقة، والسرعة، والصلابة، مما يجعلها مناسبة للكشف عن السقوط في الوقت الحقيقي في البيئات الذكية. مجموعة البيانات المستخدمة للتدريب متنوعة، تتكون من 6,988 مقطع فيديو مع توزيع متوازن للفئات، مما يعزز من قدرات تعميم النموذج. يضمن خط أنابيب المعالجة المسبقة بيانات وضع عالية الجودة، بينما تؤكد دراسات الإلغاء الشاملة على الخيارات المعمارية وتظهر فعالية النموذج، محققة درجة F1 نهائية تبلغ 97.74% على مجموعة الاختبار المحتفظ بها. تؤكد النتائج على أهمية تحسين الأداء وكفاءة الموارد في تطوير أنظمة الكشف عن السقوط.

القيود

يظهر النظام المقترح عدة قيود ملحوظة على الرغم من أدائه القوي. أولاً، تعتمد على تقدير الوضع ثنائي الأبعاد مما يحد من الحصول على معلومات العمق وإشارات الحركة ثلاثية الأبعاد، مما قد يؤدي إلى غموض في السيناريوهات الصعبة، مثل زوايا الكاميرا المتطرفة أو الانسداد الذاتي الكبير. ثانيًا، تم تصميم النظام للعمل تحت افتراض وجود موضوع واحد مرئي فقط في كل مشهد؛ وبالتالي، قد تتناقص فعاليته في البيئات المزدحمة أو الإطارات متعددة الأشخاص، حيث قد تتعرض جودة كشف YOLOv11-Pose للخطر، مما يؤثر على دقة عملية استخراج النقاط الرئيسية.

بالإضافة إلى ذلك، تتكون مجموعة بيانات التدريب بشكل أساسي من حالات سقوط مختارة في المختبر، والتي قد لا تمثل بشكل كافٍ التباين الموجود في سيناريوهات السقوط في العالم الحقيقي. على الرغم من أن تجارب التعميم عبر مجموعات البيانات تشير إلى درجة من الصلابة، إلا أن الأداء قد يتأثر في إعدادات النشر التي تختلف في مواضع الكاميرا، وظروف الإضاءة، أو التركيبة السكانية للموضوعات مقارنة ببيئة التدريب. أخيرًا، يعتمد خط الأنابيب من البداية إلى النهاية على وجود GPU يعمل، مع متطلبات VRAM متواضعة تبلغ 142 ميجابايت، مما يشكل قيدًا، حيث أن النشر على CPU وحده سيقلل بشكل كبير من معدل معالجة البيانات.

Journal: IEEE Access, Volume: 14
DOI: https://doi.org/10.1109/access.2026.3674843
Publication Date: 2026-01-01
Author(s): Adel BenAbdennour et al.
Primary Topic: Human Pose and Action Recognition

Overview

The research paper addresses the urgent need for effective automated human fall detection systems due to the rising global aging population and the associated fall risks. It introduces a novel two-stage deep learning pipeline that integrates the YOLOv11-Pose pose estimation model with a compact transformer network for temporal classification. The methodology includes a comprehensive data preprocessing pipeline and systematic ablation studies, leading to impressive results on a dataset of 6,988 videos, achieving an accuracy of 97.96% and an F1-score of 97.74% on the test set. The model also demonstrates strong generalization capabilities with a 91.65% F1-score on the LE2I dataset without fine-tuning, all while maintaining a lightweight architecture that requires only 142 MB VRAM and processes frames at 76.2 FPS on a Tesla P100.

In conclusion, the study highlights several key contributions, including the efficient transformer-based architecture with only 4.08 million parameters, and identifies model dimension as a critical factor influencing performance. The research also emphasizes the model’s focus on upper body keypoints during fall detection, enhancing interpretability. Future work aims to enhance the system’s capabilities by incorporating 3D pose estimation and multimodal inputs, such as audio cues, to improve accuracy and reliability in diverse real-world conditions. Additionally, exploring domain adaptation techniques is proposed to bolster generalization across varying environments, addressing limitations observed in the current system.

Introduction

The introduction of this research paper highlights the growing concern surrounding the aging population and the critical public health issue posed by accidental falls among elderly individuals. Falls lead to severe injuries, increased mortality, and a range of negative outcomes, including social isolation and heightened healthcare demands. The complexity of accurately detecting falls is underscored by the variability of fall events influenced by numerous factors such as age, physical condition, and environmental contexts. Existing detection methods, particularly wearable sensors and vision-based systems, face significant challenges, including user compliance, privacy issues, and the need for real-time processing capabilities.

To address these challenges, the authors propose a novel two-stage deep learning architecture that integrates pose estimation and temporal sequence modeling for real-time fall detection. Utilizing YOLOv11-Pose for feature extraction, the system feeds pose sequences into a compact transformer network optimized for classifying fall events. The paper claims several key contributions: the introduction of a robust two-stage pipeline, comprehensive evaluations on the FallVision dataset, systematic ablation studies, cross-dataset validation on the LE2I dataset, and mechanistic interpretability analysis. This innovative approach aims to balance high accuracy with computational efficiency, making it a promising solution for real-time monitoring in diverse environments. The paper is structured to review related work, detail the methodology, present experimental results, discuss implications, and conclude with the study’s key findings.

Methods

The methodology section details the development and evaluation of a Transformer-based fall detection model, focusing on data preparation, model architecture, mathematical formulation, and evaluation protocols. The evaluation metrics employed include Accuracy, Precision (Fall), Recall (Fall), and F1-Score (Fall), with the F1-Score being prioritized as the primary performance indicator due to its balanced representation of precision and recall, which is vital for safety-critical applications. Additional metrics for computational efficiency include parameter count, model size, peak VRAM usage, and inference latency.

The training protocol is summarized in Table 7, highlighting key hyperparameters such as a learning rate of $0.0005$, a sequence length of $60$ frames, and a model dimension of $d = 256$, which were optimized through systematic ablation studies. The model was trained using the AdamW optimizer with a weight decay of $10^{-5}$, a batch size of $64$, and Binary Cross-Entropy loss, incorporating early stopping based on validation F1-score. The label transfer methodology utilizes the LE2I dataset’s frame-level annotations to establish a zone-based evaluation protocol, categorizing clips into No-Fall, Fall, and Boundary/Post-Fall Zones to mitigate temporal ambiguity and ensure a fair assessment of model performance across datasets.

Results

In the results section, the model demonstrates a robust performance across various datasets, achieving an F1-score of 91.65% on the LE2I dataset without any fine-tuning, which is only 6.1% lower than its performance on the training distribution. An ablation study reveals that increasing the model dimension ($d_{model}$) yields the most significant improvement in F1-score, with an increase of 5.55% observed when comparing configurations. The optimal configurations of $d=256$ and $d=400$ achieve peak F1-scores of 96.62% and 96.63%, respectively, with the final model opting for $d=256$ due to its advantageous accuracy-to-parameter ratio.

Further analysis indicates that the number of encoder layers ($L$) peaks at $L=2$ with an F1-score of 95.09%, while additional layers result in diminishing returns and increased parameter counts. The number of attention heads ($H$) shows minimal sensitivity, with an F1-score variation of only 0.35%, suggesting that even a single attention head is sufficient to capture essential temporal patterns. Overall, the cross-dataset performance underscores the model’s capability to generalize effectively across different environments, camera setups, and subjects. The appendix provides detailed results from 54 ablation experiments, confirming the baseline configuration and highlighting the best-performing parameters.

Discussion

The discussion section of the paper highlights the critical advancements and challenges in fall detection systems, particularly for the elderly. It categorizes existing research into various methodologies, including wearable sensor-based systems and vision-based techniques, while emphasizing the limitations of each approach. Wearable systems, although effective in capturing movement data, face issues related to user compliance and high false-alarm rates. In contrast, vision-based methods offer non-intrusive alternatives but raise privacy concerns and can be hindered by environmental factors. Pose estimation techniques and YOLO-based networks are noted for their robustness and real-time capabilities, yet they require optimization for practical deployment.

The paper introduces a novel two-stage deep learning pipeline that integrates a state-of-the-art pose estimation model, YOLOv11-Pose, with a compact transformer network for temporal classification. This architecture aims to balance accuracy, speed, and robustness, making it suitable for real-time fall detection in smart environments. The dataset used for training is diverse, comprising 6,988 video clips with a balanced class distribution, which enhances the model’s generalization capabilities. The preprocessing pipeline ensures high-quality pose data, while comprehensive ablation studies validate the architectural choices and demonstrate the model’s effectiveness, achieving a final F1 score of 97.74% on the held-out test set. The findings underscore the importance of optimizing for both performance and resource efficiency in developing fall detection systems.

Limitations

The proposed system exhibits several notable limitations despite its strong performance. Firstly, its dependence on 2D pose estimation restricts the acquisition of depth information and 3D kinematic cues, which can lead to ambiguities in challenging scenarios, such as extreme camera angles or significant self-occlusion. Secondly, the system is designed to operate under the assumption of a single visible subject per scene; thus, its effectiveness may diminish in crowded environments or multi-person frames, where the quality of YOLOv11-Pose detection could be compromised, potentially impacting the accuracy of the keypoint extraction process.

Additionally, the training dataset primarily consists of scripted laboratory falls, which may not adequately represent the variability found in real-world fall scenarios. Although cross-dataset generalization experiments indicate a degree of robustness, performance may suffer in deployment settings that differ in camera placements, lighting conditions, or subject demographics compared to the training environment. Lastly, the end-to-end pipeline’s reliance on a functioning GPU, with a modest VRAM requirement of 142 MB, poses a limitation, as deployment on a CPU alone would significantly reduce processing throughput.