شبكة عصبية متكررة مدعومة بالإنترنت للأشياء لتحسين التعرف على النشاط البشري مع تحسين التحديد والتصنيف
IoT powered RNN for improved human activity recognition with enhanced localization and classification

المجلة: Scientific Reports، المجلد: 15، العدد: 1
DOI: https://doi.org/10.1038/s41598-025-94689-5
PMID: https://pubmed.ncbi.nlm.nih.gov/40133388
تاريخ النشر: 2025-03-25
المؤلف: Naif Al Mudawi وآخرون
الموضوع الرئيسي: أنظمة التعرف على النشاط المعتمد على السياق

نظرة عامة

تقدم ورقة البحث نظامًا قويًا للتعرف على النشاط البشري (HAR) والتحديد المكاني، مستفيدة من بيانات الأجهزة الذكية. يستخدم النظام فلتر تشيبيشيف من النوع الأول لإزالة الضوضاء من إشارات الإدخال، يليه استخراج الميزات من خلال فروع متوازية مخصصة لـ HAR والتحديد المكاني. يتم استخدام خوارزمية بوروتا لاختيار الميزات الأكثر معلوماتية، والتي يتم تحسينها بعد ذلك باستخدام خوارزمية تحسين سرب الجسيمات (PSO). يتم تدريب شبكتين عصبيتين متكررتين (RNNs) بالتوازي—واحدة لـ HAR والأخرى للتحديد المكاني. يتم تقييم أداء النظام على مجموعتي بيانات مرجعية، مجموعة بيانات Extrasensory ومجموعة بيانات Sussex Huawei locomotion (SHL)، محققًا دقة تبلغ 89.25% و90.50% لـ HAR والتحديد المكاني على الأولى، و95.75% و91.50% على الثانية، على التوالي، مما يتفوق على الطرق الحديثة.

تكمن أهمية هذا البحث في تطبيقاته المحتملة، التي تتراوح من تحسين الرعاية الصحية من خلال المراقبة عن بُعد إلى تعزيز الأمن عبر أنظمة المراقبة الذكية. يعترف تصميم النظام بالتحديات التي تطرحها بيانات المستشعرات المليئة بالضوضاء ويهدف إلى توفير HAR والتحديد المكاني بدقة وفي الوقت المناسب. ومع ذلك، فإن إحدى القيود الملحوظة هي أن نتائج التحديد المكاني تتأخر عن نتائج HAR ببضع ثوانٍ، ربما بسبب تعقيد الميزات المعالجة. بشكل عام، يساهم هذا العمل في المشهد المتطور لتطبيقات البيانات المدفوعة بإنترنت الأشياء، مؤكدًا على التأثير التحويلي لـ HAR والتحديد المكاني على تفاعل المجتمع مع التكنولوجيا.

طرق

يستخدم البحث مجموعتين رئيسيتين من البيانات: مجموعة بيانات ExtraSensory ومجموعة بيانات Sussex-Huawei Locomotion (SHL)، وكلاهما لهما دور أساسي في تحليل الأنشطة البشرية من خلال بيانات المستشعرات. تشمل مجموعة بيانات ExtraSensory قراءات من المستشعرات المدمجة في الهواتف الذكية والساعات الذكية، تم جمعها من 60 فردًا على فترات زمنية مدتها دقيقة واحدة. تتضمن البيانات من مستشعرات مختلفة مثل مقياس التسارع، والجيروسكوب، ومقياس المغناطيسية، وخدمات الموقع، وتلتقط أنشطة مثل الجلوس، والوقوف، وركوب الدراجات، وصعود السلالم عبر بيئات متنوعة بما في ذلك المنازل، والمدارس، والمكاتب، والإعدادات الخارجية.

على النقيض من ذلك، تم تصميم مجموعة بيانات SHL لتسهيل تطوير وتقييم الخوارزميات للتعرف على الأنشطة والتحديد المكاني. تتكون من بيانات مصنفة من مستشعرات متعددة، بما في ذلك مقياس التسارع ونظام تحديد المواقع العالمي (GPS)، تم جمعها من الهواتف الذكية الموضوعة في مواقع مختلفة (مثل الجيب، اليد، الجذع، الحقيبة). تركز هذه المجموعة على أنشطة مثل الجلوس، والوقوف، والمشي، والجري، مع جمع البيانات من كل من السياقات الداخلية والخارجية، بما في ذلك سيناريوهات النقل مثل الحافلات والقطارات. معًا، توفر هذه المجموعات أساسًا شاملاً للتحقيق في التعرف على النشاط البشري من خلال تحليل بيانات المستشعرات.

نقاش

يعالج النظام المقترح بشكل فعال التعرف على النشاط البشري (HAR) والتحديد المكاني البشري من خلال الاستفادة من بيانات مستشعرات الهواتف الذكية والساعات الذكية. يعمل النظام أولاً على إزالة الضوضاء من إشارات الإدخال باستخدام فلتر تشيبيشيف من النوع الأول، يليه تقسيم الإشارات إلى نوافذ بلاكمان مدتها 1.5 ثانية لاستخراج الميزات. يتم إنشاء فرعين متوازيين لـ HAR والتحديد المكاني، حيث يتم استخراج ميزات مميزة مثل الانحراف، والتفرطح، والطاقة لـ HAR، بينما يتم استخدام السرعة، واتجاه الرأس، ونغمة الصوت للتحديد المكاني. يستخدم النظام خوارزمية بوروتا لاختيار الميزات وتحسين سرب الجسيمات (PSO) لتحسين البيانات، مما يؤدي في النهاية إلى تغذية البيانات المكررة إلى شبكتين عصبيتين متكررتين (RNNs) للتصنيف.

تكشف تقييمات النظام على مجموعتي بيانات Extrasensory وSHL عن نتائج واعدة، حيث تحقق HAR دقة إجمالية تبلغ 89.25% و95.75%، على التوالي، ودقة التحديد المكاني تبلغ 90.50% و91.50%. يتفوق النظام على الطرق الحديثة الموجودة، مما يظهر قوته في كلا المهمتين. ومع ذلك، فإن إحدى القيود الملحوظة هي التأخير في نتائج التحديد المكاني مقارنةً بـ HAR، والذي يُعزى إلى تعقيد الميزات المعنية. تهدف الأعمال المستقبلية إلى تعزيز التزامن بين هذه النتائج، مما يحسن أداء النظام بشكل أكبر.

Journal: Scientific Reports, Volume: 15, Issue: 1
DOI: https://doi.org/10.1038/s41598-025-94689-5
PMID: https://pubmed.ncbi.nlm.nih.gov/40133388
Publication Date: 2025-03-25
Author(s): Naif Al Mudawi et al.
Primary Topic: Context-Aware Activity Recognition Systems

Overview

The research paper presents a robust system for Human Activity Recognition (HAR) and localization, leveraging data from smart devices. The system employs a Chebyshev type-I filter for denoising input signals, followed by feature extraction through parallel branches dedicated to HAR and localization. The Boruta algorithm is utilized for selecting the most informative features, which are then optimized using a Particle Swarm Optimization (PSO) algorithm. Two recurrent neural networks (RNNs) are trained in parallel—one for HAR and the other for localization. The system’s performance is evaluated on two benchmark datasets, the Extrasensory dataset and the Sussex Huawei locomotion (SHL) dataset, achieving accuracies of 89.25% and 90.50% for HAR and localization on the former, and 95.75% and 91.50% on the latter, respectively, thus outperforming state-of-the-art methods.

The significance of this research lies in its potential applications, ranging from healthcare improvements through remote monitoring to enhanced security via intelligent surveillance systems. The system’s design acknowledges the challenges posed by noisy sensor data and aims to provide accurate and timely HAR and localization. However, a noted limitation is that the localization results lag behind the HAR results by a few seconds, possibly due to the complexity of the features being processed. Overall, this work contributes to the evolving landscape of IoT-driven data applications, emphasizing the transformative impact of HAR and localization on societal engagement with technology.

Methods

The research employs two primary datasets: the ExtraSensory dataset and the Sussex-Huawei Locomotion (SHL) dataset, both of which are instrumental in analyzing human activities through sensor data. The ExtraSensory dataset encompasses readings from built-in sensors of smartphones and smartwatches, collected from 60 individuals over one-minute intervals. It includes data from various sensors such as accelerometers, gyroscopes, magnetometers, and location services, capturing activities like sitting, standing, biking, and climbing stairs across diverse environments including homes, schools, offices, and outdoor settings.

Conversely, the SHL dataset is designed to facilitate the development and evaluation of algorithms for activity recognition and localization. It comprises labeled data from multiple sensors, including accelerometers and GPS, collected from smartphones positioned in different locations (e.g., pocket, hand, torso, bag). This dataset focuses on activities such as sitting, standing, walking, and running, with data gathered from both indoor and outdoor contexts, including transportation scenarios like buses and trains. Together, these datasets provide a comprehensive foundation for investigating human activity recognition through sensor data analysis.

Discussion

The proposed system effectively addresses human activity recognition (HAR) and human localization by leveraging data from smartphone and smartwatch sensors. It operates by first denoising the input signals using a Chebyshev type-I filter, followed by segmenting the signals into 1.5-second Blackman windows for feature extraction. Two parallel branches are established for HAR and localization, extracting distinct features such as skewness, kurtosis, and energy for HAR, while speed, heading direction, and sound pitch are utilized for localization. The system employs the Boruta algorithm for feature selection and particle swarm optimization (PSO) for data optimization, ultimately feeding the refined data into two recurrent neural networks (RNNs) for classification.

The evaluation of the system on the Extrasensory and SHL datasets reveals promising results, with HAR achieving an overall accuracy of 89.25% and 95.75%, respectively, and localization accuracies of 90.50% and 91.50%. The system outperforms existing state-of-the-art methods, demonstrating its robustness in both tasks. However, a noted limitation is the lag in localization results compared to HAR, attributed to the complexity of the features involved. Future work aims to enhance synchronization between these outcomes, further improving the system’s performance.