تحليل مقارن لنماذج LSTM المدعومة بالانتباه وكتل الضغط والتحفيز للتعرف على الأنشطة
A comparative analysis of LSTM models aided with attention and squeeze and excitation blocks for activity recognition

شارك:
المجلة: Scientific Reports، المجلد: 15، العدد: 1
DOI: https://doi.org/10.1038/s41598-025-88378-6
PMID: https://pubmed.ncbi.nlm.nih.gov/39890983
تاريخ النشر: 2025-01-31
المؤلف: Murad Khan وآخرون
الموضوع الرئيسي: أنظمة التعرف على النشاط المعتمد على السياق

نظرة عامة

تقدم هذه القسم استنتاج دراسة تقدم نموذجًا قائمًا على LSTM للتعرف على النشاط البشري (HAR)، معززًا بآليات الانتباه وكتل الضغط والتحفيز (SE). يحقق النموذج المقترح معدل دقة مثير للإعجاب يبلغ 99%، مستفيدًا من قدرة LSTM على التقاط الاعتماديات الزمنية، وآليات الانتباه للتركيز على مقاطع التسلسل المهمة، وكتل SE لضبط أهمية القنوات. تشير التحليلات المقارنة إلى أن هذا النموذج يتفوق على الطرق التقليدية لـ HAR من خلال تقليل التعقيد الحسابي وتحسين المتانة في التطبيقات الواقعية.

تشير النتائج إلى أن دمج LSTM مع هذه الآليات المتقدمة لا يعزز الدقة فحسب، بل يضمن أيضًا تعميمًا جيدًا عبر مجموعات بيانات متنوعة، مما يجعل النموذج قابلًا للتطبيق في مجالات مثل الرعاية الصحية، والرياضة، والبيئات الذكية. تشمل اتجاهات البحث المستقبلية استكشاف هياكل عصبية أخرى، مثل المحولات، لتعزيز التقاط الاعتماديات طويلة المدى، بالإضافة إلى تحسين النموذج للنشر على الهواتف المحمولة لتقليل المتطلبات الحسابية. بالإضافة إلى ذلك، سيكون من الضروري معالجة التباين في موضع المستشعرات وتعزيز قابلية التفسير للتطبيقات الحرجة، لا سيما في الرعاية الصحية، من أجل اعتماد أوسع للنموذج.

مقدمة

تعمل آلية الضغط والتحفيز (SE)، التي قدمها جي هيو وآخرون في عام 2017، على تعزيز القدرة التمثيلية للشبكات العصبية التلافيفية (CNNs) من خلال نمذجة الاعتماديات بين القنوات في الميزات التلافيفية. تطبق الشبكات العصبية التلافيفية التقليدية مرشحات تلافيفية بشكل موحد عبر جميع القنوات، متجاهلة الأهمية المتفاوتة لكل قناة. تعالج كتلة SE هذه القيود من خلال عملية من خطوتين: الضغط والتحفيز.

في خطوة الضغط، يتم تجميع المعلومات المكانية العالمية في موصوف قنوي باستخدام التجميع المتوسط العالمي، مما ينتج عنه متجه \( z \in \mathbb{R}^C \) لـ \( C \) قنوات. تلتقط خطوة التحفيز الاعتماديات القنوية عبر شبكة متصلة بالكامل من طبقتين، حيث تقلل الطبقة الأولى الأبعاد إلى \( C_r \) (مع \( r \) كنسبة التخفيض) وتطبق دالة تنشيط ReLU، مما ينتج عنه \( e = \delta(W_1 z) \). تستعيد الطبقة الثانية الأبعاد مرة أخرى إلى \( C \) باستخدام دالة تنشيط سيغمويد لإنتاج أوزان \( s \) بين 0 و 1. يتم بعد ذلك إعادة ضبط خريطة الميزات الأصلية \( U \) من خلال الضرب القنوي مع الأوزان \( s \)، ممثلة رياضيًا كـ \( \tilde{U} = s \odot U \). تسمح هذه الآلية للشبكة بتسليط الضوء على الميزات المعلوماتية مع تقليل الميزات الأقل فائدة.

نقاش

في قسم النقاش، تستعرض الورقة التقدمات الأخيرة في منهجيات التعرف على النشاط البشري (HAR)، مع تسليط الضوء على نماذج متنوعة تدمج شبكات الذاكرة طويلة وقصيرة المدى (LSTM) مع آليات الانتباه وكتل الضغط والتحفيز (SE). من الجدير بالذكر أن نموذج SE-LRCN يلتقط الميزات المكانية والزمنية بشكل فعال، محققًا نتائج تنافسية على مجموعات البيانات المرجعية مثل HMDB51 و UCF101. تشمل المساهمات الملحوظة الأخرى خوارزميات LSTM خفيفة الوزن التي تستخدم بيانات المستشعر الخام، محققة أداءً قويًا في التطبيقات الزمنية الحقيقية، ونماذج هجينة تجمع بين الطبقات التلافيفية والمتكررة لتعزيز دقة التعرف. على سبيل المثال، حسّن إطار عمل C-LSTM درجات F1 بشكل كبير مقارنة بالنماذج الأساسية، بينما أظهرت شبكات LSTM المعتمدة على الانتباه تحسينًا في التعامل مع الأنشطة المعقدة.

يتم التأكيد على ضرورة دمج SE مع نماذج LSTM، حيث قد تكافح LSTMs التقليدية مع أهمية الميزات. تعزز آلية SE القدرة التمثيلية للنموذج من خلال إعادة ضبط الميزات بشكل تكيفي، وتقليل التكرار، وتحسين التعميم. بالإضافة إلى ذلك، تناقش الورقة تنفيذ آليات الانتباه في هياكل LSTM، مما يسمح بتحسين التعامل مع الاعتماديات طويلة المدى واحتقان المعلومات من خلال توفير وصول مباشر إلى المخرجات السابقة وتخصيص أوزان للمدخلات ذات الصلة. يوسع النموذج المقترح LSTM العميق متعدد الرؤوس هذه المفاهيم، مما يمكّن المعالجة المتوازية لتسلسلات المدخلات لالتقاط أنماط واعتماديات متنوعة، مما يؤدي في النهاية إلى تحسين الأداء في مهام HAR. تؤكد النتائج التجريبية عبر مجموعات بيانات متعددة على فعالية هذه الهياكل المتقدمة، مما يبرز إمكاناتها للتطبيقات الواقعية في التعرف على الأنشطة.

Journal: Scientific Reports, Volume: 15, Issue: 1
DOI: https://doi.org/10.1038/s41598-025-88378-6
PMID: https://pubmed.ncbi.nlm.nih.gov/39890983
Publication Date: 2025-01-31
Author(s): Murad Khan et al.
Primary Topic: Context-Aware Activity Recognition Systems

Overview

This section presents the conclusion of a study that introduces an LSTM-based model for Human Activity Recognition (HAR), enhanced with attention mechanisms and squeeze-and-excitation (SE) blocks. The proposed model achieves an impressive accuracy rate of 99%, leveraging LSTM’s capability to capture temporal dependencies, attention mechanisms to focus on significant sequence segments, and SE blocks to adjust channel importance. The comparative analysis indicates that this model outperforms traditional HAR methods by reducing computational complexity and improving robustness in real-world applications.

The findings suggest that the integration of LSTM with these advanced mechanisms not only boosts accuracy but also ensures good generalization across various datasets, making the model applicable in fields such as healthcare, sports, and smart environments. Future research directions include the exploration of other neural architectures, like transformers, to enhance long-range dependency capture, as well as optimizing the model for mobile deployment to minimize computational demands. Additionally, addressing variability in sensor placement and enhancing interpretability for critical applications, particularly in healthcare, will be essential for the model’s broader adoption.

Introduction

The Squeeze-and-Excitation (SE) mechanism, introduced by Jie Hu et al. in 2017, enhances the representational power of convolutional neural networks (CNNs) by modeling interdependencies between channels in convolutional features. Traditional CNNs apply convolutional filters uniformly across all channels, neglecting the varying importance of each channel. The SE block addresses this limitation through a two-step process: Squeeze and Excitation.

In the Squeeze step, global spatial information is aggregated into a channel-wise descriptor using global average pooling, resulting in a vector \( z \in \mathbb{R}^C \) for \( C \) channels. The Excitation step captures channel-wise dependencies via a two-layer fully connected network, where the first layer reduces the dimensions to \( C_r \) (with \( r \) as the reduction ratio) and applies a ReLU activation function, yielding \( e = \delta(W_1 z) \). The second layer restores the dimensions back to \( C \) using a sigmoid activation function to produce weights \( s \) between 0 and 1. The original feature map \( U \) is then recalibrated through channel-wise multiplication with the weights \( s \), represented mathematically as \( \tilde{U} = s \odot U \). This mechanism allows the network to emphasize informative features while suppressing less useful ones.

Discussion

In the discussion section, the paper reviews recent advancements in human activity recognition (HAR) methodologies, highlighting various models that integrate Long Short-Term Memory (LSTM) networks with attention mechanisms and Squeeze-and-Excitation (SE) blocks. Notably, the SE-LRCN model effectively captures spatial and temporal features, achieving competitive results on benchmark datasets such as HMDB51 and UCF101. Other notable contributions include lightweight LSTM algorithms that utilize raw sensor data, achieving robust performance in real-time applications, and hybrid models that combine convolutional and recurrent layers to enhance recognition accuracy. For instance, the C-LSTM framework improved F1 scores significantly over baseline models, while attention-based LSTM networks demonstrated improved handling of complex activities.

The necessity of integrating SE with LSTM models is emphasized, as traditional LSTMs may struggle with feature-wise importance. The SE mechanism enhances the model’s representational capacity by adaptively recalibrating features, reducing redundancy, and improving generalization. Additionally, the paper discusses the implementation of attention mechanisms in LSTM architectures, which allow for better handling of long-term dependencies and information bottlenecks by providing direct access to past outputs and assigning weights to relevant inputs. The proposed multi-head deep LSTM model further extends these concepts, enabling parallel processing of input sequences to capture diverse patterns and dependencies, ultimately leading to improved performance in HAR tasks. The experimental results across multiple datasets validate the effectiveness of these advanced architectures, showcasing their potential for real-world applications in activity recognition.