DOI: https://doi.org/10.1038/s41598-025-26297-2
PMID: https://pubmed.ncbi.nlm.nih.gov/41309752
تاريخ النشر: 2025-11-27
المؤلف: Ismail Lamaakal وآخرون
الموضوع الرئيسي: أنظمة التعرف على النشاط المعتمد على السياق
نظرة عامة
تقدم ورقة البحث XTinyHAR، وهو إطار عمل خفيف الوزن يعتمد على المحولات للتعرف على النشاط البشري (HAR) الذي يتناول التحديات المتعلقة بنشر نماذج دقيقة على الأجهزة ذات الموارد المحدودة. من خلال الاستفادة من تقطير المعرفة عبر الأنماط من شبكة معلم متعددة الأنماط، يدمج XTinyHAR بشكل فعال تضمينات زمنية موضعية وآليات انتباه لتعزيز استخراج الميزات وقابلية التفسير. تظهر التقييمات على مجموعات بيانات UTD-MHAD و MM-Fit أن XTinyHAR يحقق دقة اختبار عالية تبلغ 98.71% و 98.55%، على التوالي، مع قيم F1-score وKappa لكوهين تتجاوز 0.98. تجعل الحجم المدمج للنموذج (2.45 ميغابايت) وأوقات الاستدلال الفعالة (3.1 مللي ثانية على وحدة المعالجة المركزية، 1.2 مللي ثانية على وحدة معالجة الرسوميات) مناسبة للتطبيقات في الوقت الحقيقي على الأجهزة الطرفية.
تؤكد الورقة على أهمية HAR في مجالات متنوعة، بما في ذلك الرعاية الصحية والبيئات الذكية، وتنتقد الطرق التقليدية التي تعتمد على الميزات المصنوعة يدويًا أو تقنيات التعلم الآلي التقليدية، والتي غالبًا ما تواجه صعوبات مع تعقيدات الحركة البشرية في البيئات غير المتحكم فيها. من خلال الاستفادة من أجهزة الاستشعار القابلة للحركة، التي تتواجد بكثرة في الهواتف الذكية والأجهزة القابلة للارتداء، يستفيد XTinyHAR من التقدمات الأخيرة في التعلم العميق، وخاصة هياكل المحولات، لتحسين دقة التعرف مع الحفاظ على متطلبات حسابية منخفضة. ستركز الأعمال المستقبلية على تعزيز قدرات الإطار للعمل في السيناريوهات عبر الإنترنت والبث، واستكشاف التكيف القوي مع المجالات، ودمج دمج الأجهزة المتعددة للتعرف على النشاط الموزع، إلى جانب تحسين التخصيص من خلال آليات التكيف على الجهاز.
طرق
تشمل المنهجية المقترحة لنموذج XTinyHAR هيكله، وخط أنابيب معالجة البيانات، واستراتيجية التدريب، مع التركيز على إطار العمل التعليمي متعدد الأنماط ومكوناته لشرح التعرف على النشاط البشري (HAR). استخدم الإعداد التجريبي Python 3.9 وPyTorch 1.13، مع معالجة مسبقة فعالة وملفات DataLoader مخصصة للتعامل مع بيانات السلاسل الزمنية. تم إجراء جميع التجارب على نظام Linux مع وحدة معالجة الرسوميات NVIDIA RTX 3090، مما يضمن إمكانية التكرار من خلال بذور عشوائية ثابتة. تم تقسيم البيانات من مجموعات بيانات UTD-MHAD وMM-Fit إلى نوافذ متداخلة، مع توحيد الإشارات القابلة للحركة وتطبيع إحداثيات مفاصل الهيكل العظمي لضمان التناسق التشريحي.
تم تقييم نموذج XTinyHAR بدقة باستخدام بروتوكول مستقل عن الموضوع، مع استخدام نهج ترك موضوع واحد (LOSO) لـ UTD-MHAD وتقسيم ثابت حسب الموضوع لـ MM-Fit لتعزيز التعميم عبر الأفراد. شمل هيكل النموذج محولًا خفيف الوزن مع طبقتين من الترميز، وحجم تضمين يبلغ 128، وأربعة رؤوس انتباه، بينما استخدم المعلم متعدد الأنماط محولًا كاملًا زمنيًا مكانيًا. استخدم التدريب مُحسِّن آدم بمعدل تعلم قدره $1 \times 10^{-4}$ وجدول تخفيض جيبي، إلى جانب دالة خسارة هجينة لتقطير المعرفة تجمع بين تقاطع الانتروبيا الصعبة والانتروبيا الناعمة لكولباك-ليبلر. تهدف هذه الاستراتيجية الشاملة للتقييم إلى التحقق من دقة النموذج وكفاءته وقابلية تفسيره، بينما تضع الأساس لاستكشافات مستقبلية في سيناريوهات التعلم بدون عينة أو التعلم الانتقالي.
نقاش
تستعرض قسم النقاش في ورقة البحث التقدمات الأخيرة في التعرف على النشاط البشري (HAR) باستخدام التعلم العميق والنهج المعتمد على المحولات. يسلط الضوء على منهجيات مختلفة وأدائها عبر مجموعات بيانات متعددة، مما يضع سياقًا لنموذج XTinyHAR المقترح. تشمل المساهمات الملحوظة نموذج Khatun et al. الهجين CNN-LSTM، الذي حقق دقة تبلغ 99.93% على مجموعة بيانات H-Activity الخاصة بهم، ونموذج Khan et al. الذي استخدم مستشعر Kinect، محققًا دقة 90.89%. أظهرت النماذج المعتمدة على المحولات، مثل تلك التي قدمها Saidani et al. وSun et al.، أداءً قويًا في مهام HAR، مع دقة تتجاوز 98% على مجموعات بيانات متنوعة، مما يظهر فعالية التعلم الذاتي واستخراج الميزات الهجينة.
على الرغم من هذه التقدمات، تحدد القسم قيودًا في نماذج HAR الحالية، بما في ذلك اعتمادها على مدخلات متعددة الأنماط، وأحجام النماذج الكبيرة غير المناسبة للنشر على الحافة، ونقص قابلية التفسير. بالمقابل، يعالج نموذج XTinyHAR هذه الفجوات من خلال استخدام هيكل محول بصري خفيف الوزن (ViT) مع تقطير عبر الأنماط وأدوات الشرح، مما يجعله مناسبًا للتطبيقات ذات الطاقة المنخفضة. يهدف النموذج المقترح إلى تعزيز كل من الدقة والكفاءة في سيناريوهات HAR في العالم الحقيقي، وبالتالي المساهمة في التطور المستمر لهذا المجال.
القيود
تسلط قيود نموذج XTinyHAR الضوء على عدة مجالات حرجة للتحسين قبل أن يمكن تحقيق تطبيقه العملي. أولاً، تظهر مجموعات البيانات المستخدمة، UTD-MHAD وMM-Fit، نقصًا في التنوع من حيث العمر والقدرة البدنية، وهو ما يتضح من انخفاض دقة ملحوظ يبلغ 3.2% عند تحليل الأشخاص الذين تتراوح أعمارهم بين 60 عامًا وما فوق. وهذا يشير إلى الحاجة الملحة لمجموعات بيانات مستقبلية لتشمل طيفًا ديموغرافيًا أوسع، يشمل كبار السن والأطفال والأفراد ذوي الإعاقات الحركية لتعزيز تعميم النموذج.
ثانيًا، يعتمد النموذج على مواضع ثابتة لأجهزة الاستشعار، وخاصة وحدات القياس القابلة للحركة المثبتة على المعصم (IMUs)، مما يشكل تحديًا للسيناريوهات الواقعية حيث قد تختلف مواضع أجهزة الاستشعار. تشير المحاكاة إلى انخفاض في الأداء يصل إلى 5.6% للأفعال السفلية عندما يتم تغيير مواقع أجهزة الاستشعار. قد يتطلب معالجة هذه القيود تعديلات هيكلية لتمكين استخراج الميزات غير المعتمدة على الموقع. بالإضافة إلى ذلك، فإن غياب آليات التخصيص يحد من قدرة النموذج على التكيف مع اختلافات المستخدمين الأفراد، مما يشير إلى الحاجة إلى تقنيات التكيف الخفيفة على الجهاز مثل التعلم المستمر أو التعلم الميتا.
أخيرًا، بينما تم التحقق من صحة XTinyHAR للنشر على منصات مثل Raspberry Pi وJetson Nano، لا تزال أداؤه على الأجهزة ذات القيود الشديدة، مثل وحدات التحكم Cortex-M، غير مختبرة بسبب قيود السائق والذاكرة. يجب أن تركز الأعمال المستقبلية على تقنيات ضغط النموذج الإضافية، بما في ذلك التدريب المدرك للتكميم والتقليم، لتلبية المتطلبات الصارمة لتكنولوجيا القابلية للارتداء وتوسيع تطبيق النموذج في البيئات ذات الموارد المحدودة.
DOI: https://doi.org/10.1038/s41598-025-26297-2
PMID: https://pubmed.ncbi.nlm.nih.gov/41309752
Publication Date: 2025-11-27
Author(s): Ismail Lamaakal et al.
Primary Topic: Context-Aware Activity Recognition Systems
Overview
The research paper presents XTinyHAR, a lightweight, transformer-based framework for human activity recognition (HAR) that addresses the challenges of deploying accurate models on resource-constrained devices. By utilizing cross-modal knowledge distillation from a multimodal teacher network, XTinyHAR effectively incorporates temporal positional embeddings and attention mechanisms to enhance feature extraction and interpretability. Evaluations on the UTD-MHAD and MM-Fit datasets demonstrate that XTinyHAR achieves high test accuracies of 98.71% and 98.55%, respectively, with corresponding F1-scores and Cohen’s Kappa values exceeding 0.98. The model’s compact size (2.45 MB) and efficient inference times (3.1 ms on CPU, 1.2 ms on GPU) make it suitable for real-time applications on edge devices.
The paper emphasizes the significance of HAR in various domains, including healthcare and smart environments, and critiques traditional methods that rely on handcrafted features or classical machine learning techniques, which often struggle with the complexities of human motion in uncontrolled settings. By leveraging inertial sensors, which are prevalent in smartphones and wearables, XTinyHAR capitalizes on recent advancements in deep learning, particularly transformer architectures, to improve recognition accuracy while maintaining low computational demands. Future work will focus on enhancing the framework’s capabilities for online and streaming scenarios, exploring robust domain adaptation, and integrating multi-device fusion for distributed activity recognition, alongside improving personalization through on-device adaptation mechanisms.
Methods
The proposed methodology for the XTinyHAR model encompasses its architecture, data processing pipeline, and training strategy, emphasizing its multimodal teacher-student framework and components for explainability in human activity recognition (HAR). The experimental setup utilized Python 3.9 and PyTorch 1.13, with efficient preprocessing and custom DataLoader wrappers to handle time-series data. All experiments were conducted on a Linux system with an NVIDIA RTX 3090 GPU, ensuring reproducibility through fixed random seeds. Data from the UTD-MHAD and MM-Fit datasets were segmented into overlapping windows, with inertial signals standardized and skeleton joint coordinates normalized for anatomical consistency.
The XTinyHAR model was rigorously evaluated using a subject-independent protocol, employing a leave-one-subject-out (LOSO) approach for UTD-MHAD and a fixed subject-wise split for MM-Fit to enhance generalization across individuals. The model’s architecture included a lightweight Transformer with two encoder layers, an embedding size of 128, and four attention heads, while the multimodal teacher utilized a full Spatio-Temporal ConvTransformer. Training employed the Adam optimizer with a learning rate of $1 \times 10^{-4}$ and a cosine annealing schedule, alongside a hybrid loss function for knowledge distillation that combined hard-target cross-entropy and soft-target Kullback-Leibler divergence. This comprehensive evaluation strategy aims to validate the model’s accuracy, efficiency, and interpretability while laying the groundwork for future explorations into zero-shot or transfer learning scenarios.
Discussion
The discussion section of the research paper reviews recent advancements in Human Activity Recognition (HAR) using deep learning and Transformer-based approaches. It highlights various methodologies and their performance across multiple datasets, establishing a context for the proposed XTinyHAR model. Notable contributions include Khatun et al.’s hybrid CNN-LSTM model, which achieved accuracies of 99.93% on their H-Activity dataset, and Khan et al.’s model that utilized a Kinect sensor, achieving 90.89% accuracy. Transformer-based models, such as those by Saidani et al. and Sun et al., demonstrated strong performance in HAR tasks, with accuracies exceeding 98% on various datasets, showcasing the effectiveness of self-supervised learning and hybrid feature extraction.
Despite these advancements, the section identifies limitations in existing HAR models, including their reliance on multimodal inputs, large model sizes unsuitable for edge deployment, and a lack of interpretability. In contrast, the XTinyHAR model addresses these gaps by employing a lightweight Vision Transformer (ViT) architecture combined with cross-modal distillation and explainability tools, making it suitable for low-power applications. The proposed model aims to enhance both accuracy and efficiency in real-world HAR scenarios, thereby contributing to the field’s ongoing evolution.
Limitations
The limitations of the XTinyHAR model highlight several critical areas for improvement before its practical application can be realized. Firstly, the datasets used, UTD-MHAD and MM-Fit, exhibit a lack of diversity in terms of age and physical ability, which is underscored by a notable 3.2% accuracy drop when analyzing subjects aged 60 and above. This indicates a pressing need for future datasets to include a broader demographic spectrum, encompassing older adults, children, and individuals with mobility impairments to enhance model generalization.
Secondly, the model’s reliance on fixed sensor placements, particularly wrist-mounted inertial measurement units (IMUs), poses a challenge for real-world scenarios where sensor positions may vary. Simulations indicate a performance decline of up to 5.6% for lower-limb actions when sensor locations are altered. Addressing this limitation may require architectural modifications to enable location-invariant feature extraction. Additionally, the absence of personalization mechanisms restricts the model’s adaptability to individual user variations, suggesting a need for lightweight on-device adaptation techniques such as continual learning or meta-learning.
Lastly, while XTinyHAR has been validated for deployment on platforms like Raspberry Pi and Jetson Nano, its performance on ultra-constrained devices, such as Cortex-M microcontrollers, remains untested due to driver and memory constraints. Future work should focus on further model compression techniques, including quantization-aware training and pruning, to meet the stringent requirements of wearable technology and expand the model’s applicability in resource-limited environments.