DOI: https://doi.org/10.1109/jsen.2026.3661047
تاريخ النشر: 2026-02-10
المؤلف: Nobuyuki Oishi وآخرون
الموضوع الرئيسي: أنظمة التعرف على النشاط المعتمد على السياق
نظرة عامة
تناقش ورقة البحث التحدي المتمثل في نقص البيانات المعلّمة عالية الجودة في التعرف على نشاط الإنسان القائم على المستشعرات (HAR)، مما يؤثر على أداء النموذج والتعميم. لمواجهة هذه المشكلة، يقدم المؤلفون تحسين البيانات القابلة للتصديق جسديًا (PPDA)، وهو نهج جديد يستخدم محاكاة الفيزياء لإنشاء تنوعات واقعية في بيانات حركة الإنسان. يتضمن هذا الأسلوب عوامل مثل سعة الحركة، السرعة، موضع المستشعر، وتأثيرات الأجهزة، بهدف تعزيز تنوع مجموعات بيانات التدريب مع الحفاظ على سلامة تسميات الأنشطة. تقارن الدراسة بين PPDA وتقنيات تحسين البيانات التقليدية القائمة على تحويل الإشارة (STDA) عبر ثلاثة مجموعات بيانات عامة، مما يظهر أن PPDA يحسن باستمرار درجات F1 الكلية بمعدل 3.7 نقطة مئوية ويسمح بتقليل يصل إلى 60% في عدد المشاركين المطلوبين للتدريب.
في الختام، تسلط النتائج الضوء على فعالية PPDA في تحسين تعميم نماذج HAR وتقليل الاعتماد على جمع البيانات الواقعية الواسعة. يؤكد المؤلفون أن هذه هي أول دراسة منهجية لفحص القابلية الفيزيائية في تحسين البيانات لتقنيات HAR القائمة على المستشعرات، مما يظهر إمكانيات محاكاة الفيزياء لتوليد بيانات وحدة القياس القابلة للحركة (IMU) الاصطناعية. يقترحون أن التحسينات الإضافية في دقة المحاكاة والتعديلات الخاصة بالنشاط يمكن أن تحسن أداء نماذج HAR وتوسع من قابلية تطبيق PPDA. سيتم إتاحة تنفيذ PPDA للجمهور لتسهيل المزيد من الأبحاث في هذا المجال.
مقدمة
تناقش مقدمة ورقة البحث هذه التقدم في التقنيات القابلة للارتداء والمحمولة التي سهلت التعرف على نشاط الإنسان القائم على المستشعرات من خلال استخدام وحدات القياس القابلة للحركة (IMUs). على الرغم من التطبيقات المحتملة في الرعاية الصحية، واللياقة البدنية، والترفيه، لا يزال هناك تحدٍ كبير: التكلفة العالية وصعوبة جمع بيانات معلمة عالية الجودة اللازمة لتدريب نماذج التعلم الآلي، وخاصة نماذج التعلم العميق التي تتطلب مجموعات بيانات كبيرة ومتنوعة. تسلط الورقة الضوء على عدم جدوى التقاط التباين في الأنشطة البشرية، والظروف البيئية، ومواقع المستشعرات، مما يعقد تطوير نماذج HAR القوية.
لمعالجة هذه المشكلة، يقترح المؤلفون تحسين البيانات القابلة للتصديق جسديًا (PPDA) كحل لتعزيز أداء النموذج مع تقليل الحاجة إلى بيانات معلمة واسعة. باستخدام إطار عمل WIMUSim، الذي يحاكي بيانات IMU القابلة للارتداء بناءً على معلمات رئيسية مثل ديناميات الجسم وخصائص المستشعر، يهدف المؤلفون إلى توليد بيانات معززة تحافظ على القابلية الفيزيائية. توضح الورقة تقييمًا منهجيًا لأساليب PPDA مقابل تقنيات تحسين البيانات التقليدية القائمة على تحويل الإشارة (STDA)، مع التركيز على فعالية أساليب التحسين الفردية وتأثيرها على تقليل احتياجات جمع البيانات. تشمل مساهمات هذا العمل مراجعة لتقنيات تحسين البيانات الحالية، وتطوير أساليب PPDA، وتقييم فوائدها، إلى جانب إصدار تنفيذ PPDA كمورد مفتوح المصدر لمزيد من الأبحاث في HAR القائم على IMU القابل للارتداء.
الطرق
في هذا القسم، يوضح المؤلفون منهجيتهم لتقييم التعرف على نشاط الإنسان (HAR) باستخدام ثلاثة مجموعات بيانات متاحة للجمهور: REALDISP، REALWORLD، وMM-Fit. تشمل مجموعات البيانات بيانات IMU ذات 6 محاور من مواضع مستشعرات مختلفة على المشاركين المشاركين في الأنشطة اليومية وتمارين اللياقة البدنية. تحتوي مجموعة بيانات REALDISP على 33 نشاطًا رياضيًا مع ثلاثة تكوينات لموضع IMU، بينما تتضمن REALWORLD بيانات فيديو وIMU من 15 مشاركًا يؤدون ثمانية أنشطة. تتكون مجموعة بيانات MM-Fit من بيانات IMU من 10 مشاركين خلال تمارين في صالة الألعاب الرياضية. استخدم المؤلفون سيناريو مستقل عن المستخدم لتدريب النموذج والتحقق منه، مستخدمين تقسيمات محددة من المشاركين عبر مجموعات البيانات لتقييم التعميم على المستخدمين غير المرئيين والصلابة تجاه إزاحة المستشعر.
تم تدريب نموذجين من التعلم العميق، DeepConvLSTM وAttendAndDiscriminate، على مجموعات البيانات، مع تطبيق استراتيجيات تحسين البيانات لتعزيز أداء النموذج. تم تصنيف أساليب التحسين إلى تحسين بيانات قياسي (STDA) وتحسين بيانات قابلة للتصديق جسديًا (PPDA)، حيث تم تعديل معلمات WIMUSim لإدخال تنوعات واقعية. أظهرت النتائج أن أساليب PPDA تفوقت عمومًا على نظيراتها من STDA، محققة تحسينًا متوسطًا قدره 3.7 نقطة مئوية في درجة F1 الكلية عبر الإعدادات التجريبية. بشكل ملحوظ، حقق PPDA في توسيع سعة الحركة أعلى أداء في السيناريو المستقل عن المستخدم، بينما حسنت تحسينات موضع المستشعر بشكل كبير من الصلابة في السيناريوهات التي تتضمن إزاحة المستشعر. تؤكد هذه النتائج على أهمية دمج التباينات القابلة للتصديق جسديًا في تحسين البيانات لتعزيز تعميم النموذج وأدائه في مهام HAR.
النتائج
في القسم المعنون “النتائج”، يقدم المؤلفون نتائج من تجربتين تهدفان إلى تقييم فعالية أساليب PPDA (تحليل البيانات التنبؤية الشخصية) المقترحة. تتضمن التجربة الأولى تحليلًا مقارنًا لأساليب PPDA الفردية مقابل نظيراتها من STDA (تحليل البيانات القياسي)، مع تسليط الضوء على الفروق في الأداء بين هذه الأساليب. تركز التجربة الثانية على قدرة PPDA على تقليل الحاجة إلى جمع البيانات الواسعة، مع تقييم فعاليتها بشكل خاص في السيناريوهات التي تظهر فيها بيانات التدريب تباينًا محدودًا بين المشاركين.
تم تصميم هذه التجارب لإظهار مزايا PPDA في تعزيز الدقة التنبؤية مع تقليل حجم بيانات التدريب المطلوبة، وبالتالي معالجة التحديات العملية في التحليل القائم على البيانات. تؤكد النتائج على إمكانية أساليب PPDA لتقديم أداء محسّن في السياقات الشخصية مقارنة بالأساليب التقليدية.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على أهمية الحفاظ على القابلية الفيزيائية في تحسين البيانات لتقنيات التعرف على نشاط الإنسان القائم على وحدات القياس القابلة للحركة (IMU). ينتقد الأساليب الحالية لتحسين البيانات القائمة على تحويل الإشارة (STDA)، التي غالبًا ما تنتج بيانات غير قابلة للتصديق جسديًا بسبب اعتمادها على تحويلات رياضية بسيطة. يشير المؤلفون إلى عمل أوهاشي وآخرين، الذي أظهر أن التحسينات المقيدة جسديًا، وخاصة في دوران المعصم، يمكن أن تعزز أداء التصنيف بمقدار 2 إلى 5 نقاط مئوية. ومع ذلك، يلاحظون قيود هذه الدراسة، بما في ذلك تركيزها الضيق على الدوران ومجموعة بيانات واحدة، مما يثير تساؤلات حول إمكانية تعميم نتائجها.
تقدم الورقة تحسين البيانات القابلة للتصديق جسديًا (PPDA) باستخدام WIMUSim، وهي أداة محاكاة فيزيائية تولد تنوعات واقعية في بيانات IMU عبر أربع فئات: سعة الحركة، سرعة الحركة، موضع المستشعر، وتأثيرات الأجهزة. يجادل المؤلفون بأن PPDA لا يحسن فقط تعميم النموذج، خاصة في السيناريوهات ذات البيانات المنخفضة، ولكنه يقلل أيضًا من الحاجة إلى جمع بيانات واسعة. تظهر تجاربهم أن PPDA تتفوق باستمرار على STDA، محققة تحسينًا يصل إلى 13 نقطة مئوية في درجات F1 الكلية مع عدد أقل من المشاركين في التدريب. يعترف المؤلفون بالقيود الحالية لنهجهم، وخاصة اعتماده على بيانات IMU وبيانات الحركة المتزاوجة، ويقترحون أن العمل المستقبلي يمكن أن يركز على تحسين استراتيجيات التحسين لتتناسب بشكل أفضل مع ديناميات النشاط المحددة. بشكل عام، تؤكد النتائج على إمكانية PPDA لتعزيز فعالية نماذج HAR القائمة على المستشعرات مع معالجة تحديات نقص البيانات.
القيود
تناقش قسم القيود طرقًا مختلفة لتحسين بيانات وحدات القياس القابلة للحركة (IMU) وتسلط الضوء على أوجه قصورها. يقوم تعديل السعة بضبط سعة إشارات IMU بشكل موحد ولكنه يفشل في أخذ تعقيدات حركيات المفاصل المتعددة في الاعتبار، مما يؤثر على دقة القراءات الجاذبية. بالمثل، يقدم تشويه السعة تعديلًا متغيرًا زمنيًا ولكنه يتجاهل التباينات المترابطة في التسارع والسرعة الزاوية التي ترافق تغييرات سرعة الحركة. تعديلات الوقت وطرق التشويه الزمني تعدل الجوانب الزمنية للإشارات دون معالجة التباينات الفيزيائية المرتبطة، مما يؤدي إلى عدم دقة محتملة في تمثيل الحركات الواقعية.
بالإضافة إلى ذلك، تطبق الطريقة الدوارة دورانًا ثلاثي الأبعاد موحدًا على إشارات المستشعر، مما قد لا يعكس الاتجاهات الواقعية للمستشعر أو يأخذ في الاعتبار التحولات الموضعية. يقدم التشويش ضوضاء غاوسية لمحاكاة التباينات في مستويات ضوضاء IMU ولكن لا يمثل بدقة خصائص ضوضاء المستشعر الحقيقية، مثل الانحياز. لقد واجهت المحاولات السابقة لمحاكاة IMU الافتراضية، على الرغم من كونها مبتكرة، صعوبات في الفجوات بين البيانات الافتراضية والبيانات الحقيقية، خاصة في تطبيقات التعلم العميق. تحاول طريقة WIMUSim سد هذه الفجوة من خلال دمج خطوة تحديد النظام التي تتماشى بين بيانات IMU المحاكية والملاحظات الواقعية، مما يحسن المعلمات المتعلقة بديناميات الجسم، موضع المستشعر، وتأثيرات الأجهزة لإنتاج بيانات IMU افتراضية عالية الدقة.
DOI: https://doi.org/10.1109/jsen.2026.3661047
Publication Date: 2026-02-10
Author(s): Nobuyuki Oishi et al.
Primary Topic: Context-Aware Activity Recognition Systems
Overview
The research paper addresses the challenge of limited high-quality labeled data in sensor-based Human Activity Recognition (HAR), which affects model performance and generalization. To tackle this issue, the authors introduce Physically Plausible Data Augmentation (PPDA), a novel approach that utilizes physics simulation to create realistic variations in human movement data. This method incorporates factors such as movement amplitude, speed, sensor placement, and hardware-related effects, aiming to enhance the diversity of training datasets while maintaining the integrity of activity labels. The study compares PPDA with traditional Signal Transformation-based Data Augmentation (STDA) across three public datasets, demonstrating that PPDA consistently improves macro F1 scores by an average of 3.7 percentage points and allows for a reduction of up to 60% in the number of training subjects required.
In conclusion, the findings highlight the effectiveness of PPDA in improving the generalization of HAR models and reducing the dependency on extensive real-world data collection. The authors emphasize that this is the first systematic examination of physical plausibility in data augmentation for sensor-based HAR, showcasing the potential of physics simulation to generate synthetic Inertial Measurement Unit (IMU) data. They suggest that further enhancements in simulation fidelity and activity-specific modifications could improve HAR model performance and expand the applicability of PPDA. The implementation of PPDA will be made publicly available to facilitate further research in this area.
Introduction
The introduction of this research paper discusses the advancements in wearable and mobile technologies that have facilitated motion sensor-based Human Activity Recognition (HAR) through the use of Inertial Measurement Units (IMUs). Despite the potential applications in healthcare, fitness, and entertainment, a significant challenge remains: the high cost and difficulty of collecting high-quality labeled data necessary for training machine learning models, particularly deep learning models that require large and diverse datasets. The paper highlights the impracticality of capturing the variability in human activities, environmental conditions, and sensor placements, which complicates the development of robust HAR models.
To address this issue, the authors propose Physically Plausible Data Augmentation (PPDA) as a solution to enhance model performance while reducing the need for extensive labeled data. Utilizing the WIMUSim framework, which simulates wearable IMU data based on key parameters such as body dynamics and sensor characteristics, the authors aim to generate augmented data that maintains physical plausibility. The paper outlines a systematic evaluation of PPDA methods against traditional Signal Transformation-based Data Augmentation (STDA) techniques, focusing on both the individual effectiveness of augmentation methods and their impact on reducing data collection needs. The contributions of this work include a review of existing data augmentation techniques, the development of PPDA methods, and an evaluation of their benefits, alongside the release of the PPDA implementation as an open-source resource for further research in wearable IMU-based HAR.
Methods
In this section, the authors detail their methodology for evaluating human activity recognition (HAR) using three publicly available datasets: REALDISP, REALWORLD, and MM-Fit. The datasets include 6-axis IMU data from various sensor placements on participants engaged in daily activities and fitness workouts. The REALDISP dataset features 33 fitness activities with three IMU placement configurations, while REALWORLD includes video and IMU data from 15 participants performing eight activities. The MM-Fit dataset comprises IMU data from 10 participants during gym exercises. The authors employed a user-independent scenario for model training and validation, utilizing specific splits of participants across datasets to assess generalization to unseen users and robustness to sensor displacement.
Two deep learning models, DeepConvLSTM and AttendAndDiscriminate, were trained on the datasets, with data augmentation strategies applied to enhance model performance. The augmentation methods were categorized into Standard Data Augmentation (STDA) and Physically Plausible Data Augmentation (PPDA), with the latter modifying WIMUSim parameters to introduce realistic variations. The results indicated that PPDA methods generally outperformed STDA counterparts, achieving an average improvement of 3.7 percentage points in macro F1-score across experimental settings. Notably, PPDA on movement amplitude scaling yielded the highest performance in the user-independent scenario, while sensor placement augmentations significantly improved robustness in scenarios involving sensor misplacement. These findings underscore the importance of incorporating physically plausible variations in data augmentation to enhance model generalization and performance in HAR tasks.
Results
In the section titled “Results,” the authors present findings from two experiments aimed at assessing the efficacy of the proposed PPDA (Personalized Predictive Data Analysis) methods. The first experiment involves a comparative analysis of individual PPDA methods against their STDA (Standardized Data Analysis) counterparts, highlighting the performance differences between these approaches. The second experiment focuses on the ability of PPDA to minimize the necessity for extensive data collection, specifically evaluating its effectiveness in scenarios where training data exhibit limited inter-subject variation.
These experiments are designed to demonstrate the advantages of PPDA in enhancing predictive accuracy while potentially reducing the volume of required training data, thereby addressing practical challenges in data-driven analysis. The results underscore the potential of PPDA methods to offer improved performance in personalized contexts compared to traditional methods.
Discussion
The discussion section of the research paper highlights the significance of maintaining physical plausibility in data augmentation for wearable Inertial Measurement Unit (IMU)-based Human Activity Recognition (HAR). It critiques existing Signal Transformation-based Data Augmentation (STDA) methods, which often yield physically implausible data due to their reliance on simple mathematical transformations. The authors reference the work of Ohashi et al., which demonstrated that physically constrained augmentations, specifically in wrist rotations, can enhance classification performance by 2 to 5 percentage points. However, they note the limitations of this study, including its narrow focus on rotation and a single dataset, which raises questions about the generalizability of its findings.
The paper introduces Physically Plausible Data Augmentation (PPDA) using WIMUSim, a physics simulation tool that generates realistic variations in IMU data across four categories: movement amplitude, movement speed, sensor placement, and hardware-related effects. The authors argue that PPDA not only improves model generalization, particularly in low-data scenarios, but also reduces the need for extensive data collection. Their experiments demonstrate that PPDA consistently outperforms STDA, achieving up to a 13 percentage point improvement in macro F1-scores with fewer training subjects. The authors acknowledge the current limitations of their approach, particularly its dependency on paired IMU and motion data, and suggest future work could focus on refining augmentation strategies to better align with specific activity dynamics. Overall, the findings underscore the potential of PPDA to enhance the effectiveness of sensor-based HAR models while addressing data scarcity challenges.
Limitations
The section on limitations discusses various methods for augmenting Inertial Measurement Unit (IMU) data and highlights their shortcomings. Magnitude scaling uniformly adjusts the amplitude of IMU signals but fails to account for the complexities of multi-joint kinematics, affecting the accuracy of gravitational readings. Similarly, magnitude warping introduces time-varying scaling but neglects the interrelated variations in acceleration and angular velocity that accompany changes in movement speed. Time scaling and time warping methods modify the temporal aspects of the signals without addressing the associated physical variations, leading to potential inaccuracies in representing real-world movements.
Additionally, the rotating method applies a uniform 3D rotation to sensor signals, which may not reflect realistic sensor orientations or account for positional shifts. Jittering introduces Gaussian noise to simulate variations in IMU noise levels but does not accurately represent real sensor noise characteristics, such as bias. Previous attempts at virtual IMU simulation, while innovative, have struggled with domain gaps between virtual and real data, particularly in deep learning applications. The WIMUSim approach attempts to bridge this gap by incorporating a system identification step that aligns simulated IMU data with real-world observations, refining parameters related to body dynamics, sensor placement, and hardware effects to produce high-fidelity virtual IMU data.