DOI: https://doi.org/10.1145/3806199
تاريخ النشر: 2026-04-13
المؤلف: Markus Gambietz وآخرون
الموضوع الرئيسي: الرؤية المتقدمة والتصوير
نظرة عامة
يقدم هذا القسم نظرة عامة على SSPINNpose، وهو شبكة عصبية ذاتية الإشراف ومبنية على الفيزياء مصممة لتقدير ديناميات حركة الإنسان، بما في ذلك حركيات المفاصل والديناميات، مباشرة من بيانات وحدة القياس بالقصور الذاتي (IMU). تتناول هذه الطريقة قيود الأساليب الحالية في الوقت الحقيقي التي تعتمد على التعلم المراقب ومجموعات بيانات الحقيقة الأرضية المستمدة من أنظمة التقاط الحركة البصرية، والتي غالبًا ما تكون عرضة لأخطاء القياس وتفتقر إلى القابلية للتعميم على الحركات الواقعية.
تعمل SSPINNpose دون الحاجة إلى تسميات الحقيقة الأرضية من خلال دمج نموذج فيزيائي لجسم الإنسان لتعزيز المصداقية الفيزيائية لمخرجاتها. يتم تدريب الشبكة باستخدام بيانات مستشعر افتراضية تم إنشاؤها من هذا النموذج جنبًا إلى جنب مع بيانات مستشعر فعلية مقاسة. تشير النتائج إلى أن SSPINNpose تحقق تقديرات دقيقة لزوايا المفاصل والعزوم، مع انحراف متوسط الجذر التربيعي (RMSD) قدره 9.1° و3.8% من وزن الجسم (BWBH%) للمشي والجري بسرعات تصل إلى 4.9 م/ث، كل ذلك مع الحفاظ على زمن استجابة قدره 3.5 مللي ثانية. تبرز قوة الإطار عبر تكوينات المستشعرات النادرة وقدرته على استنتاج مواقع المستشعرات التشريحية إمكانيته كحل قابل للتوسع لتحليل الحركة البيوميكانيكية في بيئات متنوعة.
مقدمة
تؤكد مقدمة ورقة البحث على أهمية فهم آليات الإصابة للوقاية الفعالة، مع تسليط الضوء على قيود طرق التقاط الحركة البصرية التقليدية (OMC)، التي تقتصر على البيئات الخاضعة للرقابة وعرضة للأخطاء بسبب وضع العلامات اليدوية. تعتمد OMC على العلامات العاكسة وألواح القوة، مما يحد من قابليتها للتطبيق في السيناريوهات الواقعية. بالمقابل، توفر وحدات القياس بالقصور الذاتي (IMUs) بديلاً محمولاً لالتقاط ديناميات حركة الإنسان أثناء الأنشطة الرياضية، على الرغم من أن الأساليب الحالية للتعلم العميق باستخدام IMUs تتطلب بيانات مصنفة، مما يمكن أن يقدم تحيزات وقيود، خاصة في الحركات عالية السرعة.
لتجاوز هذه التحديات، يقترح المؤلفون SSPINNpose، وهي طريقة جديدة للتعلم الذاتي الإشراف المبني على الفيزياء تدمج قدرات الاستدلال في الوقت الحقيقي مع مزايا الأساليب المعتمدة على التحسين. تهدف SSPINNpose إلى توليد تقديرات حركة قابلة للتصديق فيزيائيًا تتماشى مع بيانات IMU، مما يلغي الحاجة إلى بيانات تدريب مصنفة. كما تتناول الطريقة تعقيدات تكوينات IMU النادرة وتستنتج موضع المستشعر، مما يجعلها الحل الأول في الوقت الحقيقي لتقدير المتغيرات البيوميكانيكية من بيانات المستشعرات بالقصور الذاتي دون الحاجة إلى بيانات مصنفة. تعد هذه الطريقة المبتكرة بزيادة تحسين تحليل ديناميات حركة الإنسان، خاصة في سياق الوقاية من الإصابات.
النتائج
في قسم النتائج، تم إجراء دراسة إلغاء لتقييم أهمية مصطلحات الخسارة المختلفة وتفاصيل التنفيذ في النموذج. تشير النتائج، الملخصة في الجدول 7، إلى أن إزالة ضوضاء الإدخال من إشارات IMU أو استبعاد الخسائر المساعدة – مثل الحدود، وتقليل العزم، وعقوبة الانزلاق، وفقدان سرعة القدم – أدى إلى انخفاض ملحوظ في الأداء. بشكل خاص، تم تسليط الضوء على مصطلحات الحدود \( L_B \) كعوامل حاسمة لمنع الحد الأدنى المحلي، مما يعيق قدرة النموذج على التفاعل بفعالية مع الأرض.
بالإضافة إلى ذلك، تم تقييم حساسية أوزان الخسارة من خلال إعادة تدريب النموذج مع تغيير أوزان كل مصطلح خسارة. تظهر النتائج المقدمة في الجدول 8 أن النموذج، SSPINNpose، يظهر قوة أمام التغييرات في معظم أوزان الخسارة، مع تدهور طفيف في الأداء فقط. ومع ذلك، لوحظت حساسية كبيرة مع وزن خسارة IMU \( L_{IMU} \) ووزن خسارة الحدود \( L_B \)، حيث يمكن أن تؤدي التعديلات غير الصحيحة إلى تعلم حركة غير فعالة. أخيرًا، تضمنت دمج SSPINNpose مع المرحلة الثانية من إطار PIP تقدير الحركيات العالمية وتتبع زوايا المفاصل وسرعاتها باستخدام وحدة تحكم PD، مع إجراء تعديلات على تنفيذ PIP الأصلي فيما يتعلق بنقاط الاتصال وتقدير احتمال الاتصال بالأرض.
المناقشة
في هذا القسم، يناقش المؤلفون التقدم في تحليل المشي، مع التركيز بشكل خاص على تقدير ديناميات حركة الإنسان باستخدام وحدات القياس بالقصور الذاتي (IMUs). يسلطون الضوء على قيود الأساليب الحالية للتعلم العميق، التي تتطلب عادةً بيانات مصنفة للتدريب وتكون مقيدة بالتحيزات من أنظمة المرجع مثل التقاط الحركة البصرية (OMC). يقترح المؤلفون نهجًا جديدًا، SSPINNpose، الذي يستخدم إطار تعلم ذاتي الإشراف بالكامل لإعادة بناء ديناميات حركة الجزء السفلي من الجسم في المستوى السهمي دون الحاجة إلى مخرجات مصنفة. تدمج هذه الطريقة المبادئ الفيزيائية من خلال معادلات كين وتستخدم بنية شبكة عصبية متكررة (RNN) لالتقاط الاعتماد الزمني في البيانات.
تم تصميم SSPINNpose لتقدير الإحداثيات العامة، وعزوم المفاصل، وقوى رد الفعل الأرضية (GRFs) مباشرة من بيانات IMU، مستفيدة من مجموعة من وظائف الخسارة الأساسية والمساعدة لضمان المصداقية الفيزيائية والتناسق الزمني. يؤكد المؤلفون أن طريقتهم تتفوق على التقنيات الحالية من حيث سرعة المعالجة في الوقت الحقيقي والدقة، حيث تحقق خطأ في زوايا المفاصل (JAE) قدره 9.1 درجة وخطأ في GRF (GRFE) قدره 16.6% من وزن الجسم. بالإضافة إلى ذلك، يظهرون قدرة النموذج على العمل بفعالية مع تكوينات IMU النادرة، مع الحفاظ على المصداقية الفيزيائية في الحركة المقدرة. بشكل عام، تمثل SSPINNpose تقدمًا كبيرًا في مجال البيوميكانيكا، مما يمكّن من تقدير دقيق وفعال لديناميات حركة الإنسان من بيانات IMU دون الاعتماد على مجموعات بيانات مصنفة.
DOI: https://doi.org/10.1145/3806199
Publication Date: 2026-04-13
Author(s): Markus Gambietz et al.
Primary Topic: Advanced Vision and Imaging
Overview
The section presents an overview of SSPINNpose, a self-supervised, physics-informed neural network designed to estimate human movement dynamics, including joint kinematics and kinetics, directly from inertial measurement unit (IMU) data. This approach addresses the limitations of current real-time methods that depend on supervised learning and ground truth datasets obtained from optical motion capture systems, which are often prone to measurement errors and lack generalizability to real-world movements.
SSPINNpose operates without the need for ground truth labels by integrating a physics model of the human body to enhance the physical plausibility of its outputs. The network is trained using virtual sensor data generated from this model alongside actual measured sensor data. The results indicate that SSPINNpose achieves accurate estimations of joint angles and moments, with a root mean square deviation (RMSD) of 9.1° and 3.8% body weight bearing (BWBH%) for walking and running at speeds up to 4.9 m/s, all while maintaining a latency of 3.5 ms. The framework’s robustness across sparse sensor configurations and its ability to infer anatomical sensor locations highlight its potential as a scalable solution for real-time biomechanical analysis in various environments.
Introduction
The introduction of the research paper emphasizes the significance of understanding injury mechanisms for effective prevention, highlighting the limitations of traditional optical motion capture (OMC) methods, which are confined to controlled environments and prone to errors due to manual marker placement. OMC relies on reflective markers and force plates, restricting its applicability in real-world scenarios. In contrast, inertial measurement units (IMUs) offer a portable alternative for capturing human movement dynamics during sports activities, although current deep learning approaches using IMUs require labeled data, which can introduce biases and limitations, particularly in high-speed motions.
To overcome these challenges, the authors propose SSPINNpose, a novel self-supervised physics-informed learning method that integrates real-time inference capabilities with the strengths of optimization-based approaches. SSPINNpose aims to generate physically plausible motion estimates that align with IMU data, thereby eliminating the need for labeled training data. The method also addresses the complexities of sparse IMU configurations and infers sensor placement, marking it as the first real-time solution for estimating biomechanical variables from inertial sensor data without labeled data. This innovative approach promises to enhance the analysis of human movement dynamics, particularly in the context of injury prevention.
Results
In the results section, an ablation study was conducted to assess the significance of various loss terms and implementation details in the model. The findings, summarized in Table 7, indicate that removing input noise from IMU signals or excluding auxiliary losses—such as bounds, torque minimization, sliding penalty, and foot speed loss—led to a notable decrease in performance. Particularly, the bound terms \( L_B \) were highlighted as crucial for preventing local minima, which hinder the model’s ability to effectively interact with the ground.
Additionally, the sensitivity of loss weights was evaluated by retraining the model while varying the weights of each loss term. Results presented in Table 8 demonstrate that the model, SSPINNpose, exhibits robustness to changes in most loss weights, with only minor performance degradation. However, significant sensitivity was observed with the IMU loss weight \( L_{IMU} \) and the bounds loss weight \( L_B \), where improper adjustments could lead to ineffective motion learning. Lastly, the integration of SSPINNpose with the second stage of the PIP framework involved estimating global kinematics and tracking joint angles and velocities using a PD controller, with modifications made to the original PIP implementation regarding contact points and ground contact probability estimation.
Discussion
In this section, the authors discuss advancements in gait analysis, particularly focusing on the estimation of human movement dynamics using inertial measurement units (IMUs). They highlight the limitations of existing deep learning methods, which typically require labeled data for training and are constrained by biases from reference systems like optical motion capture (OMC). The authors propose a novel approach, SSPINNpose, which employs a fully self-supervised learning framework to reconstruct lower body movement dynamics in the sagittal plane without the need for labeled outputs. This method integrates physical principles through Kane’s equations and utilizes a recurrent neural network (RNN) architecture to capture temporal dependencies in the data.
SSPINNpose is designed to estimate generalized coordinates, joint torques, and ground reaction forces (GRFs) directly from IMU data, leveraging a combination of core and auxiliary loss functions to ensure physical plausibility and temporal consistency. The authors emphasize that their method outperforms existing techniques in terms of real-time processing speed and accuracy, achieving a joint angle error (JAE) of 9.1 degrees and a GRF error (GRFE) of 16.6% body weight. Additionally, they demonstrate the model’s capability to function effectively with sparse IMU configurations, maintaining physical plausibility in the estimated motion. Overall, SSPINNpose represents a significant advancement in the field of biomechanics, enabling accurate and efficient estimation of human movement dynamics from IMU data without reliance on labeled datasets.