DOI: https://doi.org/10.1109/tmm.2026.3668511
تاريخ النشر: 2026-01-01
المؤلف: Li Deng وآخرون
الموضوع الرئيسي: أنظمة التعرف على حركات اليد
نظرة عامة
تقدم ورقة البحث MSF-Mamba، وهي بنية مبتكرة مصممة للتعرف على الإيماءات الدقيقة (MGR) التي تعالج قيود نموذج Mamba التقليدي. بينما يعالج نموذج Mamba التقليدي المدخلات كسلاسل أحادية الأبعاد، مما يحد من قدرته على التقاط الاعتمادات الزمانية والمكانية المحلية، فإن MSF-Mamba يتضمن وحدة دمج حالة فرق الإطار المركزي المدركة للحركة (MCFM) لتعزيز نمذجة أنماط الحركة المحلية. بالإضافة إلى ذلك، يقدم الإصدار المعزز، MSF-Mamba +، دمج حالة متعددة المقاييس ووحدة وزن مقياس تكيفية (ASWM) لتحسين تمثيل ديناميات الإيماءات بشكل أكبر.
تظهر النتائج التجريبية على مجموعتين بيانات عامتين، SMG و iMiGUE، أن كل من MSF-Mamba و MSF-Mamba + يتفوقان على النماذج الحالية المعتمدة على CNNs و Transformers ونماذج الفضاء الحالة (SSMs) مع الحفاظ على كفاءة حسابية عالية. ومن الجدير بالذكر أن MSF-Mamba يحقق تحسينات في دقة Top-1 بنسبة 2.2% و 1.5% على VideoMamba في مجموعتي بيانات SMG و iMiGUE، على التوالي، بينما يعزز MSF-Mamba + الدقة بنسبة 2.9% و 3.0%. تؤكد هذه النتائج على أهمية دمج نمذجة الزمان والمكان المحلية المدركة للحركة في نماذج التسلسل الفعالة للتعرف على الإيماءات الدقيقة.
الطرق
في هذا القسم، يحدد المؤلفون الإعدادات التجريبية المستخدمة لتقييم طريقتهم المقترحة، MSF-Mamba، على مجموعتين بيانات عامتين للتعرف متعدد الدقة (MGR): iMiGUE و SMG. تتكون مجموعة بيانات iMiGUE من 18,499 عينة مأخوذة من الويب عبر 32 فئة، بينما تحتوي مجموعة بيانات SMG على 3,712 عينة تم جمعها في المختبر عبر 17 فئة. تم التقاط مقاطع الفيديو في iMiGUE بدقة 1280×720 بمتوسط مدة 2.6 ثانية، بينما تتميز SMG بمقاطع فيديو عالية الدقة بدقة 1920×1080 بمتوسط مدة 1.8 ثانية.
للتدريب، يعتمد المؤلفون إعداد Video-Mamba، حيث يقومون بتهيئة نماذجهم باستخدام التدريب المسبق على ImageNet-1K وتطبيق فترة تسخين لمدة 5 دورات تليها 30 دورة تدريب، باستخدام تنظيم L2 مع انخفاض وزن قدره 0.05. يتم ضبط معدل التعلم بشكل خطي مع حجم الدفعة، ويتم استخدام مُحسِّن AdamW. تشمل مقاييس التقييم دقة Top-1 و Top-5، المحسوبة باستخدام صيغة دقة Top-k، حيث يتم تقييم وجود التسمية الصحيحة في أعلى k توقعات. يتم مقارنة فعالية MSF-Mamba مع نماذج التعرف على الحركة المعتمدة على RGB المتطورة، بما في ذلك هياكل CNN و Transformer، لضمان مقارنة عادلة من خلال تنفيذ وبروتوكولات تقييم متسقة.
المناقشة
تسلط قسم المناقشة في الورقة الضوء على تطور نماذج التعرف على الإيماءات الدقيقة (MGR)، مقارنة بين هياكل CNN التقليدية مع الأطر الناشئة مثل Transformer ونموذج الفضاء الحالة (SSM). تركز الطرق المبكرة المعتمدة على CNN، مثل C3D و I3D، بشكل أساسي على استخراج الميزات المحلية، مما يحد من قدرتها على نمذجة الاعتمادات العالمية بشكل فعال. بالمقابل، تتميز نماذج Transformer، على الرغم من تفوقها في التقاط السياق العالمي من خلال آليات الانتباه الذاتي، غالبًا ما تعاني من تعقيد حسابي تربيعي، مما يجعلها أقل كفاءة في التعامل مع التسلسلات الطويلة. لقد أظهرت SSMs، وخاصة إطار Mamba، وعدًا في نمذجة الاعتمادات بعيدة المدى بتعقيد خطي ولكنها تكافح مع الديناميات الزمانية والمكانية المحلية.
تتناول إطار MSF-Mamba المقترح هذه القيود من خلال دمج دمج الحالة المدرك للحركة، مما يمكّن من نمذجة متزامنة لكل من الأنماط الزمانية والمكانية العالمية والمحلية مع الحفاظ على تعقيد خطي. يتم تحقيق ذلك من خلال SSM ثنائي الاتجاه يلتقط الاعتمادات من كل من الرموز الماضية والمستقبلية، ووحدة دمج حالة فرق الإطار المركزي متعددة المقاييس التي تعزز الوعي بالحركة. كما تعمل وحدة وزن المقياس التكيفية على تحسين دمج التمثيلات متعددة المقاييس، مما يوضح أن الوزن الديناميكي للميزات يحسن بشكل كبير من أداء التعرف. تؤكد النتائج التجريبية أن MSF-Mamba يتفوق على الأساليب المتطورة الحالية، مما يثبت فعاليتها في مهام MGR.
DOI: https://doi.org/10.1109/tmm.2026.3668511
Publication Date: 2026-01-01
Author(s): Li Deng et al.
Primary Topic: Hand Gesture Recognition Systems
Overview
The research paper presents MSF-Mamba, an innovative architecture designed for micro-gesture recognition (MGR) that addresses the limitations of the vanilla Mamba model. While traditional Mamba processes inputs as one-dimensional sequences, which restricts its ability to capture local spatiotemporal dependencies, MSF-Mamba incorporates a motion-aware central-frame-difference state-fusion module (MCFM) to enhance local motion pattern modeling. Additionally, the enhanced version, MSF-Mamba +, introduces multiscale state fusion and an adaptive scale weighting module (ASWM) to further improve the representation of gesture dynamics.
Experimental results on two public datasets, SMG and iMiGUE, demonstrate that both MSF-Mamba and MSF-Mamba + outperform existing models based on CNNs, Transformers, and state space models (SSMs) while maintaining high computational efficiency. Notably, MSF-Mamba achieves Top-1 accuracy improvements of 2.2% and 1.5% over VideoMamba on the SMG and iMiGUE datasets, respectively, while MSF-Mamba + further enhances accuracy by 2.9% and 3.0%. These findings underscore the significance of integrating motion-aware local spatiotemporal modeling into efficient sequence models for effective micro-gesture recognition.
Methods
In this section, the authors outline the experimental settings used to evaluate their proposed method, MSF-Mamba, on two public multi-granularity recognition (MGR) datasets: iMiGUE and SMG. The iMiGUE dataset consists of 18,499 web-sourced samples across 32 categories, while the SMG dataset contains 3,712 lab-collected samples across 17 categories. The videos in iMiGUE are captured at a resolution of 1280×720 with an average duration of 2.6 seconds, whereas SMG features high-resolution videos at 1920×1080 with an average duration of 1.8 seconds.
For training, the authors adopt the Video-Mamba setup, initializing their models with ImageNet-1K pre-training and applying a 5-epoch warm-up followed by 30 epochs of training, utilizing L2 regularization with a weight decay of 0.05. The learning rate is scaled linearly with the batch size, and the AdamW optimizer is employed. Evaluation metrics include Top-1 and Top-5 accuracy, calculated using the formula for Top-k Accuracy, where the correct label’s presence in the top-k predictions is assessed. The effectiveness of MSF-Mamba is compared against various state-of-the-art RGB-based action recognition models, including CNN and Transformer-based architectures, ensuring a fair comparison through consistent implementation and evaluation protocols.
Discussion
The discussion section of the paper highlights the evolution of micro gesture recognition (MGR) models, contrasting traditional CNN architectures with emerging Transformer and State Space Model (SSM) frameworks. Early CNN-based methods, such as C3D and I3D, primarily focus on local feature extraction, which limits their capacity to model global dependencies effectively. In contrast, Transformer models, while superior in capturing global context through self-attention mechanisms, often suffer from quadratic computational complexity, making them less efficient for long sequences. SSMs, particularly the Mamba framework, have shown promise in modeling long-range dependencies with linear complexity but struggle with local spatiotemporal dynamics.
The proposed MSF-Mamba framework addresses these limitations by integrating motion-aware state fusion, enabling simultaneous modeling of both global and local spatiotemporal patterns while maintaining linear complexity. This is achieved through a bidirectional SSM that captures dependencies from both past and future tokens, and a multiscale central frame difference state fusion module that enhances motion awareness. The adaptive scale weighting module further optimizes the integration of multiscale representations, demonstrating that dynamic weighting of features significantly improves recognition performance. Experimental results confirm that MSF-Mamba outperforms existing state-of-the-art methods, validating its effectiveness for MGR tasks.