DOI: https://doi.org/10.1109/tmm.2026.3688407
تاريخ النشر: 2026-01-01
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: التعرف على وضع الجسم والحركة
نظرة عامة
في هذه الورقة، يتناول المؤلفون قيود طرق التعرف على الحركة الحالية، التي تركز بشكل أساسي على تقنيات التعلم العميق مع إهمال العلاقات الطوبولوجية بين نقاط الهيكل العظمي وأجزاء الجسم. يقترحون نهجًا جديدًا يدمج نظرية الحركة لتحسين تصنيف هذه العلاقات الطوبولوجية، مما يؤدي إلى تطوير شبكة تلافيفية للرسوم البيانية المفرطة (HFGCN). يلتقط هذا النموذج بفعالية التفاعلات بين نقاط الهيكل العظمي البشري وأجزاء الجسم، مما يحسن دقة التعرف على الحركة. من خلال استخدام رسم بياني مفرط لتمثيل العلاقات بين نقاط الهيكل العظمي، يتضمن HFGCN وحدة انتباه رسم بياني مفرط ووحدة تلافيفية لرسم بياني مفرط لتحسين تمثيل الميزات في الأبعاد الزمنية والمكانية.
تظهر التجارب الواسعة التي أجريت على ثلاثة مجموعات بيانات بارزة – NTU RGB+D و NTU RGB+D 120 و NW-UCLA – أن HFGCN المقترح يتفوق على أحدث الطرق المعتمدة على الهيكل العظمي. يؤكد المؤلفون أنه بينما يستند تصميمهم للرسم البياني المفرط إلى نظرية الحركة البشرية، يجب أن تهدف الأبحاث المستقبلية إلى تحسين هذا الجانب لتحقيق المزيد من التحسينات في الأداء.
مقدمة
تؤكد مقدمة ورقة البحث على الدور الحاسم للتعرف على الحركة البشرية في تطبيقات متنوعة، لا سيما في تحليل الرياضة، حيث يكون التغذية الراجعة الدقيقة والسريعة أمرًا ضروريًا. اعتمدت الطرق التقليدية للتعرف على الحركة على ميزات مصممة يدويًا، والتي غالبًا ما تفشل في التقاط تعقيد الحركات البشرية الديناميكية. لقد حسنت تقنيات التعلم العميق، وخاصة الشبكات العصبية المتكررة (RNNs) والشبكات العصبية التلافيفية (CNNs)، الأداء ولكن لا تزال تواجه صعوبة في نمذجة الاعتماديات المكانية والزمنية في بيانات الهيكل العظمي.
ظهرت الشبكات التلافيفية الرسومية (GCNs) كنهج واعد للتعرف على الحركة المعتمدة على الهيكل العظمي من خلال اعتبار مفاصل الإنسان كقمم رسومية وروابطها كحواف. ومع ذلك، فإن طرق GCN الحالية محدودة بسبب اعتمادها على الرسوم البيانية الطوبولوجية المعرفة يدويًا وتركيزها على العلاقات الثنائية بين نقاط الهيكل العظمي، مع إهمال أهمية مجموعات نقاط الهيكل العظمي. لمعالجة هذه القيود، يقترح المؤلفون شبكة تلافيفية للرسوم البيانية المفرطة (HFGCN) جديدة تستخدم الرسوم البيانية المفرطة لنمذجة العلاقات من الدرجة الأعلى بين نقاط الهيكل العظمي. يتضمن هذا النهج وحدة انتباه للرسم البياني المفرط (HAM) ووحدة تلافيفية للرسم البياني المفرط (HGCM) لتعزيز قدرة النموذج على التقاط العلاقات الديناميكية وتحسين دقة التعرف على الحركة.
طرق
في هذا القسم، يقدم المؤلفون تحليلًا مقارنًا لطريقتهم المقترحة للتعرف على الحركة المعتمدة على الهيكل العظمي مقابل التقنيات الحديثة الموجودة عبر ثلاث مجموعات بيانات. يستخدمون استراتيجية دمج متعددة الجداول تدمج أربعة أنماط: المفصل، العظم، حركة المفصل، وحركة العظم. يتكون نمط المفصل من إحداثيات الهيكل العظمي الأصلية، بينما يلتقط نمط العظم الفروقات المكانية. تأخذ أنماط حركة المفصل وحركة العظم في الاعتبار الفروقات الزمنية في فئاتها المعنية. تشير النتائج إلى أن طريقتهم تتفوق بشكل كبير على النماذج الحالية، مثل ST-GCN و InfoGCN، محققة تحسينات تصل إلى 16% على مجموعة بيانات NTU RGB+D 120.
تسلط النتائج الضوء أيضًا على أن دمج معلومات العظم يعزز الأداء مقارنة باستخدام معلومات المفصل أو الحركة بمفردها، حيث أن دمج عدة أنماط يحقق أفضل النتائج. على وجه الخصوص، حققت الطريقة المقترحة دقة تبلغ 96.1% على مجموعة بيانات NW-UCLA، وهو أقل بقليل من 96.6% لـ InfoGCN، ويعزى ذلك إلى عدد عينات التدريب المحدود في مجموعة البيانات وعدد أقل من نقاط الهيكل العظمي. تؤكد النتائج فعالية نهجهم في الاستفادة من الميزات الهرمية لنمذجة طوبولوجية موجهة، مما يثبت تفوق طريقتهم عبر المعايير التي تم تقييمها.
نقاش
في مناقشة التعرف على الحركة المعتمد على GCN، يتم تحديد نهجين رئيسيين: طرق المجال الطيفي وطرق المجال المكاني. بينما تستخدم الطرق الطيفية مصفوفة لابلاس للرسم البياني لاستخراج الخصائص، تستفيد الطرق المكانية من التلافيف الرسومية لاستخراج الميزات مباشرة من الرسوم البيانية الطوبولوجية التي تمثل الهياكل العظمية البشرية. يُفضل النهج الأخير لمرونته وقدراته على التعميم. من الجدير بالذكر أن التقدم في طرق GCN قد ركز على تحسين النمذجة الطوبولوجية من خلال التعلم التكيفي وآليات مثل التحولات العالمية وتنقيح الطوبولوجيا على مستوى القناة. ومع ذلك، لا تزال العديد من النماذج الحالية تواجه صعوبة في التطور الديناميكي للطوبولوجيا المكانية والعلاقات بين نقاط الهيكل العظمي الفردية والمجمعة، والتي تعتبر حاسمة للتعرف الدقيق على الحركة.
يسلط القسم الضوء أيضًا على إمكانيات التعلم من الرسم البياني المفرط في التقاط الارتباطات من الدرجة الأعلى بين نقاط الهيكل العظمي من خلال الحواف المفرطة، التي يمكن أن تربط بين عدة قمم. بينما حققت النماذج الحالية للرسم البياني المفرط تقدمًا في البناء والتعلم، فإنها غالبًا ما تفتقر إلى التركيز على ديناميات الحركة البشرية، مما يحد من فعاليتها. تعالج شبكة التلافيفية للرسوم البيانية المفرطة المقترحة (HFGCN) هذه القيود من خلال استخدام استراتيجيات تصنيف نقاط الهيكل العظمي المصممة خصيصًا لبناء طوبولوجيات الرسم البياني المفرط التي تعزز التعرف على الحركة. يسمح إدخال وحدة انتباه للرسم البياني المفرط (HAM) بالتعلم التكيفي للعلاقات من الدرجة العالية، بينما تنقيح وحدة التلافيف للرسم البياني المفرط (HGCM) العلاقات المكانية. تشير النتائج التجريبية إلى أن HFGCN تتفوق بشكل كبير على الطرق التقليدية، مما يبرز أهمية طوبولوجيا الرسم البياني المفرط في تحسين أداء التعرف على الحركة. يجب أن تهدف الأعمال المستقبلية إلى تحسين تصميم الرسم البياني المفرط بشكل أكبر لتعزيز فعالية النموذج.
DOI: https://doi.org/10.1109/tmm.2026.3688407
Publication Date: 2026-01-01
Author(s): Zhenyun Du et al.
Primary Topic: Human Pose and Action Recognition
Overview
In this paper, the authors address the limitations of existing action recognition methods, which predominantly emphasize deep learning techniques while neglecting the topological relationships between skeleton points and body parts. They propose a novel approach that integrates kinematic theory to enhance the classification of these topological relations, leading to the development of a Hypergraph Fusion Graph Convolutional Network (HFGCN). This model effectively captures the interactions between human skeleton points and body parts, thereby improving action recognition accuracy. By employing a hypergraph to represent the relationships among skeleton points, the HFGCN incorporates a hypergraph attention module and a hypergraph convolution module to optimize feature representation in both temporal and spatial dimensions.
Extensive experiments conducted on three prominent datasets—NTU RGB+D, NTU RGB+D 120, and NW-UCLA—demonstrate that the proposed HFGCN outperforms state-of-the-art skeleton-based methods. The authors emphasize that while their hypergraph design is grounded in human motion theory, future research should aim to refine this aspect for further enhancements in performance.
Introduction
The introduction of the research paper emphasizes the critical role of human action recognition in various applications, particularly in sports analysis, where accurate and rapid feedback is essential. Traditional methods for action recognition have relied on manually designed features, which often fail to capture the complexity of dynamic human actions. The advent of deep learning techniques, particularly Recurrent Neural Networks (RNNs) and Convolutional Neural Networks (CNNs), has improved performance but still struggles with modeling spatial and temporal dependencies in skeleton data.
Graph Convolutional Networks (GCNs) have emerged as a promising approach for skeleton-based action recognition by treating human joints as graph vertices and their connections as edges. However, existing GCN methods are limited by their reliance on manually defined topological graphs and their focus on pairwise relationships between skeleton points, neglecting the importance of skeleton point groups. To address these limitations, the authors propose a novel hypergraph fusion graph convolutional network (HFGCN) that utilizes hypergraphs to model higher-order relationships among skeleton points. This approach includes a Hypergraph Attention Module (HAM) and a Hypergraph Convolution Module (HGCM) to enhance the model’s ability to capture dynamic relationships and improve action recognition accuracy.
Methods
In this section, the authors present a comparative analysis of their proposed method for skeleton-based action recognition against existing state-of-the-art techniques across three datasets. They employ a multi-stream fusion strategy that integrates four modalities: joint, bone, joint motion, and bone motion. The joint modality consists of original skeleton coordinates, while the bone modality captures the spatial differentials. The joint motion and bone motion modalities account for temporal differentials in their respective categories. The results indicate that their method significantly outperforms existing models, such as ST-GCN and InfoGCN, achieving improvements of up to 16% on the NTU RGB+D 120 dataset.
The findings also highlight that the incorporation of bone information enhances performance compared to using joint or motion information alone, with the fusion of multiple modalities yielding the best results. Specifically, the proposed method achieved an accuracy of 96.1% on the NW-UCLA dataset, slightly below InfoGCN’s 96.6%, attributed to the dataset’s limited training samples and fewer skeleton points. The results underscore the effectiveness of their approach in leveraging hierarchical features for directed topological modeling, thereby validating the superiority of their method across the evaluated benchmarks.
Discussion
In the discussion of GCN-based action recognition, two primary approaches are identified: spectral domain and spatial domain methods. While spectral methods utilize the graph’s Laplacian matrix to extract properties, spatial methods leverage graph convolution for direct feature extraction from the topological graphs representing human skeletons. The latter approach is favored for its flexibility and generalization capabilities. Notably, advancements in GCN methods have focused on optimizing topological modeling through adaptive learning and mechanisms such as global shifts and channel-wise topology refinement. However, many existing models still struggle with the dynamic evolution of spatial topology and the relationships between individual and grouped skeleton points, which are critical for accurate action recognition.
The section also highlights the potential of hypergraph learning in capturing higher-order correlations among skeleton points through hyperedges, which can connect multiple vertices. While existing hypergraph models have made strides in construction and learning, they often lack a focus on human motion dynamics, limiting their effectiveness. The proposed Hypergraph Fusion Convolutional Network (HFGCN) addresses these limitations by employing tailored skeleton point classification strategies to construct hypergraph topologies that enhance action recognition. The introduction of a Hypergraph Attention Module (HAM) allows for the adaptive learning of high-order relationships, while the Hypergraph Convolution Module (HGCM) refines spatial correlations. Experimental results indicate that HFGCN significantly outperforms traditional methods, underscoring the importance of hypergraph topology in improving action recognition performance. Future work should aim to further optimize hypergraph design to enhance model efficacy.