DOI: https://doi.org/10.1109/tip.2024.3378886
PMID: https://pubmed.ncbi.nlm.nih.gov/38526905
تاريخ النشر: 2024-01-01
المؤلف: Woomin Myung وآخرون
الموضوع الرئيسي: التعرف على وضع الجسم والحركة
نظرة عامة
تقدم البحث شبكة الالتواء الرسومية التلافيفية (DeGCN)، وهي إطار عمل جديد مصمم للتعرف على الأفعال المعتمدة على الهيكل العظمي، والذي يعالج القيود في الشبكات التلافيفية الرسومية الحالية (GCNs). غالبًا ما تستخدم GCNs التقليدية أنماط تجميع رسائل صارمة، والتي تفشل في حساب التباين داخل الفئة ويمكن أن تتضمن اتصالات غير ذات صلة في تسلسلات الهيكل العظمي. تعزز DeGCN هذه العملية من خلال تعلم مواقع أخذ العينات القابلة للتشويه بشكل تكيفي على كل من الرسوم البيانية المكانية والزمنية، مما يسمح للنموذج بتحديد المفاصل الأكثر إفادة بشكل فعال. هذا مهم بشكل خاص نظرًا للطبيعة المستمرة للأفعال البشرية، التي يقوم المؤلفون بنمذجتها في مساحة كامنة مستمرة.
يتضمن الإطار هيكلًا متعدد الفروع يوازن بين الدقة وحجم النموذج بينما يحسن بشكل كبير من تأثيرات التجميع بين أوضاع المفاصل والعظام. تظهر النتائج التجريبية أن DeGCN تحقق أداءً رائدًا في ثلاثة مجموعات بيانات مرجعية: NTU RGB+D، NTU RGB+D 120، وNW-UCLA. يقترح المؤلفون أيضًا أن النهج القابل للتشويه له تطبيقات أوسع تتجاوز التعرف على الأفعال، بما في ذلك تحليل الشبكات الاجتماعية وأنظمة التوصية. ستستكشف الأعمال المستقبلية استراتيجيات تكيفية لأخذ العينات من المفاصل لتعزيز المتانة عبر مقاييس الرسوم البيانية المختلفة، مع إمكانية استخدام تقنيات مثل التصنيف الناعم أو التعلم القائم على العتبة.
مقدمة
تناقش مقدمة الورقة أهمية التعرف على الأفعال البشرية في تطبيقات متنوعة مثل التفاعل بين الإنسان والكمبيوتر ومراقبة الفيديو. تبرز الانتقال من إدخال الفيديو التقليدي RGB إلى التعرف على الأفعال المعتمدة على الهيكل العظمي، والذي يوفر تمثيلات مضغوطة ومرونة تجاه تغييرات الخلفية. اعتمدت الطرق المبكرة على ميزات مصنوعة يدويًا، والتي كانت محدودة في التقاط تعقيدات الأفعال البشرية. أدى ظهور التعلم العميق إلى تطوير أساليب مدفوعة بالبيانات باستخدام الشبكات العصبية المتكررة (RNNs) والشبكات العصبية التلافيفية (CNNs)، ولكن هذه غالبًا ما تكافح لنمذجة الطوبولوجيا الرسومية لجسم الإنسان بدقة، مما يؤدي إلى أداء دون المستوى الأمثل.
تؤكد الورقة على ظهور الشبكات التلافيفية الرسومية (GCNs) كطريقة شائعة للتعرف على الأفعال المعتمدة على الهيكل العظمي بسبب قدرتها على الاستفادة من المعلومات الهيكلية للرسوم البيانية. تميز بين GCNs الطيفية والمكانية، مشيرة إلى أنه بينما تتضمن الطرق الطيفية تحليلًا مكثفًا للحسابات، تستخدم الطرق المكانية تمرير الرسائل لالتقاط اتصال العقد بشكل أكثر فعالية. ومع ذلك، تواجه الطرق المكانية الحالية تحديات في التقاط العلاقات بين المفاصل غير المتصلة مباشرة وغالبًا ما تعتمد على مخططات تمرير الرسائل غير المرنة. لمعالجة هذه القيود، يقترح المؤلفون شبكة تلافيفية رسومية قابلة للتشويه (DeGCN) تختار بشكل تكيفي المفاصل الأكثر صلة لتمرير الرسائل، مما يعزز قدرات التمثيل ويستوعب التباينات داخل الفئة. تحدد الورقة ثلاثة مساهمات رئيسية: وحدة الالتواء الرسومية التلافيفية المكانية (DeSGC)، وحدة الالتواء الرسومية التلافيفية الزمنية (DeTGC)، وإطار عمل متعدد الفروع يوازن بين الدقة وحجم النموذج. تظهر النتائج التجريبية أن DeGCN تحقق أداءً رائدًا في عدة مجموعات بيانات مرجعية، بما في ذلك NTU RGB+D وNW-UCLA.
نقاش
في مناقشة الأعمال ذات الصلة حول الشبكات التلافيفية الرسومية (GCNs) للتعرف على الأفعال المعتمدة على الهيكل العظمي، تبرز الورقة التقدمات الكبيرة التي تحققت من خلال الأساليب المعتمدة على GCN التي تلتقط بشكل فعال العلاقات الدلالية بين المفاصل. يتم تحديد نهجين رئيسيين: تمرير الرسائل المحلية، الذي يعتمد على الطوبولوجيات المحددة مسبقًا لتجميع المعلومات من المفاصل المجاورة، وتمرير الرسائل العالمية، الذي يبني رسومًا هيكلية متصلة بالكامل لتعزيز المتانة. يقترح المؤلفون طريقتهم، DeGCN، التي تأخذ عينات بشكل تكيفي وتجمع المفاصل الأكثر إفادة لكل فعل، مما يتناقض مع الأعمال السابقة مثل AdaSGN التي تركز على عدد ثابت من المفاصل. يسمح هذا التكيف لـ DeGCN بالتكيف بشكل أفضل مع التباين في الأفعال البشرية من خلال التعديل الديناميكي للمفاصل ذات الصلة بناءً على العلاقات المحددة للعينة.
علاوة على ذلك، تناقش الورقة قيود الشبكات العصبية التلافيفية التقليدية (CNNs) في التعامل مع التغيرات الهندسية بسبب هياكلها الثابتة. تقدم تقنيات نمذجة التشويه التي توجه بشكل تكيفي المواقع المهمة في الصور، لكنها تشير إلى أن هذه الطرق ليست قابلة للتطبيق مباشرة على هياكل البيانات المنفصلة مثل الرسوم البيانية الهيكلية. يجادل المؤلفون بأن نهجهم، الذي يستخدم الالتواء الرسومي التلافيفي لكل من الرسوم البيانية المكانية والزمنية، يقدم حلاً أكثر مرونة وبديهية. من خلال استخدام عملية أخذ عينات قابلة للاشتقاق، يمكن لـ DeGCN اختيار وتشويه المفاصل الأكثر إفادة بشكل فعال، مما يعزز أدائها في التعرف على الأفعال البشرية المعقدة عبر مجموعات بيانات متنوعة.
DOI: https://doi.org/10.1109/tip.2024.3378886
PMID: https://pubmed.ncbi.nlm.nih.gov/38526905
Publication Date: 2024-01-01
Author(s): Woomin Myung et al.
Primary Topic: Human Pose and Action Recognition
Overview
The research introduces the Deformable Graph Convolutional Network (DeGCN), a novel framework designed for skeleton-based action recognition that addresses limitations in existing graph convolutional networks (GCNs). Traditional GCNs often utilize rigid message aggregation patterns, which fail to account for intra-class variability and can include irrelevant connections in skeleton sequences. DeGCN enhances this process by adaptively learning deformable sampling locations on both spatial and temporal graphs, allowing the model to effectively identify the most informative joints. This is particularly important given the continuous nature of human actions, which the authors model in a continuous latent space.
The framework incorporates a multi-branch architecture that balances accuracy and model size while significantly improving the ensemble effects between joint and bone modalities. The experimental results demonstrate that DeGCN achieves state-of-the-art performance across three benchmark datasets: NTU RGB+D, NTU RGB+D 120, and NW-UCLA. The authors also suggest that the deformable approach has broader applications beyond action recognition, including social network analysis and recommendation systems. Future work will explore adaptive strategies for joint sampling to enhance robustness across different graph scales, potentially employing techniques such as soft ranking or threshold-based learning.
Introduction
The introduction of the paper discusses the significance of human action recognition in various applications such as human-computer interaction and video surveillance. It highlights the shift from traditional RGB video input to skeleton-based action recognition, which offers compact representations and robustness to background changes. Early methods relied on hand-crafted features, which were limited in capturing the complexities of human actions. The advent of deep learning has led to the development of data-driven approaches using recurrent neural networks (RNNs) and convolutional neural networks (CNNs), but these often struggle to accurately model the graph topology of the human body, resulting in suboptimal performance.
The paper emphasizes the emergence of graph convolutional networks (GCNs) as a popular method for skeleton-based action recognition due to their ability to leverage structural graph information. It distinguishes between spectral and spatial GCNs, noting that while spectral methods involve computationally intensive eigen-decomposition, spatial methods utilize message passing to capture node connectivity more effectively. However, existing spatial methods face challenges in capturing correlations between non-directly connected joints and often rely on inflexible message-passing schemes. To address these limitations, the authors propose a novel deformable graph convolutional network (DeGCN) that adaptively selects the most relevant joints for message passing, thereby enhancing representation capabilities and accommodating intra-class variations. The paper outlines three key contributions: the deformable spatial graph convolution (DeSGC) module, the deformable temporal graph convolution (DeTGC) module, and a multi-branch framework that balances accuracy and model size. Experimental results demonstrate that DeGCN achieves state-of-the-art performance on several benchmark datasets, including NTU RGB+D and NW-UCLA.
Discussion
In the discussion of related work on Graph Convolutional Networks (GCNs) for skeleton-based action recognition, the paper highlights significant advancements achieved through GCN-based methods that effectively capture semantic relationships between joints. Two primary approaches are identified: local message-passing, which relies on predefined topologies to aggregate information from neighboring joints, and global message-passing, which constructs fully-connected skeleton graphs for enhanced robustness. The authors propose their method, DeGCN, which adaptively samples and aggregates the most informative joints for each action, contrasting with previous works like AdaSGN that focus on a fixed number of joints. This adaptability allows DeGCN to better accommodate the variability in human actions by dynamically adjusting to the relevant joints based on sample-specific correlations.
Furthermore, the paper discusses the limitations of traditional convolutional neural networks (CNNs) in handling geometric variations due to their fixed structures. It introduces deformation modeling techniques that adaptively direct important locations in images, but notes that these methods are not directly applicable to discrete data structures like skeleton graphs. The authors argue that their approach, which utilizes deformable graph convolution for both spatial and temporal graphs, offers a more flexible and intuitive solution. By employing a differentiable sampling process, DeGCN can effectively select and deform the most informative joints, enhancing its performance in recognizing complex human actions across various datasets.