DOI: https://doi.org/10.1038/s41598-025-06344-8
PMID: https://pubmed.ncbi.nlm.nih.gov/40550837
تاريخ النشر: 2025-06-23
المؤلف: Mohammed Aly وآخرون
الموضوع الرئيسي: أنظمة التعرف على حركات اليد
نظرة عامة
تقدم البحث نموذج هجين من المحولات والشبكات العصبية التلافيفية (CNN) مصمم لتعزيز التعرف على الإيماءات، خاصة للتطبيقات في تفسير لغة الإشارة والتفاعل بين الإنسان والحاسوب. تواجه الطرق الحالية تحديات مثل المتطلبات الحسابية العالية، والصعوبات في التقاط العلاقات بعيدة المدى، والحساسية للضوضاء الخلفية. يستفيد النموذج المقترح من طبقات CNN لاستخراج ميزات محلية مفصلة من إيماءات اليد، والتي يتم تحسينها بعد ذلك بواسطة وحدة المحول البصري لالتقاط السياق العالمي والاعتمادات بعيدة المدى. يسمح هذا الدمج بالتعرف الفعال على الحركات الدقيقة مع الحفاظ على الكفاءة الحسابية، محققًا دقة مثيرة للإعجاب تبلغ 99.97% على مجموعة بيانات الأبجدية الأمريكية للغة الإشارة (ASL)، مع سرعة معالجة تبلغ 110 إطارات في الثانية ومتطلبات حسابية تبلغ 5.0 GFLOPs فقط.
في الخاتمة، يبرز المؤلفون نقاط قوة النموذج، بما في ذلك استخراج الميزات عبر مسارين وتقنيات تعزيز البيانات المتقدمة، التي تعزز من متانته عبر بيئات متنوعة. ومع ذلك، يعترفون باعتماد النموذج على مجموعات بيانات موسومة على نطاق واسع ويقترحون اتجاهات بحث مستقبلية، مثل استكشاف التعلم الذاتي للحد من هذا الاعتماد، والتعرف على الإيماءات الديناميكية، وتحسين الهيكل لنشر الأجهزة الطرفية. بالإضافة إلى ذلك، يمكن أن يؤدي دمج الأساليب متعددة الوسائط، مثل أجهزة استشعار العمق أو إشارات تخطيط العضلات الكهربائية، إلى تحسين دقة التعرف في الظروف الصعبة. بشكل عام، يضع الدراسة معيارًا جديدًا في التعرف على الإيماءات من خلال تحقيق التوازن بين الدقة والكفاءة والأداء في الوقت الحقيقي، مع التأكيد أيضًا على أهمية التقدم المستمر في التعلم العميق للتطبيقات المستقبلية.
مقدمة
في المقدمة، يحدد المؤلفون استراتيجية تدريب شاملة لتعزيز التعميم عبر مجموعات البيانات في التعرف على الإيماءات، والتي تشمل ثلاثة مكونات رئيسية: التعلم التبايني، التكيف غير المراقب مع المجال، والتعديل الدقيق عبر مجموعات البيانات. يساعد التعلم التبايني في تجميع الميزات ذاتية الإشراف، مما يحسن من قابلية فصل الإيماءات. يسمح التكيف غير المراقب مع المجال للنموذج بالتكيف مع مجموعات بيانات جديدة دون الحاجة إلى بيانات موسومة، بينما يقوم التعديل الدقيق عبر مجموعات البيانات بتحسين الميزات لضمان التوافق عبر أنماط لغة الإشارة المختلفة. تم تصميم إعدادات المحسن الموضحة في الجدول 2 لتسهيل تدريب مستقر وفعال لنموذج المحولات الهجينة والشبكات العصبية التلافيفية.
كما يقدم القسم التحقق التجريبي من إزالة الخلفية في التعرف على الإيماءات، مقارنًا تأثيرات طرح الخلفية والإضافة على دقة النموذج. تشير النتائج المعروضة في الجدول 8 إلى أن طرح الخلفية يعزز الدقة من 99.71% إلى 99.85%، بينما تؤدي عملية الإضافة إلى انخفاض الدقة بسبب زيادة الضوضاء الخلفية. يُعزى فعالية طرح الخلفية إلى قدرته على عزل إيماءات اليد عن المشتتات البيئية، مما يقلل من الشوائب غير ذات الصلة ويحسن من تركيز النموذج على الميزات الحرجة الخاصة باليد. تعتبر هذه الخطوة المسبقة ضرورية لتوحيد بيانات الإدخال عبر ظروف الإضاءة والخلفيات المتنوعة، مما يساهم في متانة النموذج ضد التداخل الخلفي.
الطرق
يستعرض قسم المنهجية النهج المنظم المستخدم في البحث للتحقيق في الفرضيات المحددة. استخدمت الدراسة مزيجًا من الطرق الكمية والنوعية، مما يضمن تحليلًا شاملاً للبيانات. تم جمع البيانات الكمية من خلال استبيانات منظمة، والتي تضمنت سلسلة من الأسئلة على مقياس ليكرت مصممة لقياس مواقف وسلوكيات المشاركين. تم جمع الرؤى النوعية عبر مقابلات شبه منظمة، مما يسمح باستكشاف عميق للتجارب الفردية المتعلقة بموضوع البحث.
شمل تحليل البيانات تقنيات إحصائية، بما في ذلك تحليل الانحدار لتحديد الارتباطات بين المتغيرات، والتحليل الموضوعي للبيانات النوعية لاستخراج الموضوعات والأنماط الرئيسية. قدم دمج هذه الطرق إطارًا قويًا لفهم التفاعلات المعقدة ضمن الظواهر المدروسة. بشكل عام، تم تصميم المنهجية لضمان الموثوقية والصلاحية، مما يعزز من مصداقية النتائج.
النتائج
في هذه الدراسة، تم تقسيم مجموعة البيانات بشكل استراتيجي إلى مجموعات تدريب (80%)، والتحقق (10%)، والاختبار (10%) لضمان تمثيل متوازن عبر الفئات، مما يقلل من عدم توازن البيانات الذي قد يؤثر على تعميم النموذج. استخدم التدريب دالة خسارة الانتروبيا المتقاطعة ومحسن AdamW بمعدل تعلم يبلغ 0.0001، مدعومًا بآلية إيقاف مبكر لمنع الإفراط في التكيف. تم تقييم أداء النموذج باستخدام مقاييس الدقة والاسترجاع ودرجة F1، مع إنشاء مصفوفة ارتباك لتحليل أنماط التصنيف الخاطئ. أشارت النتائج إلى قدرات تعميم قوية، كما يتضح من دقة التحقق التي تتطابق باستمرار أو تتجاوز دقة التدريب، ومتوسط دقة واسترجاع ودرجة F1 يبلغ 0.9997 عبر فئات الأبجدية الأمريكية للغة الإشارة.
أظهر النموذج المقترح، الذي يستفيد من استخراج الميزات عبر مسارين وآليات المحول البصري (ViT)، دقة تصنيف استثنائية، محققًا درجات قريبة من الكمال لمعظم الحروف في الأبجدية الأمريكية للغة الإشارة. قدمت خرائط الانتباه وخرائط الأهمية رؤى نوعية، توضح تركيز النموذج على المناطق الحرجة لليد أثناء الاستدلال، مثل أطراف الأصابع ومركز الكف. هذا يؤكد فعالية ViT في تعزيز قدرة النموذج على تصفية الضوضاء الخلفية والتركيز على الميزات الأساسية، مما يحسن من دقة التعرف على الإيماءات بشكل عام مع الحفاظ على الكفاءة الحسابية. كما أشارت منحنيات التعلم إلى تقارب قوي على مدى 60 حقبة، مما يبرز مرونة النموذج ضد الإفراط في التكيف.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على التقدمات الكبيرة في التعرف على لغة الإشارة (SLR) المدفوعة بتقنيات التعلم العميق ورؤية الكمبيوتر. لقد عزز دمج الشبكات العصبية التلافيفية (CNN) والشبكات العصبية المتكررة (RNN) بشكل ملحوظ من دقة التعرف على الإيماءات المعزولة والمستمرة. استخدمت النماذج المبكرة بشكل أساسي طرق رؤية الكمبيوتر التقليدية، لكن الدراسات الحديثة، مثل تلك التي تقارن VGG16 وResNet50، تظهر أن الهياكل الأعمق مثل ResNet50 تحقق أداءً أفضل في التعرف على الإيماءات المعقدة. بالإضافة إلى ذلك، ظهرت نماذج هجينة تستخدم استخراج الميزات عبر مسارين، مما يلتقط بفعالية كل من السياق العالمي والتفاصيل المحلية الخاصة باليد، كما يتضح من شبكة Zhang et al. للتلافيفية مع إزالة الخلفية (DPCNN).
يناقش القسم أيضًا دور آليات الانتباه والشبكات المحولّة في تحسين SLR. تستفيد الأساليب الحديثة، بما في ذلك تلك التي قدمها Miah et al. وZhang et al.، من الانتباه المكاني الزمني وآليات الانتباه غير المتجانسة لتعزيز التعرف والترجمة للغة الإشارة. تسهل هذه الابتكارات فهمًا سياقيًا أفضل واستخراج الميزات، وهو أمر حاسم لتسلسلات لغة الإشارة الديناميكية. على الرغم من هذه التقدمات، لا تزال التحديات مثل الضوضاء الخلفية، واحتجاب اليد، والحاجة إلى معالجة في الوقت الحقيقي قائمة. تؤكد اتجاهات البحث المستقبلية على أهمية تحسين تعميم النموذج عبر مستخدمين وبيئات متنوعة، وتعزيز تنوع البيانات، وتطوير أنظمة فعالة للتطبيقات العملية في التقنيات المساعدة. يهدف إطار استخراج الميزات عبر مسارين المقترح إلى معالجة هذه التحديات من خلال دمج الميزات العالمية والخاصة باليد من خلال استراتيجية دمج جديدة تعتمد على الضرب العنصري، مما يضمن أداءً قويًا في السيناريوهات الواقعية.
DOI: https://doi.org/10.1038/s41598-025-06344-8
PMID: https://pubmed.ncbi.nlm.nih.gov/40550837
Publication Date: 2025-06-23
Author(s): Mohammed Aly et al.
Primary Topic: Hand Gesture Recognition Systems
Overview
The research presents a Hybrid Transformer-CNN model designed to enhance gesture recognition, particularly for applications in sign language interpretation and human-computer interaction. Existing methods face challenges such as high computational demands, difficulties in capturing long-range relationships, and sensitivity to background noise. The proposed model leverages CNN layers to extract detailed local features from hand gestures, which are then refined by a Vision Transformer module to capture global context and long-range dependencies. This integration allows for effective recognition of subtle movements while maintaining computational efficiency, achieving an impressive accuracy of 99.97% on the ASL Alphabet dataset, with a processing speed of 110 frames per second and a computational requirement of only 5.0 GFLOPs.
In the conclusion, the authors highlight the model’s strengths, including dual-path feature extraction and advanced data augmentation techniques, which enhance its robustness across diverse environments. However, they acknowledge the model’s reliance on large-scale labeled datasets and suggest future research directions, such as exploring self-supervised learning to reduce this dependency, recognizing dynamic gestures, and optimizing the architecture for edge device deployment. Additionally, integrating multimodal approaches, like depth sensors or electromyography signals, could further improve recognition accuracy in challenging conditions. Overall, the study sets a new benchmark in gesture recognition by balancing accuracy, efficiency, and real-time performance, while also emphasizing the importance of ongoing advancements in deep learning for future applications.
Introduction
In the introduction, the authors outline a comprehensive training strategy for enhancing generalization across datasets in gesture recognition, which includes three key components: Contrastive Learning, Unsupervised Domain Adaptation, and Cross-Dataset Fine-Tuning. Contrastive Learning aids in self-supervised feature clustering, thereby improving the separability of gestures. Unsupervised Domain Adaptation allows the model to adapt to new datasets without requiring labeled data, while Cross-Dataset Fine-Tuning refines features to ensure compatibility across various sign language styles. The optimizer settings detailed in Table 2 are designed to facilitate stable and efficient training of the Hybrid Transformer-CNN model.
The section also presents experimental validation of background elimination in gesture recognition, comparing the effects of background subtraction and addition on model accuracy. Results shown in Table 8 indicate that background subtraction enhances accuracy from 99.71% to 99.85%, while the addition operation leads to decreased accuracy due to increased background noise. The effectiveness of background subtraction is attributed to its ability to isolate hand gestures from environmental distractions, thereby minimizing irrelevant artifacts and improving the model’s focus on critical hand-specific features. This preprocessing step is essential for standardizing input data across varying lighting and background conditions, ultimately contributing to the model’s robustness against background interference.
Methods
The methodology section outlines the systematic approach employed in the research to investigate the specified hypotheses. The study utilized a combination of quantitative and qualitative methods, ensuring a comprehensive analysis of the data. Quantitative data were collected through structured surveys, which included a series of Likert-scale questions designed to measure participants’ attitudes and behaviors. Qualitative insights were gathered via semi-structured interviews, allowing for in-depth exploration of individual experiences related to the research topic.
Data analysis involved statistical techniques, including regression analysis to identify correlations between variables, and thematic analysis for qualitative data to extract key themes and patterns. The integration of these methods provided a robust framework for understanding the complex interactions within the studied phenomena. Overall, the methodology was designed to ensure reliability and validity, thereby enhancing the credibility of the findings.
Results
In this study, the dataset was strategically divided into training (80%), validation (10%), and testing (10%) subsets to ensure balanced representation across categories, thereby minimizing data imbalance that could affect model generalization. The training utilized a cross-entropy loss function and the AdamW optimizer with a learning rate of 0.0001, complemented by an early stopping mechanism to prevent overfitting. The model’s performance was evaluated using precision, recall, and F1-score metrics, with a confusion matrix generated to analyze misclassification patterns. Results indicated strong generalization capabilities, as evidenced by validation accuracy consistently matching or exceeding training accuracy, and a micro-average precision, recall, and F1-score of 0.9997 across the ASL alphabet classes.
The proposed model, leveraging dual-path feature extraction and Vision Transformer (ViT) mechanisms, demonstrated exceptional classification accuracy, achieving near-perfect scores for most letters in the ASL alphabet. The attention heatmaps and saliency maps provided qualitative insights, illustrating the model’s focus on critical hand regions during inference, such as fingertips and palm center. This confirms the effectiveness of the ViT in enhancing the model’s ability to filter background noise and concentrate on essential features, thereby improving overall gesture recognition accuracy while maintaining computational efficiency. The learning curves further indicated robust convergence over 60 epochs, highlighting the model’s resilience to overfitting.
Discussion
The discussion section of the research paper highlights significant advancements in Sign Language Recognition (SLR) driven by deep learning and computer vision techniques. The integration of Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs) has notably enhanced the accuracy of both isolated and continuous sign recognition. Early models primarily utilized traditional computer vision methods, but recent studies, such as those comparing VGG16 and ResNet50, demonstrate that deeper architectures like ResNet50 yield superior performance in recognizing complex gestures. Additionally, hybrid models employing dual-path feature extraction have emerged, effectively capturing both global context and local hand-specific details, as exemplified by Zhang et al.’s dual-path background erasure convolutional neural network (DPCNN).
The section further discusses the role of attention mechanisms and transformer networks in improving SLR. Recent approaches, including those by Miah et al. and Zhang et al., leverage spatial-temporal attention and heterogeneous attention mechanisms to enhance the recognition and translation of sign language. These innovations facilitate better contextual understanding and feature extraction, crucial for dynamic sign language sequences. Despite these advancements, challenges such as background noise, hand occlusion, and the need for real-time processing persist. Future research directions emphasize the importance of improving model generalization across diverse users and environments, enhancing data diversity, and developing efficient systems for practical applications in assistive technologies. The proposed dual-path feature extraction framework aims to address these challenges by combining global and hand-specific features through a novel element-wise multiplication fusion strategy, ensuring robust performance in real-world scenarios.