DOI: https://doi.org/10.1007/s42979-026-04990-x
تاريخ النشر: 2026-05-19
المؤلف: Abu Saleh Musa Miah وآخرون
الموضوع الرئيسي: أنظمة التعرف على حركات اليد
نظرة عامة
تتناول ورقة البحث التقدم في التعرف على لغة الإشارة البنغالية (BSL) من خلال نظام خفيف الوزن جديد يستخدم آلية انتباه زماني مكاني. على الرغم من التقدم المحرز في التعرف على لغة الإشارة للغات مختلفة، لا تزال هناك تحديات في تطوير أنظمة فعالة للتعرف على BSL، خاصة فيما يتعلق بدمج الأساليب القائمة على الهيكل العظمي و المحولات. غالبًا ما تفتقر النماذج الحالية إلى تقييم شامل عبر ظروف بيئية متنوعة وتكون محدودة من قبل مجموعات البيانات التي لا تمثل بشكل كافٍ تعقيد إيماءات BSL.
يستخدم النظام المقترح بيانات الهيكل العظمي ثنائي الأبعاد لتعزيز دقة التعرف مع تقليل الحاجة إلى تخزين فيديو واسع النطاق أو أجهزة استشعار باهظة الثمن. يتميز بآلية انتباه زماني مكاني متعددة الفروع تدمج أربعة أنواع متميزة من الميزات: انتباه مكاني، انتباه زمني، انتباه مكاني زمني مشترك، وميزات CNN الزمنية. تتيح هذه الطريقة المبتكرة تصنيف الإيماءات بشكل متفوق من خلال التقاط الفروق الدقيقة في BSL بشكل أكثر فعالية من الطرق السابقة. يظهر النموذج أداءً قويًا عبر ثلاثة مجموعات بيانات BSL، على الرغم من أنه يواجه تحديات في التقييمات بين المجموعات. يهدف العمل المستقبلي إلى تجميع مجموعة بيانات BSL أكبر وأكثر تنوعًا لتحسين قابلية تعميم النموذج وفعاليته في التطبيقات الواقعية، خاصة لمساعدة المجتمع المعاق.
مقدمة
تسلط مقدمة الورقة الضوء على الحواجز التواصلية الحرجة التي تواجه مجتمع الصم وضعاف السمع، والذي يؤثر على حوالي 1.33 مليار فرد على مستوى العالم، بما في ذلك 300,000 في بنغلاديش. غالبًا ما تكون طرق الاتصال التقليدية، مثل اللغة الشفوية، غير كافية، مما يؤدي إلى الاعتماد على حلول بديلة مثل لغة الإشارة، وأجهزة السمع، وأجهزة الاتصال المعززة. ومع ذلك، فإن ندرة المترجمين البشريين المدربين والتكاليف العالية المرتبطة بهم تشكل تحديات كبيرة لهذا المجتمع في الوصول إلى الخدمات الأساسية.
لمعالجة هذه القضايا، تقترح الورقة نظامًا جديدًا للتعرف على لغة الإشارة البريطانية (BSL) يعتمد على الهيكل العظمي يستخدم انتباه متعدد الرؤوس الزماني المكاني مع شبكة الالتفاف الزمنية القابلة للفصل (Sep-TCN). تهدف هذه الطريقة إلى تعزيز كفاءة ودقة التعرف على BSL مع تقليل التعقيد الحسابي. يقدم المؤلفون مجموعة بيانات مرجعية جديدة، BAUST-BSL-38، للتخفيف من ندرة البيانات في مجال BSL ويظهرون أن نموذجهم يقلل بشكل كبير من عدد المعلمات والمتطلبات الحسابية مقارنة بالطرق الحالية. يظهر النظام المقترح نتائج واعدة من حيث التعميم عبر مجموعات بيانات متنوعة، مما يشير إلى إمكانيته كحل فعال من حيث التكلفة وكفاءة للتعرف على BSL في الوقت الحقيقي.
طرق
تحدد المنهجية المقترحة نموذجًا جديدًا للتعرف على لغة الإشارة البنغالية (BSL) يهدف إلى تعزيز الدقة والكفاءة مع تقليل التعقيد الحسابي بشكل كبير. تستهدف البنية، الموضحة في الشكل 4، تقليل العمليات العائمة في الثانية (FLOPS) بمقدار ترتيب من الحجم، مما يقلل عدد المعلمات إلى النصف ويحقق حدًا أدنى من ثلث الوقت الحسابي مقارنة بالنماذج الحالية. تبدأ الطريقة بجمع مجموعة بيانات BSL، والتي يتم من خلالها استخراج إحداثيات ثنائية الأبعاد لـ 21 مفصلًا من هيكل اليد باستخدام MediaPipe. لتعزيز الأداء، يدمج النموذج الاعتماديات بعيدة المدى وقصيرة المدى من خلال شبكة زمانية ومكانية قائمة على الانتباه.
في المرحلة التجريبية، تم ضبط نماذج تعلم الآلة المختلفة، وتفصل القسم مقاييس التقييم، وضبط المعلمات، والإعدادات التجريبية المستخدمة. تتم مقارنة النتائج مع النماذج المتقدمة، مما يبرز فعالية الطريقة المقترحة. بالإضافة إلى ذلك، تتضمن المناقشة رؤى حول أهمية الميزات المعتمدة على المسافة والزوايا في سياق التعرف على BSL.
مناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على التقدم والتحديات في التعرف على لغة الإشارة البنغالية (BSL)، خاصة في سياق المنهجيات ومجموعات البيانات الحالية. بينما تم استخدام تقنيات تعلم الآلة المختلفة، بما في ذلك آلات الدعم الناقل (SVM) وتحليل المكونات الرئيسية (PCA)، للتعرف على لغة الإشارة، تحول التركيز نحو أساليب التعلم العميق، وخاصة الشبكات العصبية الالتفافية (CNNs). أظهرت الدراسات الحديثة تحسينات كبيرة في الدقة، حيث حقق البعض دقة تصل إلى 98% باستخدام هياكل CNN المصممة خصيصًا لـ BSL. ومع ذلك، تعتمد العديد من الأنظمة الحالية على مجموعات بيانات صغيرة تم جمعها ذاتيًا، مما يحد من قابليتها للتطبيق وقدرات التعميم.
لمعالجة هذه القيود، يقترح المؤلفون نظامًا جديدًا للتعرف على BSL يعتمد على الهيكل العظمي باستخدام نموذج انتباه زماني مكاني. تهدف هذه الطريقة إلى تعزيز كفاءة النموذج وتعميمه من خلال الاستفادة من مجموعة بيانات جديدة تم إنشاؤها، وهي إشارة-ليبي، والتي تتضمن 36 إيماءة وظروف بيئية متنوعة. يتضمن النموذج المقترح شبكة الالتفاف الزمنية القابلة للفصل (Sep-TCN) لتقليل التعقيد الحسابي مع الحفاظ على الأداء. بالإضافة إلى ذلك، تستخدم البنية آليات انتباه متعددة الرؤوس لاستخراج ميزات ذات مغزى من بيانات الهيكل العظمي، مما يحسن دقة التعرف والتعميم عبر مجموعات بيانات مختلفة. بشكل عام، تؤكد الدراسة على الحاجة إلى مجموعات بيانات قوية وتقنيات نمذجة متقدمة لتعزيز أنظمة التعرف على BSL، مما يعود بالنفع في النهاية على مجتمع الصم وضعاف السمع.
DOI: https://doi.org/10.1007/s42979-026-04990-x
Publication Date: 2026-05-19
Author(s): Abu Saleh Musa Miah et al.
Primary Topic: Hand Gesture Recognition Systems
Overview
The research paper discusses advancements in Bangla sign language (BSL) recognition through a novel lightweight system that employs a spatiotemporal attention mechanism. Despite the progress made in sign language recognition for various languages, challenges remain in developing effective BSL recognition systems, particularly concerning the integration of skeleton and transformer-based approaches. Existing models often lack comprehensive evaluation across diverse environmental conditions and are limited by datasets that do not adequately represent the complexity of BSL gestures.
The proposed system utilizes 2D skeleton data to enhance recognition accuracy while minimizing the need for extensive video storage or expensive sensors. It features a multi-branch spatial-temporal attention mechanism that integrates four distinct types of features: spatial attention, temporal attention, combined spatial-temporal attention, and temporal CNN features. This innovative approach allows for superior gesture classification by capturing the nuances of BSL more effectively than previous methods. The model demonstrates strong performance across three BSL datasets, although it faces challenges in inter-dataset evaluations. Future work aims to compile a larger, more diverse BSL dataset to further improve the model’s generalizability and effectiveness in real-world applications, particularly for aiding the disabled community.
Introduction
The introduction of the paper highlights the critical communication barriers faced by the deaf and hard-of-hearing community, which affects approximately 1.33 billion individuals globally, including 300,000 in Bangladesh. Traditional communication methods, such as oral language, are often inadequate, leading to reliance on alternative solutions like sign language, hearing aids, and augmentative communication devices. However, the scarcity of trained human interpreters and the high costs associated with them pose significant challenges for this community in accessing essential services.
To address these issues, the paper proposes a novel skeleton-based British Sign Language (BSL) recognition system that utilizes spatial-temporal multi-head attention combined with a Separable Temporal Convolutional Network (Sep-TCN). This approach aims to enhance the efficiency and accuracy of BSL recognition while minimizing computational complexity. The authors introduce a new benchmark dataset, BAUST-BSL-38, to mitigate the data scarcity in the BSL domain and demonstrate that their model significantly reduces the number of parameters and computational demands compared to existing methods. The proposed system shows promising results in terms of generalization across various datasets, indicating its potential as a cost-effective and efficient solution for real-time BSL recognition.
Methods
The proposed methodology outlines a novel Bangla Sign Language (BSL) recognition model aimed at enhancing accuracy and efficiency while significantly reducing computational complexity. The architecture, depicted in Figure 4, targets a reduction in floating-point operations per second (FLOPS) by an order of magnitude, halving the number of parameters and achieving a minimum of one-third the computational time compared to existing models. The approach begins with the collection of a BSL dataset, from which 2D coordinates of 21 hand skeleton joints are extracted using MediaPipe. To bolster performance, the model integrates long-range and short-range dependencies through an attention-based spatial and temporal network.
In the experimental phase, various machine learning models were fine-tuned, and the section details the evaluation metrics, parameter tuning, and experimental settings employed. The results are compared against state-of-the-art models, highlighting the effectiveness of the proposed method. Additionally, the discussion includes insights into the significance of distance- and angle-based features in the context of BSL recognition.
Discussion
The discussion section of the research paper highlights the advancements and challenges in Bangla Sign Language (BSL) recognition, particularly in the context of existing methodologies and datasets. While various machine learning techniques, including Support Vector Machines (SVM) and Principal Component Analysis (PCA), have been employed for sign language recognition, the focus has shifted towards deep learning approaches, particularly Convolutional Neural Networks (CNNs). Recent studies have demonstrated significant accuracy improvements, with some achieving up to 98% accuracy using CNN architectures tailored for BSL. However, many existing systems rely on small, self-collected datasets, limiting their applicability and generalization capabilities.
To address these limitations, the authors propose a novel skeleton-based BSL recognition system utilizing a spatial-temporal attention model. This approach aims to enhance the model’s efficiency and generalization by leveraging a newly created dataset, the Ishara-Lipi, which includes 36 gestures and diverse environmental conditions. The proposed model incorporates a Separable Temporal Convolutional Network (Sep-TCN) to reduce computational complexity while maintaining performance. Additionally, the architecture employs multi-head attention mechanisms to extract meaningful features from the skeleton data, thereby improving the recognition accuracy and generalization across different datasets. Overall, the study emphasizes the need for robust datasets and advanced modeling techniques to enhance BSL recognition systems, ultimately benefiting the deaf and hard-of-hearing community.