DOI: https://doi.org/10.1016/j.cviu.2026.104664
تاريخ النشر: 2026-01-22
المؤلف: Svetlana Yanushkevich وآخرون
الموضوع الرئيسي: التكنولوجيا المساعدة في التواصل والتنقل
نظرة عامة
تقدم هذه الورقة خارطة طريق تكنولوجية تهدف إلى تعزيز أنظمة التواصل البديل والمعزز (AAC) المخصصة للأفراد ذوي الإعاقة من خلال أساليب تعتمد على القياسات الحيوية. وتقدم مكونين رئيسيين: سجل قياسات حيوية لـ AAC يقوم بالتقاط وتحويل الصفات الفسيولوجية والسلوكية للتواصل التكيفي، ووحدات تكنولوجية قابلة للتشغيل المتبادل تسهل هياكل AAC القابلة لإعادة التكوين عبر مختلف الأجهزة. ترتبط المنهجية بشكل فعال بين الأبحاث الراسخة والممارسات الحاسوبية الناشئة، كما يتضح من دراسات الحالة مثل التعرف على لغة الإشارة.
يجادل المؤلفون بأن خارطة الطريق المقترحة تعتبر أداة مهمة في تحديث المسارات الاجتماعية والتكنولوجية التي ترى الإعاقة كجانب من جوانب التنوع البشري. تحدد الاتجاهات والعقبات وآفاق المستقبل في نشر AAC، مع التأكيد على أهمية الحلول المخصصة. وتخلص الدراسة إلى أن خارطة الطريق المطورة هي أداة قيمة لدمج التقدم التكنولوجي، مثل التوائم الرقمية، في مجال AAC. كما تسلط الضوء على ضرورة تحسين دقة التعرف على إشارات اليد ولغة الإشارة لتطبيقات أوسع، خاصة في إعدادات النقل الجماعي. علاوة على ذلك، تؤكد الورقة على أهمية تقنيات الحفاظ على الخصوصية، مثل الخصوصية التفاضلية، في استخدام بيانات المستخدم لتدريب أدوات AAC الذكية، مما يعالج المخاطر المحتملة المرتبطة بكشف البيانات.
مقدمة
ت outlines مقدمة هذه الورقة خارطة طريق شاملة لتطوير أنظمة التواصل البديل والمعزز (AAC) المخصصة للأفراد ذوي الإعاقة، مع التركيز على دمج التقنيات الحيوية. يتم تعريف AAC كنهج مخصص مدعوم بالقياسات الحيوية يدعم المستخدمين ذوي إعاقات التواصل من خلال التكيف مع ميزاتهم الفريدة. يبرز المؤلفون قيود التعديلات التقليدية التي يقودها الخبراء، والتي غالبًا ما تكون غير فعالة ومكلفة، داعين إلى عملية تخصيص تفاعلية آلية تستفيد من نماذج ديناميكية معرفية وآليات حوسبة ذات وعي ذاتي.
تقترح الورقة إطار عمل يتضمن سجل قياسات حيوية لـ AAC، الذي يسجل الصفات الحيوية لتطبيقات AAC، ووحدات تكنولوجية قابلة للتشغيل المتبادل تعزز الوظائف وسهولة الوصول. يؤكد المؤلفون على أهمية التشغيل المتبادل والتوافق وإعادة التكوين في أنظمة AAC لتسهيل التواصل الفعال بين المستخدمين ذوي الإعاقات المختلفة وشركائهم في التواصل. بالإضافة إلى ذلك، تهدف الدراسة إلى سد الفجوات الموجودة في تصميم أنظمة AAC المدعومة بالقياسات الحيوية، مع معالجة مخاوف الخصوصية والحاجة إلى حلول مبتكرة لتعزيز تجربة المستخدم. تمهد المقدمة الطريق لاستكشاف مفصل لتخصيص AAC، ورسم خرائط التكنولوجيا، وتطوير نهج منهجي لدمج الحلول الحيوية في أنظمة AAC.
الطرق
في هذا القسم، يقدم المؤلفون دراستين تجريبيتين تركزان على تقنيات التواصل البديل والمعزز (AAC)، وتحديدًا في التعرف على الإيماءات والتعرف على كلمات لغة الإشارة، مع معالجة المشكلات المفتوحة في تطبيقات التحكم الحدودي شبه الآلي. تركز دراسة الحالة الأولى على التعرف على الإيماءات باستخدام مجموعة بيانات Dynamic Hand Gesture-14/28، التي تتضمن إيماءات قام بها عشرون فردًا. تم استخدام نموذج جماعي مع أربعة مصنفات، محققًا دقة التعرف بنسبة 86% لمواقع مفاصل الهيكل العظمي و85% عند دمج بيانات العمق والهيكل العظمي. ومن الجدير بالذكر أن إيماءة الاهتزاز حققت دقة بنسبة 95%. تشير النتائج إلى وجود خطر بنسبة 15%-30% من سوء التواصل في تطبيقات AAC العملية، مما يبرز الإمكانية للهجمات الدلالية في سياقات الأمان، مثل التحكم الحدودي، حيث يمكن أن تؤدي عدم دقة التعرف على الإيماءات إلى سوء الفهم.
تتناول دراسة الحالة الثانية التعرف على كلمات لغة الإشارة، مع التأكيد على الحاجة إلى أساليب حاسوبية فعالة لترجمة الإيماءات إلى لغة منطوقة أو مكتوبة. يشير المؤلفون إلى أنه بينما يعد التعرف في الوقت الحقيقي أمرًا حيويًا للسيناريوهات الطارئة، فإن العديد من النماذج الحالية تتطلب موارد حاسوبية كبيرة، مما يؤدي إلى تأخيرات في المعالجة. أظهرت التقدمات الأخيرة باستخدام نماذج أقل تعقيدًا، مثل الشبكات العصبية التلافيفية وخوارزمية DyFAV، وعدًا في التعرف على لغة الإشارة الأمريكية (ASL). ومع ذلك، لا تزال التحديات قائمة، بما في ذلك أحجام مجموعات البيانات المحدودة وتغطية المفردات، مما يسهم في انخفاض معدلات الدقة في التعرف على ASL مقارنةً بلغات الإشارة الأخرى. يبرز هذا القسم أهمية تحسين دقة التعرف على الإيماءات لتعزيز فعالية التواصل في تقنيات AAC.
المناقشة
في هذا القسم، يقوم المؤلفون بإجراء تحليل شامل لأنظمة التواصل البديل والمعزز (AAC) المخصصة، مع التأكيد على الحاجة إلى إطار مقارن منظم. يصنفون معايير التقييم إلى جوانب نوعية وكمية، مع التركيز على المجال المحدد لـ AAC المخصص، الذي يشمل إدراك الشخصية التلقائي، والتعرف، والتوليف. تبرز الدراسة أهمية تكييف أجهزة AAC لتلبية احتياجات المستخدم الفردية، مثل تخصيص مولدات الصوت لضعف النطق أو معرّفات الإيماءات لقيود الوظائف الحركية. يحدد المؤلفون الفئات الرئيسية للتحليل المقارن، بما في ذلك وجهات نظر تصنيف AAC، والتقاطعات الاجتماعية-التكنولوجية، واستراتيجيات التخصيص، والأطر التعليمية، مستندين إلى مراجعة منهجية للأدبيات ورؤى الخبراء.
يقترح المؤلفون نهج رسم خرائط التكنولوجيا لمعالجة التحديات في تصميم AAC المخصص، مع التأكيد على دمج التقنيات الحيوية لتعزيز التخصيص. ي outline منهجية من ثلاث خطوات لرسم خرائط التكنولوجيا تشمل تقييم الاتجاهات الحالية، وتحديد الفجوات التكنولوجية، وتوقع التطورات المستقبلية. تناقش الورقة أيضًا دور الخبراء في عملية التخصيص، داعية إلى نموذج “الإنسان في الحلقة” الذي يدمج ملاحظات المستخدم في تعديلات نظام AAC. بشكل عام، تؤكد النتائج على الحاجة الملحة لإطار منظم وجهود تعاونية لتقدم تقنيات AAC المخصصة، خاصة في سياقات مثل أنظمة النقل الجماعي حيث تظل إمكانية الوصول تحديًا كبيرًا.
DOI: https://doi.org/10.1016/j.cviu.2026.104664
Publication Date: 2026-01-22
Author(s): Svetlana Yanushkevich et al.
Primary Topic: Assistive Technology in Communication and Mobility
Overview
This paper presents a technology roadmap aimed at enhancing personalized Augmentative and Alternative Communication (AAC) systems for individuals with disabilities through biometric-based approaches. It introduces two primary components: an AAC biometric register that captures and transforms physiological and behavioral traits for adaptive communication, and interoperable technological modules that facilitate reconfigurable AAC architectures across various devices. The methodology effectively links established research with emerging computational practices, as evidenced by case studies such as sign language recognition.
The authors argue that the proposed roadmap is instrumental in updating socio-technological pathways that view disability as a facet of human diversity. It identifies trends, obstacles, and future perspectives in AAC deployment, emphasizing the importance of personalized solutions. The study concludes that the developed roadmap is a valuable tool for integrating technological advancements, such as digital twins, into the AAC field. It highlights the necessity of improving hand gesture and sign language recognition accuracy for broader applications, particularly in mass transportation settings. Furthermore, the paper underscores the significance of privacy-preserving techniques, like differential privacy, in utilizing user data for training intelligent AAC tools, thereby addressing potential risks associated with data disclosure.
Introduction
The introduction of this paper outlines a comprehensive roadmap for developing personalized Augmented and Alternative Communication (AAC) systems for individuals with disabilities, emphasizing the integration of biometric technologies. AAC is defined as a personalized, biometric-enabled approach that supports users with communication disabilities by adapting to their unique features. The authors highlight the limitations of traditional expert-driven adaptations, which are often inefficient and costly, advocating for an automated, interactive personalization process that leverages cognitive dynamic models and self-aware computing mechanisms.
The paper proposes a framework that includes an AAC biometric register, which catalogs biometric traits for AAC applications, and interoperable technological modules that enhance functionality and accessibility. The authors stress the importance of interoperability, compatibility, and reconfigurability in AAC systems to facilitate effective communication among users with varying disabilities and their communication partners. Additionally, the study aims to bridge existing gaps in the design of biometric-enabled AAC systems, addressing privacy concerns and the need for innovative solutions to enhance user experience. The introduction sets the stage for a detailed exploration of AAC personalization, technology roadmapping, and the development of a systematic approach to integrating biometric solutions into AAC systems.
Methods
In this section, the authors present two experimental case studies focused on augmentative and alternative communication (AAC) technologies, specifically in gesture recognition and sign language word recognition, while also addressing open problems in semi-automated border control applications. The first case study on gesture recognition utilizes the Dynamic Hand Gesture-14/28 dataset, which includes gestures performed by twenty individuals. An ensemble model with four classifiers was employed, achieving recognition accuracies of 86% for skeleton joint positions and 85% when combining depth and skeleton data. Notably, the Shake gesture reached an accuracy of 95%. The findings indicate a 15%-30% risk of miscommunication in practical AAC applications, highlighting the potential for semantic attacks in security contexts, such as border control, where gesture recognition inaccuracies could lead to misunderstandings.
The second case study addresses sign language word recognition, emphasizing the need for efficient computational approaches to translate gestures into spoken or written language. The authors note that while real-time recognition is crucial for emergency scenarios, many existing models are computationally intensive, leading to processing delays. Recent advancements using less complex models, such as Convolutional Neural Networks and the DyFAV algorithm, have shown promise in recognizing American Sign Language (ASL). However, challenges remain, including limited dataset sizes and vocabulary coverage, which contribute to lower accuracy rates in ASL recognition compared to other sign languages. The section underscores the importance of improving gesture recognition accuracy to enhance communication efficacy in AAC technologies.
Discussion
In this section, the authors conduct a comprehensive analysis of personalized Augmentative and Alternative Communication (AAC) systems, emphasizing the need for a structured comparative framework. They categorize evaluation criteria into qualitative and quantitative aspects, focusing on the specific domain of personalized AAC, which encompasses automatic personality perception, recognition, and synthesis. The study highlights the importance of adapting AAC devices to individual user needs, such as customizing voice synthesizers for speech impairments or gesture recognizers for motor function limitations. The authors identify key categories for comparative analysis, including AAC taxonomical views, societal-technology intersections, personalization strategies, and educational frameworks, drawing on a systematic review of literature and expert insights.
The authors propose a technology roadmapping approach to address the challenges in personalized AAC design, emphasizing the integration of biometric technologies to enhance personalization. They outline a three-step methodology for technology roadmapping that includes assessing current trends, identifying technological gaps, and forecasting future developments. The paper also discusses the role of experts in the personalization process, advocating for a human-in-the-loop model that incorporates user feedback into AAC system adaptations. Overall, the findings underscore the critical need for a structured framework and collaborative efforts to advance personalized AAC technologies, particularly in contexts such as mass transit systems where accessibility remains a significant challenge.