نظارات ذكية مدعومة بالذكاء الاصطناعي مع التعرف على الأجسام والصوت في الوقت الحقيقي للمستخدمين ذوي الإعاقة البصرية AIoT Smart Eyewear with Real-time Object and Audio Recognition for Visually Impaired Users

شارك:
المجلة: Journal of Mobile Multimedia
DOI: https://doi.org/10.13052/jmm1550-4646.2212
تاريخ النشر: 2026-03-26
المؤلف: Pritam Nanda وآخرون
الموضوع الرئيسي: التكنولوجيا المساعدة في التواصل والتنقل

نظرة عامة

الأداة المقترحة للنظارات الذكية تهدف إلى مساعدة الأفراد ذوي الإعاقة البصرية (VI) أو المكفوفين من خلال توفير اكتشاف الأجسام في الوقت الحقيقي ووصف صوتي لبيئتهم، مما يسهل التنقل الآمن والمستقل. يدمج هذا النظام تقنيات الذكاء الاصطناعي (AI) وإنترنت الأشياء (IoT) في جهاز مدمج وقابل للارتداء. تشمل المكونات الرئيسية وحدة ESP32-CAM لاكتشاف الأجسام باستخدام خوارزمية YOLO، ومستشعر TF-Luna LiDAR لقياس المسافات، وسماعة عنق مزودة بتقنية Bluetooth لتقديم الملاحظات الصوتية. يتميز النظام أيضًا بالتنقل ليلاً ووظيفة تنبيه الطوارئ، مما يظهر أداءً عاليًا بدقة 94.93%، ومتوسط خطأ مطلق (MAE) قدره 0.34 سم، وجذر متوسط مربع الخطأ (RMSE) قدره 0.44 سم في ظروف الإضاءة المختلفة.

سيركز العمل المستقبلي على تعزيز كفاءة النظام من خلال تحسين الأجهزة ونماذج التعلم العميق المتقدمة لمعالجة أسرع على الأجهزة الطرفية. تشمل التحسينات المخطط لها إضافة التعرف على الإيماءات والوجوه، ودعم متعدد اللغات، والتنقل المعتمد على نظام تحديد المواقع العالمي (GPS) للاستخدام في الهواء الطلق، والتكامل مع نظارات الواقع المعزز (AR) للإرشاد المكاني. تهدف هذه المقاربة التطويرية المرحلية إلى ضمان قابلية الاستخدام والأداء مع توسيع قدرات التنقل للنظام. يعد الاختبار مع قاعدة مستخدمين أكبر في بيئات العالم الحقيقي أمرًا ضروريًا للتحقق من موثوقية النظام وفعاليته.

مقدمة

تسلط مقدمة الورقة الضوء على الدور الهام للهندسة وتقنيات الإنترنت في تحسين حياة الأفراد ذوي الإعاقة، وخاصة أولئك الذين يعانون من ضعف البصر (VI). وفقًا لمنظمة الصحة العالمية (WHO)، يتأثر أكثر من 2.2 مليار شخص على مستوى العالم بضعف البصر، مع وجود حوالي 90% منهم في البلدان النامية. يواجه هؤلاء الأفراد العديد من التحديات، خاصة في التنقل في بيئات ذات حركة مرور كثيفة، مما يمكن أن يقلل من جودة حياتهم ويؤدي إلى مشكلات مثل الاكتئاب والعزلة الاجتماعية. غالبًا ما تعاني الأجهزة المساعدة الحالية من ارتفاع التكاليف أو محدودية الوظائف، مما يبرز الحاجة إلى حلول أكثر فعالية.

لمعالجة هذه التحديات، تقدم الورقة نظام نظارات ذكية مبتكر، يسمى رؤية الذكاء الاصطناعي والتعرف الصوتي لاستقلالية تنقل الأفراد ذوي الإعاقة البصرية (VIuNI). يدمج هذا النظام الذكاء الاصطناعي وإنترنت الأشياء (IoT) لتوفير ملاحظات صوتية في الوقت الحقيقي، مما يعزز التنقل والسلامة والثقة لمستخدمي VI في كل من البيئات الداخلية والخارجية. من خلال التركيز على إمكانية الوصول وسهولة الاستخدام، تهدف الحلول المقترحة إلى تحسين جودة حياة الأفراد ذوي الإعاقة البصرية من خلال تصميم منخفض التكلفة، مدمج وخفيف الوزن، مما يسهل اعتماده على نطاق واسع. ستستعرض الأقسام التالية من الورقة الأساليب الحالية المعتمدة على إنترنت الأشياء، وتحدد الأهداف وصياغة المشكلة للنظام المقترح، وتفصل بنية النظام، وتقدم نتائج تنفيذ النموذج، وتختتم بتوجيهات البحث المستقبلية.

نقاش

تناقش البحث تطوير نظام نظارات ذكية مبتكر يعتمد على الذكاء الاصطناعي يهدف إلى تعزيز استقلالية ووعي الأفراد ذوي الإعاقة البصرية (VI). تعالج الحلول المقترحة الحواجز المالية المرتبطة بالتقنيات المساعدة الحالية في الهند من خلال استخدام خدمات رؤية الكمبيوتر (CV) عبر الإنترنت بتكلفة منخفضة. تشمل الميزات الرئيسية للنظام أوصاف صوتية في الوقت الحقيقي للبيئة، وقدرات اكتشاف الأجسام، ووظيفة تنبيه الطوارئ SOS، جميعها مقدمة من خلال سماعة عنق مزودة بتقنية Bluetooth. يسمح دمج تقنيات الذكاء الاصطناعي وإنترنت الأشياء بتقديم مساعدة فعالة في التنقل، حيث يمكن للنظام اكتشاف أجسام متنوعة وتقديم ملاحظات صوتية للمستخدمين.

تتكون بنية النظام من وحدة ESP32-CAM ومستشعر TF-Luna LiDAR، اللذان يعملان معًا لالتقاط البيانات البصرية وقياس المسافات، على التوالي. تتضمن تدفق المعالجة اكتساب الصور، وإعداد مجموعة البيانات باستخدام Roboflow، واكتشاف الأجسام في الوقت الحقيقي عبر خوارزمية YOLO. أظهر النظام دقة عالية في اكتشاف الأجسام وقياس المسافات، حيث حقق معدل دقة قدره 94.93% مع متوسط خطأ مطلق قدره 0.34 سم. يعزز مستشعر LiDAR بشكل كبير اكتشاف العقبات، مما يوفر بيانات موثوقة عن المسافات للتنقل. يهدف العمل المستقبلي إلى تحسين كفاءة الأجهزة، ودمج نظام تحديد المواقع العالمي (GPS) للتنقل في الهواء الطلق، واستكشاف ميزات إضافية مثل التعرف على الإيماءات والتراكبات للواقع المعزز، مما يضمن تحسينًا مستمرًا في قابلية الاستخدام والأداء لمستخدمي VI.

القيود

تسلط قسم القيود الضوء على التقدم في التقنيات المساعدة للأفراد ذوي الإعاقة البصرية (VI)، وخاصة من خلال دمج AIoT وتعلم الآلة. بينما ركزت العديد من الدراسات على تطوير مساعدات التواصل والتنقل، تؤكد الأبحاث بشكل أساسي على فعالية هذه الأنظمة في تعزيز استقلالية ومشاركة الأفراد ذوي الإعاقة البصرية. تم استكشاف منهجيات متنوعة، بما في ذلك رؤية الكاميرا ومعالجة الإشارات لاكتشاف الأجسام، مما أدى إلى إنشاء أنظمة تستخدم خوارزميات مثل الكائنات الشائعة في السياق (COCO) واكتشاف اللقطة الواحدة (SSD) لاكتشاف العقبات والتنقل في الوقت الحقيقي.

ومع ذلك، تشير القسم إلى أنه على الرغم من هذه التقدمات، هناك قيود جوهرية في التقنيات الحالية. تعتمد العديد من الأنظمة على مستشعرات أو بنية تحتية خارجية، والتي قد لا تكون قابلة للتطبيق في جميع البيئات. بالإضافة إلى ذلك، بينما تعمل بعض الحلول على الأجهزة المحمولة، قد تفتقر إلى المتانة المطلوبة لتطبيقات العالم الحقيقي المتنوعة. تشير التحليلات المقارنة للنظارات المساعدة المتاحة تجاريًا والمزودة بتقنية AIoT إلى أنه على الرغم من تحقيق تقدم، لا يزال هناك حاجة لمزيد من البحث لتعزيز موثوقية وإمكانية الوصول وسهولة استخدام هذه التقنيات المساعدة للأفراد ذوي الإعاقة البصرية.

Journal: Journal of Mobile Multimedia
DOI: https://doi.org/10.13052/jmm1550-4646.2212
Publication Date: 2026-03-26
Author(s): Pritam Nanda et al.
Primary Topic: Assistive Technology in Communication and Mobility

Overview

The proposed smart eyewear tool aims to assist visually impaired (VI) or blind individuals by providing real-time object detection and audio descriptions of their environment, facilitating safe and independent navigation. This system integrates artificial intelligence (AI) and Internet of Things (IoT) technologies into a compact, wearable device. Key components include an ESP32-CAM module for object detection using the YOLO algorithm, a TF-Luna LiDAR sensor for distance measurement, and a Bluetooth-enabled neckband for audio feedback. The system also features night-time navigation and an emergency alert function, demonstrating high performance with an accuracy of 94.93%, a mean absolute error (MAE) of 0.34 cm, and a root mean square error (RMSE) of 0.44 cm in various lighting conditions.

Future work will focus on enhancing system efficiency through hardware optimization and advanced deep learning models for faster processing on edge devices. Planned improvements include the addition of gesture and face recognition, multilingual support, GPS-based navigation for outdoor use, and integration with augmented reality (AR) glasses for spatial guidance. This phased development approach aims to ensure usability and performance while expanding the system’s navigation capabilities. Testing with a larger user base in real-world environments is essential for validating the system’s reliability and effectiveness.

Introduction

The introduction of the paper highlights the significant role of engineering and internet technologies in improving the lives of individuals with disabilities, particularly those who are visually impaired (VI). According to the World Health Organization (WHO), over 2.2 billion people globally are affected by visual impairments, with approximately 90% residing in developing countries. These individuals encounter numerous challenges, especially in navigating environments with heavy traffic, which can diminish their quality of life and lead to issues such as depression and social isolation. Current assistive devices often suffer from high costs or limited functionalities, underscoring the need for more effective solutions.

To address these challenges, the paper introduces an innovative smart eyewear system, termed AI vision and audio recognition for visually impaired individuals’ navigation independence (VIuNI). This system integrates artificial intelligence and the Internet of Things (IoT) to provide real-time audio feedback, enhancing the mobility, safety, and confidence of VI users in both indoor and outdoor settings. By focusing on accessibility and usability, the proposed solution aims to improve the quality of life for VI individuals through a low-cost, compact, and lightweight design, facilitating widespread adoption. The subsequent sections of the paper will review existing IoT-based approaches, outline the objectives and problem formulation of the proposed system, detail the system architecture, present model execution results, and conclude with future research directions.

Discussion

The research discusses the development of an innovative AI-based smart eyewear system aimed at enhancing the independence and situational awareness of visually impaired (VI) individuals. The proposed solution addresses the financial barriers associated with existing assistive technologies in India by utilizing cost-effective online computer vision (CV) services. Key features of the system include real-time audio descriptions of the environment, object detection capabilities, and an emergency SOS alert function, all delivered through a Bluetooth-enabled neckband. The integration of AI and IoT technologies allows for efficient navigation assistance, with the system capable of detecting various objects and providing auditory feedback to users.

The architecture of the system comprises an ESP32-CAM module and a TF-Luna LiDAR sensor, which work together to capture visual data and measure distances, respectively. The processing flow involves image acquisition, dataset preparation using Roboflow, and real-time object detection via the YOLO algorithm. The system demonstrated high accuracy in object detection and distance measurement, achieving a 94.93% accuracy rate with a mean absolute error of 0.34 cm. The LiDAR sensor significantly enhances obstacle detection, providing reliable distance data for navigation. Future work aims to optimize hardware efficiency, incorporate GPS for outdoor navigation, and explore additional features such as gesture recognition and augmented reality overlays, ensuring continuous improvement in usability and performance for VI users.

Limitations

The section on limitations highlights the advancements in assistive technologies for visually impaired (VI) individuals, particularly through the integration of AIoT and machine learning. While numerous studies have focused on developing communication and navigation aids, the research primarily emphasizes the effectiveness of these systems in enhancing the independence and social participation of VI users. Various methodologies, including camera vision and signal processing for object detection, have been explored, leading to the creation of systems that utilize algorithms such as the common objects in context (COCO) and single shot detection (SSD) for real-time obstacle detection and navigation.

However, the section suggests that despite these advancements, there are inherent limitations in the existing technologies. Many systems rely on external sensors or infrastructure, which may not be feasible in all environments. Additionally, while some solutions operate on mobile devices, they may lack the robustness required for diverse real-world applications. The comparative analysis of commercially available AIoT-enabled assistive eyewear indicates that while progress has been made, there remains a need for further research to enhance the reliability, accessibility, and user-friendliness of these assistive technologies for VI individuals.