نظام رؤية مساعد ذكي قابل للارتداء للمكفوفين باستخدام التعلم العميق القائم على الحافة Smart Wearable Vision-Assistance System for Visually Impaired Using Edge-Based Deep Learning

شارك:
المجلة: Turkish Journal of Engineering، المجلد: 10، العدد: 3
DOI: https://doi.org/10.31127/tuje.1869785
تاريخ النشر: 2026-07-06
المؤلف: Harika B وآخرون
الموضوع الرئيسي: التكنولوجيا المساعدة في التواصل والتنقل

نظرة عامة

تقدم ورقة البحث نظام رؤية مساعد قابل للارتداء منخفض التكلفة وخفيف الوزن مصمم لتعزيز الحركة للأفراد ذوي الإعاقة البصرية. يعمل هذا النظام بالكامل على مبادئ الحوسبة الطرفية، باستخدام Raspberry Pi Zero 2W ونموذج كشف الكائنات المحسن باستخدام TensorFlow Lite الذي يعالج المدخلات من كاميرا أحادية. يوفر الإطار قدرات في الوقت الحقيقي لتحديد الكائنات، وتقدير المسافة التقريبية، وتحديد المواقع (يمين، يسار، مركز)، مع تقديم ملاحظات صوتية للمستخدمين. تشير النتائج التجريبية إلى معدل كشف متوسط قدره 92%، ومعدل تحديد المواقع بنسبة 85%، وزمن تأخير في الملاحظات الصوتية أقل من ثانيتين، مع الحفاظ على استهلاك الطاقة أقل من 5 واط.

في الختام، يُظهر الهيكل المقترح جدوى تنفيذ أنظمة رؤية مساعدة فعالة على منصات مدمجة ذات استهلاك طاقة منخفض للغاية دون الاعتماد على الاتصال السحابي أو إعدادات حساسات معقدة. يتضمن تصميم النظام تصفية واعية بالثقة، وتحليل الاستقرار الزمني، وأولوية الكائنات بناءً على السياق، مما يعزز من قوته ويقلل من الحمل المعرفي للمستخدمين. تشمل اتجاهات البحث المستقبلية تحسين الأداء تحت ظروف الإضاءة المتغيرة، وإجراء تقييمات تركز على المستخدم، واستكشاف ميزات متقدمة مثل الملاحة المعتمدة على GPS ودمج معالجات الذكاء الاصطناعي الطرفية لتحسين الوظائف.

مقدمة

تسلط المقدمة الضوء على القضية الصحية العالمية الحرجة المتعلقة بالإعاقة البصرية، التي تؤثر على أكثر من 2.2 مليار فرد، مع حوالي 43 مليون يعانون من العمى التام. تقيد هذه الحالة الحركة، والوعي البيئي، والتنقل الآمن بشكل كبير، مما يؤثر سلبًا على جودة الحياة والانخراط الاجتماعي. توفر المساعدات التقليدية مثل العصا البيضاء والكلاب المرشدة معلومات محدودة بشأن هوية الكائنات وتنظيم الفضاء، مما يبرز ضرورة وجود تقنيات مساعدة متقدمة تعزز الإدراك بما يتجاوز مجرد كشف العقبات.

لقد سهلت التطورات الحديثة في رؤية الكمبيوتر والتعلم العميق تطوير أنظمة إدراك ذكية قادرة على تفسير المشاهد البصرية المعقدة في الوقت الحقيقي. بينما ظهرت مساعدات الرؤية القابلة للارتداء التي تحول البيانات البصرية إلى ملاحظات صوتية أو لمسية، لا تزال هناك تحديات في نشر الأنظمة المعتمدة على التعلم العميق على منصات مدمجة ذات استهلاك طاقة منخفض بسبب القيود في قدرات المعالجة، واستهلاك الطاقة، والحجم. غالبًا ما تعتمد الحلول الحالية على الحوسبة السحابية، مما يؤدي إلى تأخير ومخاوف تتعلق بالخصوصية. يقدم إدخال الذكاء الاصطناعي المعتمد على الحافة بديلاً واعدًا، مما يسمح بالاستدلال في الوقت الحقيقي على الجهاز. تقترح هذه الورقة نظام مساعدة رؤية ذكي قابل للارتداء بالكامل يعتمد على الحافة يدمج كاميرا أحادية مع نموذج كشف كائنات خفيف الوزن باستخدام TensorFlow Lite، مما يمكّن من الكشف في الوقت الحقيقي عن الكائنات الدلالية وتقديم ملاحظات صوتية لتعزيز الوعي المكاني للمستخدمين ذوي الإعاقة البصرية.

الطرق

تصف المنهجية الموضحة في هذا القسم الإطار لتطوير نظام مساعد للرؤية قابل للارتداء، قوي، في الوقت الحقيقي، يعتمد على الحافة، يهدف إلى مساعدة المستخدمين ذوي الإعاقة البصرية. تشمل الأهداف الرئيسية للمنهجية ضمان الإدراك المستقر، وتقليل الاكتشافات الخاطئة، وتقليل الحمل المعرفي للمستخدمين. يتم تمثيل الإطار بصريًا في الشكل 3، الذي يوضح المكونات والعمليات المعنية في تحقيق هذه الأهداف. تعتبر هذه المقاربة المنهجية ضرورية لتعزيز فعالية وقابلية استخدام نظام المساعدة للرؤية في السيناريوهات الواقعية.

النتائج

تظهر نتائج الدراسة التنفيذ الناجح لنظام مساعدة للرؤية قابل للارتداء يستخدم Raspberry Pi Zero 2W مع وحدة كاميرا أحادية. قام هذا النظام بأداء كشف الكائنات، وتحديد المواقع، وتوليد الصوت بشكل مستقل عن خدمات السحابة أو المسرعات المخصصة للأجهزة. لمحاكاة ظروف الاستخدام الواقعية، تم تشغيل الجهاز بواسطة بنك طاقة خارجي أثناء الاختبار.

لضمان أداء مستقر في الوقت الحقيقي على الرغم من الموارد الحاسوبية المحدودة، استخدم الباحثون نموذج كشف كائنات خفيف الوزن محسن باستخدام TensorFlow Lite. تم معالجة إطارات الفيديو بمعدل إطار متحكم فيه لتجنب تحميل المعالج والحفاظ على الاستقرار الحراري. تم إجراء التجارب في بيئات داخلية وخارجية متنوعة، بما في ذلك الممرات، والغرف، والممرات، والمساحات المفتوحة، تحت ظروف إضاءة وكثافات كائنات متنوعة. جميع النتائج المبلغ عنها هي متوسطات مستمدة من تجارب متعددة، مما يشير إلى قوة النظام عبر بيئات مختلفة.

المناقشة

تسلط قسم المناقشة في الورقة الضوء على تطور الحالة الحالية للتقنيات المساعدة المعتمدة على الرؤية للأفراد ذوي الإعاقة البصرية، مع التأكيد على الانتقال من المساعدات التقليدية إلى الأنظمة القابلة للارتداء المتقدمة. ركزت الدراسات الأولية على كشف العقبات باستخدام حساسات العمق، بينما استكشفت الأبحاث اللاحقة الأساليب المعتمدة على الكاميرات القابلة للارتداء، مثل NavCog وWearCam، التي دمجت رؤية الكمبيوتر مع الملاحظات الصوتية لتعزيز التنقل. لقد أدت التطورات الحديثة إلى دمج تقنيات التعلم العميق، مما يحسن من كشف الكائنات في الوقت الحقيقي والفهم الدلالي، كما يتضح من أنظمة مثل التعرف على ممرات المشاة من Poggi وآخرين وكشف الكائنات في الوقت الحقيقي من Niu وآخرين لمهام المناولة. على الرغم من هذه التقدمات، تشير الأدبيات إلى الحاجة المستمرة لأداء فعال في الوقت الحقيقي على منصات مدمجة ذات استهلاك طاقة منخفض، حيث تعتمد العديد من الأنظمة الحالية على أجهزة عالية الأداء أو معالجة سحابية، مما يحد من قابليتها للنقل والوصول.

يعالج النظام المقترح في هذه الورقة هذه الفجوات من خلال استخدام هيكل ذكاء اصطناعي معتمد على الحافة على Raspberry Pi Zero 2W، مما يمكّن من الوعي البيئي في الوقت الحقيقي من خلال كاميرا أحادية ونموذج كشف كائنات خفيف الوزن يعتمد على YOLO. يركز الهيكل على القابلية للتعديل والكفاءة الحاسوبية، ويشمل تقنيات مثل تصفية واعية بالثقة، وتحليل الاستقرار الزمني، وأولوية الكائنات بناءً على السياق لتعزيز تجربة المستخدم مع تقليل الحمل المعرفي. تظهر النتائج التجريبية أن النظام يحقق دقة كشف تزيد عن 92% ويعمل بشكل فعال ضمن قيود الطاقة والحرارة، مما يؤكد ملاءمته للاستخدام القابل للارتداء على المدى الطويل. تشير النتائج إلى أن المساعدة البصرية القابلة للارتداء العملية، منخفضة التكلفة، وكاملة العمل دون اتصال بالإنترنت يمكن تحقيقها على منصات ذات استهلاك طاقة منخفض للغاية، مما يمهد الطريق لتحسينات مستقبلية في القوة والتقييمات التي تركز على المستخدم.

Journal: Turkish Journal of Engineering, Volume: 10, Issue: 3
DOI: https://doi.org/10.31127/tuje.1869785
Publication Date: 2026-07-06
Author(s): Harika B et al.
Primary Topic: Assistive Technology in Communication and Mobility

Overview

The research paper presents a novel low-cost, lightweight wearable vision-assist system designed to enhance mobility for visually impaired individuals. This system operates entirely on edge computing principles, utilizing a Raspberry Pi Zero 2W and a TensorFlow Lite-optimized object detection model that processes input from a monocular camera. The framework provides real-time capabilities for object identification, rough distance estimation, and spatial positioning (right, left, center), delivering audio feedback to users. Experimental results indicate a mean detection rate of 92%, a spatial localization rate of 85%, and audio feedback latency under 2 seconds, all while maintaining power consumption below 5W.

In conclusion, the proposed architecture demonstrates the feasibility of implementing effective assistive vision systems on ultra-low-power embedded platforms without reliance on cloud connectivity or complex sensor setups. The system’s design incorporates confidence-aware filtering, temporal stability analysis, and context-based object prioritization, enhancing its robustness and reducing cognitive load for users. Future research directions include improving performance under varying lighting conditions, conducting user-centric evaluations, and exploring advanced features such as GPS-based navigation and the integration of edge AI coprocessors for enhanced functionality.

Introduction

The introduction highlights the critical global health issue of visual impairment, affecting over 2.2 billion individuals, with approximately 43 million experiencing total blindness. This condition severely restricts mobility, environmental awareness, and safe navigation, adversely impacting quality of life and social engagement. Traditional aids like white canes and guide dogs offer limited information regarding object identity and spatial organization, underscoring the necessity for advanced assistive technologies that enhance perception beyond mere obstacle detection.

Recent advancements in computer vision and deep learning have facilitated the development of intelligent perception systems capable of interpreting complex visual scenes in real time. While wearable vision aids that convert visual data into audio or haptic feedback have emerged, challenges remain in deploying deep learning-based systems on low-power embedded platforms due to constraints in processing capabilities, power consumption, and size. Current solutions often rely on cloud computing, leading to latency and privacy concerns. The introduction of edge-based artificial intelligence presents a promising alternative, allowing for real-time inference on-device. This paper proposes a fully edge-based smart wearable vision-assistance system that integrates a monocular camera with a lightweight object detection model using TensorFlow Lite, enabling real-time detection of semantic objects and providing audio feedback to enhance spatial awareness for visually impaired users.

Methods

The methodology outlined in this section describes the framework for developing a robust, real-time, edge-based wearable vision-assistance system aimed at aiding visually impaired users. Key objectives of the methodology include ensuring stable perception, minimizing false detections, and reducing cognitive overload for users. The framework is visually represented in Figure 3, which illustrates the components and processes involved in achieving these goals. This structured approach is essential for enhancing the effectiveness and usability of the vision-assistance system in real-world scenarios.

Results

The results of the study demonstrate the successful implementation of a wearable vision-assistance system utilizing a Raspberry Pi Zero 2W with a monocular camera module. This system effectively performed object detection, spatial positioning, and audio generation independently of cloud services or specialized hardware accelerators. To simulate realistic usage conditions, the device was powered by an external power bank during testing.

To ensure stable real-time performance despite limited computational resources, the researchers employed a TensorFlow Lite-optimized lightweight object detection model. Video frames were processed at a controlled frame rate to avoid CPU overload and maintain thermal stability. The experiments were conducted in various indoor and outdoor settings, including corridors, rooms, walkways, and open spaces, under diverse lighting conditions and object densities. All reported results are averages derived from multiple trials, indicating the robustness of the system across different environments.

Discussion

The discussion section of the paper highlights the evolution and current state of vision-based assistive technologies for visually impaired individuals, emphasizing the transition from traditional mobility aids to advanced wearable systems. Initial studies focused on obstacle detection using depth sensors, while subsequent research explored wearable camera-based approaches, such as NavCog and WearCam, which integrated computer vision with audio feedback to enhance navigation. Recent advancements have incorporated deep learning techniques, improving real-time object detection and semantic understanding, as demonstrated by systems like Poggi et al.’s crosswalk recognition and Niu et al.’s real-time object detection for manipulation tasks. Despite these advancements, the literature indicates a persistent need for efficient, real-time performance on low-power embedded platforms, as many existing systems rely on high-performance hardware or cloud processing, which limits their portability and accessibility.

The proposed system in this paper addresses these gaps by utilizing a layered edge-AI architecture on a Raspberry Pi Zero 2W, enabling real-time environmental awareness through a monocular camera and a lightweight YOLO-based object detection model. The architecture emphasizes modularity and computational efficiency, incorporating techniques such as confidence-aware filtering, temporal stability analysis, and context-based object prioritization to enhance user experience while minimizing cognitive overload. Experimental results demonstrate that the system achieves over 92% detection accuracy and operates effectively within power and thermal constraints, confirming its suitability for long-term wearable use. The findings suggest that practical, low-cost, and fully offline wearable vision assistance is achievable on ultra-low-power platforms, paving the way for future enhancements in robustness and user-centric evaluations.