DOI: https://doi.org/10.17148/iarjset.2026.13220
تاريخ النشر: 2026-02-20
المؤلف: Aishwarya C وآخرون
الموضوع الرئيسي: التكنولوجيا المساعدة في التواصل والتنقل
نظرة عامة
تقدم البحث نظام مساعد ذكي مدعوم بالإنترنت للأشياء مصمم لتعزيز التنقل المستقل للأفراد ذوي الإعاقة البصرية. يدمج هذا النظام نماذج تعلم عميق خفيفة الوزن تعتمد على YOLO للكشف الفعال عن العقبات، وتخطيط المسار، والتفاعل مع البيئة، يتم نشره على أجهزة الحافة مثل Raspberry Pi 5 و NVIDIA Jetson Nano. باستخدام متغيرات YOLOv8n/YOLOv5s المحسنة مع تقليل الكمية INT8، يحقق النظام دقة متوسطة تبلغ 92% عند عتبة 0.5 مع الحفاظ على سرعة استدلال تزيد عن 35 إطارًا في الثانية (FPS) واستهلاك أقل من 1.8 واط من الطاقة. تسهل دمج دمج المستشعرات متعددة الأنماط، بما في ذلك كاميرات RGB-D الاستريو، ومصفوفات الموجات فوق الصوتية، وبيانات IMU، رسم خرائط ثلاثية الأبعاد قوية وتغذية راجعة ديناميكية من خلال إشارات لمسية وصوتية.
تظهر التجارب الميدانية التي أجريت على مدى 25 كيلومترًا في بيئات حضرية ومغلقة متنوعة معدل نجاح يبلغ 95.2% في تجنب العقبات ومعدل إيجابيات خاطئة يبلغ 3.1% فقط، مما يتفوق بشكل كبير على الحلول التجارية الحالية بنسبة 28% في دقة الكشف. تتيح ابتكارات النظام، مثل دمج تهديدات كالمان ودمج المستشعرات متعددة الأنماط، أداءً على مستوى الإنتاج مع ضمان خصوصية المستخدم. تختتم الدراسة برؤية للتقدمات المستقبلية، بما في ذلك تسريع Edge TPU والتعلم الفيدرالي، والتي يمكن أن تعزز قدرات النظام نحو تحقيق مستوى 4 من التنقل المستقل SAE، مما يمكّن 2.2 مليار فرد من ذوي الإعاقات البصرية في جميع أنحاء العالم.
مقدمة
تسلط المقدمة الضوء على التحدي العالمي الكبير للإعاقة البصرية، الذي يؤثر على 2.2 مليار شخص، حيث يفتقر 1 مليار إلى الدعم الفعال من الحلول الحالية. تعتبر وسائل المساعدة التقليدية، مثل العصا البيضاء والكلاب المرشدة، غير كافية للتنقل في البيئات الحضرية المعقدة، حيث إنها لا تسهل تخطيط المسار في الوقت الحقيقي أو التفاعل مع العناصر الديناميكية مثل المركبات والمشاة. تزيد قيود نماذج التعلم العميق الحالية لرؤية الكمبيوتر، التي تتميز بارتفاع زمن الاستجابة واستهلاك الطاقة، من تفاقم الفوارق الاجتماعية، مما يسهم في معدل بطالة مذهل يبلغ 70% بين ذوي الإعاقة البصرية مقارنة بـ 5% في عموم السكان.
على الرغم من التقدم في التعلم العميق الخفيف والحوسبة على الحافة، لا تزال أنظمة المساعدة الموجهة للمستخدم نادرة. غالبًا ما تتنازل الحلول الحالية إما عن الدقة من أجل السرعة أو تعتمد على الاتصال السحابي، مما يثير مخاوف بشأن الخصوصية ويقدم زمن استجابة غير مقبول. تعمل وسائل المساعدة التجارية للتنقل عادةً بأقل من 20 إطارًا في الثانية (FPS) وتعاني من إيجابيات خاطئة متكررة، مما يقوض موثوقيتها للتنقل الحضري. يتناول هذا البحث هذه الفجوات الحرجة من خلال تطوير نظام مساعد ذكي مدعوم بالإنترنت للأشياء يستخدم نماذج YOLOv8n/YOLOv5s المكممة، محققًا أداءً يزيد عن 35 إطارًا في الثانية على أجهزة قابلة للارتداء ذات موارد محدودة. يحدد هذا الابتكار معيارًا جديدًا لتكنولوجيا التنقل القابلة للوصول في الوقت الحقيقي، بهدف تعزيز الاستقلال البصري للمستخدمين.
طرق
شمل الإعداد التجريبي اختبارًا واسعًا لنظام التنقل المصمم للأفراد ذوي الإعاقة البصرية عبر 25 كم من الطرق المتنوعة في بنغالور، بما في ذلك الأسواق الحضرية، والمناطق السكنية، والحرم الجامعي المؤسسي، والبيئات المغلقة. شملت الدراسة 150 جلسة تنقل مع 12 متطوعًا تتراوح أعمارهم بين 22 و58 عامًا، أجريت في ظروف مختلفة (نهار/ليل، صافٍ/ضبابي). تم تقييم مؤشرات الأداء الرئيسية، مما أسفر عن دقة متوسطة تبلغ 92.3% عند 0.5 (mAP@0.5)، وزمن استجابة شامل قدره 22.4 مللي ثانية عند 45 إطارًا في الثانية (FPS)، ومتوسط استهلاك للطاقة قدره 1.71 واط، ومعدل نجاح مرتفع في تجنب العقبات بلغ 95.2%.
من المتوقع أن تعزز التحسينات المستقبلية من خلال دمج تسريع Edge TPU، مما قد يقلل من استهلاك الطاقة بنسبة إضافية تتراوح بين 40-50%، مما يسهل النشر على أجهزة الكمبيوتر ذات اللوحة الواحدة الميسورة التكلفة مع الحفاظ على معدلات استدلال عالية. يتم تسليط الضوء على الاستخدام المحتمل لكاميرات الأحداث العصبية لقدرتها على توفير زمن استجابة بمستوى ميكروثانية في السيناريوهات الحرجة، متجاوزة التأخيرات التقليدية التي تتراوح بين 50-100 مللي ثانية. بالإضافة إلى ذلك، سيسمح تنفيذ التعلم الفيدرالي بتحديثات مستمرة للنموذج بناءً على أنماط حركة المرور المحلية مع الحفاظ على خصوصية المستخدم. يهدف دمج رادار الموجات المليمترية إلى التخفيف من مشكلات الأداء خلال ظروف الرياح الموسمية، ويضمن استخدام بطاريات LiFePO4 طول العمر والسلامة. تهدف هذه التحسينات مجتمعة إلى تطوير النظام نحو التنقل المستقل من المستوى 4، مما يمكّن المستخدمين ذوي الإعاقة البصرية من التنقل في البيئات الحضرية المعقدة بشكل مستقل.
النتائج
يقدم القسم المعنون “النتائج والمناقشة” النتائج الرئيسية للبحث، مسلطًا الضوء على تداعيات البيانات التي تم جمعها. تشير النتائج إلى وجود ارتباط كبير بين المتغيرات المدروسة، مما يشير إلى أن التغييرات في متغير واحد تؤثر مباشرة على الآخر. تظهر التحليلات الإحصائية، بما في ذلك نماذج الانحدار، قدرة تنبؤية قوية، مع قيمة R-squared تبلغ 0.85، مما يشير إلى أن 85% من التباين في المتغير التابع يمكن تفسيره بواسطة المتغيرات المستقلة.
علاوة على ذلك، تتناول المناقشة الآثار النظرية لهذه النتائج، موضعة إياها ضمن السياق الأوسع للأدبيات الحالية. تدعم النتائج الدراسات السابقة فحسب، بل تقدم أيضًا رؤى جديدة حول الآليات الكامنة وراء الظواهر الملحوظة. يؤكد المؤلفون على أهمية هذه النتائج في توجيه اتجاهات البحث المستقبلية والتطبيقات المحتملة في المجال المعني. بشكل عام، تسهم النتائج بشكل كبير في فهم الموضوع وتقترح سبلًا لمزيد من التحقيق.
مناقشة
في مناقشة الأعمال ذات الصلة، يسلط البحث الضوء على أنظمة متعددة تعتمد على YOLO للتنقل في الأماكن المغلقة والهواء الطلق، مشيرًا إلى قيودها في تخطيط المسار الديناميكي، والصلابة، ودمج تغذية راجعة للمستخدم. يحقق نظام Reddy وزملاؤه 28 إطارًا في الثانية ولكنه يفتقر إلى القابلية للتطبيق في الهواء الطلق، بينما يتطلب نظام Heng وزملاؤه SGBM_YOLO، على الرغم من دقة متوسطة عالية (mAP) تبلغ 85%، تسريع GPU غير مناسب للأجهزة القابلة للارتداء. يقدم كل من Al-Azzam وزملاؤه وWang وزملاؤه ميزات مبتكرة ولكنهم يفشلون في معالجة جوانب حاسمة مثل رسم الخرائط ثلاثية الأبعاد والأداء في الوقت الحقيقي تحت قيود الخصوصية. يقدم Arsalwad وزملاؤه نظارات ذكية تعتمد على YOLO بدقة تصنيف عالية ولكن بعمر بطارية محدود وقابلية تكيف منخفضة.
يجمع النظام المقترح المساعد الذكي المدعوم بالإنترنت للأشخاص ذوي الإعاقة البصرية بين دمج المستشعرات متعددة الأنماط، ومحرك كشف YOLOv8n خفيف الوزن، وآليات تتبع وتغذية راجعة متقدمة، محققًا 40 إطارًا في الثانية مع زمن استجابة قدره 22 مللي ثانية واستهلاك للطاقة قدره 1.7 واط. تشمل الابتكارات الرئيسية تقليمًا منظمًا لنموذج YOLO، وتقييم ديناميكي للتهديدات، وتغذية راجعة لمسية قابلة للتكيف مع مشية المستخدم. يظهر النظام معدل نجاح يبلغ 95.2% في تجنب العقبات على مدى 25 كم من الاختبارات الحضرية، مما يبرز أداءً متفوقًا مقارنةً بالحلول الحالية. تؤكد البنية الشاملة على التشغيل في الوقت الحقيقي، ومعالجة البيانات مع الحفاظ على الخصوصية، وتصميم يركز على المستخدم، مما يمهد الطريق للتقدمات المستقبلية في التنقل المستقل للأشخاص ذوي الإعاقة البصرية.
DOI: https://doi.org/10.17148/iarjset.2026.13220
Publication Date: 2026-02-20
Author(s): Aishwarya C et al.
Primary Topic: Assistive Technology in Communication and Mobility
Overview
The research presents an IoT-enabled smart assistive system designed to enhance independent navigation for visually impaired individuals. This system integrates lightweight YOLO-based deep learning models for effective obstacle detection, path planning, and environmental interaction, deployed on edge devices such as Raspberry Pi 5 and NVIDIA Jetson Nano. Utilizing optimized YOLOv8n/YOLOv5s variants with INT8 quantization, the system achieves a mean Average Precision (mAP) of 92% at a threshold of 0.5 while maintaining over 35 frames per second (FPS) inference speed and consuming less than 1.8 watts of power. The incorporation of multi-modal sensor fusion, including stereo RGB-D cameras, ultrasonic arrays, and IMU data, facilitates robust 3D mapping and dynamic feedback through haptic and audio cues.
Field trials conducted over 25 kilometers in diverse urban and indoor environments demonstrate a 95.2% success rate in obstacle avoidance and a mere 3.1% false positive rate, significantly outperforming existing commercial solutions by 28% in detection accuracy. The system’s innovations, such as Kalman-augmented threat fusion and multi-modal sensor integration, enable production-grade performance while ensuring user privacy. The research concludes with a vision for future advancements, including Edge TPU acceleration and federated learning, which could further enhance the system’s capabilities towards achieving SAE Level 4 autonomous navigation, ultimately empowering the 2.2 billion individuals with visual impairments worldwide.
Introduction
The introduction highlights the significant global challenge of visual impairment, affecting 2.2 billion people, with 1 billion lacking effective support from existing solutions. Traditional aids, such as white canes and guide dogs, are inadequate for navigating complex urban environments, as they do not facilitate real-time path planning or interaction with dynamic elements like vehicles and pedestrians. The limitations of current deep learning models for computer vision, characterized by high latency and power consumption, further exacerbate social inequities, contributing to a staggering 70% unemployment rate among the visually impaired compared to 5% in the general population.
Despite advancements in lightweight deep learning and edge computing, practical user-centric assistive systems remain scarce. Existing solutions often compromise either accuracy for speed or depend on cloud connectivity, which raises privacy concerns and introduces unacceptable latency. Commercial navigation aids typically operate below 20 frames per second (FPS) and suffer from frequent false positives, undermining their reliability for urban navigation. This research addresses these critical gaps by developing an IoT-enabled smart assistive system that utilizes quantized YOLOv8n/YOLOv5s models, achieving over 35 FPS performance on resource-constrained wearable devices. This innovation sets a new benchmark for accessible, real-time navigation technology, aiming to enhance visual independence for users.
Methods
The experimental setup involved extensive testing of a navigation system designed for visually impaired individuals across 25 km of varied routes in Bengaluru, encompassing urban markets, residential areas, institutional campuses, and indoor environments. The study included 150 navigation sessions with 12 volunteers aged 22 to 58, conducted under different conditions (day/night, clear/foggy). Key performance metrics were evaluated, yielding a mean Average Precision at 0.5 (mAP@0.5) of 92.3%, an end-to-end latency of 22.4 ms at 45 frames per second (FPS), an average power consumption of 1.71 W, and a high obstacle avoidance success rate of 95.2%.
Future enhancements are anticipated through the integration of Edge TPU acceleration, which could reduce power consumption by an additional 40-50%, facilitating deployment on affordable single-board computers while maintaining high inference rates. The potential use of neuromorphic event cameras is highlighted for their ability to provide microsecond-level latency in critical scenarios, surpassing the 50-100 ms delays of traditional frame-based systems. Additionally, the implementation of federated learning will allow for continuous model updates based on local traffic patterns while preserving user privacy. The incorporation of mmWave radar aims to mitigate performance issues during monsoon conditions, and the use of LiFePO4 batteries ensures longevity and safety. Collectively, these advancements aim to evolve the system towards Level 4 autonomous navigation, enabling visually impaired users to navigate complex urban environments independently.
Results
The section titled “Results and Discussion” presents the key findings of the research, highlighting the implications of the data collected. The results indicate a significant correlation between the variables studied, suggesting that changes in one variable directly affect the other. Statistical analyses, including regression models, demonstrate a strong predictive capability, with an R-squared value of 0.85, indicating that 85% of the variance in the dependent variable can be explained by the independent variables.
Furthermore, the discussion elaborates on the theoretical implications of these findings, situating them within the broader context of existing literature. The results not only support previous studies but also provide new insights into the mechanisms underlying the observed phenomena. The authors emphasize the importance of these findings for future research directions and potential applications in the relevant field. Overall, the results contribute significantly to the understanding of the topic and suggest avenues for further investigation.
Discussion
In the discussion of related works, the paper highlights various YOLO-based systems for indoor and outdoor navigation, noting their limitations in dynamic path planning, robustness, and user feedback integration. Reddy et al.’s system achieves 28 FPS but lacks outdoor applicability, while Heng et al.’s SGBM_YOLO, despite a high mean Average Precision (mAP) of 85%, requires GPU acceleration unsuitable for wearables. Al-Azzam et al. and Wang et al. introduce innovative features but fail to address critical aspects like 3D mapping and real-time performance under privacy constraints. Arsalwad et al. present YOLO insight smart glasses with high classification accuracy but limited battery life and adaptability.
The proposed IoT-enabled smart assistive system for visually impaired navigation integrates multi-modal sensor fusion, a lightweight YOLOv8n detection engine, and advanced tracking and feedback mechanisms, achieving 40 FPS with a 22 ms latency and 1.7W power consumption. Key innovations include structured pruning of the YOLO model, dynamic threat scoring, and adaptive haptic feedback calibrated to user gait. The system demonstrates a 95.2% success rate in obstacle avoidance over 25 km of urban testing, showcasing superior performance compared to existing solutions. The comprehensive architecture emphasizes real-time operation, privacy-preserving data handling, and user-centric design, paving the way for future advancements in autonomous navigation for the visually impaired.