DOI: https://doi.org/10.47852/bonviewswt62029157
تاريخ النشر: 2026-06-16
المؤلف: R. Nirmalan وآخرون
الموضوع الرئيسي: التكنولوجيا المساعدة في التواصل والتنقل
نظرة عامة
تقدم البحث نظام مساعدة تكيفي قائم على الرؤية مصمم لتعزيز الحركة والوعي للأفراد ذوي الإعاقة البصرية. يدمج هذا النظام تقنيات رؤية الكمبيوتر في الوقت الحقيقي، بما في ذلك الكشف عن العقبات مع تقدير المسافة، والكشف عن السلالم، والتعرف على اللوحات الإرشادية، وتحديد العملات، واستخراج نصوص الوثائق مع التلخيص. باستخدام نموذج You Only Look Once الإصدار 8 للكشف عن الأجسام ونموذج Mixed Depth Scale لتقدير العمق، يستخدم النظام أيضًا خوارزمية Oriented FAST وRotated BRIEF للتعرف على العملات، إلى جانب التعرف الضوئي على الحروف (OCR) لاستخراج النصوص. يتم نقل المعلومات من خلال ردود فعل لمسية وسمعية، مما يضمن المساعدة الواعية بالسياق. تم تنفيذ النظام على منصة حوسبة حافة محمولة تعتمد على Raspberry Pi، مما يحقق دقة عالية وموثوقية، مما يحسن بشكل كبير من استقلالية وسلامة المستخدمين ذوي الإعاقة البصرية.
في الختام، يقدم النظام المقترح حلاً شاملاً للمساعدة البصرية يجمع بين وظائف متعددة لرؤية الكمبيوتر مصممة للتطبيقات في الوقت الحقيقي. تشير النتائج التجريبية إلى دقة كشف عالية وسرعات معالجة معقولة عبر مهام مختلفة، مما يوضح فعالية النظام. تسمح بنية النظام القابلة للتعديل بالنشر المرن وفقًا لاحتياجات المستخدم والموارد الحاسوبية المتاحة. من خلال دمج قدرات رؤية الكمبيوتر المتنوعة مع ردود فعل صوتية بديهية، يعزز النظام الحركة والوعي البيئي والوصول إلى المعلومات، مما يحسن نوعية الحياة للأفراد ذوي الإعاقة البصرية. تشير التركيز على القدرة على تحمل التكاليف والتصميم القابل للتعديل إلى إمكانية الاعتماد الواسع، مما يفيد الملايين على مستوى العالم.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التحديات الكبيرة التي تواجه السكان ذوي الإعاقة البصرية، الذين يقدر عددهم بـ 285 مليون شخص على مستوى العالم، مع تصنيف 39 مليون منهم كعميان. توفر وسائل المساعدة التقليدية، مثل العصي البيضاء والكلاب المرشدة، معلومات بيئية محدودة ولا تساعد في المهام المعتمدة على النصوص. تقدم التطورات التكنولوجية الحديثة في رؤية الكمبيوتر، والتعلم العميق، والأنظمة المدمجة فرصًا لتطوير تقنيات مساعدة أكثر فعالية. ومع ذلك، غالبًا ما تركز الحلول الحالية على وظائف معزولة، مما يتطلب أجهزة متعددة لمهام مختلفة.
لمعالجة هذه الفجوة، يقترح البحث نظام مساعدة بصرية موحد ومتعدد الوظائف يدمج قدرات رؤية الكمبيوتر المختلفة في جهاز محمول واحد. تشمل الميزات الرئيسية للنظام الكشف عن العقبات في الوقت الحقيقي مع تقدير المسافة، والتعرف على السلالم من أجل السلامة، والتعرف على اللوحات الإرشادية لزيادة الوعي البيئي، والتعرف على العملات النقدية للمعاملات المالية، واستخراج نصوص الوثائق وتلخيصها. باستخدام نماذج التعلم العميق المتطورة، وخاصة You Only Look Once الإصدار 8 (YOLOv8)، تم تحسين النظام للحوسبة الحافة على الأجهزة ذات الموارد المحدودة. تهدف دمج هذه الميزات إلى توفير ردود فعل صوتية بديهية، مما يعزز الحركة واستقلالية المستخدمين ذوي الإعاقة البصرية مع تقديم بنية قابلة للتعديل يمكن تخصيصها وفقًا للاحتياجات الفردية.
الطرق
في قسم الطرق، يصف المؤلفون إعدادهم التجريبي والمنهجية المستخدمة لجمع مجموعة بيانات مخصصة لتقييم النظام المقترح. تتكون مجموعة البيانات، التي تُسمى مجموعة بيانات السلالم، من صور مأخوذة من 125 سلمًا مميزًا، مما يضمن تنوعًا واسعًا وتمثيلًا. أخذت عملية الجمع في الاعتبار بيئات متنوعة، بما في ذلك الإعدادات الداخلية والخارجية، بالإضافة إلى المساحات السكنية والتجارية.
لزيادة قوة مجموعة البيانات، تم التقاط الصور تحت ظروف إضاءة مختلفة—ضوء النهار، إضاءة صناعية، وإضاءة منخفضة—ومن زوايا رؤية متعددة، بما في ذلك الزوايا الأمامية، الجانبية، ومن الأعلى. كما شمل المؤلفون سيناريوهات صعبة، مثل السلالم الحلزونية وتلك المصنوعة من مواد غير تقليدية مثل الزجاج وشبكات المعدن، بالإضافة إلى السلالم التي تقع في خلفيات معقدة، مما يزيد من ثراء مجموعة البيانات للتقييم الشامل.
النتائج
تشير نتائج الاختبار الميداني للنظام المقترح إلى أداء قوي عبر بيئات العالم الحقيقي المتنوعة. شمل التقييم ثلاث فئات رئيسية من المهام: التنقل في الشوارع الحضرية، والتنقل الداخلي، والتفاعل مع الوثائق. من الجدير بالذكر أن النظام حقق معدلات إكمال مهام عالية بشكل عام، حيث كانت مهام التفاعل مع الوثائق، مثل قراءة البريد وطلب القوائم، تحقق أعلى معدلات نجاح.
ومع ذلك، لوحظت تحديات في مهام التنقل، خاصة في الإعدادات الداخلية. تشير النتائج إلى أنه بينما يتفوق النظام في التفاعل مع الوثائق، هناك حاجة إلى تحسينات إضافية لتعزيز أدائه في التنقل عبر البيئات الداخلية المعقدة وإدارة تعقيدات التنقل الحضري.
المناقشة
تؤكد قسم المناقشة في الورقة البحثية على التأثير الكبير للتقنيات المساعدة للأفراد ذوي الإعاقة البصرية، خاصة في البيئات ذات الدخل المنخفض حيث يقيم 90% من الأشخاص ذوي الإعاقة البصرية. تحدد الورقة الاحتياجات الأساسية مثل الاستقلالية في التنقل، والوصول إلى المعلومات، والاستقلال المالي، وتعزيز السلامة. من خلال تطوير منصة موحدة تدمج وظائف متنوعة، يهدف النظام المقترح إلى تقليل الحواجز أمام اعتماد التكنولوجيا وتخفيف مشكلة “إرهاق التكنولوجيا” التي يواجهها المستخدمون.
يسلط السياق التكنولوجي الضوء على التقدم في رؤية الكمبيوتر، والحوسبة الحافة، وتحسين التعلم العميق، والتفاعل بين الإنسان والآلة، والتي يستفيد منها النظام المقترح لإنشاء جهاز عملي وسهل الاستخدام. تتكون البنية من عدة وحدات، بما في ذلك الكشف عن العقبات، والتعرف المتخصص، والتعرف على العملات، واستخراج نصوص الوثائق، جميعها مصممة للعمل بكفاءة على Raspberry Pi. تستعرض المناقشة أيضًا الأدبيات الحالية حول أنظمة التنقل، وسلوك المستخدم، وردود الفعل متعددة الوسائط، وأنظمة التعرف المتخصصة، مما يبرز الحاجة إلى حلول متكاملة تعالج التحديات المتعددة التي يواجهها المستخدمون ذوو الإعاقة البصرية. بشكل عام، يهدف البحث إلى سد الفجوات في التقنيات المساعدة الحالية من خلال توفير منصة شاملة ومتعددة الوظائف تعزز الاستقلالية وجودة الحياة للأفراد ذوي الإعاقة البصرية.
القيود
في قسم القيود، يقوم المؤلفون بإجراء فحص شامل للقيود التقنية التي تؤثر على أداء النظام وقابليته للاستخدام. تتمثل القلق الرئيسي المحدد في عمر البطارية، الذي يشكل حاجزًا كبيرًا أمام فعالية النظام للاستخدام المطول طوال اليوم. بالإضافة إلى ذلك، تسلط التحليل الضوء على زمن المعالجة والحساسية البيئية كالتحديات الملحوظة؛ ومع ذلك، فإن آثار هذه العوامل تعتمد على ظروف سياقية محددة. تهدف هذه التقييم إلى إبلاغ جهود التطوير المستقبلية التي تهدف إلى تعزيز وظائف النظام.
DOI: https://doi.org/10.47852/bonviewswt62029157
Publication Date: 2026-06-16
Author(s): R. Nirmalan et al.
Primary Topic: Assistive Technology in Communication and Mobility
Overview
The research presents a vision-based adaptive assistance system designed to enhance mobility and awareness for visually impaired individuals. This system integrates real-time computer vision techniques, including obstacle detection with distance estimation, staircase detection, signboard recognition, currency identification, and document text extraction with summarization. Utilizing the You Only Look Once version 8 model for object detection and the Mixed Depth Scale model for depth estimation, the system also employs the Oriented FAST and Rotated BRIEF algorithm for currency recognition, alongside Optical Character Recognition (OCR) for text extraction. The information is conveyed through haptic and audible feedback, ensuring context-aware assistance. Implemented on a portable Raspberry Pi-based edge computing platform, the system achieves high accuracy and robustness, significantly improving the independence and safety of visually impaired users.
In conclusion, the proposed system offers a comprehensive visual assistance solution that combines multiple computer vision functionalities tailored for real-time applications. Experimental results indicate high detection accuracy and reasonable processing speeds across various tasks, demonstrating the system’s effectiveness. Its modular architecture allows for flexible deployment according to user needs and available computational resources. By merging diverse computer vision capabilities with intuitive audio feedback, the system enhances mobility, environmental awareness, and access to information, thereby improving the quality of life for visually impaired individuals. The focus on affordability and modular design suggests potential for widespread adoption, benefiting millions globally.
Introduction
The introduction of this research paper highlights the significant challenges faced by the visually impaired population, estimated at 285 million globally, with 39 million classified as blind. Traditional mobility aids, such as white canes and guide dogs, provide limited environmental information and do not assist with text-based tasks. Recent technological advancements in computer vision, deep learning, and embedded systems present opportunities for developing more effective assistive technologies. However, existing solutions often focus on isolated functionalities, necessitating multiple devices for different tasks.
To address this gap, the research proposes a unified, multifunctional visual assistance system that integrates various computer vision capabilities into a single, portable device. Key features of the system include real-time obstacle detection with distance estimation, staircase recognition for safety, signboard identification for environmental awareness, currency note recognition for financial transactions, and document text extraction and summarization. Utilizing state-of-the-art deep learning models, particularly You Only Look Once version 8 (YOLOv8), the system is optimized for edge computing on resource-constrained devices. The integration of these features aims to provide intuitive audio feedback, enhancing the mobility and independence of visually impaired users while offering a modular architecture that can be tailored to individual needs.
Methods
In the Methods section, the authors describe their experimental setup and the methodology used for collecting a custom dataset to evaluate their proposed system. The dataset, termed the Staircase Dataset, comprises images sourced from 125 distinct staircases, ensuring a wide range of diversity and representativeness. The collection process accounted for various environments, including indoor and outdoor settings, as well as residential and commercial spaces.
To enhance the dataset’s robustness, images were captured under different lighting conditions—daylight, artificial lighting, and low light—and from multiple viewing angles, including frontal, side, and top-down perspectives. The authors also included challenging scenarios, such as spiral staircases and those constructed from unconventional materials like glass and metal grating, as well as staircases set against complex backgrounds, thereby enriching the dataset for comprehensive evaluation.
Results
The results of the field testing for the proposed system indicate robust performance across diverse real-world environments. The evaluation encompassed three primary task categories: urban street navigation, indoor navigation, and document interaction. Notably, the system achieved high task completion rates overall, with document interaction tasks, such as mail reading and menu ordering, yielding the highest success rates.
However, challenges were observed in navigation tasks, particularly in indoor settings. The findings suggest that while the system excels in document interaction, further improvements are necessary to enhance its performance in navigating complex indoor environments and managing the intricacies of urban navigation.
Discussion
The discussion section of the research paper emphasizes the significant impact of assistive technologies for visually impaired individuals, particularly in low-income settings where 90% of visually impaired people reside. The paper identifies critical needs such as independence in navigation, access to information, financial autonomy, and safety enhancement. By developing a unified platform that integrates various functionalities, the proposed system aims to reduce barriers to technology adoption and alleviate the issue of “technology overload” faced by users.
The technological context highlights advancements in computer vision, edge computing, deep learning optimization, and human-computer interaction, which the proposed system leverages to create a practical and user-friendly device. The architecture consists of multiple modules, including obstacle detection, specialized recognition, currency recognition, and document text extraction, all designed to operate efficiently on a Raspberry Pi. The discussion also reviews existing literature on navigation systems, user behavior, multimodal feedback, and specialized recognition systems, underscoring the need for integrated solutions that address multiple challenges faced by visually impaired users. Overall, the research aims to fill gaps in current assistive technologies by providing a comprehensive, multifunctional platform that enhances the independence and quality of life for visually impaired individuals.
Limitations
In the section on limitations, the authors perform a thorough examination of the technical constraints affecting the system’s performance and usability. The primary concern identified is battery life, which poses a significant barrier to the system’s effectiveness for prolonged use throughout the day. Additionally, the analysis highlights processing latency and environmental sensitivity as notable challenges; however, the effects of these factors are contingent upon specific contextual conditions. This evaluation serves to inform future development efforts aimed at enhancing system functionality.
