DOI: https://doi.org/10.1109/tim.2025.3604925
تاريخ النشر: 2025-01-01
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
يقدم القسم نظرة عامة على التحديات في اكتشاف علامات المرور للقيادة الذاتية وأنظمة مساعدة السائق المتقدمة (ADAS)، خاصة في ظروف الإضاءة المنخفضة، التي تؤثر سلبًا على دقة الاكتشاف والسلامة. لمواجهة هذه القضايا، يقدم المؤلفون YOLO-LLTS، وهو خوارزمية جديدة لاكتشاف علامات المرور في الوقت الحقيقي مصممة خصيصًا للبيئات ذات الإضاءة المنخفضة. يتضمن YOLO-LLTS ثلاث ابتكارات رئيسية: وحدة HRFM-SOD، التي تعزز الاحتفاظ بالمعلومات من علامات المرور البعيدة أو الصغيرة؛ وحدة MFIA، التي تحسن تفاعل الميزات عبر مجالات الاستقبال المتنوعة؛ ووحدة PGFE، التي تحسن دقة الاكتشاف من خلال تعزيز السطوع، والحواف، والتباين، والتفاصيل.
علاوة على ذلك، طور المؤلفون مجموعة عينات علامات المرور الليلية الصينية (CNTSSS)، وهي مجموعة بيانات جديدة تشمل مجموعة متنوعة من السيناريوهات الليلية. تظهر النتائج التجريبية أن YOLO-LLTS يحقق أداءً رائدًا، متجاوزًا الأساليب السابقة بفارق ملحوظ في مقاييس متوسط الدقة (mAP) عبر مجموعات بيانات متعددة، بما في ذلك TT100Knight وCNTSSS وGTSDB-night. يؤكد نشر الخوارزمية على الأجهزة الطرفية قابليتها للتطبيق في الوقت الحقيقي، وكلا من الشيفرة ومجموعة البيانات متاحة للجمهور على الرابط المقدم في GitHub.
الطرق
يستعرض القسم طرقًا متنوعة لتحسين الصور في الإضاءة المنخفضة (LLIE)، واكتشاف الأهداف الصغيرة، واكتشاف الكائنات في السيناريوهات المعقدة. تُصنف طرق LLIE إلى تقنيات تقليدية، مثل توازن الهيستوغرام والنهج المعتمد على Retinex، وطرق التعلم الآلي، التي تشمل التعلم الخاضع للإشراف وغير الخاضع للإشراف. غالبًا ما تعتمد الطرق التقليدية على الميزات المستخرجة يدويًا وقد تؤدي إلى أداء ضعيف في ظروف الإضاءة المعقدة. بالمقابل، تستفيد طرق التعلم الآلي، مثل LLNet وZero-DCE، من هياكل التعلم العميق لتحسين الصور بشكل فعال، حيث تظهر الطرق غير الخاضعة للإشراف مرونة في غياب بيانات التدريب المقترنة.
فيما يتعلق باكتشاف الأهداف الصغيرة، تظهر التحديات بسبب انخفاض الدقة وتداخل الخلفية. تُستخدم استراتيجيات مثل زيادة البيانات، وتعلم المجالات المتعددة، ونمذجة السياق لتحسين دقة الاكتشاف. تعزز تقنيات مثل SODNet وMIAF-Net استخراج الميزات والمعلومات السياقية، مما يحسن الأداء في مهام اكتشاف الأهداف الصغيرة. يتطلب اكتشاف الكائنات في السيناريوهات المعقدة، خاصة في ظل الظروف الجوية والإضاءة السيئة، نماذج قوية. تستخدم الابتكارات مثل IA-yolo وPE-yolo تقنيات تحسين تكيفية للحفاظ على دقة الاكتشاف في البيئات الصعبة. يختتم القسم بوصف نموذج YOLO-LLTS المقترح، الذي يدمج وحدات متنوعة مصممة لتعزيز تفاعلات الميزات وجودة الصورة، إلى جانب الإعدادات التجريبية ومقاييس التقييم لتقييم أداء النموذج.
المناقشة
في هذا القسم، يناقش المؤلفون قيود الأساليب الحالية لاكتشاف علامات المرور في ظروف الإضاءة المنخفضة ويقدمون نهجهم الجديد، YOLO-LLTS، الذي يدمج تحسين الصور واكتشاف الكائنات في إطار موحد من البداية إلى النهاية. واجهت الأساليب السابقة، مثل تلك التي قدمها تشودري وآخرون وزانغ وآخرون، تحديات تتعلق بتسمية البيانات، وإدخال الضوضاء، وفقدان المعلومات الأصلية عند تحسين الصور. يعالج نموذج YOLO-LLTS المقترح هذه القضايا من خلال استخدام صور عالية الدقة، ووحدة تفاعل الميزات متعددة الفروع (MFIA) لدمج الميزات متعددة المقاييس، ووحدة تحسين الميزات الموجهة مسبقًا (PGFE) لتحسين جودة الصورة دون فقدان التفاصيل.
يقدم المؤلفون أيضًا مجموعة عينات علامات المرور الليلية الصينية (CNTSSS)، وهي مجموعة بيانات شاملة تضم 4,062 صورة لعلامات المرور الليلية تم جمعها من مدن مختلفة في الصين، والتي تهدف إلى سد الفجوة في مجموعات بيانات علامات المرور ذات الإضاءة المنخفضة. تشمل مجموعة البيانات سيناريوهات وظروف إضاءة متنوعة، مما يعزز قوة نموذج YOLO-LLTS. تشمل المساهمات الرئيسية للدراسة تطوير وحدة HRFM-SOD لاكتشاف الأجسام الصغيرة، وMFIA لتحسين تفاعل الميزات، وPGFE لتحسين الصورة بشكل فعال. يخلص المؤلفون إلى أن نهجهم يعزز بشكل كبير أداء الاكتشاف في البيئات ذات الإضاءة المنخفضة، مما يحسن سلامة أنظمة القيادة الذاتية.
DOI: https://doi.org/10.1109/tim.2025.3604925
Publication Date: 2025-01-01
Author(s): Zhenyun Du et al.
Primary Topic: Advanced Neural Network Applications
Overview
The section presents an overview of the challenges in traffic sign detection for autonomous driving and Advanced Driver Assistance Systems (ADAS), particularly under low-light conditions, which adversely affect detection accuracy and safety. To tackle these issues, the authors introduce YOLO-LLTS, a novel end-to-end real-time traffic sign detection algorithm tailored for low-light environments. YOLO-LLTS incorporates three key innovations: the HRFM-SOD module, which enhances the retention of information from distant or small traffic signs; the MFIA module, which optimizes feature interaction across varying receptive fields; and the PGFE module, which improves detection accuracy by enhancing brightness, edges, contrast, and detail.
Furthermore, the authors developed the Chinese Nighttime Traffic Sign Sample Set (CNTSSS), a new dataset that encompasses a variety of nighttime scenarios. Experimental results demonstrate that YOLO-LLTS achieves state-of-the-art performance, surpassing previous methods by notable margins in mean Average Precision (mAP) metrics across multiple datasets, including TT100Knight, CNTSSS, and GTSDB-night. The algorithm’s deployment on edge devices confirms its real-time applicability, and both the code and dataset are publicly accessible at the provided GitHub link.
Methods
The section outlines various methods for low-light image enhancement (LLIE), small target detection, and object detection in complex scenarios. LLIE methods are categorized into traditional techniques, such as histogram equalization and Retinex-based approaches, and machine learning methods, which include supervised and unsupervised learning. Traditional methods often rely on manually extracted features and may underperform in complex lighting conditions. In contrast, machine learning methods, such as LLNet and Zero-DCE, leverage deep learning architectures to enhance images effectively, with unsupervised methods demonstrating flexibility in the absence of paired training data.
For small target detection, challenges arise due to low resolution and background interference. Strategies like data augmentation, multi-receptive field learning, and context modeling are employed to improve detection accuracy. Techniques such as SODNet and MIAF-Net enhance feature extraction and contextual information, thereby improving performance on small target detection tasks. Object detection in complicated scenarios, particularly under adverse weather and lighting conditions, requires robust models. Innovations like IA-yolo and PE-yolo utilize adaptive enhancement techniques to maintain detection accuracy in challenging environments. The section concludes with a description of the proposed YOLO-LLTS model, which integrates various modules designed to enhance feature interactions and image quality, alongside experimental settings and evaluation metrics for assessing model performance.
Discussion
In this section, the authors discuss the limitations of existing methods for traffic sign recognition under low-light conditions and introduce their novel approach, YOLO-LLTS, which integrates image enhancement and object detection into a unified end-to-end framework. Previous methods, such as those by Chowdhury et al. and Zhang et al., faced challenges related to data labeling, noise introduction, and loss of original information when enhancing images. The proposed YOLO-LLTS model addresses these issues by employing high-resolution images, a Multibranch Feature Interaction Attention (MFIA) module for multi-scale feature fusion, and a Prior-Guided Feature Enhancement (PGFE) module to improve image quality without losing detail.
The authors also present the Chinese Nighttime Traffic Sign Sample Set (CNTSSS), a comprehensive dataset comprising 4,062 nighttime traffic sign images collected from various cities in China, which aims to fill the gap in low-light traffic sign datasets. The dataset includes diverse scenarios and lighting conditions, enhancing the robustness of the YOLO-LLTS model. Key contributions of the study include the development of the HRFM-SOD module for small object detection, the MFIA for improved feature interaction, and the PGFE for effective image enhancement. The authors conclude that their approach significantly enhances detection performance in low-light environments, thereby improving the safety of autonomous driving systems.