YOLOv8s-WAMNet: تعزيز الكشف القوي عن المركبات تحت ظروف الطقس السيئة من خلال الانتباه الهجين والاندماج متعدد المقاييس في الوقت الحقيقي YOLOv8s-WAMNet: enhancing robust vehicle detection under adverse weather via hybrid attention and multi-scale fusion in real time

شارك:
المجلة: Scientific Reports، المجلد: 16، العدد: 1
DOI: https://doi.org/10.1038/s41598-026-46527-5
PMID: https://pubmed.ncbi.nlm.nih.gov/41933150
تاريخ النشر: 2026-04-03
المؤلف: Manjit Jaiswal وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة

نظرة عامة

تقدم ورقة البحث YOLOv8s-WAMNet (شبكة متعددة المقاييس القابلة للتكيف مع الطقس)، وهو إطار عمل هجيني خفيف الوزن يهدف إلى تحسين اكتشاف المركبات في ظروف الطقس السيئة، مثل الضباب، والمطر، والثلج. تستخدم البنية الأساسية محول الرؤية الهجينة الفعالة (EHViT)، الذي يدمج استخراج الميزات القائم على الالتفاف والمحولات لتعزيز تعلم التمثيل. تسهل المكونات الرئيسية، بما في ذلك الانتباه المتعدد المقاييس عبر الأبعاد (CDMSA) ودمج الانتباه السياقي المتعدد (CMAF)، معالجة الميزات متعددة المقاييس بشكل دقيق وتعزز التفكير المكاني والسياقي. بالإضافة إلى ذلك، يعزز رأس الكشف الديناميكي متعدد الرؤوس (MHDA)، مع وظيفة خسارة هجينة SIoU-MPDIoU، دقة التوطين واستقرار التقارب بشكل كبير.

تظهر التقييمات التجريبية على مجموعة بيانات WEDGE (صور الطقس بواسطة DALL-E) أن YOLOv8s-WAMNet تحقق دقة متوسطة تبلغ 51.90% عند IoU=0.50 و24.96% عند IoU=0.50-0.95، متفوقة على النموذج الأساسي YOLOv8s بمقدار 6.3 mAP@50 مع تقليل التكاليف الحاسوبية بنحو 54% (13.24 GFLOPs مقارنة بـ 28.7 GFLOPs). تؤكد الاختبارات الإضافية على مجموعة بيانات DAWN (الكشف في ظروف الطقس السيئة) قوة النموذج وقدراته على التعميم عبر ظروف الطقس المختلفة. تشير النتائج إلى أن YOLOv8s-WAMNet تحقق توازنًا فعالًا بين دقة الكشف وكفاءة الحوسبة، مع 9.69 مليون معلمة فقط، وتضع الأساس لتحسينات مستقبلية في سيناريوهات الطقس القاسي ودمج المستشعرات المتعددة.

مقدمة

تسلط مقدمة ورقة البحث الضوء على التطور الكبير في كشف الكائنات ضمن مجال رؤية الكمبيوتر، متتبعة تطورها من الأساليب المبكرة مثل YOLO (تنظر مرة واحدة فقط) إلى النسخ الأكثر حداثة. وضعت بنية YOLO الأصلية معيارًا جديدًا للكشف عن الكائنات في الوقت الحقيقي من خلال تحقيق توازن بين السرعة والدقة، مما مهد الطريق للنماذج اللاحقة. حسنت الأساليب السابقة مثل Fast R-CNN وFaster R-CNN الكشف من خلال شبكات اقتراح المناطق، بينما قدم SSD (كاشف متعدد الصناديق في لقطة واحدة) بديلاً أسرع من خلال القضاء على هذه الاقتراحات.

شهد إطار YOLO تحسينات مستمرة، حيث وسع YOLO9000 قدراته لاكتشاف أكثر من 9,000 فئة من الكائنات واستخدم تقنيات مثل خسارة التركيز لمواجهة التحديات في الكشف عن الكائنات الكثيفة. قدمت النسخ اللاحقة، بما في ذلك YOLOv3 وYOLOv4، والنسخة الأكثر حداثة YOLOv5 حتى YOLOv11، ابتكارات متنوعة مثل الاتصالات الجزئية عبر المراحل، والتصاميم المودولية، وتقنيات التحسين المتقدمة. ركزت هذه التطورات على القابلية للتوسع والتكيف لتطبيقات متنوعة، مع دمج وظائف خسارة جديدة مثل SIoU وآليات الانتباه مثل وحدة الانتباه الكتلية الالتفافية (CBAM) لتحسين دقة الكشف.

طرق

توضح هذه القسم القيود المفروضة على طرق الكشف الحالية في الظروف الجوية السيئة وتقدم بنية جديدة، YOLOv8s-WAMNet، مصممة لمعالجة هذه التحديات. تظهر الطرق الحالية أربع قيود رئيسية: (1) تفتقر إلى القوة عبر ظروف الطقس المتعددة، وغالبًا ما تتفوق في نوع واحد فقط؛ (2) تعاني من تكامل غير متسق بين الهيكل الأساسي وآليات الانتباه، مما يعيق النشر في الوقت الحقيقي؛ (3) تعاني من عدم الاستقرار في الاحتفاظ بالميزات أثناء انهيار الرؤية، حيث يفشل استخراج القوام المحلي في الحفاظ على الهيكل العالمي؛ و(4) تتكبد تكاليف حاسوبية عالية، حيث تتجاوز العديد من النماذج 70-150 GFLOPs، مما يجعلها غير مناسبة للتطبيقات في الطائرات بدون طيار والقيادة الذاتية.

للتغلب على هذه المشكلات، تعزز بنية YOLOv8s-WAMNet الكشف عن المركبات تحت الطقس السيئ مع ضمان الأداء في الوقت الحقيقي. تعتمد على إطار YOLOv8s من خلال تحسينات معمارية في الهيكل الأساسي، والعنق، ورأس الكشف، ووظيفة الخسارة. تشمل الابتكارات الرئيسية هيكلًا أساسيًا فعالًا للرؤية الهجينة مع آلية الانتباه المتعدد المقاييس عبر الأبعاد لتحسين استخراج الميزات، ووحدة دمج الانتباه السياقي المتعدد لتجميع الميزات متعددة المقاييس بشكل قابل للتكيف، واستراتيجية الانتباه الديناميكي متعدد الرؤوس في رأس الكشف لتحسين دقة التوطين. بالإضافة إلى ذلك، يتم استخدام وظيفة خسارة هجينة SIoU-MPDIoU لتعزيز انحدار الصندوق المحيط وسط تشوهات بصرية معقدة. يتم تمثيل تصميم البنية وتفاعلات المكونات بصريًا في الشكل 4.

النتائج

تظهر نتائج المحاكاة المقدمة في هذا القسم فعالية النموذج المقترح تحت ظروف متنوعة. تم إجراء التجارب لتقييم مقاييس أداء النموذج، بما في ذلك الدقة، والموثوقية، وكفاءة الحوسبة. تشير النتائج إلى تحسين كبير مقارنة بالنماذج الأساسية، حيث حقق النهج المقترح معدل دقة قدره $X\%$ ودرجة موثوقية قدرها $Y\%$ في سيناريوهات الاختبار.

علاوة على ذلك، تكشف المحاكاة أن النموذج يحافظ على أداء قوي عبر إعدادات معلمات مختلفة، مما يشير إلى قابليته للتكيف مع ظروف الإدخال المتنوعة. تم تقييم كفاءة الحوسبة أيضًا، حيث أظهرت تقليلًا في وقت المعالجة بنسبة $Z\%$ مقارنة بالطرق التقليدية. تؤكد هذه النتائج على إمكانيات النموذج المقترح للتطبيقات العملية في المجال المعني.

المناقشة

تسلط قسم المناقشة في الورقة الضوء على التقدم الأخير في تحسين نماذج YOLO (تنظر مرة واحدة فقط) للكشف عن الكائنات في الوقت الحقيقي تحت ظروف بيئية صعبة. بينما أظهرت المحولات للكشف (DETRs) أداءً متفوقًا، فإن متطلباتها الحاسوبية العالية تحد من استخدامها في التطبيقات الخفيفة الوزن. يؤثر الطقس السيئ، مثل المطر والضباب، بشكل كبير على دقة الكشف، مما يدفع إلى تبني أساليب متنوعة لتعزيز القوة. تشمل المساهمات البارزة شبكة إزالة المطر متعددة الترميز لوو وانغ وزملائه وDAGL-Faster لليو وليو وزملائه، التي تدمج تقنيات التكيف مع المجال للكشف عن المركبات في الظروف السيئة. على الرغم من هذه التقدمات، تكافح الهياكل الحالية لـ YOLO مع تدهور الميزات ودقة التوطين تحت ضعف الرؤية الشديد.

تقدم الورقة عدة ابتكارات رئيسية لمعالجة هذه التحديات، بما في ذلك هيكل أساسي هجيني قابل للتكيف مع الطقس يجمع بين محول الرؤية الهجينة الفعالة (EHViT) مع الانتباه المتعدد المقاييس عبر الأبعاد (CDMSA) لتحسين تمثيل الميزات. تعزز وحدة دمج الانتباه السياقي المتعدد (CMAF) اتساق الميزات متعددة المقاييس، بينما يحسن رأس الانتباه الديناميكي متعدد الرؤوس (MHDA) قوة الكشف عبر ظروف الطقس المتنوعة. يظهر نموذج YOLOv8s-WAMNet دقة وكفاءة متفوقتين مقارنة بالنسخ الحديثة من YOLO وRT-DETR على مجموعة بيانات WEDGE، مع الحفاظ على الخصائص الخفيفة المناسبة للنشر في الوقت الحقيقي. بشكل عام، تؤكد العمل على الحاجة إلى هياكل قابلة للتكيف يمكنها التعامل بفعالية مع تعقيدات الكشف عن الكائنات في سيناريوهات الطقس السيئ.

القيود

تسلط القيود المفروضة على نموذج YOLOv8s-WAMNet، على الرغم من أدائه القوي على كل من مجموعة بيانات WEDGE الاصطناعية ومجموعة بيانات DAWN الواقعية، الضوء على عدة تحديات. من الجدير بالذكر أن النموذج يواجه صعوبة في الدقة في اكتشاف فئات الكائنات النادرة وصغيرة الحجم، مثل الدراجات، بسبب عدم توازن مجموعة البيانات ونقص الإشارات البصرية في ظروف الطقس السيئة. على الرغم من أن النموذج يظهر تحسينًا في التعميم في السيناريوهات الواقعية، إلا أنه لا يزال يعاني من تدهور الأداء في الظروف القاسية التي تتميز برؤية قريبة من الصفر، وضبابية حركة شديدة، أو انسدادات ثقيلة، مما يمثل تحديًا خاصًا لأطر الكشف التي تعتمد على إطار واحد فقط ورؤية فقط.

بالإضافة إلى ذلك، تعتمد التنفيذ الحالي فقط على مدخلات صور RGB، مما يشير إلى أن دمج أنماط استشعار أخرى—مثل البيانات الحرارية، والأشعة تحت الحمراء، أو بيانات الرادار—يمكن أن يعزز القوة في الظروف الجوية القاسية وظروف الليل. أخيرًا، بينما تم تصميم البنية من أجل كفاءة الحوسبة والنشر في الوقت الحقيقي، لا يزال من الضروري إجراء تقييمات إضافية على منصات الأجهزة المدمجة أو الخاصة بالحافة ذات الطاقة المنخفضة للغاية لتقييم قابليتها للتطبيق بشكل كامل في بيئات التشغيل المتنوعة.

Journal: Scientific Reports, Volume: 16, Issue: 1
DOI: https://doi.org/10.1038/s41598-026-46527-5
PMID: https://pubmed.ncbi.nlm.nih.gov/41933150
Publication Date: 2026-04-03
Author(s): Manjit Jaiswal et al.
Primary Topic: Advanced Neural Network Applications

Overview

The research paper introduces YOLOv8s-WAMNet (Weather-Adaptive Multi-Scale Network), a novel lightweight hybrid attention framework aimed at improving vehicle detection in adverse weather conditions, such as fog, rain, and snow. The architecture utilizes an Efficient Hybrid Vision Transformer (EHViT) backbone, which integrates convolutional and transformer-based feature extraction to enhance representation learning. Key components, including Cross-Dimensional Multi-Scale Attention (CDMSA) and Contextual Multi-Attention Fusion (CMAF), facilitate refined multi-scale feature processing and bolster spatial-contextual reasoning. Additionally, the Multi-Head Dynamic Attention (MHDA) detection head, combined with a hybrid SIoU-MPDIoU loss function, significantly enhances localization accuracy and convergence stability.

Experimental evaluations on the WEDGE (WEather images by DALL-E GEneration) dataset reveal that YOLOv8s-WAMNet achieves a mean Average Precision (mAP) of 51.90% at IoU=0.50 and 24.96% at IoU=0.50-0.95, outperforming the baseline YOLOv8s by 6.3 mAP@50 while reducing computational costs by approximately 54% (13.24 GFLOPs compared to 28.7 GFLOPs). Further testing on the DAWN (Detection in Adverse Weather Nature) dataset confirms the model’s robustness and generalization capabilities across various weather conditions. The findings indicate that YOLOv8s-WAMNet strikes an effective balance between detection accuracy and computational efficiency, with only 9.69 million parameters, and sets the stage for future enhancements in extreme weather scenarios and multi-sensor integration.

Introduction

The introduction of the research paper highlights the significant evolution of object detection within the field of computer vision, tracing its development from early methods such as YOLO (You Only Look Once) to more recent iterations. The original YOLO framework set a new standard for real-time object detection by balancing speed and accuracy, paving the way for subsequent models. Earlier approaches like Fast R-CNN and Faster R-CNN improved detection through region proposal networks, while SSD (Single Shot MultiBox Detector) offered a faster alternative by eliminating these proposals.

The YOLO framework has undergone continuous enhancements, with YOLO9000 expanding its capabilities to detect over 9,000 object categories and employing techniques like Focal Loss to tackle challenges in dense object detection. Subsequent versions, including YOLOv3, YOLOv4, and the more recent YOLOv5 through YOLOv11, have introduced various innovations such as Cross-Stage Partial connections, modular designs, and advanced optimization techniques. These developments have focused on scalability and adaptability for diverse applications, incorporating novel loss functions like SIoU and attention mechanisms like the Convolutional Block Attention Module (CBAM) to improve detection precision.

Methods

The section outlines the limitations of current adverse-weather detection methods and introduces a novel architecture, YOLOv8s-WAMNet, designed to address these challenges. Existing methods exhibit four primary limitations: (1) they lack robustness across multiple weather conditions, often excelling in only one type; (2) they suffer from inconsistent integration of backbone and attention mechanisms, hindering real-time deployment; (3) they experience instability in feature retention during visibility collapse, where local texture extraction fails to maintain global structure; and (4) they incur high computational costs, with many models exceeding 70-150 GFLOPs, making them unsuitable for applications in UAVs and autonomous driving.

To overcome these issues, the proposed YOLOv8s-WAMNet architecture enhances vehicle detection under adverse weather while ensuring real-time performance. It builds upon the YOLOv8s framework through architectural refinements in the backbone, neck, detection head, and loss function. Key innovations include an Efficient Hybrid Vision Transformer backbone with a Cross-Dimensional Multi-Scale Attention mechanism for improved feature extraction, a Contextual Multi-Attention Fusion module for adaptive multi-scale feature aggregation, and a Multi-Head Dynamic Attention strategy in the detection head for better localization accuracy. Additionally, a hybrid SIoU-MPDIoU loss function is employed to enhance bounding-box regression amidst complex visual distortions. The architecture’s design and component interactions are visually represented in Figure 4.

Results

The simulation results presented in this section demonstrate the effectiveness of the proposed model under various conditions. The experiments were conducted to evaluate the model’s performance metrics, including accuracy, precision, and computational efficiency. The results indicate a significant improvement over baseline models, with the proposed approach achieving an accuracy rate of $X\%$ and a precision score of $Y\%$ in the test scenarios.

Furthermore, the simulations reveal that the model maintains robust performance across different parameter settings, suggesting its adaptability to varying input conditions. The computational efficiency was also assessed, showing a reduction in processing time by $Z\%$ compared to traditional methods. These findings underscore the potential of the proposed model for practical applications in the relevant field.

Discussion

The discussion section of the paper highlights recent advancements in optimizing YOLO (You Only Look Once) models for real-time object detection under challenging environmental conditions. While Detection Transformers (DETRs) have shown superior performance, their high computational demands limit their use in lightweight applications. Adverse weather, such as rain and fog, significantly impacts detection accuracy, prompting various approaches to enhance robustness. Notable contributions include Wang et al.’s multidecoding deraining network and Liu et al.’s DAGL-Faster, which integrates domain adaptation techniques for vehicle detection in adverse conditions. Despite these advancements, existing YOLO architectures struggle with feature degradation and localization accuracy under severe visibility impairments.

The paper introduces several key innovations to address these challenges, including a Weather-Adaptive Hybrid Backbone that combines Efficient Hybrid Vision Transformer (EHViT) with Cross-Dimensional Multi-Scale Attention (CDMSA) to improve feature representation. The Contextual Multi-Attention Fusion (CMAF) module enhances multi-scale feature consistency, while the Multi-Head Dynamic Attention (MHDA) head improves detection robustness across varying weather conditions. The proposed YOLOv8s-WAMNet model demonstrates superior accuracy and efficiency compared to recent YOLO variants and RT-DETR on the WEDGE dataset, maintaining lightweight characteristics suitable for real-time deployment. Overall, the work emphasizes the need for adaptive architectures that can effectively handle the complexities of object detection in adverse weather scenarios.

Limitations

The limitations of the YOLOv8s-WAMNet model, despite its strong performance on both the synthetic WEDGE dataset and the real-world DAWN dataset, highlight several challenges. Notably, the model struggles with accuracy in detecting rare and small-scale object categories, such as bicycles, due to dataset imbalance and insufficient visual cues in adverse weather conditions. Although the model shows improved generalization in real-world scenarios, it still experiences performance degradation in extreme conditions characterized by near-zero visibility, severe motion blur, or heavy occlusions, which are particularly challenging for single-frame, vision-only detection frameworks.

Additionally, the current implementation relies solely on RGB image inputs, suggesting that the integration of other sensing modalities—such as thermal, infrared, or radar data—could enhance robustness in extreme weather and nighttime conditions. Lastly, while the architecture is designed for computational efficiency and real-time deployment, further evaluation on ultra-low-power embedded or edge-specific hardware platforms remains necessary to fully assess its applicability in diverse operational environments.