نموذج خفيف لاكتشاف الأجسام الصغيرة في صور الطائرات بدون طيار يعتمد على التكامل الدلالي العميق A lightweight small object detection model for UAV images based on deep semantic integration

شارك:
المجلة: Scientific Reports، المجلد: 15، العدد: 1
DOI: https://doi.org/10.1038/s41598-025-16878-6
PMID: https://pubmed.ncbi.nlm.nih.gov/40883434
تاريخ النشر: 2025-08-29
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة

نظرة عامة

في هذا القسم، يقوم المؤلفون بنقد طرق الكشف عن الأجسام الصغيرة الحالية التي تستخدم بشكل أساسي الكتل المتبقية، والتي تتطلب حسابات كثيفة وغالبًا ما تكون زائدة، مما يعيق تحسين الأداء في الكشف عن الأجسام الصغيرة. للتغلب على هذه القيود، يقترحون شبكة هرمية محسنة للميزات تُسمى شبكة الهرم للميزات L (L-FPN) ويقدمون كاشف أجسام صغير يُدعى BPD-YOLO. يستفيد BPD-YOLO من آلية دمج الميزات غير المتناظرة ذات المرحلتين (DAFF) لدمج الميزات الدلالية السطحية والعميقة بشكل متوازي، مما يعالج الفجوة الدلالية. بالإضافة إلى ذلك، تم تقديم وحدة دمج الهرم المكاني العميق (DSPF) لإنشاء تمثيلات ميزات متعددة المقاييس، مما يقلل من العبء الحسابي مقارنة بتكديس الكتل المتبقية التقليدية.

أجرى المؤلفون تجارب واسعة على مجموعات بيانات VisDrone وTinyPerson، مما يظهر أن BPD-YOLO يحقق تحسينًا بنسبة 2.8% في متوسط الدقة (mAP50) وزيادة بنسبة 1.4% في mAP50-95 على مجموعة بيانات VisDrone مقارنة بالنموذج الأساسي YOLOv8n + p2. على مجموعة بيانات TinyPerson، يتفوق BPD-YOLO في استخراج الميزات عالية الدقة، مما يعزز دقة الكشف مع تقليل التكاليف الحسابية بشكل كبير. يسلط البحث الضوء على التحديات المتعلقة بكشف الأجسام الصغيرة في صور الطائرات بدون طيار، بما في ذلك الخلفيات المعقدة، وازدحام الأجسام، وتفاوت مقاييس الأجسام. بينما تظهر الطرق المقترحة تقدمًا كبيرًا في دقة الكشف وكفاءته، يعترف المؤلفون بإمكانية تحسين التصميم الخفيف لمزيد من تحسين سرعة الاستدلال والدقة في الأعمال المستقبلية.

طرق

في هذا القسم، يتم التحقق من فعالية نموذج BPD-YOLO من خلال مقارنات مع نماذج الكشف عن الأجسام المتقدمة المختلفة على مجموعة بيانات VisDorne2019. تشير النتائج إلى أن BPD-YOLO يتفوق على كل من RetinaNet وFaster R-CNN في دقة الكشف مع تقليل التكاليف الحسابية بشكل كبير. على وجه التحديد، يحقق BPD-YOLO تحسينات بنسبة 9% و7.7% في متوسط الدقة (mAP) عند عتبات 50 و50-95، على التوالي، مقارنة بـ RetinaNet، مع تقليل المعلمات بمقدار 41.24 مليون وعبء حسابي بمقدار 557.17 GFLOPs. عند المقارنة مع Faster R-CNN، يظهر BPD-YOLO تحسينات بنسبة 2.3% و3.1% في mAP50 وmAP50-95، على التوالي، مع تقليل 28.47 مليون معلمة و292.65 GFLOPs.

بالإضافة إلى ذلك، يظهر BPD-YOLO أداءً متفوقًا مقارنة بالخوارزميات الخفيفة مثل C3TB-YOLOv5 وYOLOv7-Tiny، محققًا دقة كشف أعلى مع تكاليف حسابية أقل. على الرغم من أن C3TB-YOLOv5 يتفوق قليلاً على BPD-YOLO في دقة الكشف، إلا أن الأخير يقلل بشكل كبير من كل من المعلمات والتكاليف الحسابية. تكشف النتائج أيضًا أن BPD-YOLO يتفوق على الشبكات الهرمية التقليدية المحسنة (FPNs) مثل AFPN وBiFPN، محققًا تخفيضات كبيرة في المعلمات والتكاليف الحسابية مع انخفاضات طفيفة فقط في دقة الكشف.

علاوة على ذلك، يستكشف القسم تأثير طرق الترقية المختلفة على أداء النموذج. تؤدي طرق التداخل التقليدية، مثل التداخل الثنائي والتداخل الأقرب جار، إلى دقة أقل على الرغم من تقليل تكاليفها الحسابية. بالمقابل، تعزز الطرق المتقدمة مثل DySample وCARAFE الدقة بشكل كبير، حيث توفر DySample توازنًا ملائمًا بين الأداء والكفاءة الحسابية. يؤدي اعتماد DySample في إطار L-FPN إلى تحسينات ملحوظة في mAP، خاصةً لكشف الأجسام الصغيرة، مما يثبت اختيارها كأفضل طريقة ترقية للنموذج.

نقاش

في مناقشة كشف الأجسام الصغيرة، يسلط البحث الضوء على التحديات الجوهرية بسبب التمثيل المحدود للبكسلات للأجسام الصغيرة، مما يعقد استخراج الميزات وغالبًا ما يؤدي إلى فقدان الكشف. تم اقتراح طرق مختلفة لتعزيز قدرات الكشف، بما في ذلك دمج الميزات متعددة المقاييس وتحسين المراسي. من الجدير بالذكر أن نماذج مثل SSD وRetinaNet قد حققت تقدمًا في معالجة هذه التحديات، حيث تستخدم RetinaNet خسارة بؤرية للتخفيف من عدم توازن الفئات. ومع ذلك، على الرغم من التقدم في نماذج مثل YOLO وتكراراتها، فإن الاعتماد على طبقات الميزات الأعمق غالبًا ما يتجاهل المساهمات الحيوية للميزات السطحية، التي تعتبر أساسية لكشف الأجسام الصغيرة.

يقدم البحث بنية L-FPN، التي تدمج بشكل مبتكر استراتيجيات من شبكات تقسيم الصور الدلالية مثل U-Net لتحسين كشف الأجسام الصغيرة. من خلال استخدام آلية دمج تقدمية ذات رأس مزدوج، تجمع L-FPN بشكل فعال بين الميزات السطحية والعميقة، مما يعزز حساسية النموذج للأجسام الصغيرة مع الحفاظ على الكفاءة الحسابية. بالإضافة إلى ذلك، يسمح إدخال طريقة ترقية DySample بإجراء تعديلات ديناميكية في العينة، مما يحسن قدرة النموذج على تمييز الأجسام الصغيرة عن الخلفية. بشكل عام، تهدف بنية BPD-YOLO المقترحة إلى سد الفجوة الدلالية بين الميزات ذات المستوى المنخفض والعالي، مما يعزز بشكل كبير أداء الكشف عن الأجسام الصغيرة من خلال دمج الميزات المكررة وتكامل المعلومات السياقية.

Journal: Scientific Reports, Volume: 15, Issue: 1
DOI: https://doi.org/10.1038/s41598-025-16878-6
PMID: https://pubmed.ncbi.nlm.nih.gov/40883434
Publication Date: 2025-08-29
Author(s): Zhenyun Du et al.
Primary Topic: Advanced Neural Network Applications

Overview

In this section, the authors critique existing small object detection methods that predominantly utilize residual blocks, which are computationally intensive and often redundant, hindering performance improvements for small object detection. To overcome these limitations, they propose an enhanced feature pyramid network termed the L Feature Pyramid Network (L-FPN) and introduce a small object detector called BPD-YOLO. The BPD-YOLO leverages a Dual-phase Asymptotic Feature Fusion mechanism (DAFF) to fuse shallow and deep semantic features in parallel, thereby addressing the semantic gap. Additionally, the Deep Spatial Pyramid Fusion module (DSPF) is introduced to create multi-scale feature representations, reducing computational overhead compared to traditional residual block stacking.

The authors conducted extensive experiments on the VisDrone and TinyPerson datasets, demonstrating that BPD-YOLO achieves a 2.8% improvement in mean Average Precision (mAP50) and a 1.4% increase in mAP50-95 on the VisDrone dataset compared to the baseline model YOLOv8n + p2. On the TinyPerson dataset, BPD-YOLO excels in high-resolution feature extraction, enhancing detection accuracy while significantly lowering computational costs. The paper highlights the challenges of small object detection in drone imagery, including complex backgrounds, dense object occlusions, and varying object scales. While the proposed methods show significant advancements in detection accuracy and efficiency, the authors acknowledge the potential for further optimization in lightweight design for improved inference speed and accuracy in future work.

Methods

In this section, the effectiveness of the BPD-YOLO model is validated through comparisons with various advanced object detection models on the VisDorne2019 dataset. The results indicate that BPD-YOLO outperforms both RetinaNet and Faster R-CNN in detection accuracy while significantly reducing computational costs. Specifically, BPD-YOLO achieves improvements of 9% and 7.7% in mean Average Precision (mAP) at thresholds of 50 and 50-95, respectively, compared to RetinaNet, while decreasing parameters by 41.24 million and computational load by 557.17 GFLOPs. When compared to Faster R-CNN, BPD-YOLO shows enhancements of 2.3% and 3.1% in mAP50 and mAP50-95, respectively, alongside reductions of 28.47 million parameters and 292.65 GFLOPs.

Additionally, BPD-YOLO demonstrates superior performance against lightweight algorithms such as C3TB-YOLOv5 and YOLOv7-Tiny, achieving higher detection accuracy with lower computational costs. Although C3TB-YOLOv5 slightly surpasses BPD-YOLO in detection accuracy, the latter significantly reduces both parameters and computational costs. The findings also reveal that BPD-YOLO outperforms traditional improved Feature Pyramid Networks (FPNs) like AFPN and BiFPN, achieving substantial reductions in parameters and computational costs with only minimal decreases in detection accuracy.

Furthermore, the section explores the impact of different upsampling methods on model performance. Traditional interpolation methods, such as Bilinear and Nearest Neighbor Interpolation, yield lower accuracy despite their reduced computational costs. In contrast, advanced methods like DySample and CARAFE significantly enhance accuracy, with DySample providing a favorable balance of performance and computational efficiency. The adoption of DySample in the L-FPN framework results in notable improvements in mAP, particularly for small object detection, solidifying its selection as the optimal upsampling method for the model.

Discussion

In the discussion of small object detection, the paper highlights the inherent challenges due to the limited pixel representation of small objects, which complicates feature extraction and often results in missed detections. Various methods have been proposed to enhance detection capabilities, including multi-scale feature fusion and anchor optimization. Notably, models like SSD and RetinaNet have made strides in addressing these challenges, with RetinaNet employing Focal Loss to mitigate class imbalance. However, despite advancements in models such as YOLO and its iterations, the reliance on deeper feature layers has often overlooked the critical contributions of shallow features, which are essential for detecting small objects.

The paper introduces the L-FPN architecture, which innovatively integrates strategies from semantic segmentation networks like U-Net to improve small object detection. By employing a dual-head progressive fusion mechanism, L-FPN effectively combines shallow and deep features, enhancing the model’s sensitivity to small objects while maintaining computational efficiency. Additionally, the introduction of the DySample upsampling method allows for dynamic adjustments in sampling, improving the model’s ability to distinguish small objects from the background. Overall, the proposed BPD-YOLO architecture aims to bridge the semantic gap between low-level and high-level features, significantly enhancing detection performance for small objects through refined feature fusion and contextual information integration.