DOI: https://doi.org/10.1038/s41598-026-45310-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41888374
تاريخ النشر: 2026-03-26
المؤلف: Si-Qi Li وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
في هذا القسم، يبرز المؤلفون قيدًا كبيرًا في الأساليب الحالية لتعلم الآلة في رؤية الكمبيوتر، والتي تعتمد بشكل أساسي على ميزات الألوان ثلاثية القنوات RGB من الصور البصرية. يجادلون بأن هذه الاعتماد يتجاهل إمكانيات الميزات المكانية ثلاثية الأبعاد، مما يقيد أداء التعرف. للتغلب على هذا القيد، يقترح المؤلفون خطة كشف جديدة تدمج ميزات العمق الزائفة مع بيانات RGB، مما يعزز قدرات الكشف للنموذج دون الحاجة إلى أجهزة استشعار إضافية.
تستخدم الطريقة المقترحة نموذج تقدير العمق أحادي العين ليعمل كجهاز استشعار عمق افتراضي، مستخرجة ميزات العمق الزائفة من الصور البصرية. يتم استخدام هذه الميزات المدمجة Depth-RGB بعد ذلك في شبكة عصبية لتدريب واستخراج الكائنات، مما يؤدي إلى تحسين استخراج الميزات المكانية. تظهر النتائج التجريبية أن هذه الطريقة تعزز بشكل كبير أداء الكشف، حيث تحقق زيادات في متوسط الدقة (mAP) بمقدار 3.8 و 8.0 نقطة مئوية على مجموعات بيانات M3FD و COCO، على التوالي. يؤكد المؤلفون على تعددية خطتهم، مشيرين إلى توافقها مع نماذج تعلم الآلة الحالية لتعزيز أداء الكشف بشكل فعال.
مقدمة
تناقش مقدمة هذه الورقة البحثية أهمية كشف الكائنات ضمن رؤية الكمبيوتر، مع تسليط الضوء على تطبيقاتها في مجالات مثل القيادة الذاتية ومراقبة الأمن. تستخدم طرق كشف الكائنات التقليدية بشكل أساسي صور RGB، مما يحد من قدرتها على الاستفادة من معلومات العمق ثلاثية الأبعاد (3D) الضرورية لتعزيز دقة الكشف. توضح الورقة تطور أطر الكشف إلى فئتين رئيسيتين: نماذج الشبكات العصبية التلافيفية (CNN)، المعروفة بكفاءتها واحتياجاتها المنخفضة من الحوسبة، ونماذج المحولات البصرية (ViT)، التي تتفوق في التقاط السياق العالمي ولكنها تتطلب موارد حوسبة أكبر.
لمعالجة قيود الكشف القائم على صور RGB ثنائية الأبعاد، تم دمج البيانات العمقية من خلال تقنيات دمج متعددة الوسائط. تم تطوير أطر مختلفة، مثل DMRANet و DETR3D، لدمج معلومات RGB والعمق بشكل فعال، مما يحسن الفهم المكاني وأداء الكشف. ومع ذلك، تحدد الورقة التحديات المرتبطة بأنظمة متعددة المستشعرات، بما في ذلك التكاليف العالية والمعايرة المعقدة، مما يعيق النشر العملي. للتغلب على هذه القضايا، يقترح المؤلفون نهجًا جديدًا يولد خرائط عمق زائفة من صور RGB أحادية العين باستخدام نموذج تقدير العمق. تهدف هذه الطريقة إلى تعزيز قدرات كشف الكائنات دون الحاجة إلى أجهزة استشعار إضافية، باستخدام بنية شبكة ذات فرعين لدمج الميزات من كل من صور RGB وخرائط العمق الزائفة المولدة.
طرق
تستند البنية التجريبية المقترحة إلى إطار الكشف YOLO11n، الذي يستخدم شبكة هيكلية متعددة المقاييس لاستخراج الميزات، مع دمج وحدات التلافيف والدمج جنبًا إلى جنب مع آليات الانتباه. تولد هذه البنية ثلاث خرائط ميزات رئيسية، تُعرف باسم $f^{(3)}$، $f^{(4)}$، و $f^{(5)}$، والتي يتم دمجها من خلال وحدة استخراج ميزات ذات فرعين تعالج صور RGB وخرائط العمق الزائفة بشكل منفصل. يتم التعبير عن دمج هذه الميزات على أنه $f^{(n)}_c = f^{(n)}_{rgb} \parallel f^{(n)}_{depth}$ لـ $n = 3، 4، 5$. تعالج رأس الكشف هذه الميزات المدمجة لإنتاج نتائج الكشف النهائية، مع إجراء تعديلات أيضًا على YOLOv8 و RT-DETR.
تشمل الإعدادات التجريبية تقييم الخوارزمية على مجموعات بيانات M3FD و COCO. تتكون مجموعة بيانات M3FD من صور حرارية تحت الحمراء وصور RGB متزامنة، تم توضيحها عبر ست فئات، بينما تشمل COCO مجموعة أكبر من الصور مع 80 فئة كائنات. يتم استخدام مقاييس الأداء مثل F1-score، ومتوسط الدقة (mAP) عند عتبات IoU تبلغ 0.50 و 0.50:0.95 لتقييم فعالية الطريقة بشكل كمي. تُجرى التجارب على محطة عمل مزودة بوحدة معالجة الرسوميات NVIDIA Tesla P40 باستخدام إطار عمل PyTorch، مع تطبيق تقنيات تعزيز البيانات لتعزيز قوة النموذج.
نتائج
في هذا القسم، يقيم الدراسة فعالية النهج المقترح باستخدام YOLO11n كنموذج أساسي، إلى جانب مقارنات مع نماذج YOLOv8-n و RT-DETR. تم إجراء التجارب من الصفر دون أوزان مدربة مسبقًا، مع التركيز على الفروق في الأداء بين استخدام صور RGB فقط ودمج معلومات العمق الزائفة (RGB-pD). تشير النتائج من مجموعات بيانات COCO و M3FD إلى أن دمج ميزات العمق الزائفة يعزز بشكل كبير أداء الكشف. على وجه التحديد، بالنسبة لنموذج YOLO11n، تحسن متوسط الدقة (mAP) عند 50% بمقدار 3.8 نقطة مئوية على مجموعة بيانات M3FD و 8.0 نقطة مئوية على مجموعة بيانات COCO.
تظهر النتائج، الملخصة في الجداول II و III و IV، أن تحسينات الأداء المماثلة تُلاحظ عبر أطر YOLOv8-n و RT-DETR عند استخدام معلومات العمق الزائفة. تكشف نتائج الكشف الخاصة بالفئات أن النموذج الذي يحتوي على العمق الزائف يتفوق باستمرار على النموذج الذي يعتمد فقط على RGB عبر فئات مختلفة، مما يبرز قوة الطريقة المقترحة في تعزيز قدرات الكشف.
نقاش
في هذا القسم، يناقش المؤلفون نهجًا جديدًا لتعزيز دقة كشف الكائنات من خلال دمج معلومات العمق الزائفة المستمدة من صور RGB أحادية العين، مما يلغي الحاجة إلى أجهزة استشعار العمق المكلفة مثل LiDAR أو الكاميرات ثلاثية الأبعاد. لا تقلل هذه الطريقة من تكاليف النشر وتعقيد التقنية فحسب، بل تحسن أيضًا فهم المشهد وأداء الكشف عبر مجموعات بيانات مختلفة، وخاصة M3FD و COCO. تعمل شبكة دمج الميزات ذات الفرعين المقترحة بشكل فعال على دمج ميزات RGB والعمق الزائف، باستخدام استراتيجية دمج وسطى توازن بين الكفاءة الحاسوبية والحفاظ على الخصائص المحددة لكل نمط.
تظهر النتائج التجريبية تحسينات كبيرة في دقة الكشف، حيث تحقق الطريقة المقترحة زيادة تصل إلى 8 نقاط مئوية في متوسط الدقة (mAP) على مجموعة بيانات COCO. يعزز دمج معلومات العمق الزائفة إدراك حدود الكائن، ويقلل من عمليات الكشف المفقودة، ويعزز قوة النموذج تحت ظروف صعبة مثل الإضاءة المنخفضة والاعتراض. يستنتج المؤلفون أن نهجهم يقدم حلاً منخفض التكلفة وسهل التنفيذ لتحسين أنظمة كشف الكائنات، مقترحين أن الاستكشاف الإضافي لميزات طيفية أخرى، مثل الأشعة تحت الحمراء، قد يؤدي إلى فوائد أداء أكبر.
DOI: https://doi.org/10.1038/s41598-026-45310-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41888374
Publication Date: 2026-03-26
Author(s): Si-Qi Li et al.
Primary Topic: Advanced Neural Network Applications
Overview
In this section, the authors highlight a significant limitation in current machine learning approaches for computer vision, which primarily rely on three-channel RGB color features from optical images. They argue that this reliance neglects the potential of three-dimensional spatial features, thereby constraining recognition performance. To overcome this limitation, the authors propose a novel detection scheme that integrates pseudo-depth features with RGB data, enhancing the model’s detection capabilities without the need for additional hardware sensors.
The proposed method employs a monocular depth estimation model to act as a virtual depth sensor, extracting pseudo-depth features from the optical images. These fused Depth-RGB features are then utilized in a neural network for object detection training and inference, leading to improved spatial feature extraction. Experimental results demonstrate that this approach significantly enhances detection performance, achieving increases in the mean Average Precision (mAP) of 3.8 and 8.0 percentage points on the M3FD and COCO datasets, respectively. The authors emphasize the versatility of their scheme, noting its compatibility with existing machine learning models to boost detection performance effectively.
Introduction
The introduction of this research paper discusses the significance of object detection within computer vision, highlighting its applications in areas such as autonomous driving and security surveillance. Traditional object detection methods primarily utilize RGB images, which limits their ability to leverage three-dimensional (3D) depth information crucial for enhancing detection accuracy. The paper outlines the evolution of detection frameworks into two main categories: convolutional neural network (CNN)-based models, known for their efficiency and low computational demands, and vision Transformer (ViT)-based models, which excel in capturing global context but require more computational resources.
To address the limitations of 2D RGB image-based detection, recent advancements have integrated depth data through multi-modal fusion techniques. Various frameworks, such as DMRANet and DETR3D, have been developed to effectively combine RGB and depth information, improving spatial understanding and detection performance. However, the paper identifies challenges associated with multi-sensor systems, including high costs and complex calibration, which hinder practical deployment. To overcome these issues, the authors propose a novel approach that generates pseudo-depth maps from monocular RGB images using a depth estimation model. This method aims to enhance object detection capabilities without the need for additional sensors, utilizing a dual-branch network architecture to fuse features from both RGB images and the generated pseudo-depth maps.
Methods
The proposed experimental architecture is based on the YOLO11n detection framework, which utilizes a multi-scale backbone network for feature extraction, incorporating convolutional and fusion modules along with attention mechanisms. This architecture generates three key feature maps, denoted as $f^{(3)}$, $f^{(4)}$, and $f^{(5)}$, which are fused through a dual-branch feature extraction module that processes RGB images and pseudo-depth maps separately. The concatenation of these features is expressed as $f^{(n)}_c = f^{(n)}_{rgb} \parallel f^{(n)}_{depth}$ for $n = 3, 4, 5$. The detection head processes these fused features to produce final detection results, with modifications also applied to YOLOv8 and RT-DETR.
The experimental settings involve evaluating the algorithm on the M3FD and COCO datasets. The M3FD dataset consists of synchronized thermal infrared and RGB images, annotated across six categories, while COCO includes a larger variety of images with 80 object categories. Performance metrics such as F1-score, mean Average Precision (mAP) at IoU thresholds of 0.50 and 0.50:0.95 are employed to quantitatively assess the method’s effectiveness. The experiments are conducted on a workstation with an NVIDIA Tesla P40 GPU using the PyTorch framework, with data augmentation techniques applied to enhance model robustness.
Results
In this section, the study evaluates the effectiveness of a proposed approach using YOLO11n as the baseline model, alongside comparisons with YOLOv8-n and RT-DETR models. The experiments were conducted from scratch without pre-trained weights, focusing on the performance differences between using only RGB images and incorporating pseudo-depth (RGB-pD) information. Results from the COCO and M3FD datasets indicate that the integration of pseudo-depth features significantly enhances detection performance. Specifically, for the YOLO11n model, the mean Average Precision (mAP) at 50% improved by 3.8 percentage points on the M3FD dataset and by 8.0 percentage points on the COCO dataset.
The findings, summarized in Tables II, III, and IV, demonstrate that similar performance improvements are observed across YOLOv8-n and RT-DETR frameworks when pseudo-depth information is utilized. The category-specific detection results reveal that the model with pseudo-depth consistently outperforms the RGB-only model across various categories, highlighting the robustness of the proposed method in enhancing detection capabilities.
Discussion
In this section, the authors discuss a novel approach to enhance object detection accuracy by integrating pseudo-depth information derived from monocular RGB images, eliminating the need for expensive depth sensors like LiDAR or 3D cameras. This method not only reduces deployment costs and technical complexity but also improves scene understanding and detection performance across various datasets, specifically M3FD and COCO. The proposed dual-branch feature fusion network effectively combines RGB and pseudo-depth features, utilizing a middle fusion strategy that balances computational efficiency with the preservation of modality-specific characteristics.
Experimental results demonstrate significant improvements in detection accuracy, with the proposed method achieving up to an 8 percentage point increase in mean Average Precision (mAP) on the COCO dataset. The integration of pseudo-depth information enhances object boundary perception, reduces missed detections, and bolsters model robustness under challenging conditions such as low light and occlusion. The authors conclude that their approach offers a low-cost, easily implementable solution for improving object detection systems, suggesting that further exploration of additional spectral features, such as infrared, could yield even greater performance benefits.