DOI: https://doi.org/10.1016/j.inffus.2026.104377
تاريخ النشر: 2026-04-13
المؤلف: Yuzhi Wu وآخرون
الموضوع الرئيسي: تكنولوجيا وسلامة المركبات المستقلة
نظرة عامة
تقدم البحث MLF-4DRCNet، وهو إطار عمل جديد من مرحلتين مصمم لاكتشاف الأجسام ثلاثية الأبعاد من خلال الدمج متعدد المستويات لبيانات الرادار 4D وبيانات الكاميرا. تتناول هذه الطريقة قيود طرق دمج الرادار والكاميرا الحالية، التي تعتمد عادةً على نماذج رؤية الطائر التي لا تأخذ بعين الاعتبار بشكل كافٍ الطبيعة المتناثرة والصاخبة لسحب نقاط الرادار. يعزز MLF-4DRCNet تمثيل الميزات من خلال دمج المعلومات على ثلاثة مستويات: النقطة، المشهد، والاقتراح. تشمل المكونات الرئيسية مشفر نقاط الرادار المعزز (ERPE)، الذي ي densifies بيانات الرادار باستخدام مشفر ميزات الفوكسل ثلاثي الانتباه؛ وحدة دمج المشهد الهرمي (HSFP)، التي تستخدم الانتباه القابل للتشويه لدمج الميزات متعددة المقاييس؛ ووحدة تعزيز دمج مستوى الاقتراح (PLFE)، التي تقوم بتنقيح اقتراحات المناطق من خلال دمج الميزات الشامل.
تشير التقييمات التجريبية على مجموعات بيانات View-of-Delft (VoD) وTJ4DRadSet إلى أن MLF-4DRCNet يتفوق على تقنيات دمج الرادار والكاميرا الحالية ويحقق مستويات أداء قابلة للمقارنة مع النماذج المعتمدة على LiDAR على مجموعة بيانات VoD. تشير هذه النتائج إلى أن MLF-4DRCNet يوفر حلاً قويًا وفعالًا من حيث التكلفة للإدراك في القيادة الذاتية، خاصة في ظروف الطقس الصعبة.
مقدمة
تؤكد مقدمة ورقة البحث على الدور الحاسم لاكتشاف الأجسام ثلاثية الأبعاد بدقة في أنظمة القيادة الذاتية، التي تعتمد بشكل كبير على تحديد مواقع وتصنيف الأجسام مثل المركبات والمشاة في الفضاء ثلاثي الأبعاد. تستخدم طرق الكشف التقليدية عالية الدقة بشكل أساسي سحب نقاط LiDAR؛ ومع ذلك، فإن تكلفتها العالية وتدهور الأداء في ظروف الطقس السيئة يحد من تطبيقها على نطاق واسع. بالمقابل، يوفر رادار الموجات المليمترية، وخاصة تقنية الرادار 4D الناشئة، أداءً قويًا عبر سيناريوهات الطقس المختلفة وينتج سحب نقاط ثلاثية الأبعاد كثيفة تشبه تلك التي تنتجها LiDAR، على الرغم من وجود قيود داخلية مثل التشتت والضوضاء.
لمعالجة الفجوة في الأداء بين أنظمة الكشف المعتمدة على الرادار وLiDAR، تقترح الورقة إطار عمل جديد يسمى دمج متعدد المستويات مع شبكة الرادار والكاميرا 4D (MLF-4DRCNet). يدمج هذا الهيكل المكون من مرحلتين بيانات الرادار والكاميرا من خلال ثلاثة مكونات رئيسية: مشفر نقاط الرادار المعزز (ERPE)، وحدة دمج المشهد الهرمي (HSFP)، ووحدة تعزيز دمج مستوى الاقتراح (PLFE). يقوم ERPE بكثافة سحب نقاط الرادار باستخدام بيانات الصورة، بينما تلتقط HSFP ميزات مستوى المشهد دون الاعتماد على تحويلات رؤية الطائر. يعزز PLFE الكشف من خلال دمج اقتراحات المناطق مع ميزات الصورة. تظهر النتائج التجريبية على مجموعات بيانات View-of-Delft (VoD) وTJ4DRadset أن MLF-4DRCNet يحقق أداءً رائدًا في المجال، مما ينافس نماذج LiDAR، وبالتالي يدفع مجال اكتشاف الأجسام ثلاثية الأبعاد باستخدام الرادار والكاميرا إلى الأمام.
طرق
في هذا القسم، يقدم المؤلفون تحليلًا مقارنًا لنموذج MLF-4DRCNet المقترح مقابل نموذج PointPillars المعتمد على LiDAR باستخدام مجموعة بيانات VoD للتحقق. تشير النتائج، كما هو موضح في الجدول 6، إلى أن MLF-4DRCNet يضيق بشكل كبير الفجوة في الأداء مع الكشف عن LiDAR، حيث يتفوق بشكل خاص في منطقة الكشف الحرجة (DCA)، والتي تعتبر حاسمة لسلامة القيادة. من الجدير بالذكر أن MLF-4DRCNet حقق تحسينًا مثيرًا للإعجاب في الدقة بنسبة 87% في اكتشاف الدراجين مقارنة بـ PointPillars، وذلك بفضل قدرة الرادار على التقاط معلومات سرعة دوبلر بشكل فعال.
بالإضافة إلى ذلك، يبرز المؤلفون أن الفجوة في الأداء في اكتشاف السيارات بين نموذجهم وPointPillars أقل وضوحًا في DCA مقارنةً بمنطقة التطبيق الموسعة (EAA). يتم تفسير ذلك من خلال الكثافة الأعلى لسحب نقاط الرادار على المسافات القريبة، والتي، عند دمجها مع الميزات الدلالية من صور الكاميرا، تعزز قدرات الكشف. تؤكد النتائج على فعالية MLF-4DRCNet من حيث التكلفة، حيث أن أجهزة استشعار الرادار والكاميرا أرخص بكثير من LiDAR، مما يشير إلى ميزة اقتصادية واعدة للتطبيقات العملية في أنظمة اكتشاف المركبات.
نتائج
تسلط النتائج المقدمة في هذا القسم الضوء على أداء نموذج MLF-4DRCNet على مجموعات بيانات VoD وTJ4DRadSet، مما يظهر تفوقه في اكتشاف الأجسام ثلاثية الأبعاد. في مجموعة بيانات VoD، حقق MLF-4DRCNet أداءً رائدًا في المجال (SOTA) بدقة متوسطة (mAP) تبلغ 60.28% في نهج التجميع المبكر (EAA) و82.57% في نهج السياق الكثيف (DCA). يتجاوز هذا الأداء طرق الرادار فقط، مثل SMURF وRadarPillars، بنسبة لا تقل عن 9.31% في EAA و12.07% في DCA، مما يؤكد فعالية النموذج في الاستفادة من المعلومات التكميلية من صور الكاميرا. ومع ذلك، كان أداء النموذج في فئة المشاة أقل وضوحًا، ويعزى ذلك إلى الانعكاسات الأضعف للأجسام غير المعدنية والتحديات التي تطرحها الحجب.
في مجموعة بيانات TJ4DRadSet، التي تقدم سيناريوهات أكثر تعقيدًا، حقق MLF-4DRCNet أيضًا أداءً رائدًا في المجال، مع دقة 3D mAP إجمالية تبلغ 42.60% وmAP رؤية الطائر (BEV) تبلغ 47.45%. من الجدير بالذكر أن النموذج حسّن دقة الكشف لفئة الشاحنات الصعبة، حيث زاد AP 3D وAP BEV بنسبة لا تقل عن 3.38% و5.91% على التوالي. تؤكد هذه النتائج قدرة النموذج على تكثيف سحب نقاط الرادار بفعالية ودمج ميزات متعددة المستويات من بيانات الرادار والكاميرا، مما يثبت قوته في البيئات الصعبة. توضح نتائج التصور أيضًا قدرة النموذج على تعزيز كثافة نقاط الرادار في مناطق الأجسام، مما يسهم في تحسين احتمالات الكشف.
نقاش
في مناقشة الورقة، يستكشف المؤلفون التقدم والتحديات في اكتشاف الأجسام ثلاثية الأبعاد باستخدام تقنيات LiDAR والرادار، مع التركيز بشكل خاص على دمج الرادار مع أنظمة الكاميرا. تعاني طرق LiDAR، على الرغم من فعاليتها، من تكاليف عالية ومشكلات في الأداء في الظروف الجوية السيئة. بالمقابل، يظهر الرادار، وخاصة الرادار 4D، قوة تحت هذه الظروف ويقدم بديلاً فعالاً من حيث التكلفة. ومع ذلك، تؤدي الطبيعة المتناثرة والصاخبة للرادار إلى فجوات في الأداء مقارنةً بأنظمة LiDAR، مما يستلزم استكشاف استراتيجيات دمج الرادار والكاميرا لتعزيز قدرات الكشف.
تصنف الورقة منهجيات الدمج إلى نماذج دمج مبكر، ووسط، ومتأخر، حيث يكتسب الدمج الوسيط زخمًا لقدراته على تسهيل التفاعلات على مستوى الميزات بين الأنماط. يبرز المؤلفون مجموعة متنوعة من الأساليب، بما في ذلك الطرق الصريحة التي تستخدم الإسقاطات الهندسية والطرق الضمنية التي تستفيد من آليات الانتباه لمحاذاة الميزات. يقترحون هيكلًا جديدًا، MLF-4DRCNet، الذي يدمج بيانات الرادار والكاميرا على المستويين العالمي والمحلي لتحسين التفاعل ودقة الكشف. تشمل المكونات الرئيسية لهذا الهيكل مشفر نقاط الرادار المعزز (ERPE) لكثافة سحب النقاط ومشفر ميزات الفوكسل ثلاثي الانتباه (TA-VFE) الذي يعزز استخراج الميزات من خلال آليات الانتباه، بهدف سد الفجوة في الأداء بين أنظمة الرادار وLiDAR في اكتشاف الأجسام ثلاثية الأبعاد.
DOI: https://doi.org/10.1016/j.inffus.2026.104377
Publication Date: 2026-04-13
Author(s): Yuzhi Wu et al.
Primary Topic: Autonomous Vehicle Technology and Safety
Overview
The research presents MLF-4DRCNet, a novel two-stage framework designed for 3D object detection through the multi-level fusion of 4D radar and camera data. This approach addresses the limitations of existing radar-camera fusion methods, which typically rely on Bird’s-Eye-View paradigms that do not adequately account for the sparse and noisy nature of radar point clouds. MLF-4DRCNet enhances feature representation by integrating information at three levels: point, scene, and proposal. Key components include the Enhanced Radar Point Encoder (ERPE), which densifies radar data using a Triple-Attention Voxel Feature Encoder; the Hierarchical Scene Fusion Pooling (HSFP) module, which employs deformable attention for multi-scale feature integration; and the Proposal-Level Fusion Enhancement (PLFE) module, which refines region proposals through comprehensive feature fusion.
Experimental evaluations on the View-of-Delft (VoD) and TJ4DRadSet datasets indicate that MLF-4DRCNet surpasses existing radar-camera fusion techniques and achieves performance levels comparable to LiDAR-based models on the VoD dataset. These findings suggest that MLF-4DRCNet provides a robust and cost-effective solution for perception in autonomous driving, particularly in challenging weather conditions.
Introduction
The introduction of the research paper emphasizes the critical role of accurate 3D object detection in autonomous driving systems, which relies heavily on the localization and classification of objects such as vehicles and pedestrians in three-dimensional space. Traditional high-precision detection methods predominantly utilize LiDAR point clouds; however, their high cost and performance degradation in adverse weather conditions limit their widespread application. In contrast, millimeter-wave radar, particularly the emerging 4D radar technology, offers robust performance across various weather scenarios and generates dense 3D point clouds that closely resemble those produced by LiDAR, albeit with inherent limitations such as sparsity and noise.
To address the performance gap between radar and LiDAR-based detection systems, the paper proposes a novel framework called Multi-Level Fusion with 4D Radar and Camera Network (MLF-4DRCNet). This two-stage architecture integrates radar and camera data through three key components: the Enhanced Radar Point Encoder (ERPE), the Hierarchical Scene Fusion Pooling (HSFP), and the Proposal-Level Fusion Enhancement (PLFE). The ERPE densifies radar point clouds using image data, while the HSFP captures scene-level features without relying on Bird’s-Eye-View transformations. The PLFE further enhances detection by fusing region proposals with image features. Experimental results on the View-of-Delft (VoD) and TJ4DRadset datasets demonstrate that MLF-4DRCNet achieves state-of-the-art performance, rivaling that of LiDAR-based models, thereby advancing the field of radar-camera 3D object detection.
Methods
In this section, the authors present a comparative analysis of their proposed MLF-4DRCNet model against the established LiDAR-based PointPillars model using the VoD validation set. The results, as detailed in Table 6, indicate that MLF-4DRCNet significantly narrows the performance gap with LiDAR detection, particularly excelling in the Detection Critical Area (DCA), which is crucial for driving safety. Notably, MLF-4DRCNet achieves an impressive accuracy improvement of 87% in detecting cyclists compared to PointPillars, attributed to radar’s ability to capture Doppler velocity information effectively.
Additionally, the authors highlight that the performance disparity in car detection between their model and PointPillars is less pronounced in the DCA than in the Extended Area of Application (EAA). This is explained by the higher density of radar point clouds at closer ranges, which, when combined with semantic features from camera images, enhances detection capabilities. The findings underscore the cost-effectiveness of MLF-4DRCNet, as radar and camera sensors are significantly cheaper than LiDAR, suggesting a promising economic advantage for practical applications in vehicle detection systems.
Results
The results presented in this section highlight the performance of the MLF-4DRCNet model on the VoD and TJ4DRadSet datasets, demonstrating its superiority in 3D object detection. In the VoD dataset, MLF-4DRCNet achieved state-of-the-art (SOTA) performance with a mean Average Precision (mAP) of 60.28% in the Early Aggregation Approach (EAA) and 82.57% in the Dense Contextual Approach (DCA). This performance surpasses radar-only methods, such as SMURF and RadarPillars, by at least 9.31% in EAA and 12.07% in DCA, confirming the model’s effectiveness in leveraging complementary information from camera images. However, the model’s performance on the pedestrian category was less pronounced, attributed to the weaker reflections of non-metallic objects and the challenges posed by occlusion.
In the TJ4DRadSet, which presents more complex scenarios, MLF-4DRCNet also achieved SOTA performance, with an overall 3D mAP of 42.60% and a Bird’s Eye View (BEV) mAP of 47.45%. Notably, the model improved detection accuracy for the challenging truck category, enhancing AP 3D and AP BEV by at least 3.38% and 5.91%, respectively. These results underscore the model’s capability to effectively densify radar point clouds and integrate multi-level features from both radar and camera data, thereby validating its robustness in challenging environments. Visualization results further illustrate the model’s ability to enhance radar point density in object regions, contributing to improved detection probabilities.
Discussion
In the discussion of the paper, the authors explore the advancements and challenges in 3D object detection using LiDAR and radar technologies, particularly emphasizing the integration of radar with camera systems. LiDAR-based methods, while effective, are hindered by high costs and performance issues in adverse weather. In contrast, radar, especially 4D radar, demonstrates robustness under such conditions and offers a cost-effective alternative. However, radar’s inherent sparsity and noise lead to performance gaps compared to LiDAR systems, necessitating the exploration of radar-camera fusion strategies to enhance detection capabilities.
The paper categorizes fusion methodologies into early, middle, and late fusion paradigms, with middle fusion gaining traction for its ability to facilitate feature-level interactions between modalities. The authors highlight various approaches, including explicit methods that utilize geometric projections and implicit methods that leverage attention mechanisms for feature alignment. They propose a novel architecture, MLF-4DRCNet, which integrates radar and camera data at both global and local levels to improve interaction and detection accuracy. Key components of this architecture include an Enhanced Radar Point Encoder (ERPE) for point cloud densification and a Triple Attention Voxel Feature Encoder (TA-VFE) that enhances feature extraction through attention mechanisms, ultimately aiming to bridge the performance gap between radar and LiDAR systems in 3D object detection.