DOI: https://doi.org/10.1109/tits.2026.3659806
تاريخ النشر: 2026-02-20
المؤلف: Zhang Zhang وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
في هذا القسم، يستنتج المؤلفون أن الطرق التقليدية لتوقع الارتفاع باستخدام ميزات الصورة ووجهة نظر الطائر (BEV) تعوقها القيود المنظورية الفطرية للصور وغياب بيانات الارتفاع الواضحة. لمعالجة هذه التحديات، يقدمون إطار عمل جديد يسمى HeightFormer، الذي يستفيد من ميزات الفوكسل وهياكل المحولات لدمج معلومات الارتفاع الواضحة. تعزز هذه الطريقة بشكل كبير من فهم النموذج للبيئة ثلاثية الأبعاد، مما يؤدي إلى تحسين الدقة في توقع توزيعات ارتفاعات الأجسام.
بالإضافة إلى ذلك، يقترح المؤلفون آلية انتباه للارتفاع تنظم ميزات الفوكسل في تسلسلات ارتفاع، مما يسمح بإجراء حسابات الانتباه الذاتي ضمن هذه التسلسلات المحلية. تؤدي هذه الابتكار إلى تمثيلات أكثر دقة لميزات الفوكسل. يتم التحقق من فعالية HeightFormer من خلال أدائه المتفوق في مهام الكشف عن الأجسام ثلاثية الأبعاد على جانب الطريق عبر معيارين كبيرين في العالم الحقيقي، متجاوزًا المنهجيات الحالية الرائدة.
مقدمة
تسلط المقدمة الضوء على الدور الحاسم لإدراك الرؤية في تقدير الحالة للقيادة الذاتية، مع التأكيد على استخدام الكاميرات لتعزيز الوعي البيئي. بينما تركز الأبحاث الحالية بشكل أساسي على الكشف عن الأجسام ثلاثية الأبعاد المرتكز على رؤية جانب السيارة، فإن هذه الطريقة تقدم تحديات تتعلق بالسلامة بسبب منظورها العالمي المحدود وقدراتها على الإدراك بعيد المدى. في المقابل، حظيت التطورات الأخيرة في الكشف عن الأجسام ثلاثية الأبعاد المرتكز على رؤية جانب الطريق باهتمام لقدرتها على توسيع نطاق الإدراك وتحسين سلامة الطرق. يوفر الوضع الاستراتيجي للكاميرات على جانب الطريق مزايا كبيرة، مثل تعزيز المتانة وتقليل تأثيرات الحجب، مما يكمل أنظمة جانب السيارة ويعالج مخاوف السلامة في تطبيقات القيادة الذاتية.
طرق
في هذه الدراسة، استخدم المؤلفون ResNet-34 وشبكات هرم الميزات (FPN) كترميزات للصورة في تجاربهم. تم تكوين حجم شبكة وجهة نظر الطائر (BEV) إلى 0.4 متر، مع استخدام حجم بديل قدره 0.8 متر خلال تجارب الإزالة. تم تعريف الأبعاد المكانية لمحاور X و Y على أنها [0، 102.4] متر و [-51.2، 51.2] متر، على التوالي، بينما تم تعيين دقة الصورة المدخلة إلى (864، 1536).
بالنسبة لعملية التدريب، تم استخدام مُحسِّن AdamW بمعدل تعلم قدره $2 \times 10^{-4}$ وانحلال وزن قدره $1 \times 10^{-2}$. تم تنفيذ استراتيجية معدل تعلم تذبذبي لتقليل معدل التعلم تدريجياً طوال فترة التدريب. تم تقييد زيادة البيانات إلى تقلبات عشوائية في مساحة BEV. تم إجراء جميع عمليات التدريب على أربع وحدات معالجة الرسوميات RTX-3090، بينما تم تنفيذ الاستدلال على وحدة معالجة الرسوميات RTX-3090 واحدة بحجم دفعة واحدة.
نتائج
يقيم قسم النتائج أداء نموذج HeightFormer المقترح على مجموعتي تحقق: DAIR-V2X-I و Rope3D. في مجموعة تحقق DAIR-V2X-I، يتم مقارنة HeightFormer ضد عدة طرق رائدة تعتمد على الرؤية، مثل ImVoxel-Net و BEVFormer وطرق LiDAR التقليدية مثل PointPillars و SECOND. تشير النتائج إلى أن HeightFormer يحقق أداءً رائدًا في هذه المقارنات. وبالمثل، في مجموعة تحقق Rope3D، يتفوق HeightFormer على جميع الطرق المنافسة المرتكزة على الرؤية، مما يبرز قدراته المتفوقة.
يناقش القسم أيضًا الجوانب التقنية للنموذج، مشيرًا إلى أن حجم نواة الالتفاف لمشغل الالتفاف ثلاثي الأبعاد تم تعيينه إلى 3، وأن مشغل انتباه BEV يستخدم الانتباه المقطعي، مما يؤدي إلى تعقيد حسابي خطي بالنسبة لطول تسلسل ميزات الفوكسل. على الرغم من قيود الالتفاف ثلاثي الأبعاد وانتبه BEV في مجالات الاستقبال الموجهة نحو الارتفاع، فإن آلية الانتباه للارتفاع المقترحة تظهر تحسينات كبيرة في دقة توقع الارتفاع. توضح نتائج التصور أيضًا فعالية HeightFormer، حيث تظهر عددًا أقل من الإيجابيات الكاذبة ومزيدًا من التحديد الدقيق في مشاهد متنوعة، لا سيما في البيئات المعقدة ذات المشاة الكثيفين والأجسام الكبيرة. بشكل عام، يظهر HeightFormer أداءً محسنًا في الكشف عن الأبعاد والزوايا للأجسام ثلاثية الأبعاد مقارنة بالطرق الحالية.
نقاش
يؤكد قسم النقاش في الورقة على قيود الطرق الحالية في الكشف عن الأجسام ثلاثية الأبعاد المرتكز على رؤية جانب الطريق، ولا سيما اعتمادها على توقع الارتفاع في مساحة الصورة ثنائية الأبعاد أو ميزات BEV (وجهة نظر الطائر). تكافح هذه الطرق مع التشوهات المنظورية الفطرية في الصور، مما يعقد التمثيل الدقيق لأبعاد الأجسام في الفضاء ثلاثي الأبعاد. يجادل المؤلفون بأنه بينما توفر ميزات BEV توزيعًا مكانيًا أفضل للأجسام، فإنها غالبًا ما تفتقر إلى معلومات الارتفاع التفصيلية، مما يجعلها أقل فعالية لتوقع الارتفاع بدقة. لمعالجة هذه التحديات، يستفيد إطار عمل HeightFormer المقترح من ميزات الفوكسل، التي تحتفظ بمعلومات الارتفاع الواضحة، مما يعزز من فهم الشبكة للبيئة ثلاثية الأبعاد.
يستخدم HeightFormer آلية انتباه جديدة للارتفاع تعالج ميزات الفوكسل في تسلسلات ارتفاع محلية، مما يقلل بشكل كبير من التعقيد الحسابي مقارنة بأساليب الانتباه التقليدية. تتيح هذه الطريقة توقعات توزيع الارتفاع بكفاءة مع الحفاظ على أداء عالٍ. يتحقق المؤلفون من إطار عملهم من خلال تجارب واسعة النطاق على معيارين كبيرين، DAIR-V2X-I و Rope3D، مما يوضح أن HeightFormer يتجاوز التقنيات الرائدة في الكشف عن الأجسام ثلاثية الأبعاد على جانب الطريق. تؤكد النتائج على أهمية دمج معلومات الارتفاع الواضحة واستراتيجيات حسابية فعالة في تقدم تقنيات الإدراك على جانب الطريق.
DOI: https://doi.org/10.1109/tits.2026.3659806
Publication Date: 2026-02-20
Author(s): Zhang Zhang et al.
Primary Topic: Advanced Neural Network Applications
Overview
In this section, the authors conclude that traditional methods for height prediction using image and Bird’s Eye View (BEV) features are hindered by the inherent perspective limitations of images and the absence of explicit height data. To address these challenges, they introduce a novel framework called HeightFormer, which leverages voxel features and transformer architectures to incorporate explicit height information. This approach significantly enhances the model’s comprehension of the 3D environment, leading to improved accuracy in predicting object height distributions.
Additionally, the authors propose a height attention mechanism that organizes voxel features into height sequences, allowing for self-attention computations within these localized sequences. This innovation results in more precise voxel feature representations. The effectiveness of HeightFormer is validated through its superior performance on roadside visual 3D object detection tasks across two large-scale real-world benchmarks, surpassing existing state-of-the-art methodologies.
Introduction
The introduction highlights the critical role of vision perception in state estimation for autonomous driving, emphasizing the use of cameras to enhance environmental awareness. While existing research predominantly focuses on vehicle-side vision-centric 3D object detection, this approach presents safety challenges due to its limited global perspective and long-range perception capabilities. In contrast, recent advancements in roadside vision-centric 3D object detection have garnered attention for their ability to extend perception range and improve road safety. The strategic placement of roadside cameras offers significant advantages, such as enhanced robustness and reduced occlusion effects, thereby complementing vehicle-side systems and addressing safety concerns in autonomous driving applications.
Methods
In this study, the authors employed ResNet-34 and Feature Pyramid Networks (FPN) as image encoders for their experiments. The Bird’s Eye View (BEV) grid size was configured to 0.4 meters, with an alternative size of 0.8 meters used during ablation experiments. The spatial dimensions for the X and Y axes were defined as [0, 102.4] meters and [-51.2, 51.2] meters, respectively, while the input image resolution was set to (864, 1536).
For the training process, the AdamW optimizer was utilized with a learning rate of $2 \times 10^{-4}$ and a weight decay of $1 \times 10^{-2}$. A Cosine Annealing learning rate strategy was implemented to progressively decrease the learning rate throughout training. Data augmentation was limited to random flips in the BEV space. All training was conducted on four RTX-3090 GPUs, whereas inference was performed on a single RTX-3090 GPU with a batch size of one.
Results
The results section evaluates the performance of the proposed HeightFormer model on two validation sets: DAIR-V2X-I and Rope3D. In the DAIR-V2X-I validation set, HeightFormer is compared against several state-of-the-art vision-based methods, such as ImVoxel-Net, BEVFormer, and traditional LiDAR-based methods like PointPillars and SECOND. The findings indicate that HeightFormer achieves state-of-the-art performance across these comparisons. Similarly, on the Rope3D validation set, HeightFormer outperforms all competing vision-centric methods, highlighting its superior capabilities.
The section also discusses the technical aspects of the model, noting that the convolution kernel size for the 3D convolution operator is set to 3, and the BEV attention operator employs windowed attention, resulting in linear computational complexity relative to the sequence length of voxel features. Despite the limitations of 3D convolution and BEV attention in height-oriented receptive fields, the proposed height attention mechanism demonstrates significant improvements in height prediction accuracy. Visualization results further illustrate HeightFormer’s effectiveness, showing fewer false positives and more accurate localization in various scenes, particularly in complex environments with dense pedestrians and large objects. Overall, HeightFormer exhibits enhanced performance in detecting and estimating dimensions and angles of 3D objects compared to existing methods.
Discussion
The discussion section of the paper emphasizes the limitations of existing methods in roadside vision-centric 3D object detection, particularly their reliance on predicting height in 2D image space or BEV (Bird’s Eye View) features. These methods struggle with the perspective distortions inherent in images, which complicate the accurate representation of object dimensions in 3D space. The authors argue that while BEV features provide a better spatial distribution of objects, they often lack detailed height information, making them less effective for precise height prediction. To address these challenges, the proposed HeightFormer framework leverages voxel features, which retain explicit height information, thereby enhancing the network’s understanding of the 3D environment.
The HeightFormer employs a novel height attention mechanism that processes voxel features in local height sequences, significantly reducing computational complexity compared to traditional attention methods. This approach allows for efficient height distribution predictions while maintaining high performance. The authors validate their framework through extensive experiments on two large-scale benchmarks, DAIR-V2X-I and Rope3D, demonstrating that HeightFormer surpasses state-of-the-art techniques in roadside 3D object detection. The findings underscore the importance of integrating explicit height information and efficient computational strategies in advancing roadside perception technologies.