DOI: https://doi.org/10.1109/tiv.2025.3650682
تاريخ النشر: 2026-01-05
المؤلف: Sicen Guo وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
تقدم ورقة البحث نهجًا جديدًا لتحليل مشاهد القيادة باستخدام بيانات RGB-depth من خلال الاستفادة من نماذج الأساس البصرية (VFMs)، وخاصة من خلال تطوير محول دمج الميزات غير المتجانسة (HFIT). يدمج هذا النموذج بفعالية الميزات غير المتجانسة من بيانات RGB وعمق دون الحاجة إلى إعادة تدريب المحولات البصرية الموجودة. يستخدم HFIT توقعات العمق النسبية من VFMs كمدخلات، مما يعالج القيود المرتبطة بالاعتماد على خرائط العمق التقليدية. تشير النتائج التجريبية إلى أن HFIT يتفوق على الشبكات الحالية لتحليل المشاهد ذات النمط الواحد ودمج البيانات على مجموعات البيانات المرجعية مثل Cityscapes وKITTI Semantics، مما يبرز إمكانيته في تعزيز تطبيقات القيادة الذاتية.
في الخاتمة، يلخص المؤلفون مساهماتهم، والتي تشمل إنشاء إطار عمل قوي لتحليل مشاهد RGB-D وتقديم مكونات مبتكرة ضمن بنية HFIT. يؤكدون على فعالية النموذج وتأثيراته على التقدم المستقبلي في نماذج VFMs متعددة الأنماط، وخاصة في سياق القيادة الذاتية. قد تتضمن الأعمال المستقبلية دمج تقنيات مثل LiDAR ونماذج اللغة الكبيرة لتحسين الفهم المكاني والفهم السياقي، على التوالي. بالإضافة إلى ذلك، يمكن أن يؤدي تطوير HFIT إلى نظام ديناميكي قادر على تحديد المواقع في الوقت الحقيقي، والتنبؤ، وتخطيط الإجراءات إلى تعزيز قابليته للتكيف واستجابته في بيئات القيادة المعقدة بشكل كبير. تتوفر مزيد من الرؤى في المواد التكميلية.
مقدمة
تناقش مقدمة ورقة البحث هذه ظهور نماذج الأساس البصرية (VFMs) في مجال رؤية الكمبيوتر، مع تسليط الضوء على إمكانياتها في تعزيز المهام التقليدية مثل تقسيم المشاهد الدلالي، واكتشاف الكائنات، وتقدير العمق. على الرغم من القدرات الواعدة لـ VFMs في استخراج الميزات المعلوماتية، تظل التطبيقات الحالية في تحليل مشاهد القيادة RGB-D محدودة وغالبًا غير مرضية. يجادل المؤلفون بأنه بينما تعتبر خرائط العمق ضرورية لتحسين أداء تحليل المشاهد، فإن اعتمادها على تقنية LiDAR يطرح تحديات كبيرة. يقترحون أن الكاميرات الاستريو يمكن أن تكون بديلاً قابلاً للتطبيق لمعلومات العمق، على الرغم من أن الطرق الحالية تكافح لمطابقة دقة LiDAR، خاصة في السياقات غير المراقبة.
لمعالجة هذه التحديات، تقدم الورقة محول دمج الميزات غير المتجانسة (HFIT)، الذي يهدف إلى الاستفادة من المعرفة السابقة العميقة المدمجة في VFMs لتحليل مشاهد القيادة RGB-D. يستخدم HFIT مستخرجًا مزدوجًا للميزات المكانية لالتقاط الميزات المكانية المحلية من بيانات RGB-D ودمجها مع مخرجات العمق النسبية من VFMs. تتضمن البنية وحدة دمج الميزات غير المتجانسة المعايرة ووحدة دمج الميزات المغلقة الشاملة، المصممة لتعزيز دمج الميزات متعددة المستويات مع تقليل استهلاك الموارد. يؤكد المؤلفون أن نهجهم لا يتغلب فقط على القيود المرتبطة باعتماد خرائط العمق، بل يستخدم أيضًا قدرات VFMs بفعالية، مما يظهر أداءً متفوقًا من خلال تجارب واسعة على مجموعات البيانات المتاحة للجمهور.
الطرق
تحدد قسم المنهجية بنية وعمل محول دمج الميزات الهرمي (HFIT) المقترح لمهام تحليل المشاهد. يتكون HFIT من مكونين رئيسيين: محول رؤية (ViT) ومحول HFIT. يقوم ViT بمعالجة صور RGB من خلال طبقة تضمين المربعات والعديد من طبقات الترميز، مما يقلل الدقة إلى 1/16 من الأصل. في الوقت نفسه، يستخدم محول HFIT مشفر هرمية العمق المكاني (DSPE) لاستخراج الميزات المكانية المحلية من أزواج RGB-D، تليها وحدات دمج الميزات الهرمية المعايرة (RHFF) لدمج الأولويات المكانية في ViT. تعزز وحدات دمج الميزات العالمية الشاملة (HGFI) تمثيل الميزات من خلال دمج الميزات متعددة المستويات ومتعددة المقاييس. بعد عدة تفاعلات ثنائية الاتجاه، يتم إرسال الميزات المجمعة إلى أجهزة فك التشفير الخلفية للتنبؤ الكثيف.
يظهر نموذج HFIT أداءً متفوقًا مقارنةً بالطرق الحديثة (SoTA) على مجموعات بيانات Cityscapes وKITTI Semantics، محققًا تحسينات كبيرة في متوسط تقاطع الاتحاد (mIoU) بنسبة 17.45-45.54% وحتى 46.12%، على التوالي. يتفوق HFIT في تقسيم الكائنات الصغيرة والبعيدة، مع الحفاظ على الاتساق الدلالي في المشاهد المعقدة، وتحديد الكائنات المجاورة بفعالية. تكشف المقارنات الكمية أن HFIT يتفوق على الطرق التقليدية RGB-D وطرق النمط الواحد، مع تحسينات ملحوظة في دقة التقسيم والموثوقية، مما يثبت الفرضية القائلة بأن دمج المعلومات المكانية غير المتجانسة يعزز بشكل كبير أداء تحليل المشاهد.
المناقشة
تحدد قسم المناقشة في الورقة التقدم في شبكات تقسيم المشاهد الدلالية RGB-D، مصنفة إياها إلى طرق دمج مبكرة ومتوسطة ومتأخرة. بينما تحسن هذه الأساليب من التقنيات ذات النمط الواحد، إلا أنها لا تزال تكافح مع استخدام ميزات العمق وكفاءة الحوسبة. يبرز المؤلفون أهمية استراتيجيات استخراج الميزات ودمجها، مشيرين إلى أن الطرق التقليدية قد تقدم تكرارات عند التعامل مع الميزات متعددة المقاييس ومتعددة الأنماط. لمعالجة هذه التحديات، يقدمون بوابة الفصل والتجميع (SAGate) ووحدة الميزات المتقاطعة (CFM)، التي تعزز تمثيل الميزات بينما تخفف من الفجوة الدلالية بين الميزات الهرمية.
تؤكد الورقة أيضًا على دور نماذج الأساس البصرية (VFMs) في تحسين مهام التقسيم، وخاصة من خلال نماذج مثل نموذج تقسيم أي شيء (SAM) وإصدارات Depth Anything، التي تستفيد من بيانات تدريب واسعة لتحسين التعميم. يقوم مستخرج الأولويات المكانية المزدوجة (DSPE) بالتقاط السياقات المكانية المحلية من أزواج RGB-D، مستخدمًا EfficientNet لاستخراج الميزات بفعالية. علاوة على ذلك، تم تصميم وحدة دمج الميزات غير المتجانسة المعايرة (RHFF) لتسليط الضوء بشكل انتقائي على الميزات المهمة بينما تقوم بتصفية الضوضاء، مما يعزز دمج مصادر البيانات المتنوعة. تقوم وحدة دمج الميزات المغلقة الشاملة (HGFI) بمزيد من تحسين هذه العملية من خلال تنظيم تدفق المعلومات عبر مستويات الميزات المختلفة، مما يؤدي في النهاية إلى تحسين أداء التقسيم.
في الختام، يظهر إطار عمل HFIT المقترح تحسينات كبيرة مقارنةً بالطرق الحالية في تحليل مشاهد RGB-D، مما يبرز إمكانيته لتطبيقات القيادة الذاتية. تهدف الأعمال المستقبلية إلى دمج أنماط إضافية، مثل LiDAR، واستغلال نماذج اللغة الكبيرة لتحسين الفهم السياقي، مما يمهد الطريق لأنظمة ذاتية أكثر تطورًا وتكيفًا.
DOI: https://doi.org/10.1109/tiv.2025.3650682
Publication Date: 2026-01-05
Author(s): Sicen Guo et al.
Primary Topic: Advanced Neural Network Applications
Overview
The research paper presents a novel approach to RGB-depth driving scene parsing by leveraging Vision Foundation Models (VFMs), particularly through the development of a Heterogeneous Feature Integration Transformer (HFIT). This model effectively integrates heterogeneous features from RGB and depth data without the need for re-training existing Vision Transformers. The HFIT utilizes relative depth predictions from VFMs as inputs, addressing the limitations associated with traditional depth map dependencies. Experimental results indicate that HFIT outperforms existing single-modal and data-fusion scene parsing networks on benchmark datasets such as Cityscapes and KITTI Semantics, highlighting its potential for enhancing autonomous driving applications.
In the conclusion, the authors summarize their contributions, which include the establishment of a robust RGB-D scene parsing framework and the introduction of innovative components within the HFIT architecture. They emphasize the model’s effectiveness and its implications for future advancements in multi-modal VFMs, particularly in the context of autonomous driving. Future work may involve integrating technologies like LiDAR and large language models to improve spatial comprehension and contextual understanding, respectively. Additionally, evolving HFIT into a dynamic system capable of real-time localization, prediction, and action planning could significantly enhance its adaptability and responsiveness in complex driving environments. Further insights are available in the supplementary materials.
Introduction
The introduction of this research paper discusses the emergence of vision foundation models (VFMs) in the field of computer vision, highlighting their potential to enhance traditional tasks such as semantic segmentation, object detection, and depth estimation. Despite the promising capabilities of VFMs in extracting informative features, existing applications in RGB-D driving scene parsing remain limited and often unsatisfactory. The authors argue that while depth maps are crucial for improving scene parsing performance, their reliance on LiDAR technology poses significant challenges. They propose that stereo cameras can serve as a viable alternative for depth information, although current methods struggle to match LiDAR accuracy, particularly in unsupervised contexts.
To address these challenges, the paper introduces the Heterogeneous Feature Integration Transformer (HFIT), which aims to leverage the profound prior knowledge embedded in VFMs for RGB-D driving scene parsing. HFIT employs a duplex spatial prior extractor to capture local spatial features from RGB-D data and integrates these with the relative depth outputs from VFMs. The architecture includes a recalibrated heterogeneous feature fusion module and a holistic gated feature integration module, designed to enhance the fusion of multi-level features while minimizing resource consumption. The authors assert that their approach not only overcomes the limitations associated with depth map dependency but also effectively utilizes VFMs’ capabilities, demonstrating superior performance through extensive experiments on publicly available datasets.
Methods
The methodology section outlines the architecture and workflow of the proposed Hierarchical Feature Integration Transformer (HFIT) for scene parsing tasks. HFIT consists of two main components: a Vision Transformer (ViT) and an HFIT adapter. The ViT processes RGB images through a patch embedding layer and multiple encoder layers, reducing the resolution to 1/16 of the original. Concurrently, the HFIT adapter utilizes a Depth Spatial Pyramid Encoder (DSPE) to extract local spatial features from RGB-D pairs, followed by Recalibrated Hierarchical Feature Fusion (RHFF) modules to integrate spatial priors into the ViT. Holistic Global Feature Integration (HGFI) modules further enhance feature representation by combining multi-level and multi-scale features. After several bidirectional interactions, the aggregated features are sent to back-end decoders for dense prediction.
The HFIT model demonstrates superior performance compared to state-of-the-art (SoTA) methods on the Cityscapes and KITTI Semantics datasets, achieving significant improvements in mean Intersection over Union (mIoU) by 17.45-45.54% and up to 46.12%, respectively. HFIT excels in segmenting small and distant objects, maintaining semantic consistency in complex scenes, and effectively delineating adjacent objects. Quantitative comparisons reveal that HFIT outperforms traditional RGB-D and single-modal methods, with notable enhancements in segmentation accuracy and robustness, validating the hypothesis that integrating heterogeneous spatial information significantly boosts scene parsing performance.
Discussion
The discussion section of the paper outlines the advancements in RGB-D semantic segmentation networks, categorizing them into early, intermediate, and late fusion methods. While these approaches improve upon single-modal techniques, they still struggle with depth feature utilization and computational efficiency. The authors highlight the significance of feature extraction and fusion strategies, noting that traditional methods may introduce redundancies when handling multi-scale and multi-modal features. To address these challenges, they introduce the separation-and-aggregation gate (SAGate) and cross feature module (CFM), which enhance feature representation while mitigating the semantic gap between hierarchical features.
The paper also emphasizes the role of vision foundation models (VFMs) in improving segmentation tasks, particularly through models like the segment anything model (SAM) and Depth Anything versions, which leverage extensive training data for better generalization. The proposed Duplex Spatial Prior Extractor (DSPE) captures local spatial contexts from RGB-D pairs, utilizing EfficientNet for effective feature extraction. Furthermore, the Recalibrated Heterogeneous Feature Fusion (RHFF) module is designed to selectively highlight significant features while filtering out noise, enhancing the integration of diverse data sources. The Holistic Gated Feature Integration (HGFI) module further refines this process by regulating information flow across different feature levels, ultimately leading to improved segmentation performance.
In conclusion, the proposed HFIT framework demonstrates substantial improvements over existing methods in RGB-D scene parsing, showcasing its potential for applications in autonomous driving. Future work aims to integrate additional modalities, such as LiDAR, and leverage large language models for enhanced contextual understanding, paving the way for more sophisticated and adaptive autonomous systems.