DOI: https://doi.org/10.5194/isprs-annals-xi-2-2026-225-2026
تاريخ النشر: 2026-07-03
المؤلف: Qing Cheng وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
يقدم هذا القسم نظرة عامة على إطار عمل MambaPanoptic، المصمم لتعزيز التقسيم البانورامي من خلال معالجة قيود الأساليب الحالية المعتمدة على الشبكات العصبية التلافيفية وطرق المحولات. تكافح هذه الأساليب التقليدية مع نمذجة السياق بعيد المدى، وتمثيل الميزات متعددة المقاييس، والتنبؤ الكثيف الفعال. يقدم MambaPanoptic ابتكارين رئيسيين: MambaFPN، وهو هرم ميزات من أعلى إلى أسفل يستخدم كتل Mamba لإنشاء تمثيلات ميزات متعددة المقاييس متماسكة عالميًا مع تعقيد حسابي خطي، ومولد نواة على طراز PanopticFCN ينشئ نوى موحدة للأشياء والمواد للتنبؤ البانورامي بدون اقتراح، مدعومًا بوحدة تحسين الميزات المعتمدة على QuadMamba.
تظهر التقييمات التجريبية على معايير Cityscapes وCOCO أن MambaPanoptic يتفوق باستمرار على النماذج الحالية مثل Pan-opticDeepLab وPanopticFCN مع الحفاظ على أحجام نماذج قابلة للمقارنة. بالإضافة إلى ذلك، يتطابق أو يتجاوز أداء Mask2Former على مجموعة بيانات Cityscapes من حيث جودة البانوراما (PQ) والدقة المتوسطة (AP)، كل ذلك مع الحاجة إلى عدد أقل من المعلمات، مما يدل على كفاءته وفعاليته في مهام التقسيم البانورامي.
مقدمة
تتناول مقدمة هذه الورقة البحثية المجال الحرج لفهم المشهد في رؤية الكمبيوتر، مع التركيز بشكل خاص على التقسيم البانورامي، الذي يدمج بين التقسيم الدلالي وتقسيم الكائنات لتوفير تحليل تفصيلي للمشهد. هذه المهمة ضرورية لمجموعة متنوعة من التطبيقات مثل القيادة الذاتية والواقع المعزز، ومع ذلك، فإنها تقدم تحديات كبيرة بسبب الحاجة إلى تحديد كائنات بدقة أثناء تحديد مناطق الخلفية المعقدة على مستوى البكسل. استخدمت الأساليب التقليدية بشكل أساسي الشبكات العصبية التلافيفية (CNNs) ومؤخراً، المحولات البصرية، كل منها مع قيوده الخاصة في التقاط الاعتماديات بعيدة المدى وكفاءة الحساب.
لمعالجة هذه التحديات، يقترح المؤلفون MambaPanoptic، وهي بنية جديدة تعتمد على نماذج الفضاء الحالة الهيكلية (SSMs) التي تستفيد من إطار عمل Mamba لنمذجة الاعتماديات بعيدة المدى بكفاءة. يتميز MambaPanoptic بترميز رؤية Mamba هرمي وشبكة هرم ميزات Mamba (MambaFPN) مصممة لإنتاج تمثيلات ميزات غنية ومتسقة مكانيًا. تتضمن البنية أيضًا مولد نواة على طراز PanopticFCN للتنبؤات الموحدة ووحدة تحسين الميزات المعتمدة على QuadMamba لتعزيز جودة الميزات في جميع أنحاء الشبكة. تشير النتائج التجريبية على معايير Cityscapes وCOCO إلى أن MambaPanoptic يتفوق على الأساليب المعتمدة على CNN الحالية ويتطابق أو يتجاوز الأساليب المعتمدة على المحولات، كل ذلك مع الحفاظ على عدد أقل من المعلمات. تشمل المساهمات الرئيسية لهذا العمل تقديم MambaPanoptic كبنية تعتمد بالكامل على Mamba، وMambaFPN المبتكرة، ووحدة تحسين الميزات QuadMamba، مدعومة بالتحقق التجريبي الواسع.
طرق
في هذا القسم، يوضح المؤلفون نتائجهم التجريبية حول التقسيم البانورامي باستخدام مجموعتين من البيانات: Cityscapes (Cordts et al., 2016) وCOCO 2017 (Lin et al., 2014). يتم تقييم أداء الطريقة المقترحة بشكل كمي ونوعي، مع إجراء مقارنات ضد نهجين معتمدين على الشبكات العصبية التلافيفية (CNN)، PanopticFCN (Li et al., 2021) وPanoptic-DeepLab (Cheng et al., 2020)، بالإضافة إلى طريقة معتمدة على المحولات، Mask2Former (Cheng et al., 2022).
بالإضافة إلى ذلك، يقوم المؤلفون بإجراء دراسات إلغاء لتقييم تأثير المكونات المعتمدة على Mamba المقدمة في نهجهم، مما يوفر رؤى حول فعالية هذه الابتكارات في تعزيز أداء التقسيم البانورامي.
نتائج
في قسم النتائج، يقدم المؤلفون تقييمًا شاملاً لنموذج MambaPanoptic على مجموعات التحقق من Cityscapes وCOCO. تشير النتائج إلى أن MambaPanoptic يتفوق على المعايير المعتمدة على CNN عبر جميع المقاييس على Cityscapes، محققًا جودة بانورامية أعلى (PQ) ودقة متوسطة (AP) من نموذج Mask2Former، بينما يستخدم 11.7 مليون معلمة أقل. وهذا يشير إلى أن الهياكل المعتمدة على Mamba توفر بديلاً فعالًا لمهام التقسيم البانورامي في البيئات الحضرية. ومع ذلك، على مجموعة بيانات COCO، يظهر MambaPanoptic فجوة في الأداء مقارنة بـ Mask2Former، يُعزى ذلك إلى تعقيد الفئات الأكبر في COCO، والتي تشمل 80 فئة من الأشياء و53 فئة من المواد مقارنة بـ 8 فئات من الأشياء و11 فئة من المواد في Cityscapes.
تظهر النتائج النوعية أن MambaPanoptic يقوم بتقسيم كل من الكائنات والمناطق بفعالية، على الرغم من أنه يواجه أحيانًا صعوبة في الدقة بالقرب من حدود الكائنات والهياكل الرقيقة. يفرض المؤلفون فرضية أن هذه القيود تنشأ من آليات المسح المعتمدة على Mamba، التي تتفوق في نمذجة الاعتماديات بعيدة المدى ولكن قد لا تلتقط التفاصيل المحلية عالية التردد بشكل فعال. يقترحون أن دمج الإشراف الواعي بالحدود أو تحسين الدقة العالية يمكن أن يخفف من هذه المشكلات. علاوة على ذلك، بينما رأس النواة المعتمد على MambaPanoptic فعال، إلا أنه لا يزال أقل أداءً من نماذج المحولات المعتمدة على الاستعلامات على مجموعات البيانات المعقدة مثل COCO، مما يشير إلى أن نهجًا هجينًا يجمع بين نمذجة الميزات المعتمدة على Mamba مع فك تشفير خفيف الوزن قائم على الاستعلام قد يكون طريقًا مثمرًا للبحث المستقبلي.
نقاش
يستعرض قسم النقاش في الورقة تطور طرق التقسيم البانورامي، مع تسليط الضوء على الانتقال من الهياكل المعتمدة على CNN إلى الأساليب المعتمدة على المحولات والظهور الأخير للتقسيم المعتمد على Vision Mamba. واجهت طرق CNN المبكرة، مثل Panoptic FPN وUPSNet، قيودًا في نمذجة الاعتماديات بعيدة المدى. بالمقابل، تعيد الأساليب المعتمدة على المحولات، مثل MaskFormer وMask2Former، صياغة التقسيم البانورامي كتصنيف قناع، مستفيدة من آليات الانتباه لتحسين التفكير العالمي ولكن غالبًا على حساب زيادة التعقيد الحسابي.
تقدم الورقة بنية جديدة تعتمد على Mamba تهدف إلى استغلال كفاءة وقدرات نمذجة الاعتماديات بعيدة المدى لنماذج الفضاء الحالة مع توفير إطار موحد للتقسيم البانورامي. تتميز هذه البنية بترميز ميزات متعددة المقاييس معتمد على Mamba ورأس بانورامي قائم على النواة، مصمم لالتقاط كل من الهياكل المحلية الدقيقة والسياق العالمي بفعالية. يتم تقييم الطريقة المقترحة على مجموعات البيانات القياسية، Cityscapes وCOCO 2017، مما يظهر إمكاناتها في تعزيز أداء التقسيم البانورامي مع معالجة التحديات التي تطرحها نماذج CNN والمحولات التقليدية. ستركز الأعمال المستقبلية على تحسين البنية بشكل أكبر وتوسيع تطبيقها لمهام التنبؤ الكثيف الأخرى.
DOI: https://doi.org/10.5194/isprs-annals-xi-2-2026-225-2026
Publication Date: 2026-07-03
Author(s): Qing Cheng et al.
Primary Topic: Advanced Neural Network Applications
Overview
The section presents an overview of the MambaPanoptic framework, designed to enhance panoptic segmentation by addressing the limitations of existing convolutional and transformer-based methods. These traditional approaches struggle with long-range context modeling, multi-scale feature representation, and efficient dense prediction. MambaPanoptic introduces two key innovations: the MambaFPN, a top-down feature pyramid that utilizes Mamba blocks for generating globally coherent, multi-scale feature representations with linear computational complexity, and a PanopticFCN-style kernel generator that creates unified thing and stuff kernels for proposal-free panoptic prediction, supported by a QuadMamba-based feature refinement module.
Empirical evaluations on the Cityscapes and COCO benchmarks reveal that MambaPanoptic consistently outperforms existing models such as Pan-opticDeepLab and PanopticFCN while maintaining comparable model sizes. Additionally, it matches or exceeds the performance of Mask2Former on the Cityscapes dataset in terms of Panoptic Quality (PQ) and Average Precision (AP), all while requiring fewer parameters, thus demonstrating its efficiency and effectiveness in panoptic segmentation tasks.
Introduction
The introduction of this research paper addresses the critical area of scene understanding in computer vision, specifically focusing on panoptic segmentation, which integrates semantic and instance segmentation to provide detailed scene analysis. This task is essential for various applications such as autonomous driving and augmented reality, yet it presents significant challenges due to the need to accurately identify object instances while delineating complex background regions at the pixel level. Traditional approaches have primarily utilized Convolutional Neural Networks (CNNs) and, more recently, vision transformers, each with their respective limitations in capturing long-range dependencies and computational efficiency.
To address these challenges, the authors propose MambaPanoptic, a novel architecture based on Structured State Space Models (SSMs) that leverages the Mamba framework for efficient long-range dependency modeling. MambaPanoptic features a hierarchical Vision Mamba encoder and a Mamba Feature Pyramid Network (MambaFPN) designed to produce rich, spatially coherent feature representations. The architecture also includes a PanopticFCN-style kernel generator for unified predictions and a QuadMamba-based feature refinement module to enhance feature quality throughout the network. Experimental results on the Cityscapes and COCO benchmarks indicate that MambaPanoptic outperforms existing CNN-based methods and matches or exceeds transformer-based approaches, all while maintaining a lower parameter count. The key contributions of this work include the introduction of MambaPanoptic as a fully Mamba-based architecture, the innovative MambaFPN, and the QuadMamba feature refinement module, supported by extensive experimental validation.
Methods
In this section, the authors detail their experimental results on panoptic segmentation using two datasets: Cityscapes (Cordts et al., 2016) and COCO 2017 (Lin et al., 2014). The performance of their proposed method is evaluated both quantitatively and qualitatively, with comparisons made against two convolutional neural network (CNN)-based approaches, PanopticFCN (Li et al., 2021) and Panoptic-DeepLab (Cheng et al., 2020), as well as a transformer-based method, Mask2Former (Cheng et al., 2022).
Additionally, the authors perform ablation studies to analyze the impact of the Mamba-based components introduced in their approach, providing insights into the effectiveness of these innovations in enhancing panoptic segmentation performance.
Results
In the results section, the authors present a comprehensive evaluation of the MambaPanoptic model on the Cityscapes and COCO validation sets. The findings indicate that MambaPanoptic outperforms CNN-based baselines across all metrics on Cityscapes, achieving higher Panoptic Quality (PQ) and Average Precision (AP) than the Mask2Former model, while utilizing 11.7 million fewer parameters. This suggests that Mamba-based architectures provide an efficient alternative for panoptic segmentation tasks in urban environments. However, on the COCO dataset, MambaPanoptic shows a performance gap relative to Mask2Former, attributed to COCO’s greater category complexity, which includes 80 thing classes and 53 stuff classes compared to Cityscapes’ 8 thing classes and 11 stuff classes.
Qualitative results demonstrate that MambaPanoptic effectively segments both instances and regions, although it occasionally struggles with precision near object boundaries and thin structures. The authors hypothesize that this limitation arises from the Mamba-based scanning mechanisms, which excel at modeling long-range dependencies but may not capture high-frequency local details effectively. They suggest that incorporating boundary-aware supervision or high-resolution refinement could mitigate these issues. Furthermore, while the kernel-based head of MambaPanoptic is efficient, it still falls short of the performance of query-based transformer models on complex datasets like COCO, indicating that a hybrid approach combining Mamba-based feature modeling with a lightweight query-based decoder could be a fruitful avenue for future research.
Discussion
The discussion section of the paper reviews the evolution of panoptic segmentation methods, highlighting the transition from CNN-based architectures to transformer-based approaches and the recent emergence of Vision Mamba-based segmentation. Early CNN methods, such as Panoptic FPN and UPSNet, combined instance and semantic segmentation branches but faced limitations in modeling long-range dependencies. In contrast, transformer-based methods, exemplified by MaskFormer and Mask2Former, reformulate panoptic segmentation as mask classification, leveraging attention mechanisms for improved global reasoning but often at the cost of increased computational complexity.
The paper introduces a novel Mamba-based architecture that aims to harness the efficiency and long-range modeling capabilities of state-space models while providing a unified framework for panoptic segmentation. This architecture features a Mamba-based multi-scale feature encoder and a kernel-based panoptic head, designed to effectively capture both fine local structures and global context. The proposed method is evaluated on standard datasets, Cityscapes and COCO 2017, demonstrating its potential to enhance panoptic segmentation performance while addressing the challenges posed by traditional CNN and transformer models. Future work will focus on optimizing the architecture further and extending its application to other dense prediction tasks.