DOI: https://doi.org/10.1177/00368504261419245
PMID: https://pubmed.ncbi.nlm.nih.gov/41637191
تاريخ النشر: 2026-01-01
المؤلف: Feixiang Du وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
في هذا البحث، يقدم المؤلفون شبكة CNN-Mamba الفعالة (ECMNet)، وهي بنية خفيفة الوزن جديدة للتقسيم الدلالي التي تدمج بشكل فعال الشبكات العصبية التلافيفية (CNNs) مع نموذج Mamba. تهدف هذه التركيبة إلى الاستفادة من نقاط القوة في كلا النهجين: قدرات استخراج الميزات المحلية لـ CNNs ونمذجة الاعتماد على المدى الطويل لـ Mamba. تتميز البنية بكتلة انتباه مزدوج معزز (EDAB) مصممة للمعالجة الخفيفة، ووحدة انتباه متعددة المقاييس (MSAU) التي تسهل تجميع الميزات متعددة المقاييس، مما يعزز قدرات تمثيل النموذج.
تدمج ECMNet وحدة دمج الميزات (FFM) لدمج الميزات من مستويات مختلفة، مما يحسن بشكل كبير دقة التقسيم. تظهر النتائج التجريبية فعالية النموذج، حيث حقق متوسط تقاطع على الاتحاد (mIoU) بنسبة 70.6% على مجموعة بيانات Cityscapes و73.6% على مجموعة بيانات CamVid، مع الحفاظ على بنية مدمجة تحتوي على 0.87 مليون معلمة فقط و8.27 مليار عملية نقطة عائمة (FLOPs) على وحدة معالجة الرسومات RTX 3090. تشير النتائج إلى أن ECMNet يحقق توازنًا ملائمًا بين الدقة والكفاءة في مهام التقسيم الدلالي.
مقدمة
تناقش مقدمة الورقة تطور التقسيم الدلالي، الذي يتضمن وضع علامات على كل بكسل في صورة وهو أمر حاسم في مجالات مثل القيادة الذاتية، والاستشعار عن بعد، والزراعة. في البداية، هيمنت الشبكات العصبية التلافيفية (CNNs) على هذا المجال، حيث واجهت الطرق المبكرة صعوبة في التقاط الاعتمادات على المدى الطويل. كانت مقدمة المحولات علامة فارقة كبيرة، مما سمح بتحسين نمذجة السياق العالمي. لقد استفادت نماذج بارزة مثل SETR وSegFormer من هذه التكنولوجيا، محققة أداءً متفوقًا على مجموعات بيانات معقدة. ومع ذلك، فإن التعقيد الحسابي للمحولات قد قيد فعاليتها مع الصور عالية الدقة وحساسية التفاصيل المحلية.
لمعالجة هذه التحديات، دمجت الأساليب الحديثة الشبكات العصبية التلافيفية مع المحولات، مما أسفر عن نماذج مثل HResFormer وPFormer التي تؤدي بشكل جيد في تقسيم الصور الطبية. على الرغم من هذه التقدمات، لا تزال القضايا المتعلقة بالسرعة واستخدام الذاكرة قائمة، خاصة مع الصور عالية الدقة. تقدم الورقة ECMNet، وهي شبكة CNN-Mamba فعالة خفيفة الوزن مصممة لتحسين التقسيم الدلالي من خلال تقليل حجم النموذج ومتطلبات الحوسبة. تشمل المساهمات الرئيسية تطوير هيكل ترميز-فك ترميز على شكل U، ووحدة دمج الميزات (FFM) التي تستخدم نوعًا من Mamba لتعلم الاعتماد على المدى الطويل، وكتلة انتباه مزدوج معزز (EDAB) لاستخراج المعلومات الدلالية متعددة الأبعاد. تظهر ECMNet نتائج واعدة، حيث تحقق 70.6% متوسط تقاطع على الاتحاد (mIoU) على مجموعة بيانات Cityscapes مع 0.87 مليون معلمة فقط، و73.6% على مجموعة بيانات CamVid، مما يبرز فعاليتها وقدراتها على التعميم.
طرق
في هذا القسم، يقوم المؤلفون بإجراء تحليل مقارن لطريقتهم المقترحة في التقسيم الدلالي مقابل التقنيات الحديثة (SOTA) باستخدام مجموعات بيانات Cityscapes وCamVid. تركز التقييمات على ثلاثة مقاييس حاسمة: معلمات النموذج، عمليات النقطة العائمة (FLOPs)، ومتوسط تقاطع على الاتحاد (mIoU). يتم الإشارة إلى مكونات الطريقة المقترحة بـ A وB وC، والتي تمثل الاتصالات الطويلة، وتعزيز الميزات، ودمج الميزات، على التوالي. تشير التسمية “عدد A وB وC” إلى تكديس وحدات متطابقة أو متنوعة داخل البنية.
تشير النتائج إلى أن نهج المؤلفين يحقق توازنًا متفوقًا بين الأداء والكفاءة الحسابية مقارنة بالطرق الحالية، كما يتضح من المقاييس المقارنة. هذا التوازن ضروري للتطبيقات العملية في التقسيم الدلالي، حيث تعتبر كل من الدقة واستخدام الموارد اعتبارات أساسية.
نتائج
في تقييم نماذج التقسيم على مجموعة بيانات Cityscapes، لوحظ أن النماذج الأكبر ذات المعلمات الأكثر، على الرغم من تحقيقها لنتائج تقسيم متفوقة، تعاني من تعقيد حسابي مرتفع وسرعات تشغيل بطيئة، مما يجعلها غير مناسبة للتطبيقات في الوقت الحقيقي على الأجهزة المدمجة. بالمقابل، فإن النماذج الخفيفة مثل NDNet وCGNet وCFPNet وLEDNet وLETNet، على الرغم من كفاءتها الحسابية، تظهر عمومًا دقة أقل. من الجدير بالذكر أن نموذج LBN-AA حقق أعلى متوسط تقاطع على الاتحاد (mIoU) عند 6.2 مليون معلمة، بينما حقق ESPNet 60.3% mIoU مع أقل عدد من المعلمات. بالمقارنة، حقق ECMNet المقترح، مع 0.87 مليون معلمة فقط، 70.6% mIoU، مما يظهر توازنًا متفوقًا بين حجم النموذج والأداء بفضل هيكله المصمم جيدًا واستخدامه لـ Mamba.
عززت التحقق الإضافي على مجموعة بيانات CamVid فعالية وقدرة تعميم ECMNet. حقق نموذج MGSeg، مع 13.3 مليون معلمة، 72.7% mIoU فقط، مما يشير إلى أن ECMNet يتفوق عليه بشكل كبير مع استخدام عدد أقل بكثير من المعلمات. يُعزى الأداء المحسن على CamVid، مقارنةً بـ Cityscapes، إلى الوحدات والاستراتيجيات المخصصة لـ ECMNet، التي تتقن التقاط الميزات في مجموعات البيانات الأصغر. تؤكد النتائج المفصلة لكل فئة على مزايا ECMNet، مما يبرز فعاليتها في مهام التقسيم.
مناقشة
ت outlines قسم المناقشة بنية ومكونات شبكة التقسيم الدلالي الخفيفة المقترحة، مع التركيز على كتلة الانتباه المزدوج المعزز (EDAB)، وحدة الانتباه متعددة المقاييس (MSAU)، ووحدة دمج الميزات (FFM). تم تصميم EDAB لتحسين استخراج الميزات مع تقليل التعقيد الحسابي من خلال استخدام هيكل عنق الزجاجة مع عمليات تلافيفية 1×1، مدعومة بعمليات تلافيفية 3×1 و1×3 لالتقاط الميزات المحلية والعالمية. يتضمن هذا النهج ذو الفرعين انتباه القناة (CA) والانتباه ذو الاتجاهين المزدوج (DDA) لتعزيز تمثيل الميزات وكبح الضوضاء، مما يدمج في النهاية المخرجات من خلال عملية تلافيفية 1×1 واستراتيجية خلط القنوات.
تعزز MSAU أداء النموذج بشكل أكبر من خلال دمج التفاصيل المكانية ذات المستوى المنخفض مع المعلومات الدلالية ذات المستوى العالي، باستخدام تقنيات تجميع متعددة المقاييس للمساحة والقناة. يسمح ذلك بتحسين تعبير الميزات من خلال تسليط الضوء على المناطق المكانية ذات الصلة مع كبح البيانات غير ذات الصلة. تستلهم FFM، المستوحاة من كفاءة Mamba، من دمج الميزات متعددة المقاييس من خلال كتلة مسح انتقائي ثنائي الأبعاد، مما يعزز التمثيل العالمي مع عدد أقل من المعلمات. تظهر دراسات الإزالة فعالية كل وحدة، حيث تحقق البنية النهائية (ECMNet) تحسينًا كبيرًا في متوسط تقاطع على الاتحاد (mIoU) مقارنة بالنموذج الأساسي، مما يثبت الاستراتيجيات المقترحة لمهام التقسيم الدلالي.
DOI: https://doi.org/10.1177/00368504261419245
PMID: https://pubmed.ncbi.nlm.nih.gov/41637191
Publication Date: 2026-01-01
Author(s): Feixiang Du et al.
Primary Topic: Advanced Neural Network Applications
Overview
In this research, the authors present the Efficient CNN-Mamba Network (ECMNet), a novel lightweight architecture for semantic segmentation that effectively integrates Convolutional Neural Networks (CNNs) with the Mamba model. This combination aims to leverage the strengths of both approaches: the local feature extraction capabilities of CNNs and the long-range dependency modeling of Mamba. The architecture features an Enhanced Dual-Attention Block (EDAB) designed for lightweight processing, and a Multi-Scale Attention Unit (MSAU) that facilitates multi-scale feature aggregation, enhancing the model’s representation capabilities.
The ECMNet incorporates a Feature Fusion Module (FFM) to merge features from various levels, significantly improving segmentation accuracy. Experimental results demonstrate the model’s effectiveness, achieving a mean Intersection over Union (mIoU) of 70.6% on the Cityscapes dataset and 73.6% on the CamVid dataset, while maintaining a compact architecture with only 0.87 million parameters and 8.27 billion Floating Point Operations (FLOPs) on an RTX 3090 GPU. The findings indicate that ECMNet strikes a favorable balance between accuracy and efficiency in semantic segmentation tasks.
Introduction
The introduction of the paper discusses the evolution of semantic segmentation, which involves labeling each pixel in an image and is crucial in fields such as autonomous driving, remote sensing, and agriculture. Initially dominated by convolutional neural networks (CNNs), early methods struggled with capturing long-range dependencies. The introduction of Transformers marked a significant advancement, allowing for improved global context modeling. Notable models like SETR and SegFormer have leveraged this technology, achieving superior performance on complex datasets. However, the computational complexity of Transformers has limited their effectiveness with high-resolution images and local detail sensitivity.
To address these challenges, recent approaches have integrated CNNs with Transformers, yielding models like HResFormer and PFormer that perform well in medical image segmentation. Despite these advancements, issues related to speed and memory usage persist, particularly with high-resolution images. The paper introduces ECMNet, a novel lightweight Efficient CNN-Mamba Network designed to optimize semantic segmentation by minimizing model size and computational demands. Key contributions include the development of a U-shaped encoder-decoder structure, a Feature Fusion Module (FFM) utilizing a variant of Mamba for long-range dependency learning, and an Enhanced Dual-Attention Block (EDAB) for extracting multi-dimensional semantic information. ECMNet demonstrates promising results, achieving 70.6% mean Intersection over Union (mIoU) on the Cityscapes dataset with only 0.87 million parameters, and 73.6% on the CamVid dataset, showcasing its effectiveness and generalization capabilities.
Methods
In this section, the authors conduct a comparative analysis of their proposed semantic segmentation method against state-of-the-art (SOTA) techniques using the Cityscapes and CamVid datasets. The evaluation focuses on three critical metrics: model parameters, floating-point operations (FLOPs), and mean Intersection over Union (mIoU). The components of the proposed method are denoted as A, B, and C, representing long connections, feature enhancement, and feature fusion, respectively. The notation “No. of A, B, and C” indicates the stacking of identical or varied modules within the architecture.
The findings suggest that the authors’ approach strikes a superior balance between performance and computational efficiency compared to existing methods, as evidenced by the comparative metrics. This balance is crucial for practical applications in semantic segmentation, where both accuracy and resource utilization are essential considerations.
Results
In the evaluation of segmentation models on the Cityscapes dataset, it was observed that larger models with more parameters, while achieving superior segmentation results, suffer from high computational complexity and slow operation speeds, rendering them unsuitable for real-time applications on embedded devices. In contrast, lightweight models such as NDNet, CGNet, CFPNet, LEDNet, and LETNet, although computationally efficient, generally exhibit lower accuracy. Notably, the LBN-AA model achieved the highest mean Intersection over Union (mIoU) at 6.2 million parameters, while the ESPNet attained 60.3% mIoU with the least parameters. In comparison, the proposed ECMNet, with only 0.87 million parameters, achieved a remarkable 70.6% mIoU, demonstrating a superior balance between model size and performance due to its well-designed structure and the utilization of the Mamba.
Further validation on the CamVid dataset reinforced the effectiveness and generalization capacity of ECMNet. The MGSeg model, with 13.3 million parameters, only reached 72.7% mIoU, indicating that ECMNet outperforms it significantly while using far fewer parameters. The enhanced performance on CamVid, compared to Cityscapes, is attributed to the tailored modules and strategies of ECMNet, which are adept at capturing features in smaller datasets. Detailed per-class results further underscore the advantages of ECMNet, highlighting its efficacy in segmentation tasks.
Discussion
The discussion section outlines the architecture and components of a proposed lightweight semantic segmentation network, emphasizing the Enhanced Dual-Attention Block (EDAB), Multi-Scale Attention Unit (MSAU), and Feature Fusion Module (FFM). The EDAB is designed to optimize feature extraction while minimizing computational complexity by employing a bottleneck structure with 1×1 convolutions, complemented by 3×1 and 1×3 convolutions to capture both local and global features. This dual-branch approach incorporates Channel Attention (CA) and Dual-Direction Attention (DDA) to enhance feature representation and suppress noise, ultimately integrating outputs through a 1×1 convolution and a channel shuffle strategy.
The MSAU further enhances the model’s performance by effectively combining low-level spatial details with high-level semantic information, utilizing multi-scale spatial and channel aggregation techniques. This allows for improved feature expression by highlighting relevant spatial regions while suppressing irrelevant data. The FFM, inspired by Mamba’s efficiency, integrates multi-scale features through a 2D-Selective-Scan block, enhancing global representation with fewer parameters. Ablation studies demonstrate the effectiveness of each module, with the final architecture (ECMNet) achieving a significant improvement in mean Intersection over Union (mIoU) compared to the baseline model, validating the proposed strategies for semantic segmentation tasks.