DOI: https://doi.org/10.1038/s41598-025-33943-2
PMID: https://pubmed.ncbi.nlm.nih.gov/41588034
تاريخ النشر: 2026-01-26
المؤلف: Keyi Shan وآخرون
الموضوع الرئيسي: تصنيف الصور باستخدام الاستشعار عن بُعد
نظرة عامة
تقدم البحث شبكة متعددة المقاييس مدركة للحدود (MSBANet)، وهي بنية هجينة تدمج الشبكات العصبية التلافيفية (CNNs) ونماذج المحولات لتحسين تقسيم الدلالات لصور الاستشعار عن بعد عالية الدقة. هذه المهمة حاسمة لتطبيقات مثل التخطيط الحضري ومراقبة البيئة ولكنها معقدة بسبب اختلافات المقياس وحدود الأجسام غير الواضحة. تتناول MSBANet هذه التحديات من خلال كتلة المحول متعددة المقاييس (MSTB)، التي تستخدم آلية الانتباه الذاتي متعدد الرؤوس (MHSA) ووحدة خطية مغلقة تلافيفية متعددة المقاييس (MConvGLU) لاستخراج الميزات الدلالية والحدودية على مقاييس متعددة. بالإضافة إلى ذلك، يضمن وحدة دمج العالمية والمحلية (GLFM) محاذاة الميزات الدلالية العميقة مع التفاصيل المكانية السطحية، بينما تعزز وحدة الوعي بحدود عدم اليقين (UBAM) التركيز على المناطق غير المؤكدة، مما يحسن تقسيم الحواف.
تظهر النتائج التجريبية أن MSBANet تحقق 84.63% و87.15% من متوسط التقاطع على الاتحاد (mIoU) على مجموعات بيانات ISPRS Vaihingen وISPRS Potsdam، على التوالي، متجاوزة العديد من الطرق المتطورة. تظهر البنية وضوحًا محسّنًا في ملامح الأجسام وتناسقًا هيكليًا، خاصة في المناطق المعقدة. ومع ذلك، تعترف الدراسة بالقيود، مثل زيادة التكاليف الحاسوبية بسبب الوحدات الإضافية ومشكلات القوة المحتملة عند الاعتماد فقط على بيانات RGB تحت ظروف الإضاءة المتغيرة. ستسعى الأعمال المستقبلية إلى تطوير نماذج أكثر كفاءة ودمج أنماط بيانات مكملة لتعزيز أداء التقسيم والتعميم بشكل أكبر.
مقدمة
تسلط المقدمة الضوء على التقدم في تكنولوجيا المستشعرات التي عززت التفاصيل المكانية، والدقة الطيفية، ودقة التصوير لصور الاستشعار عن بعد. لقد أسست هذه التحسينات الاستشعار عن بعد كمصدر بيانات حيوي للحصول على معلومات السطح، وهو أمر أساسي في تطبيقات متنوعة، بما في ذلك التخطيط الحضري، ورسم خرائط استخدام الأراضي، ومراقبة البيئة والبيئة. تؤكد هذه الفقرة على أهمية الاستشعار عن بعد في معالجة التحديات المعاصرة في هذه المجالات.
طرق
تناقش هذه الفقرة التقدم في طرق تقسيم الدلالات، وخاصة تلك المعتمدة على الشبكات العصبية التلافيفية (CNNs) والمحولات. لقد حسنت الشبكات العصبية التلافيفية بشكل كبير من تصنيف مستوى البكسل من خلال استخدام الميزات المكانية والسياقية، حيث مهدت النماذج الأساسية مثل الشبكات التلافيفية الكاملة (FCNs) الطريق لبنى أكثر تعقيدًا مثل U-Net وSeg-Net وPSPNet. تتضمن هذه النماذج اتصالات تخطي لدمج الدلالات عالية المستوى مع التفاصيل المكانية الدقيقة. تعزز سلسلة DeepLab دقة التقسيم من خلال وحدة تجميع الهرم المكاني Atrous (ASPP)، التي تلتقط الميزات متعددة المقاييس. على الرغم من هذه التقدمات، تواجه الشبكات العصبية التلافيفية صعوبات في سيناريوهات الاستشعار عن بعد الحضري المعقدة بسبب مجالات الاستقبال المحدودة والتحديات في نمذجة الاعتماد العالمي، مما يؤدي إلى تحديدات خاطئة للهياكل الصغيرة والاعتراضات.
لمعالجة قيود الشبكات العصبية التلافيفية التقليدية، يدمج الباحثون بشكل متزايد نماذج المحولات، التي تتفوق في التقاط الاعتماد على المدى الطويل ولكن غالبًا ما تتجاهل التفاصيل الدقيقة ولديها متطلبات حسابية أعلى. تهدف مجموعة CNNs والمحولات إلى استغلال نقاط القوة في كلا النهجين. على سبيل المثال، تستخدم إطار CTSeg المقترح من قبل تشين وآخرين بنية تشفير وفك تشفير تعاونية تعزز تصنيف استخدام الأراضي وتغطية الأراضي في صور الاستشعار عن بعد عالية الدقة. من خلال دمج الميزات المحلية من الشبكات العصبية التلافيفية مع الاعتماد العالمي من المحولات من خلال الانتباه الذاتي متعدد المقاييس والتقطير المعرفي ثنائي الاتجاه، يحسن هذا النهج بشكل كبير دقة تقسيم الدلالات.
نتائج
في قسم النتائج، يقدم المؤلفون نتائج من تجارب الإزالة المصممة لتقييم المساهمات الفردية والتأثيرات المشتركة لمختلف الوحدات داخل نموذجهم المقترح. تعزل هذه التجارب كل وحدة بشكل منهجي لتحديد تأثيرها على الأداء العام، مما يسمح بفهم أوضح لكيفية مساهمة كل مكون في فعالية النموذج.
تكشف التحليلات عن رؤى مهمة حول وظيفة الوحدات، مع تسليط الضوء على كل من المساهمات المستقلة والتفاعلات التآزرية. تشير النتائج إلى أن بعض الوحدات تعزز الأداء أكثر من غيرها، مما يشير إلى مجالات محتملة للتحسين. بشكل عام، توفر دراسات الإزالة إطارًا قويًا لتقييم بنية النموذج وتوجيه التحسينات المستقبلية.
مناقشة
في هذا القسم المناقشة، تتناول الورقة التحديات المتعلقة بتقسيم الدلالات في صور الاستشعار عن بعد عالية الدقة، حيث تعقد اختلافات المقياس الكبيرة والحدود الغامضة التصنيف الدقيق. تعتبر الطرق التقليدية التي تعتمد على الميزات اليدوية غير كافية، مما يدفع إلى التحول نحو أساليب التعلم العميق، وخاصة الشبكات العصبية التلافيفية (CNNs) وبنى المحولات. بينما تتفوق الشبكات العصبية التلافيفية في استخراج الميزات المحلية، فإنها تواجه صعوبة في السياق العالمي بسبب مجالات الاستقبال المحدودة. على العكس من ذلك، تلتقط المحولات الاعتماد على المدى الطويل بشكل فعال ولكن تواجه تعقيدًا حسابيًا ومشكلات في التقاط التفاصيل المحلية. تحاول النماذج الهجينة الحديثة، مثل ST-UNet وUNetFormer، دمج نقاط القوة في كلا البنيتين، ومع ذلك لا تزال تواجه قيودًا في تقسيم الحدود وتمثيل الميزات متعددة المقاييس.
لمعالجة هذه التحديات، يقترح المؤلفون MSBANet، وهو إطار هجين جديد من CNN-Transformer مصمم لتعزيز تمثيل متعدد المقاييس ودقة الحدود. يدمج MSBANet ثلاثة مكونات رئيسية: كتلة المحول متعددة المقاييس (MSTB) لالتقاط اختلافات المقياس، وحدة دمج العالمية والمحلية (GLFM) لمحاذاة الميزات عبر المقاييس، ووحدة الوعي بحدود عدم اليقين (UBAM) التي تركز على تحسين الحدود من خلال قياس عدم اليقين في التنبؤ. تهدف البنية المقترحة إلى تحسين أداء التقسيم من خلال دمج السياق العالمي والتفاصيل المحلية بشكل فعال، مما يؤدي في النهاية إلى تحسين الدقة في تطبيقات الاستشعار عن بعد عالية الدقة. يبرز المؤلفون أن نهجهم لا يحسن فقط مقاييس التقسيم العامة ولكن أيضًا يعالج بشكل خاص القضية الحرجة لتحديد الحدود، وهو أمر حيوي للتعرف الدقيق على الأجسام في المشاهد المعقدة.
DOI: https://doi.org/10.1038/s41598-025-33943-2
PMID: https://pubmed.ncbi.nlm.nih.gov/41588034
Publication Date: 2026-01-26
Author(s): Keyi Shan et al.
Primary Topic: Remote-Sensing Image Classification
Overview
The research presents the Multi-Scale Boundary-Aware Network (MSBANet), a hybrid architecture that integrates convolutional neural networks (CNNs) and Transformer models to improve semantic segmentation of high-resolution remote sensing images. This task is critical for applications such as urban planning and environmental monitoring but is complicated by scale variations and unclear object boundaries. MSBANet addresses these challenges through its Multi-Scale Transformer Block (MSTB), which utilizes a Multi-Header Self-Attention (MHSA) mechanism and a Multi-Scale Convolutional Gated Linear Unit (MConvGLU) to extract semantic and boundary features at multiple scales. Additionally, the Global-Local Fusion Module (GLFM) ensures the alignment of deep semantic features with shallow spatial details, while the Uncertainty Boundary Awareness Module (UBAM) enhances focus on uncertain regions, optimizing edge segmentation.
Experimental results demonstrate that MSBANet achieves 84.63% and 87.15% mean Intersection over Union (mIoU) on the ISPRS Vaihingen and ISPRS Potsdam datasets, respectively, surpassing several state-of-the-art methods. The architecture shows improved clarity in object contours and structural consistency, particularly in complex regions. However, the study acknowledges limitations, such as increased computational costs due to the additional modules and potential robustness issues when relying solely on RGB data under varying illumination conditions. Future work will aim to develop more efficient models and incorporate complementary data modalities to further enhance segmentation performance and generalization.
Introduction
The introduction highlights the advancements in sensor technology that have enhanced the spatial detail, spectral resolution, and imaging accuracy of remote sensing images. These improvements have established remote sensing as a vital data source for acquiring surface information, which is essential in various applications, including urban planning, land cover mapping, and ecological and environmental monitoring. The section underscores the significance of remote sensing in addressing contemporary challenges in these fields.
Methods
The section discusses advancements in semantic segmentation methods, particularly those based on Convolutional Neural Networks (CNNs) and Transformers. CNNs have significantly improved pixel-level classification by utilizing spatial and contextual features, with foundational models like Fully Convolutional Networks (FCNs) paving the way for more sophisticated architectures such as U-Net, Seg-Net, and PSPNet. These models incorporate skip connections to merge high-level semantics with fine-grained spatial details. The DeepLab series further enhances segmentation accuracy through the Atrous Spatial Pyramid Pooling (ASPP) module, which captures multi-scale features. Despite these advancements, CNNs struggle in complex urban remote sensing scenarios due to their limited receptive fields and challenges in modeling global dependencies, leading to misidentifications of small structures and occlusions.
To address the limitations of traditional CNNs, researchers are increasingly integrating Transformer models, which excel at capturing long-range dependencies but often overlook fine details and have higher computational demands. The combination of CNNs and Transformers aims to harness the strengths of both approaches. For instance, the CTSeg framework proposed by Chen et al. employs a collaborative encoder-decoder architecture that enhances land-use and land-cover classification in high-resolution remote sensing images. By integrating local features from CNNs with global dependencies from Transformers through multi-scale self-attention and bidirectional knowledge distillation, this approach significantly improves semantic segmentation accuracy.
Results
In the Results section, the authors present findings from ablation experiments designed to assess the individual contributions and combined effects of various modules within their proposed model. These experiments systematically isolate each module to determine its impact on overall performance, allowing for a clearer understanding of how each component contributes to the model’s effectiveness.
The analysis reveals significant insights into the functionality of the modules, highlighting both independent contributions and synergistic interactions. The results indicate that certain modules enhance performance more than others, suggesting potential areas for optimization. Overall, the ablation studies provide a robust framework for evaluating the model’s architecture and inform future improvements.
Discussion
In this discussion section, the paper addresses the challenges of semantic segmentation in high-resolution remote sensing imagery, where significant scale differences and ambiguous boundaries complicate accurate classification. Traditional methods relying on handcrafted features are inadequate, prompting a shift towards deep learning approaches, particularly Convolutional Neural Networks (CNNs) and Transformer architectures. While CNNs excel at local feature extraction, they struggle with global context due to limited receptive fields. Conversely, Transformers capture long-range dependencies effectively but face computational complexity and local detail capture issues. Recent hybrid models, such as ST-UNet and UNetFormer, attempt to combine the strengths of both architectures, yet they still encounter limitations in boundary segmentation and multi-scale feature representation.
To address these challenges, the authors propose MSBANet, a novel CNN-Transformer hybrid framework designed to enhance multi-scale representation and boundary accuracy. MSBANet integrates three key components: a Multi-Scale Transformer Block (MSTB) for capturing scale variations, a Global-Local Fusion Module (GLFM) for aligning features across scales, and an Uncertainty Boundary Aware Module (UBAM) that focuses on refining boundaries by quantifying prediction uncertainty. The proposed architecture aims to improve segmentation performance by effectively combining global context and local detail, ultimately leading to enhanced accuracy in high-resolution remote sensing applications. The authors highlight that their approach not only improves overall segmentation metrics but also specifically addresses the critical issue of boundary delineation, which is vital for accurate object recognition in complex scenes.