DOI: https://doi.org/10.1109/jstars.2026.3663066
تاريخ النشر: 2026-01-01
المؤلف: Buddhi Wijenayake وآخرون
الموضوع الرئيسي: تصنيف الصور باستخدام الاستشعار عن بُعد
نظرة عامة
تقدم ورقة البحث Mamba-FCS، وهو إطار عمل للكشف عن التغيرات الدلالية (SCD) مصمم لصور الاستشعار عن بعد عالية الدقة. يعالج هذا الإطار تحديات حاسمة مثل التقاط الاعتماديات السياقية بعيدة المدى واكتشاف الانتقالات الدلالية الدقيقة. يستخدم Mamba-FCS نموذج حالة بصرية (VMamba) كعمود فقري، والذي يقدم تعقيدًا خطيًا ونمذجة قوية للسياق العالمي. تشمل الابتكارات الرئيسية كتلة دمج التردد المكاني المشترك التي تعزز اكتشاف الحواف من خلال دمج ميزات مجال التردد ذات السجل السعري، ووحدة الانتباه الموجه للتغيير (CGA) التي تتماشى مع التنبؤات الدلالية مع إشارات التغيير الثنائية. بالإضافة إلى ذلك، يستخدم الإطار دالة خسارة مستوحاة من كابا المنفصلة (SeK) لإدارة عدم التوازن في الفئات بشكل فعال، مما يفيد بشكل خاص انتقالات الفئات الأقل.
تظهر النتائج التجريبية على مجموعات البيانات المرجعية، بما في ذلك SECOND وLandsat-SCD، أن Mamba-FCS يتفوق على الأساليب الحديثة الرائدة عبر مقاييس مختلفة، محققًا درجات SeK تبلغ 25.50% و60.26% على التوالي. تشير النتائج إلى تحسين الكشف عن الانتقالات الدلالية النادرة، وتقليل الإيجابيات الكاذبة، وزيادة الدقة حسب الفئة. ومع ذلك، لا يزال أداء دالة الخسارة المستوحاة من SeK تحت ضوضاء التسمية وفي الإعدادات الضعيفة أو شبه المشرفة غير مستكشف. ستركز الأبحاث المستقبلية على تطوير نسخ أخف من Mamba-FCS للنشر الفعال، وتوسيع دمج التردد المكاني إلى المدخلات متعددة النماذج، وتكييف استراتيجية التدريب لسيناريوهات SCD شبه المشرفة والتكيفية في المجال.
مقدمة
تناقش مقدمة ورقة البحث أهمية الكشف عن التغيرات (CD) في الاستشعار عن بعد، مع التأكيد على تطبيقاته في التخطيط الحضري، وتحليل تغطية الأراضي، وتقييم الكوارث، ورصد النظم البيئية. يتم تصنيف CD إلى الكشف عن التغيرات الثنائية (BCD)، الذي يحدد ما إذا كانت التغيرات قد حدثت، والكشف عن التغيرات الدلالية (SCD)، الذي يوضح طبيعة هذه التغيرات. تسلط الورقة الضوء على قيود طرق CD التقليدية، مثل الاعتماد على البيانات المعلّمة والتعرض لعدم التناسق الطيفي، مما دفع إلى استكشاف الأساليب المعتمدة على البيانات، وخاصة تلك التي تستخدم هياكل التعلم العميق.
لقد حسنت التقدمات الحديثة، بما في ذلك اعتماد محولات الرؤية ونماذج الحالة مثل Mamba، أداء CD ولكن لا تزال تواجه تحديات مثل عدم التوازن في الفئات وعزل عمليات الكشف عن الدلالات والتغيرات. يقترح المؤلفون Mamba-FCS، وهو إطار عمل جديد يدمج دمج ميزات مجال التردد والانتباه الموجه للتغيير لتعزيز الكشف عن التغيرات غير البارزة وتحسين الحدود الدلالية. تشمل المساهمات الرئيسية آلية دمج التردد المكاني المشترك، ووحدة الانتباه الموجه للتغيير، ودالة خسارة مستوحاة من SeK تهدف إلى تحسين الاتساق الدلالي. تعد الورقة بتحسينات كبيرة في الكشف عن الانتقالات النادرة وزيادة الاسترجاع، مدعومة بنتائج تجريبية واسعة على المعايير المعتمدة.
طرق
تستعرض هذه القسم مجموعة من المنهجيات المستخدمة في الكشف عن التغيرات (CD) باستخدام الشبكات العصبية التلافيفية (CNNs)، والمحولات، ونماذج الحالة (SSMs). كانت الطرق المعتمدة على CNN أساسية، حيث قدمت الأعمال المبكرة مثل Daudt وآخرون الشبكات التلافيفية الكاملة (FCNs) للكشف عن التغيرات الثنائية الزمن (BCD). شملت التقدمات اللاحقة تحسينات في تفاعل الميزات وآليات الانتباه، بالإضافة إلى استراتيجيات لتوليد عينات غير مشرفة. ومع ذلك، فإن CNNs محدودة من خلال مجالات الاستقبال الخاصة بها، مما يعيق قدرتها على التقاط المعلومات السياقية بعيدة المدى اللازمة للكشف الفعال عن التغيرات.
على النقيض من ذلك، ظهرت الطرق المعتمدة على المحولات كبدائل قوية، مستفيدة من قدرتها على نمذجة الاعتماديات بعيدة المدى. تضمنت التطبيقات الأولية، مثل تلك التي قام بها Chen وآخرون وBandara وآخرون، تحويل الصور متعددة الزمن إلى رموز دلالية واستخدام هياكل المحولات النقية، على التوالي. أظهرت هذه الأساليب تحسينات كبيرة في دقة الكشف لكل من BCD وSCD. ومع ذلك، فإن التعقيد التربيعي للاهتمام الذاتي في المحولات يشكل تحديات لمجموعات البيانات الكبيرة، مما أثار اهتمامًا في SSMs.
تقدم SSMs، وخاصة بنية Mamba، حلاً واعدًا نظرًا لتعقيدها الحسابي الخطي مع نمذجة الاعتماديات بعيدة المدى. لقد أظهرت تطبيقات مختلفة، مثل MambaBCD وCDMamba، أداءً قويًا في BCD من خلال استخراج الميزات العالمية بشكل فعال وتعزيز التقاط التفاصيل المحلية. بالإضافة إلى ذلك، يتكيف MambaSCD مع SSMs لـ SCD، على الرغم من أن معظم الطرق الحالية تركز بشكل أساسي على معالجة المجال المكاني، وغالبًا ما تتجاهل الفوائد المحتملة لمعلومات مجال التردد للتخفيف من عيوب الإضاءة وتسليط الضوء على الاختلافات الهيكلية في الصور متعددة الزمن.
مناقشة
في مناقشة إطار العمل المقترح Mamba-FCS للكشف عن التغيرات الدلالية (SCD) في صور الاستشعار عن بعد البصرية عالية الدقة، يوضح المؤلفون بنية ووظائف نموذجهم، الذي يستخدم هيكل شبكة سيامية. تعالج هذه البنية أزواج الصور الثنائية الزمن، باستخدام مشفر نموذج حالة بصرية مشترك (VMamba) لاستخراج خرائط ميزات متعددة المقاييس. يتكون الإطار من فك تشفير التغيرات الثنائية (BCD) واثنين من فك تشفير الخرائط الدلالية (SMDs)، التي تعمل معًا للكشف عن التغيرات وتعزيز تقسيم الدلالات من خلال الاستفادة من إشارات التغيير. يستخدم BCD آلية دمج ميزات التردد المكاني المشترك الجديدة لتسليط الضوء بشكل فعال على التغيرات الدقيقة من خلال دمج المعلومات المكانية والترددية، بينما تستخدم SMDs الانتباه الموجه للتغيير للتركيز على المناطق ذات الأهمية.
تم تعديل المشفر الأساسي، VMamba، من تقنيات نمذجة التسلسل الحديثة، مما يسمح بمعالجة فعالة للصور الثنائية الزمن مع تعقيد حسابي خطي. يؤكد المؤلفون على أهمية خسارتهم المقترحة المستوحاة من كابا المنفصلة (SeK)، التي تعزز الاتساق الدلالي داخل مناطق التغيير المكتشفة، جنبًا إلى جنب مع خسائر الانتروبيا المتقاطعة التقليدية ومتوسط تقاطع الاتحاد (mIoU). من خلال دراسات الإزالة الشاملة، يظهر المؤلفون مساهمات كل مكون من مكونات إطار Mamba-FCS، مما يبرز أدائه المتفوق مقارنة بالأساليب الحالية على مجموعات البيانات المرجعية، بما في ذلك مجموعات بيانات SECOND وLandsat-SCD. تشير النتائج إلى أن Mamba-FCS لا يحسن فقط الدقة في مهام الكشف عن التغيرات ولكن أيضًا يحافظ على الكفاءة الحسابية، مما يجعله مناسبًا للتطبيقات واسعة النطاق.
DOI: https://doi.org/10.1109/jstars.2026.3663066
Publication Date: 2026-01-01
Author(s): Buddhi Wijenayake et al.
Primary Topic: Remote-Sensing Image Classification
Overview
The research paper presents Mamba-FCS, a Semantic Change Detection (SCD) framework tailored for high-resolution remote sensing imagery. This framework addresses critical challenges such as capturing long-range contextual dependencies and detecting subtle semantic transitions. Mamba-FCS utilizes a Visual State Space Model (VMamba) backbone, which offers linear complexity and robust global context modeling. Key innovations include a Joint Spatio-Frequency Fusion block that enhances edge detection by integrating log-amplitude frequency-domain features, and a Change-Guided Attention (CGA) module that aligns semantic predictions with binary change cues. Additionally, the framework employs a Separated Kappa (SeK) inspired loss function to effectively manage class imbalance, particularly benefiting minority class transitions.
Experimental results on benchmark datasets, including SECOND and Landsat-SCD, demonstrate that Mamba-FCS surpasses recent state-of-the-art methods across various metrics, achieving SeK scores of 25.50% and 60.26%, respectively. The findings indicate improved detection of rare semantic transitions, reduced false positives, and enhanced class-wise accuracy. However, the SeK-inspired loss function’s performance under label noise and in weakly or semi-supervised settings remains unexplored. Future research will focus on developing lighter variants of Mamba-FCS for efficient deployment, extending the spatio-frequency fusion to multi-modal inputs, and adapting the training strategy for semi-supervised and domain-adaptive SCD scenarios.
Introduction
The introduction of the research paper discusses the significance of Change Detection (CD) in remote sensing, emphasizing its applications in urban planning, land cover analysis, disaster assessment, and ecosystem monitoring. CD is categorized into Binary Change Detection (BCD), which identifies whether changes have occurred, and Semantic Change Detection (SCD), which details the nature of these changes. The paper highlights the limitations of traditional CD methods, such as reliance on labeled data and susceptibility to spectral inconsistencies, which have prompted the exploration of data-driven approaches, particularly those utilizing deep learning architectures.
Recent advancements, including the adoption of Vision Transformers and state-space models like Mamba, have improved CD performance but still face challenges such as class imbalance and the isolation of semantic and change detection processes. The authors propose Mamba-FCS, a novel framework that integrates frequency-domain feature fusion and change-guided attention to enhance the detection of non-salient changes and refine semantic boundaries. Key contributions include a Joint Spatio-Frequency Fusion Mechanism, a Change-Guided Attention module, and a SeK-inspired loss function aimed at optimizing semantic consistency. The paper promises substantial improvements in detecting rare transitions and enhancing recall, supported by extensive experimental results on established benchmarks.
Methods
The section outlines various methodologies employed in change detection (CD) using convolutional neural networks (CNNs), transformers, and state space models (SSMs). CNN-based methods have been foundational, with early works like Daudt et al. introducing fully convolutional networks (FCNs) for bi-temporal change detection (BCD). Subsequent advancements included enhancements in feature interaction and attention mechanisms, as well as strategies for unsupervised sample generation. However, CNNs are limited by their receptive fields, which hampers their ability to capture long-range contextual information necessary for effective change detection.
In contrast, transformer-based methods have emerged as powerful alternatives, leveraging their capability to model long-range dependencies. Initial applications, such as those by Chen et al. and Bandara et al., involved transforming multi-temporal images into semantic tokens and employing pure transformer architectures, respectively. These approaches have shown significant improvements in detection accuracy for both BCD and semantic change detection (SCD). Nonetheless, the quadratic complexity of self-attention in transformers poses challenges for large-scale datasets, prompting interest in SSMs.
SSMs, particularly the Mamba architecture, present a promising solution due to their linear computational complexity while still modeling long-range dependencies. Various implementations, such as MambaBCD and CDMamba, have demonstrated strong performance in BCD by effectively extracting global features and enhancing local detail capture. Additionally, MambaSCD adapts SSMs for SCD, although most existing methods primarily focus on spatial domain processing, often neglecting the potential benefits of frequency-domain information to mitigate illumination artifacts and highlight structural differences in multi-temporal imagery.
Discussion
In the discussion of the proposed Mamba-FCS framework for semantic change detection (SCD) in high-resolution optical remote sensing imagery, the authors detail the architecture and functionality of their model, which employs a Siamese network structure. This architecture processes bi-temporal image pairs, utilizing a shared Visual State Space Model (VMamba) encoder to extract multi-scale feature maps. The framework consists of a Binary Change Decoder (BCD) and two Semantic Map Decoders (SMDs), which work in tandem to detect changes and enhance semantic segmentation by leveraging change cues. The BCD employs a novel Joint Spatio-Frequency Feature Fusion Mechanism to effectively highlight subtle changes by integrating spatial and frequency information, while the SMDs utilize Change-Guided Attention to focus on regions of interest.
The backbone encoder, VMamba, is adapted from state-of-the-art sequence modeling techniques, allowing for efficient processing of bi-temporal imagery with linear computational complexity. The authors emphasize the importance of their proposed Separated Kappa (SeK) loss, which enhances semantic consistency within detected change regions, alongside traditional cross-entropy and mean Intersection over Union (mIoU) losses. Through extensive ablation studies, the authors demonstrate the contributions of each component of the Mamba-FCS framework, showcasing its superior performance against existing methods on benchmark datasets, including the SECOND and Landsat-SCD datasets. The results indicate that Mamba-FCS not only improves accuracy in change detection tasks but also maintains computational efficiency, making it suitable for large-scale applications.