DOI: https://doi.org/10.1038/s41598-025-94544-7
PMID: https://pubmed.ncbi.nlm.nih.gov/40128281
تاريخ النشر: 2025-03-24
المؤلف: Junjie Yang وآخرون
الموضوع الرئيسي: تصنيف الصور باستخدام الاستشعار عن بُعد
نظرة عامة
تقدم البحث EHCTNet، وهو إطار هجين معزز من CNN-Transformer مصمم لتحسين اكتشاف التغيرات في صور الاستشعار عن بعد (RS)، مع معالجة التكاليف العالية المرتبطة بالسلبيات الكاذبة. غالبًا ما تعطي الأطر التقليدية الأولوية لتقليل الإيجابيات الكاذبة على حساب اكتشاف التغيرات الهامة، مما يؤدي إلى فقدان الاكتشافات. يعزز EHCTNet تعلم الميزات ويجمع مكونات التردد لزيادة الاسترجاع بشكل تدريجي. يتضمن الهيكل وحدة استخراج ميزات ذات فرعين لاستخراج الميزات متعددة المقاييس، ووحدة مصقولة لاستغلال مكونات التردد، ووحدة تعدين رموز محسنة تعتمد على شبكة كولموغوروف-أرنولد لاستخراج المعلومات الدلالية. يتوج تصميم الإطار برأس اكتشاف يتنبأ بالتغيرات بين الصور الثنائية الزمن.
تظهر التجارب الواسعة أن EHCTNet يتفوق على النماذج الحديثة من خلال تحقيق تحسينات في اكتشاف الحواف، واستمرارية في اكتشاف التغيرات، ومعدلات استرجاع أعلى، مما يحدد بفعالية التغيرات الدقيقة المدفوعة بإعادة البناء المعقدة والإشعاع الشمسي. تم التحقق من النتائج من خلال التجارب على مجموعات بيانات مثل LEVIR-CD و DSIFN-CD، مع تأكيد دراسات الإزالة على مساهمات كل وحدة. ومع ذلك، تشير الدراسة إلى قيد في تركيزها على بيانات المصدر الواحد، مما يقترح أن العمل المستقبلي سيستكشف السيناريوهات متعددة النماذج لتعزيز مرونة الإطار وفعاليته.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على مزايا صور الاستشعار عن بعد (RS) مقارنة بأساليب المسح التقليدية، لا سيما تغطيتها الواسعة، وتكرارها الزمني العالي، ومحتواها الغني بالمعلومات، مما يجعلها مثالية للدراسات واسعة النطاق لاستخدام الأراضي والتغيرات البيئية. تصنف الورقة مهام اكتشاف التغيرات بناءً على خصائص مجموعة البيانات، مع التأكيد على أهمية الصور عالية الدقة جدًا للتطبيقات مثل المسوحات الزراعية ودراسات التوسع الحضري. ومع ذلك، تحدد عدة تحديات في اكتشاف التغيرات، بما في ذلك المعلومات الطيفية المحدودة، والتباين الطيفي العالي، وفقدان المعلومات بسبب الحجب، وخصائص الكائنات غير المتسقة عبر الصور المختلفة.
لمعالجة هذه التحديات، يقترح المؤلفون شبكة EHCTNet الهجينة المعززة، التي تدمج استخراج الميزات المحلية من الشبكات العصبية التلافيفية (CNNs) مع قدرات نمذجة السياق العالمي من Transformers. تهدف هذه البنية الهجينة إلى تحسين دقة اكتشاف التغيرات في الاستشعار عن بعد من خلال استخدام وحدات جديدة مصممة لاستخراج الميزات بفعالية وتعلم الرموز الدلالية. تشمل المساهمات الرئيسية بنية ذات فرعين تعزز تمثيل الميزات متعددة المقاييس ووحدات متخصصة تحسن قدرة النموذج على اكتشاف التغيرات الدقيقة والهامة. تظهر الطريقة المقترحة أداءً قويًا في تحديد التغيرات ذات الأهمية مع الحفاظ على سلامة الكائنات المتغيرة، مما يعزز الفعالية العامة لمهام اكتشاف التغيرات في الاستشعار عن بعد.
طرق
في هذا القسم، يقدم المؤلفون تحليلًا مقارنًا لطريقتهم المقترحة، EHCTNet، مقابل تسع تقنيات حديثة (SOTA) على مجموعات بيانات LEVIR-CD و DSIFN-CD المرجعية. تشمل الطرق الحديثة التي تم تقييمها كل من الهياكل المعتمدة على CNN (FC-EF، FC-Siam-Di، FC-Siam-Conc، DTCDSCN) والنماذج المعتمدة على Transformers (IFNet، SNUNet، CropLand، BIT، VcT). من بين هذه، يتم تسليط الضوء على BIT و VcT كمعايير رئيسية بسبب مساهماتهما الكبيرة في اكتشاف التغيرات. يُلاحظ أن BIT يتمتع بالمتانة كهيكل Transformer مصمم لمهام اكتشاف التغيرات، بينما يُعترف بـ VcT لاستخدامه الفعال لمعلومات الخلفية، مما أدى مؤخرًا إلى تحسين الأداء في هذا المجال.
نقاش
في قسم النقاش من الورقة البحثية، يحلل المؤلفون تطور طرق اكتشاف التغيرات في الاستشعار عن بعد، مقارنين الأساليب التقليدية بتقنيات التعلم العميق المتقدمة. تُلاحظ الطرق التقليدية، بما في ذلك التقنيات الإحصائية مثل جبر الصور، PCA، وSVM، لكونها قابلة للتفسير ولكنها ذات قدرة محدودة على التعامل مع البيانات المعقدة. في المقابل، أظهرت طرق التعلم العميق، لا سيما الشبكات العصبية التلافيفية (CNNs) وTransformers، أداءً متفوقًا من خلال تعلم الميزات الهرمية تلقائيًا. يصنف المؤلفون طرق التعلم العميق إلى نماذج ذات تيار واحد، وشبكات سيامية، ونماذج قائمة على GAN، مع تسليط الضوء على نقاط قوتها وضعفها. على سبيل المثال، بينما تتفوق الشبكات السيامية في مجموعات البيانات غير المتجانسة، تواجه تحديات في التحسين بسبب تعقيدها. تعاني GANs، على الرغم من كونها واعدة لتكيف المجال، من صعوبات في استقرار التدريب.
يقترح المؤلفون شبكة EHCTNet الهجينة المعززة لمعالجة قيود النماذج الحالية. تدمج هذه البنية استخراج الميزات المحلية من CNNs مع التعلم السياقي العالمي من Transformers، بهدف تحسين دقة اكتشاف التغيرات. تتكون EHCTNet من خمس وحدات، بما في ذلك وحدة استخراج الميزات التي تستخدم بنية هجينة ذات فرعين لالتقاط الميزات متعددة المقاييس، ووحدات مصقولة تعزز تمثيل الميزات من خلال آليات انتباه التردد. يتم التحقق من الطريقة المقترحة مقابل النماذج الحديثة على مجموعتين من بيانات الاستشعار عن بعد عالية الدقة، LEVIR-CD و DSIFN-CD، مما يظهر تحسينات كبيرة في مقاييس مثل الاسترجاع، وF1-score، والتقاطع على الاتحاد (IoU)، والدقة العامة (OA). تشير النتائج إلى أن EHCTNet يحدد بفعالية التغيرات ذات الأهمية، مما يجعلها مناسبة بشكل خاص للتطبيقات في استجابة الكوارث والمراقبة الحضرية.
DOI: https://doi.org/10.1038/s41598-025-94544-7
PMID: https://pubmed.ncbi.nlm.nih.gov/40128281
Publication Date: 2025-03-24
Author(s): Junjie Yang et al.
Primary Topic: Remote-Sensing Image Classification
Overview
The research presents EHCTNet, an enhanced hybrid CNN-Transformer framework designed to improve change detection in remote sensing (RS) images, addressing the high costs associated with false negatives. Traditional frameworks often prioritize reducing false positives at the expense of detecting significant changes, leading to missed detections. EHCTNet enhances feature learning and integrates frequency components to incrementally boost Recall. The architecture includes a dual branch feature extraction module for multi-scale feature extraction, a refined module for frequency component exploitation, and an enhanced token mining module based on the Kolmogorov-Arnold Network to derive semantic information. The framework’s design culminates in a detection head that predicts changes between bi-temporal images.
Extensive experiments demonstrate that EHCTNet outperforms state-of-the-art models by achieving improved edge detection, continuity in change detection, and higher Recall rates, effectively identifying subtle changes driven by complex reconstructions and solar radiation. The results are validated through experiments on datasets such as LEVIR-CD and DSIFN-CD, with ablation studies confirming the contributions of each module. However, the study notes a limitation in its focus on single-source data, suggesting future work will explore multi-modal scenarios to enhance the framework’s versatility and effectiveness.
Introduction
The introduction of this research paper highlights the advantages of remote sensing (RS) imagery over traditional surveying methods, particularly its extensive coverage, high temporal frequency, and rich information content, making it ideal for large-scale studies of land use and environmental changes. The paper categorizes change detection tasks based on dataset characteristics, emphasizing the significance of very high-resolution imagery for applications such as agricultural surveys and urban expansion studies. However, it identifies several challenges in change detection, including limited spectral information, high spectral variability, information loss from occlusions, and inconsistent object features across different images.
To address these challenges, the authors propose the Enhanced Hybrid CNN-Transformer Network (EHCTNet), which integrates local feature extraction from convolutional neural networks (CNNs) with the global context modeling capabilities of Transformers. This hybrid architecture aims to improve the accuracy of remote sensing change detection by employing novel modules designed for effective feature extraction and semantic token learning. Key contributions include a dual-branch architecture that enhances multi-scale feature representation and specialized modules that improve the model’s ability to detect both subtle and significant changes. The proposed method demonstrates robust performance in identifying changes of interest while maintaining the integrity of changed objects, thereby enhancing the overall effectiveness of remote sensing change detection tasks.
Methods
In this section, the authors present a comparative analysis of their proposed method, EHCTNet, against nine state-of-the-art (SOTA) techniques on the LEVIR-CD and DSIFN-CD benchmark datasets. The SOTA methods evaluated include both CNN-based architectures (FC-EF, FC-Siam-Di, FC-Siam-Conc, DTCDSCN) and Transformer-based models (IFNet, SNUNet, CropLand, BIT, VcT). Among these, BIT and VcT are highlighted as primary benchmarks due to their significant contributions to change detection. BIT is noted for its robustness as a Transformer architecture tailored for change detection tasks, while VcT is recognized for its effective utilization of background information, which has recently led to enhanced performance in the field.
Discussion
In the discussion section of the research paper, the authors analyze the evolution of change detection methods in remote sensing, contrasting traditional approaches with advanced deep learning techniques. Conventional methods, including statistical techniques like image algebra, PCA, and SVM, are noted for their interpretability but limited capacity to handle complex data. In contrast, deep learning methods, particularly convolutional neural networks (CNNs) and Transformers, have shown superior performance by automatically learning hierarchical features. The authors categorize deep learning approaches into single-stream, siamese, and GAN-based models, highlighting their strengths and weaknesses. For instance, while siamese networks excel in heterogeneous datasets, they face optimization challenges due to their complexity. GANs, although promising for domain adaptation, struggle with training stability.
The authors propose an enhanced hybrid CNN-Transformer network (EHCTNet) to address the limitations of existing models. This architecture integrates local feature extraction from CNNs with global contextual learning from Transformers, aiming to improve change detection accuracy. The EHCTNet comprises five modules, including a feature extraction module that utilizes a dual-branch hybrid architecture to capture multi-scale features, and refined modules that enhance feature representation through frequency attention mechanisms. The proposed method is validated against state-of-the-art models on two high-resolution remote sensing datasets, LEVIR-CD and DSIFN-CD, demonstrating significant improvements in metrics such as Recall, F1-score, Intersection over Union (IoU), and Overall Accuracy (OA). The results indicate that EHCTNet effectively identifies changes of interest, making it particularly suitable for applications in disaster response and urban monitoring.