DOI: https://doi.org/10.1109/jas.2025.125324
تاريخ النشر: 2025-05-01
المؤلف: Yansheng Li وآخرون
الموضوع الرئيسي: تصنيف الصور باستخدام الاستشعار عن بُعد
نظرة عامة
في هذا البحث، يقدم المؤلفون مجموعة بيانات تصنيف المشاهد الجغرافية الدقيقة على نطاق المليون (MEET)، والتي تعالج قيود طرق تصنيف الصور عن بُعد الحالية التي تعتمد على الصور المكبرة يدويًا. تتكون MEET من أكثر من 1.03 مليون عينة مشهد عن بُعد بدون تكبير، مصنفة إلى 80 فئة دقيقة باستخدام تخطيط مشهد داخل مشهد. يسمح هذا الهيكل المبتكر بالإشارة إلى المشهد المركزي جنبًا إلى جنب مع المشاهد المساعدة، مما يوفر سياقًا مكانيًا أساسيًا لتحسين دقة التصنيف.
للاستفادة من مجموعة البيانات بشكل فعال، يقدم المؤلفون نموذج المحول المدرك للسياق (CAT)، وهو نموذج مصمم لتعزيز تصنيف المشاهد الجغرافية الدقيقة من خلال دمج السياق المكاني بشكل تكيفي. يظهر CAT أداءً متفوقًا مقارنة بـ 11 خط أساس تنافسي، محققًا زيادة بنسبة 1.88% في الدقة المتوازنة (BA) مع الهيكل الأساسي Swin-Large وتحسينًا بنسبة 7.87% مع الهيكل الأساسي Swin-Huge. تؤكد الدراسة فعالية وحدات CAT وقابليتها للتطبيق في رسم خرائط المناطق الوظيفية الحضرية. يخطط المؤلفون لتوسيع مجموعة بيانات MEET وتطوير منتجات تصنيف المشاهد على نطاق عالمي، مما يساهم في توفير موارد قيمة للمجتمع العلمي لتقدم هذا المجال من البحث.
مقدمة
في مقدمة هذه الورقة البحثية، يضع المؤلفون معيارًا لتصنيف المشاهد الدقيقة (FGSC) باستخدام صور الاستشعار عن بُعد بدون تكبير (RSI) من خلال إعادة تنفيذ طرق تصنيف المشاهد المختلفة. يختارون أعمالًا بارزة من مجال الاستشعار عن بُعد، بما في ذلك ARC-Net و MF2CNet و GCSANet و DOFA و SkySense، بينما يدمجون أيضًا نماذج أساسية موثوقة من رؤية الكمبيوتر العامة، مثل ResNet و HRNet و Inception-Next و MaxViT و DAVit و Swin Transformer. لضمان أداء قوي، يتم تدريب جميع طرق الأساس مع جميع المعلمات، ويستخدم المؤلفون التعديل الدقيق التكيفي (AFT) لتعديل المعلمات بكفاءة، مما يشير إلى أن أداء طريقتهم المقترحة، CAT، يمكن أن يتحسن أكثر مع التدريب الكامل للمعلمات.
يبرز المؤلفون أهمية أوزان النماذج المدربة مسبقًا، وخاصة من ImageNet-22K، لتهيئة نماذجهم. يستخدمون كل من المشاهد المركزية والمشاهد المساعدة كمدخلات لـ CAT، الذي تم تصميمه لتخطيطات المشهد داخل المشهد. تشير المقارنة في الأداء المقدمة في الجدول III إلى أن CAT يتفوق بشكل كبير على استراتيجيات الدمج الأخرى، محققًا دقة عامة (OA) تبلغ 95.87% ويظهر أداءً متفوقًا عبر فئات مختلفة، بما في ذلك العديد، والمتوسطة، والقليلة من الحالات. وهذا يبرز فعالية CAT في تعزيز تصنيف المشاهد في تطبيقات الاستشعار عن بُعد.
طرق
في هذا القسم، يستعرض المؤلفون طرق التعلم العميق الحالية لتصنيف المشاهد، مع التركيز بشكل خاص على صور الاستشعار عن بُعد (RSI) والتحديات المرتبطة بتصنيف المشاهد الدقيقة (FGSC) باستخدام RSI بدون تكبير. يصنفون التقدم في تصنيف المشاهد إلى ثلاثة نهج رئيسية: تدريب النماذج من الصفر، وتكييف النماذج المدربة مسبقًا من ImageNet، وتعديل هذه النماذج خصيصًا لبيانات RSI. تشمل المساهمات البارزة ARC-Net، الذي يستخدم كتل متبقية والتفافات موسعة لتعزيز كفاءة النموذج ودقته، و GCSANet، الذي يستخدم انتباه السياق العالمي لالتقاط ميزات متعددة المقاييس. كما يبرز المؤلفون استخدام البيانات المساعدة، مثل صور Google Street View وبيانات الدقة الزمنية، لتحسين أداء FGSC، على الرغم من أنهم يشيرون إلى أن التكلفة العالية وتوافر هذه البيانات المحدود يمكن أن يعيق التطبيق الأوسع.
بالإضافة إلى ذلك، يناقش المؤلفون طرقًا تستغل المعلومات السياقية المساعدة لتعزيز قابلية تفسير RSI في مهام مثل تقسيم الصور الدلالية واكتشاف الكائنات. لقد أظهرت تقنيات مثل الشبكات العميقة للدمج التكيفي ودمج السياق متعدد المقاييس وعدًا في تحسين دقة التصنيف. ومع ذلك، يشيرون إلى فجوة كبيرة في الأدبيات بشأن استخدام المعلومات السياقية خصيصًا لـ FGSC، مما يشير إلى فرصة للبحث المستقبلي في هذا المجال. بشكل عام، يبرز القسم الحاجة إلى نهج مبتكرة للاستفادة من البيانات السياقية في FGSC، والتي لا تزال غير مستكشفة إلى حد كبير.
نتائج
تظهر النتائج من طريقة FGSC المطبقة على مجموعة بيانات MEET تحسينات كبيرة في الأداء مقارنة بالطرق الحالية. باستخدام الهيكل الأساسي Swin-Large، تحقق الطريقة المقترحة دقة عامة (OA) تبلغ 95.87% ودقة متوازنة (BA) تبلغ 83.38%. من الجدير بالذكر أنها تتجاوز طرق الأساس ذات المعلمات القابلة للمقارنة بحوالي 1% في OA وأكثر من 4% في BA، خاصة عند مقارنتها بتلك التي تستخدم المشاهد المركزية كمدخلات. بالإضافة إلى ذلك، تظهر الطريقة تحسينات تزيد عن 0.3% في OA و1.8% في BA مقارنة بالطرق التي تستخدم المشاهد العالمية. تؤكد هذه النتائج فعالية الطريقة المقترحة في تصنيف المشاهد، مستفيدة من معلومات الصورة السياقية من خلال دمج السياق التكيفي (ACF) واستراتيجيات متعددة المستويات (MLS).
تكشف التحليلات الإضافية أن طريقة CAT، عند اقترانها بالهيكل الأساسي Swin-Huge، تحقق مقاييس أداء أعلى، مع درجات OA وBA تبلغ 97.74% و89.37%، على التوالي. يمثل هذا تحسينًا يزيد عن 2.8% في OA و9.5% في BA مقارنة بالطرق الأخرى التي تستخدم نفس الهيكل الأساسي. تشير نتائج دراسة الإزالة إلى أن CAT يتفوق في استخراج الميزات التكيفية، مما يؤدي إلى تحسين استقرار التصنيف ودقته. يتم تسليط الضوء على مرونة CAT من خلال قدرته على الاندماج بسلاسة مع نماذج أساسية مختلفة، مما يؤكد قابليته للتطبيق الواسع وفعاليته في استخدام المعلومات السياقية لتحسين الأداء عبر مهام تصنيف المشاهد المختلفة.
مناقشة
يتناول قسم المناقشة في الورقة التحديات والتقدم في تصنيف المشاهد الجغرافية الدقيقة (FGSC) باستخدام صور الاستشعار عن بُعد (RSI). FGSC أكثر تعقيدًا من التصنيف الخشن ولكنه ضروري لتطبيقات مثل التخطيط الحضري والحفاظ على المواطن. يبرز المؤلفون قيود مجموعات البيانات الحالية التي تعتمد على عينات مكبرة يدويًا، والتي لا تتماشى مع الصور ذات الدقة الثابتة التي يتم مواجهتها عادة في التطبيقات الواقعية. للتغلب على هذه القضايا، تقدم الورقة مجموعة بيانات تصنيف المشاهد الجغرافية الدقيقة على نطاق المليون (MEET)، التي تتكون من 1.03 مليون عينة عبر 80 فئة، باستخدام تخطيط مشهد داخل مشهد يتضمن سياقًا مساعدًا لتعزيز دقة التصنيف.
تهدف مجموعة بيانات MEET إلى توفير أساس قوي لـ FGSC من خلال معالجة أوجه القصور في مجموعات البيانات السابقة، مثل عدم كفاية كمية العينات وتغطية الفئات المحدودة. يقترح المؤلفون إطار عمل المحول المدرك للسياق (CAT) الذي يدمج بكفاءة المعلومات السياقية متعددة المقاييس دون المساس بالأداء أو زيادة استهلاك الذاكرة. يسمح هذا الإطار بدمج السياق التكيفي، مما يمكّن النموذج من تمييز الفئات الدقيقة بشكل أكثر فعالية من خلال الاستفادة من المشاهد المحيطة والعالمية. تختتم الورقة بإقامة MEET وCAT كمعايير للبحث المستقبلي في FGSC، مما يعزز تطوير خوارزميات مبتكرة يمكن أن تعزز التطبيقات العملية لتغطية الأراضي.
DOI: https://doi.org/10.1109/jas.2025.125324
Publication Date: 2025-05-01
Author(s): Yansheng Li et al.
Primary Topic: Remote-Sensing Image Classification
Overview
In this research, the authors present the Million-scale finE-grained geospatial scEne classification dataseT (MEET), which addresses the limitations of existing remote sensing imagery classification methods that rely on manually zoomed images. MEET comprises over 1.03 million zoom-free remote sensing scene samples, categorized into 80 fine-grained classes using a scene-in-scene layout. This innovative structure allows for the central scene to be referenced alongside auxiliary scenes, providing essential spatial context for improved classification accuracy.
To leverage the dataset effectively, the authors introduce the Context-Aware Transformer (CAT), a model designed to enhance fine-grained geospatial scene classification by adaptively fusing spatial context. CAT demonstrates superior performance against 11 competitive baselines, achieving a 1.88% increase in balanced accuracy (BA) with the Swin-Large backbone and a 7.87% improvement with the Swin-Huge backbone. The study confirms the effectiveness of CAT’s modules and its applicability in urban functional zone mapping. The authors plan to expand the MEET dataset and develop global-scale scene classification products, contributing valuable resources to the scientific community for advancing this field of research.
Introduction
In the introduction of this research paper, the authors establish a benchmark for Fine-Grained Scene Classification (FGSC) using zoom-free Remote Sensing Imagery (RSI) by re-implementing various scene classification methods. They select notable works from the remote sensing domain, including ARC-Net, MF2CNet, GCSANet, DOFA, and SkySense, while also incorporating widely validated backbone models from general computer vision, such as ResNet, HRNet, Inception-Next, MaxViT, DAVit, and Swin Transformer. To ensure robust performance, all baseline methods are trained with full parameters, and the authors utilize Adaptive Fine-Tuning (AFT) for parameter-efficient fine-tuning, suggesting that the performance of their proposed method, CAT, could be enhanced further with full-parameter training.
The authors highlight the importance of pre-trained model weights, specifically from ImageNet-22K, for initializing their models. They employ both center scenes and auxiliary scenes as inputs for CAT, which is tailored for scene-in-scene layouts. The performance comparison presented in Table III indicates that CAT significantly outperforms other fusion strategies, achieving an Overall Accuracy (OA) of 95.87% and demonstrating superior performance across various categories, including many, medium, and few instances. This underscores the effectiveness of CAT in enhancing scene classification in remote sensing applications.
Methods
In this section, the authors review existing deep learning methods for scene classification, particularly focusing on remote sensing imagery (RSI) and the challenges associated with fine-grained scene classification (FGSC) using zoom-free RSI. They categorize the advancements in scene classification into three main approaches: training models from scratch, adapting pre-trained models from ImageNet, and fine-tuning these models specifically for RSI data. Notable contributions include ARC-Net, which employs residual blocks and dilated convolutions to enhance model efficiency and accuracy, and GCSANet, which utilizes global context spatial attention to capture multiscale features. The authors also highlight the use of auxiliary data, such as Google Street View images and temporal resolution data, to improve FGSC performance, although they note that the high cost and limited availability of such data can hinder broader application.
Additionally, the authors discuss methods that exploit auxiliary contextual information to enhance the interpretability of RSI in tasks like semantic segmentation and object detection. Techniques such as deep adaptive fusion networks and multi-scale context integration have shown promise in improving classification accuracy. However, they point out a significant gap in the literature regarding the use of contextual information specifically for FGSC, indicating an opportunity for future research in this area. Overall, the section underscores the need for innovative approaches to leverage contextual data in FGSC, which remains largely unexplored.
Results
The results from the FGSC method applied to the MEET dataset demonstrate significant performance improvements over existing methods. Utilizing the Swin-Large backbone, the proposed method achieves an overall accuracy (OA) of 95.87% and a balanced accuracy (BA) of 83.38%. Notably, it surpasses baseline methods with comparable parameters by nearly 1% in OA and over 4% in BA, particularly when compared to those using center scenes as input. Additionally, the method shows improvements of over 0.3% in OA and 1.8% in BA against methods utilizing global scenes. These findings underscore the effectiveness of the proposed method in scene classification, leveraging contextual image information through Adaptive Context Fusion (ACF) and Multi-Level Strategies (MLS).
Further analysis reveals that the CAT method, when paired with the Swin-Huge backbone, achieves even higher performance metrics, with OA and BA scores of 97.74% and 89.37%, respectively. This represents an improvement of over 2.8% in OA and 9.5% in BA compared to other methods using the same backbone. The results from the ablation study indicate that CAT excels in adaptive feature extraction, leading to enhanced classification stability and accuracy. The versatility of CAT is highlighted by its ability to integrate seamlessly with various backbone models, confirming its broad applicability and effectiveness in utilizing contextual information for improved performance across different scene classification tasks.
Discussion
The discussion section of the paper addresses the challenges and advancements in fine-grained geospatial scene classification (FGSC) using remote sensing imagery (RSI). FGSC is more complex than coarse-grained classification but is crucial for applications such as urban planning and habitat conservation. The authors highlight the limitations of existing datasets that rely on manually zoomed samples, which do not align with the fixed-resolution imagery typically encountered in real-world applications. To overcome these issues, the paper introduces the Millionscale finE-grained geospatial scEne classification dataseT (MEET), which comprises 1.03 million samples across 80 categories, utilizing a scene-in-scene layout that incorporates auxiliary context to enhance classification accuracy.
The MEET dataset aims to provide a robust foundation for FGSC by addressing the shortcomings of previous datasets, such as insufficient sample quantity and limited category coverage. The authors propose a context-aware transformer (CAT) framework that efficiently integrates multi-scale contextual information without compromising performance or increasing memory consumption. This framework allows for adaptive context fusion, enabling the model to discern fine-grained categories more effectively by leveraging surrounding and global scenes. The paper concludes by establishing MEET and CAT as benchmarks for future research in FGSC, promoting the development of innovative algorithms that can enhance practical land-cover applications.