DOI: https://doi.org/10.1038/s41598-025-34756-z
PMID: https://pubmed.ncbi.nlm.nih.gov/41530361
تاريخ النشر: 2026-01-13
المؤلف: Irfan Ahmad وآخرون
الموضوع الرئيسي: تصنيف الصور باستخدام الاستشعار عن بُعد
نظرة عامة
تناقش هذه القسم أهمية الصور الطيفية العالية (HSIs) في مهام التصنيف بسبب المعلومات المكانية والطيفية الواسعة التي تحتويها. يبرز أهمية استخراج الميزات الطيفية-المكانية التمييزية من أجل تصنيف فعال. بينما أظهرت الشبكات العصبية التلافيفية (CNNs) أداءً قويًا في هذا المجال، فإن زيادة عمقها يمكن أن تؤدي إلى مشاكل في الأداء، كما أن مقياسها الثابت وحقول الاستقبال المحدودة تقيد قدرتها على التقاط الاعتماديات بعيدة المدى، وهو أمر ضروري لتعلم الميزات الفعال والتعميم.
لمعالجة هذه التحديات، يقدم البحث MTSA-Net، وهو إطار عمل جديد مصمم لتصنيف HSI. يدمج هذا الإطار الانتباه المكاني والمحولات متعددة المقاييس للاستفادة من المعلومات الطيفية-المكانية الكامنة في البيانات الطيفية العالية. يعزز آلية الانتباه المكاني قدرة النموذج على التركيز على الميزات المكانية ذات الصلة من خلال تحليل العلاقات بين البكسلات المجاورة، مما يحسن القوة التمييزية للتمثيلات المتعلمة بينما يقوم بتصفية المعلومات غير ذات الصلة. يهدف نموذج المحول متعدد المقاييس اللاحق إلى التقاط الاعتماديات بعيدة المدى، مما يعزز أداء النموذج في مهام تصنيف HSI.
مقدمة
لقد عززت التطورات الأخيرة في تكنولوجيا التصوير الطيفي العالي (HSI) بشكل كبير القدرة على التقاط وتحليل طيف الضوء المنعكس أو المنبعث من مختلف الأجسام والمشاهد. تتضمن هذه التقنية الحصول على العديد من نطاقات الطول الموجي المتقاربة عبر طيف كهرومغناطيسي واسع، من الأشعة فوق البنفسجية إلى الأشعة تحت الحمراء طويلة الموجة. تمثل الصور الطيفية العالية الناتجة كبيانات ثلاثية الأبعاد (3D)، تجمع بين الميزات الطيفية أحادية البعد مع المعلومات المكانية ثنائية الأبعاد. يسمح هذا المزيج بتحديد وقياس المواد داخل المشهد، بالإضافة إلى الكشف عن التغيرات البيئية الطفيفة. تلعب كل من التوقيعات الطيفية والبيانات المكانية أدوارًا حاسمة في تصنيف HSI، حيث توفر إشارات أساسية لنتائج دقيقة.
يمتلك التصوير الطيفي العالي مجموعة واسعة من التطبيقات، بما في ذلك استكشاف المعادن، والزراعة، والعمليات العسكرية، والتخطيط الحضري، ورصد البيئة، وإدارة الغابات. للاستفادة الكاملة من إمكانيات البيانات الطيفية العالية، استكشف الباحثون طرق معالجة بيانات متنوعة مثل إزالة الضوضاء، والفصل، ودمج الصور، واكتشاف الأهداف، والتصنيف. من بين هذه، جذب تصنيف تغطية الأرض اهتمامًا كبيرًا، مما دفع إلى التحقيق في مجموعة من تقنيات التعلم الآلي التقليدية المصممة لاستخدام المعلومات الطيفية الوفيرة المتاحة لمهام التصنيف بشكل فعال.
طرق
في قسم الطرق، يناقش البحث تطبيق آليات قائمة على الانتباه في تصنيف الصور الطيفية العالية (HSI)، مع تسليط الضوء على فعاليتها في تعزيز أداء التصنيف. تسمح آلية الانتباه، المستوحاة من الإدراك البصري البشري، بتحديد الميزات البارزة داخل الصور. تشمل الأساليب الملحوظة آلية انتباه مزدوجة تعمل في مرحلتين: المرحلة الأولى تضغط الميزات باستخدام تجميع الانتباه من الدرجة الثانية، بينما تخصص المرحلة الثانية هذه الميزات لمواقع محددة. بالإضافة إلى ذلك، يتم حساب خرائط الانتباه عبر القنوات والأبعاد المكانية لتحسين الميزات بشكل تكيفي. يتم أيضًا ذكر نموذج الانتباه القنوي الفعال (ECA)، الذي يحسن التفاعلات عبر القنوات لتحسين الأداء وتقليل التعقيد. علاوة على ذلك، يتم تقديم آلية بوابة لضبط أهمية نطاقات الطيف ديناميكيًا.
تدمج المنهجية المقترحة طبقة تلافيفية ثلاثية الأبعاد، وطبقة تلافيفية ثنائية الأبعاد، والانتباه المكاني (SA)، بالإضافة إلى مشفر المحول متعدد المقاييس الذي يتضمن وحدة دمج الميزات ووظيفة سوفتماكس. يتم توضيح هيكل هذه المنهجية في الشكل 1، مع تقديم مزيد من التفاصيل في الأقسام اللاحقة.
النتائج
يقيم قسم النتائج في الدراسة أداء نموذج MTSA-Net المقترح مقابل ثمانية طرق تعلم عميقة راسخة لتصنيف الصور الطيفية العالية (HSI)، بما في ذلك 2D-CNN، 3D-CNN، HybridSN، SSCRN، DATN، MSDCA، SSFTT، وMACLST. يتم تقديم تحليلات مقارنة في الجداول من 6 إلى 10، والتي تفصل الدقة العامة (OA)، ومتوسط الدقة (AA)، ومعامل كابا (K) عبر خمسة مجموعات بيانات معروفة: IP، SA، UP، H-13، وH-18. يحقق نموذج MTSA-Net باستمرار أداء تصنيف متفوق، مع قيم OA تبلغ 98.84%، 99.80%، 98.77%، 97.84%، و95.87% للمجموعات البيانية المعنية، حتى عند تدريبه على عدد محدود من العينات.
بينما تظهر الطرق المعتمدة على CNN، بما في ذلك 2D-CNN و3D-CNN، أداءً قويًا، فإن بعض الفئات تظهر نتائج دون المستوى الأمثل بسبب نقص عينات التدريب. كما أن الطرق المعتمدة على الانتباه، مثل SSFTT وMACLST، تحقق أيضًا نتائج مشجعة. ومع ذلك، يتفوق MTSA-Net على جميع النماذج الأخرى من حيث OA وAA وK، مما يدل على دقته العالية عبر جميع الفئات. يبرز هذا قوة النموذج وفعاليته، خاصة في السيناريوهات التي تتميز بنقص بيانات التدريب لفئات معينة.
نقاش
في قسم النقاش هذا، يستعرض البحث منهجيات متنوعة لتصنيف الصور الطيفية العالية (HSI)، مع تسليط الضوء على نقاط القوة والقيود في تقنيات التعلم الآلي التقليدية والنهج الحديثة للتعلم العميق. تُلاحظ تقنيات مثل الجيران الأقرب، وآلات الدعم الناقل، والانحدار اللوجستي، والغابات العشوائية لقدراتها التنبؤية، بينما يتم التعرف على تحليل المكونات الرئيسية (PCA) لفعاليته في تقليل الأبعاد. يؤكد البحث على الأهمية المتزايدة للتعلم العميق، وخاصة الشبكات العصبية التلافيفية (CNNs)، التي أظهرت أداءً متفوقًا في استخراج الميزات الطيفية والمكانية من بيانات HSI. بشكل ملحوظ، تم تكييف CNNs في هياكل متنوعة، بما في ذلك نماذج 1D و2D و3D، لتعزيز استخراج الميزات ودقة التصنيف.
يستكشف النقاش أيضًا دمج CNNs مع هياكل المحولات، التي اكتسبت زخمًا لقدرتها على نمذجة الاعتماديات بعيدة المدى والعلاقات المعقدة في البيانات. يجمع إطار العمل المقترح MTSA-Net بين طبقات تلافيفية ثلاثية الأبعاد لاستخراج الميزات الأولية مع مشفر المحول متعدد المقاييس الذي يلتقط كل من التمثيلات المحلية والعالمية. يهدف هذا النهج الهجين إلى معالجة قيود حقول الاستقبال الثابتة في CNNs بينما يستفيد من نقاط قوة المحولات في فهم التفاعلات المعقدة للميزات. يختتم البحث بالقول إن نموذج MTSA-Net يتفوق على الطرق الحالية الرائدة عبر مجموعات بيانات HSI متعددة، مما يثبت فعاليته في تعزيز أداء التصنيف من خلال تحسين تعلم الميزات الطيفية-المكانية.
DOI: https://doi.org/10.1038/s41598-025-34756-z
PMID: https://pubmed.ncbi.nlm.nih.gov/41530361
Publication Date: 2026-01-13
Author(s): Irfan Ahmad et al.
Primary Topic: Remote-Sensing Image Classification
Overview
The section discusses the significance of hyperspectral images (HSIs) in classification tasks due to their extensive spatial and spectral information. It highlights the importance of extracting discriminative spectral-spatial features for effective classification. While convolutional neural networks (CNNs) have shown strong performance in this domain, increasing their depth can lead to performance issues, and their fixed scale and limited receptive fields restrict their ability to capture long-range dependencies, which is essential for effective feature learning and generalization.
To address these challenges, the paper introduces MTSA-Net, a novel framework designed for HSI classification. This framework integrates spatial attention and multiscale transformers to leverage the spatial-spectral information inherent in hyperspectral data. The spatial attention mechanism enhances the model’s ability to focus on relevant spatial features by analyzing the relationships between adjacent pixels, thereby improving the discriminative power of the learned representations while filtering out irrelevant information. The subsequent multiscale transformer module is aimed at capturing long-range dependencies, further enhancing the model’s performance in HSI classification tasks.
Introduction
Recent advancements in hyperspectral imaging (HSI) technology have significantly enhanced the ability to capture and analyze the light spectrum reflected or emitted by various objects and scenes. This technique involves acquiring numerous closely spaced wavelength bands across a broad electromagnetic spectrum, from ultraviolet to long-wave infrared. The resulting hyperspectral images are represented as three-dimensional (3D) data, integrating one-dimensional spectral features with two-dimensional spatial information. This combination allows for the identification and quantification of materials within a scene, as well as the detection of subtle environmental changes. Both spectral signatures and spatial data play crucial roles in HSI classification, providing essential cues for accurate outcomes.
Hyperspectral imaging has a wide array of applications, including mineral exploration, agriculture, military operations, urban planning, environmental monitoring, and forestry management. To fully leverage the potential of hyperspectral data, researchers have explored various data processing methods such as denoising, unmixing, image fusion, target detection, and classification. Among these, land-cover classification has attracted significant interest, prompting the investigation of a range of conventional machine-learning techniques designed to effectively utilize the abundant spectral information available for classification tasks.
Methods
In the section on methods, the paper discusses the application of attention-based mechanisms in hyperspectral image (HSI) classification, highlighting their effectiveness in enhancing classification performance. The attention mechanism, inspired by human visual perception, allows for the identification of salient features within images. Notable approaches include a dual attention mechanism that operates in two stages: the first stage condenses features using second-order attention pooling, while the second stage allocates these features to specific locations. Additionally, attention maps are computed across channels and spatial dimensions to refine features adaptively. The efficient channel attention (ECA) model is also mentioned, which optimizes cross-channel interactions to improve performance and reduce complexity. Furthermore, a gating mechanism is introduced to dynamically adjust the importance of spectral bands.
The proposed methodology integrates a 3D convolution layer, a 2D convolution layer, and spatial attention (SA), along with a multiscale transformer encoder that includes a feature fusion module and a softmax function. The structure of this methodology is illustrated in Figure 1, with further details provided in subsequent sections.
Results
The results section of the study evaluates the performance of the proposed MTSA-Net model against eight established deep learning methods for hyperspectral image (HSI) classification, including 2D-CNN, 3D-CNN, HybridSN, SSCRN, DATN, MSDCA, SSFTT, and MACLST. Comparative analyses are presented in Tables 6 to 10, which detail the overall accuracy (OA), average accuracy (AA), and Kappa coefficient (K) across five well-known datasets: IP, SA, UP, H-13, and H-18. The MTSA-Net model consistently achieves superior classification performance, with OA values of 98.84%, 99.80%, 98.77%, 97.84%, and 95.87% for the respective datasets, even when trained on a limited number of samples.
While CNN-based methods, including 2D-CNN and 3D-CNN, show strong performance, certain classes exhibit suboptimal results due to insufficient training samples. Attention-based methods, such as SSFTT and MACLST, also yield commendable results. Nonetheless, MTSA-Net outperforms all other models in terms of OA, AA, and K, demonstrating high accuracy across all classes. This highlights the model’s robustness and effectiveness, particularly in scenarios characterized by a scarcity of training data for specific classes.
Discussion
In this discussion section, the paper reviews various methodologies for hyperspectral image (HSI) classification, highlighting the strengths and limitations of traditional machine learning techniques and modern deep learning approaches. Techniques such as k-nearest neighbors, support vector machines, logistic regression, and random forests are noted for their predictive capabilities, while principal component analysis (PCA) is recognized for its effectiveness in dimensionality reduction. The paper emphasizes the growing prominence of deep learning, particularly convolutional neural networks (CNNs), which have demonstrated superior performance in extracting spectral and spatial features from HSI data. Notably, CNNs have been adapted into various architectures, including 1D, 2D, and 3D models, to enhance feature extraction and classification accuracy.
The discussion further explores the integration of CNNs with transformer architectures, which have gained traction for their ability to model long-range dependencies and complex relationships in data. The proposed MTSA-Net framework combines 3D convolutional layers for initial feature extraction with a multiscale transformer encoder that captures both local and global representations. This hybrid approach aims to address the limitations of fixed receptive fields in CNNs while leveraging the strengths of transformers in understanding intricate feature interactions. The paper concludes by asserting that the MTSA-Net model outperforms existing state-of-the-art methods across multiple benchmark HSI datasets, demonstrating its efficacy in enhancing classification performance through improved spectral-spatial feature learning.