DOI: https://doi.org/10.1109/mgrs.2024.3393010
تاريخ النشر: 2024-05-13
المؤلف: Lynn Miller وآخرون
الموضوع الرئيسي: تحليل السلاسل الزمنية والتنبؤ
نظرة عامة
تقدم هذه القسم نظرة عامة على فعالية تقنيات التعلم العميق المطبقة على سلسلة زمنية من صور الأقمار الصناعية (SITS) لنمذجة متغيرات مراقبة الأرض (EO). يبرز أن طرق التعلم العميق يمكن أن تلتقط بفعالية العلاقات المعقدة بين المتغيرات، متجاوزة تقنيات التعلم الآلي التقليدية والإحصائية. تم استخدام هياكل مختلفة من التعلم العميق، بما في ذلك الشبكات العصبية التكرارية (RNNs) والشبكات التلافيفية أحادية البعد (1D-CNNs) للبيانات الزمنية، بالإضافة إلى هياكل أكثر تقدماً مثل الشبكات التلافيفية ثلاثية الأبعاد (3D-CNNs) ونماذج CNN-RNN الهجينة للتحليل الزمكاني.
تهدف المراجعة إلى أن تكون مصدراً شاملاً لعلماء الأرض والمتخصصين في الاستشعار عن بعد، موضحة الهياكل الرئيسية للتعلم العميق، ومزاياها وقيودها، والمهام المحددة التي يمكن أن تستفيد من هذه المنهجيات المتقدمة. يهدف هذا التجميع للمعرفة إلى تعزيز تطبيق التعلم العميق في تحليل SITS، مما يساهم في تحسين نمذجة متغيرات EO في النهاية.
مقدمة
تناقش المقدمة تكيف المجال كحل لندرة البيانات، خاصة في سياق الاستشعار عن بعد، حيث يجب تعديل النماذج المدربة على مجال واحد لأداء فعال على مجال مستهدف ذي صلة ولكنه متميز يفتقر إلى بيانات مصنفة كافية. تهدف التقنيات في هذا المجال إلى التخفيف من الفجوة بين المجالات الناتجة عن عوامل مثل تغيرات الطقس وظروف السطح. وقد تم التركيز بشكل كبير على تكيف المجال غير الخاضع للإشراف، مع تسليط الضوء على طرق مثل الشبكة العصبية المعادية للمجال (DANN) وشبكة المحاذاة الظاهرة (PAN). تستخدم DANN مصنف مجال لتقليل الاختلافات بين الميزات المصدر والهدف، بينما تستخدم PAN شبكة سيامية لمحاذاة الميزات الظاهرة من خلال الحد الأقصى للاختلاف المتوسط (MMD).
كما ينتقد النص طرق تكيف المجال التقليدية غير العميقة، مشيراً إلى عدم فعاليتها في وجود تحولات زمنية أو تغييرات في توزيعات الفئات. لمعالجة هذه القضايا، تم اقتراح طرق حديثة مثل TimeMatch وMatch-And-Deform (MAD)، مع التركيز على تقدير التحول الزمني ومطابقة السلاسل الزمنية، على التوالي. بالإضافة إلى ذلك، تم تطوير تقدم مثل الشبكة العصبية المعادية للمجال المتوافقة مكانياً (SpADANN) وتكيف المجال للبيانات التسلسلية (DAS) لتعزيز أداء النموذج عبر فترات زمنية مختلفة وتحسين رسم خرائط الأراضي الزراعية واكتشاف المناطق المحترقة. أخيراً، تم تقديم طريقة تكيف المجال شبه الخاضعة للإشراف Sourcerer، التي تدمج التعلم البايزي لتنظيم أوزان النموذج بناءً على توفر البيانات المصنفة في المجال المستهدف.
طرق
في قسم الطرق، يوضح البحث تقنيات المعالجة المسبقة المختلفة الضرورية لاستخدام بيانات سلسلة صور الأقمار الصناعية (SITS) في نماذج التعلم العميق. يبدأ بأساليب لكل بكسل، حيث يتم إجراء التنبؤات لكل بكسل من خلال بناء سلسلة زمنية متعددة المتغيرات من البيانات الطيفية لكل بكسل عبر الصور. هذه الطريقة، على الرغم من بساطتها، غالباً ما تتجاهل القوة التنبؤية المحتملة للبكسلات المجاورة. لمعالجة ذلك، ظهرت طرق زمكانية، تستخدم مدخلات رباعية الأبعاد تشمل كل من البيانات المكانية والزمنية. عادةً ما تستخدم هذه الطرق طبقات منفصلة لاستخراج الميزات الزمنية (باستخدام الشبكات العصبية التكرارية، RNNs) واستخراج الميزات المكانية (باستخدام الشبكات العصبية التلافيفية، CNNs)، على الرغم من أن بعض الدراسات استكشفت استخدام 3D CNNs للمعالجة المتزامنة.
يناقش البحث أيضاً الطرق المعتمدة على الكائنات، التي تكون مفيدة بشكل خاص عند الدقة العالية حيث يمكن أن تكون تصنيفات البكسل مكثفة حسابياً وعرضة لعيوب التصنيف، مثل “تأثير الملح والفلفل”. تقوم تحليل الصور المعتمدة على الكائنات (OBIA) بتقسيم الصور إلى مناطق متجانسة، مما يسمح بتصنيف أكثر دقة. قد تتضمن هذه العملية بيانات متجهة موجودة أو خوارزميات تقسيم، وتتطلب اعتبارات دقيقة حول التجانس الزمني عند تطبيقها على بيانات السلاسل الزمنية. يمكن أن تكون الميزات المستخرجة من هذه الكائنات إحصائية أو مستمدة من طرق أكثر تعقيداً، مثل التجميع أو الشبكات العصبية. يتم تسليط الضوء على الشبكة العصبية التلافيفية ذات الفرعين (TwoBCNN) كنهج هجين يجمع بين الطرق لكل بكسل والطرق المعتمدة على الكائنات، مما يؤدي إلى تحسين نتائج التصنيف. أخيراً، يشير القسم إلى أن تحسينات استراتيجيات التعلم الأساسية، مثل تجميع النماذج وتسميات الفئات الهرمية، يمكن أن تعزز أداء نماذج التعلم العميق المطبقة على بيانات SITS.
نقاش
يسلط قسم النقاش في البحث “التعلم العميق لتحليل سلسلة صور الأقمار الصناعية: مراجعة” الضوء على أهمية سلسلة صور الأقمار الصناعية (SITS) في مراقبة التغيرات البيئية وإدارة الموارد الطبيعية. توفر مهام مراقبة الأرض طويلة الأجل، مثل أقمار ناسا لاندسات وأقمار وكالة الفضاء الأوروبية سنتينيل، تصويراً متكرراً يلتقط العمليات الديناميكية مثل نمو النباتات وتغيرات استخدام الأراضي. يؤكد المؤلفون على تعقيد بيانات SITS، التي تشمل الأبعاد الزمنية والمكانية والطيفية، مما يستلزم استخدام طرق التعلم العميق للتحليل الفعال. يصنفون المهام إلى تصنيف (مثل رسم خرائط استخدام الأراضي) وانحدار (مثل التنبؤ بالقيم المستقبلية)، مشيرين إلى أن العديد من هياكل التعلم العميق يمكن تكييفها لكلا المهام اعتماداً على طبيعة المتغير الذي يتم تقديره.
تهدف المراجعة إلى أن تكون مصدراً شاملاً لخبراء الاستشعار عن بعد من خلال تلخيص تقنيات التعلم العميق الحديثة المطبقة على بيانات SITS عبر تطبيقات متنوعة. تعترف بالتحديات التي تطرحها الحاجة إلى مجموعات بيانات مصنفة كبيرة لتدريب نماذج التعلم العميق وتناقش إمكانية استخدام أساليب التعلم شبه الخاضعة للإشراف وغير الخاضعة للإشراف عندما تكون البيانات المصنفة نادرة. كما يشير المؤلفون إلى التقدمات الأخيرة في تكنولوجيا الأقمار الصناعية والتعلم الآلي التي وسعت نطاق أبحاث SITS، خاصة مع توفر بيانات عالية الدقة من مهام سنتينيل. بشكل عام، تملأ المراجعة فجوة في الأدبيات الحالية من خلال التركيز بشكل خاص على تطبيقات التعلم العميق لمهام التصنيف والانحدار الخارجي، مع استبعاد تطبيقات التنبؤ التي تم تغطيتها بشكل موسع في أماكن أخرى.
DOI: https://doi.org/10.1109/mgrs.2024.3393010
Publication Date: 2024-05-13
Author(s): Lynn Miller et al.
Primary Topic: Time Series Analysis and Forecasting
Overview
The section provides an overview of the effectiveness of deep learning techniques applied to satellite image time series (SITS) for modeling Earth observation (EO) variables. It highlights that deep learning methods can effectively capture complex relationships among variables, surpassing traditional machine learning and statistical techniques. Various deep learning architectures, including recurrent neural networks (RNNs) and one-dimensional convolutional networks (1D-CNNs) for temporal data, as well as more advanced structures like three-dimensional convolutional networks (3D-CNNs) and hybrid CNN-RNN models for spatiotemporal analysis, have been employed in this context.
The review aims to serve as a comprehensive resource for Earth scientists and remote sensing specialists, detailing the principal deep learning architectures, their respective advantages and limitations, and the specific tasks that can benefit from these advanced methodologies. This synthesis of knowledge is intended to enhance the application of deep learning in the analysis of SITS, ultimately contributing to improved EO variable modeling.
Introduction
The introduction discusses domain adaptation as a solution to data scarcity, particularly in the context of remote sensing, where models trained on one domain must be adapted to perform effectively on a related but distinct target domain lacking sufficient labeled data. Techniques in this area aim to mitigate the domain gap caused by factors such as varying weather and surface conditions. A significant focus has been on unsupervised domain adaptation, with methods like the domain-adversarial neural network (DANN) and the Phenological-Alignment Network (PAN) being highlighted. DANN employs a domain classifier to minimize dissimilarities between source and target features, while PAN utilizes a Siamese network to align phenological features through Maximum Mean Discrepancy (MMD).
The text also critiques traditional non-deep learning domain adaptation methods, noting their inefficacy in the presence of temporal shifts or changes in class distributions. To address these issues, recent approaches like TimeMatch and Match-And-Deform (MAD) have been proposed, focusing on temporal shift estimation and time series matching, respectively. Additionally, advancements such as the spatially aligned domain-adversarial neural network (SpADANN) and domain adaptation for sequential data (DAS) have been developed to enhance model performance across different time periods and improve cropland mapping and burnt area detection. Lastly, the semi-supervised domain adaptation method Sourcerer is introduced, which incorporates Bayesian learning to regularize model weights based on the availability of labeled data in the target domain.
Methods
In the section on methods, the paper outlines various preprocessing techniques essential for utilizing satellite image time series (SITS) data in deep learning models. It begins with per-pixel methods, where predictions are made for each pixel by constructing a multivariate time series from the spectral data of each pixel across images. This approach, while straightforward, often overlooks the potential predictive power of neighboring pixels. To address this, spatiotemporal methods have emerged, which utilize a four-dimensional input that incorporates both spatial and temporal data. These methods typically employ separate layers for temporal feature extraction (using Recurrent Neural Networks, RNNs) and spatial feature extraction (using Convolutional Neural Networks, CNNs), although some studies have explored the use of 3D CNNs for simultaneous processing.
The paper also discusses object-based methods, which are particularly beneficial at high resolutions where pixel classification can be computationally intensive and prone to misclassification artifacts, such as the “salt-and-pepper effect.” Object-based image analysis (OBIA) segments images into homogeneous areas, allowing for more accurate classification. This process may involve existing vector data or segmentation algorithms, and requires careful consideration of temporal homogeneity when applied to time series data. The extracted features from these objects can be statistical or derived from more complex methods, such as clustering or neural networks. The Two Branches Convolutional Neural Network (TwoBCNN) is highlighted as a hybrid approach that combines per-pixel and object-based methods, yielding improved classification results. Finally, the section notes that enhancements to basic learning strategies, such as model ensembles and hierarchical class labels, can further boost the performance of deep learning models applied to SITS data.
Discussion
The discussion section of the paper “Deep Learning for Satellite Image Time Series Analysis: A Review” highlights the significance of satellite image time series (SITS) in monitoring environmental changes and managing natural resources. Long-term Earth observation missions, such as NASA’s Landsat and ESA’s Sentinel satellites, provide frequent imaging that captures dynamic processes like vegetation growth and land use changes. The authors emphasize the complexity of SITS data, which encompasses temporal, spatial, and spectral dimensions, necessitating the use of deep learning methods for effective analysis. They categorize tasks into classification (e.g., land cover mapping) and regression (e.g., forecasting future values), noting that many deep learning architectures can be adapted for both tasks depending on the nature of the variable being estimated.
The review aims to serve as a comprehensive resource for remote sensing experts by summarizing state-of-the-art deep learning techniques applied to SITS data across various applications. It acknowledges the challenges posed by the need for large labeled datasets for training deep learning models and discusses the potential of semi-supervised and unsupervised learning approaches when labeled data is scarce. The authors also note recent advancements in satellite technology and machine learning that have expanded the scope of SITS research, particularly with the availability of high-resolution data from the Sentinel missions. Overall, the review fills a gap in existing literature by focusing specifically on deep learning applications for classification and extrinsic regression tasks, while excluding forecasting applications that have been extensively covered elsewhere.