DOI: https://doi.org/10.5194/hess-28-917-2024
تاريخ النشر: 2024-02-27
المؤلف: Yanling Wang وآخرون
الموضوع الرئيسي: رطوبة التربة والاستشعار عن بعد
نظرة عامة
تبحث هذه الدراسة في تطبيق تقنيات التعلم العميق للتنبؤ برطوبة التربة، وهي عنصر حاسم في الدورة الهيدرولوجية. تقيم الدراسة عشرة هياكل شبكية مختلفة، بما في ذلك ثلاثة مستخلصات ميزات أساسية وسبعة نماذج هجينة، حيث إن ستة من الأخيرة هي تطبيقات جديدة في هذا السياق. تتم مقارنة النماذج بشكل منهجي بناءً على أدائها التنبؤي وكفاءتها الحاسوبية عبر مختلف قوام التربة وأعماقها. من الجدير بالذكر أن شبكة الذاكرة طويلة وقصيرة الأمد (LSTM) تظهر قدرات نمذجة زمنية متفوقة، بينما تظهر شبكة الذاكرة طويلة وقصيرة الأمد مع انتباه الميزات (FA-LSTM) والشبكة التنافسية القائمة على LSTM (GAN-LSTM) دقة محسنة، خاصة في التنبؤات لمدة سبعة أيام. يوفر استخدام تفسيرات شابلي الإضافية (SHAP) رؤى حول قابلية تفسير النموذج واستراتيجيات استخدام البيانات المتنوعة.
تشير النتائج إلى أن طرق التعلم الآلي التقليدية، مثل الغابات العشوائية (RF)، تقدم استقرارًا في تنبؤات رطوبة التربة، ومع ذلك تتفوق نماذج التعلم العميق في التعامل مع بيانات السلاسل الزمنية. من بين النماذج التي تم تقييمها، تبرز LSTM لدقتها، بينما تُلاحظ الشبكات العصبية التلافيفية أحادية البعد (1D-CNN) لتكاليفها الحاسوبية المنخفضة. لم تحقق النماذج الهجينة التي تجمع بين CNN وLSTM تحسينات كبيرة في دقة التنبؤ أو الكفاءة. تؤكد الدراسة على أهمية تصميم النموذج، مشددة على أن النمذجة الزمنية الفعالة، والتكامل المناسب لآليات الانتباه، واستخدام التدريب التنافسي يمكن أن تعزز بشكل كبير نتائج التنبؤ. تختتم البحث بالقول إنه بينما تكون النماذج المدفوعة بالبيانات فعالة، فإن عدم قدرتها على دمج القوانين الفيزيائية يحد من دقة التنبؤ على المدى الطويل، مما يشير إلى أن العمل المستقبلي يجب أن يركز على دمج هذه المبادئ مع أساليب التعلم العميق لتحسين محاكاة ديناميات رطوبة التربة.
مقدمة
تؤكد مقدمة ورقة البحث على الدور الحاسم لرطوبة التربة في العمليات الهيدرولوجية، وتأثيرها على تفاعلات المياه والطاقة بين سطح الأرض والغلاف الجوي. تعتبر ديناميات رطوبة التربة الدقيقة ضرورية لمجموعة متنوعة من التطبيقات، بما في ذلك إدارة موارد المياه، والزراعة، وتوقعات المناخ، ومراقبة الفيضانات. ومع ذلك، فإن التباين الفطري وعدم الخطية لرطوبة التربة بسبب الأمطار غير المتوقعة وعمليات التسلل والتبخر المعقدة تشكل تحديات كبيرة للتنبؤ الدقيق. غالبًا ما تكافح النماذج الفيزيائية التقليدية، على الرغم من أنها قابلة للتفسير، مع التطبيقات العملية بسبب صعوبات تقدير المعلمات ووصف العمليات الفيزيائية غير الكافية.
استجابةً لهذه التحديات، كان هناك تحول نحو الأساليب المدفوعة بالبيانات، وخاصة طرق التعلم الآلي والتعلم العميق، التي أظهرت قدرات تفوق في ملاءمة البيانات. أظهرت تقنيات مثل الانحدار باستخدام المتجهات الداعمة (SVR)، والغابات العشوائية (RF)، ومجموعة متنوعة من هياكل الشبكات العصبية، بما في ذلك الذاكرة طويلة وقصيرة الأمد (LSTM) والشبكات العصبية التلافيفية (CNNs)، وعدًا في تحسين دقة التنبؤ. تسلط الورقة الضوء على ظهور نماذج هجينة تجمع بين أنواع مختلفة من الشبكات العصبية وآليات الانتباه، مما يعزز استخراج الميزات وأداء النموذج. تهدف الدراسة إلى تقييم فعالية طرق التعلم العميق المختلفة لتنبؤ رطوبة التربة بشكل منهجي، باستخدام مجموعة بيانات شاملة وتقنيات تحليل متقدمة، بما في ذلك تحليل قيمة شابلي والتصوير باستخدام التوزيع العشوائي للجيران (t-SNE)، لتوضيح أداء النموذج وأهمية الميزات.
طرق
في هذا القسم، يحدد المؤلفون المنهجيات المستخدمة في دراستهم المقارنة لنماذج التعلم الآلي والتعلم العميق لتنبؤ رطوبة التربة. تم استخدام ثلاثة نماذج تعلم آلي—الغابة العشوائية (RF)، وآلة التعلم المتطرفة (ELM)، وآلة المتجهات الداعمة (SVM)—كنماذج مرجعية مقابل سبعة نماذج تعلم عميق. تم تقديم RF من قبل بريمان (2001)، حيث يبني عدة أشجار قرار من مجموعات عشوائية مأخوذة من بيانات التدريب، مما يعزز الدقة والاستقرار مع تقليل الإفراط في التكيف. تُعرف ELM، المستندة إلى شبكة عصبية أحادية الطبقة (هوانغ وآخرون، 2006)، بسرعتها في التعلم وقدراتها العامة القوية، حيث أظهرت نتائج فعالة في التنبؤ برطوبة التربة في دراسات مختلفة. تسعى SVM، التي طورها كورتيز وفابنيك (1995)، إلى تحديد المستوى الفائق ذو الحد الأقصى لمهام التصنيف والانحدار، باستخدام دوال النواة للتخطيط غير الخطي. تستخدم الدراسة بشكل خاص الانحدار باستخدام المتجهات الداعمة (SVR) لمهام الانحدار، حيث تمثل ميزات الإدخال والمخرجات المستهدفة كـ \(x_t\) و \(y_t\)، على التوالي. تعتبر أداء نماذج التعلم الآلي بمثابة معيار لتقييم الأساليب العميقة، مع تفاصيل المعلمات الفائقة في الملحق أ.
نتائج
تبحث الدراسة في فعالية ثلاث طرق تعلم آلي وعشرة نماذج تعلم عميق في التنبؤ برطوبة التربة عبر عشرة مواقع وخمسة أعماق، مع التركيز على التنبؤات لمدة 1 و3 و7 أيام قادمة. بالنسبة للتنبؤات التي تمتد لأكثر من يوم واحد، يتم استخدام نهج تنبؤ تكراري، حيث يشكل الناتج من اليوم السابق، مع البيانات المناخية الملاحظة والبيانات التاريخية، المدخلات للتنبؤات اللاحقة. يتم تقييم أداء النموذج باستخدام مقياسين رئيسيين: معامل التحديد ($R^2$)، الذي يشير إلى قدرة النموذج على تفسير تباين البيانات، وجذر متوسط مربع الخطأ (RMSE)، الذي يقيس دقة التنبؤ.
يتم تقسيم مجموعة البيانات إلى مجموعات تدريب وتحقق واختبار بنسبة 6:2:2، حيث تستخدم مرحلة التدريب معدل تعلم قدره 0.001 وتضم على الأقل 1500 دورة مع حجم دفعة قدره 50. تساعد مجموعة التحقق في تحديد تحديثات النموذج، مع الاحتفاظ بالنموذج السابق إذا تدهورت الأداء. يتم تقييم دقة النموذج النهائية بناءً على مجموعة الاختبار، مع متوسط النتائج على 25 تكرار تدريب لضمان القوة الإحصائية.
مناقشة
في هذا القسم، يناقش المؤلفون المنهجية والنتائج الخاصة بأبحاثهم حول تنبؤ رطوبة التربة باستخدام نماذج التعلم العميق المختلفة. استخدموا بيانات من 30 موقعًا متنوعًا مأخوذة من الشبكة الدولية لرطوبة التربة، مع دمج مدخلات مناخية متعددة مثل هطول الأمطار، ودرجة الحرارة، والإشعاع، والتي تم اختيارها بناءً على ارتباطها بديناميات رطوبة التربة. استخدمت الدراسة هياكل تعلم عميق متقدمة، بما في ذلك شبكات الذاكرة طويلة وقصيرة الأمد (LSTM)، والشبكات العصبية التلافيفية أحادية البعد (CNNs)، والمحولات، لنمذجة الاعتماديات الزمنية وميزات بيانات رطوبة التربة. كانت متجهات الإدخال للنماذج تتكون من عوامل مناخية وقراءات سابقة لرطوبة التربة، مع التركيز على تحسين دقة التنبؤ عبر آفاق زمنية مختلفة.
كشفت التحليلات المقارنة أن نماذج LSTM تفوقت على الأساليب التقليدية للتعلم الآلي من حيث دقة التنبؤ والاستقرار، خاصة للتنبؤات طويلة الأمد. من بين نماذج التعلم العميق، أظهرت LSTM أعلى دقة، تليها نماذج 1D-CNN والمحولات، حيث كانت LSTM فعالة بشكل خاص في التقاط الاعتماديات الزمنية. أظهرت النماذج الهجينة التي تجمع بين هياكل CNN وLSTM أداءً مشابهًا لـ LSTM بمفردها، مما يشير إلى فوائد إضافية محدودة لمهام التنبؤ برطوبة التربة. علاوة على ذلك، عززت آليات الانتباه المدمجة مع نماذج LSTM دقة التنبؤ، حيث حققت آليات انتباه الميزات تحسينات أكثر اتساقًا. بشكل عام، تؤكد النتائج على فعالية تقنيات التعلم العميق، وخاصة LSTM، في نمذجة ديناميات رطوبة التربة وتبرز أهمية اختيار ميزات الإدخال المناسبة وهياكل النماذج من أجل دقة التنبؤ.
DOI: https://doi.org/10.5194/hess-28-917-2024
Publication Date: 2024-02-27
Author(s): Yanling Wang et al.
Primary Topic: Soil Moisture and Remote Sensing
Overview
This research investigates the application of deep learning techniques for predicting soil moisture, a critical component of the hydrological cycle. The study evaluates ten different network architectures, including three basic feature extractors and seven hybrid models, with six of the latter being novel applications in this context. The models are systematically compared based on their predictive performance and computational efficiency across various soil textures and depths. Notably, the long short-term memory (LSTM) network demonstrates superior temporal modeling capabilities, while the feature attention LSTM (FA-LSTM) and generative adversarial network-based LSTM (GAN-LSTM) show enhanced accuracy, particularly in seven-day forecasts. The use of Shapley additive explanations (SHAP) provides insights into model interpretability and varying data utilization strategies.
The findings indicate that traditional machine learning methods, such as random forests (RF), offer stability in soil moisture predictions, yet deep learning models excel in handling time series data. Among the evaluated models, LSTM stands out for its accuracy, while 1D convolutional neural networks (1D-CNN) are noted for their lower computational costs. Hybrid models combining CNN and LSTM did not yield significant improvements in prediction accuracy or efficiency. The study emphasizes the importance of model design, highlighting that effective temporal modeling, proper integration of attention mechanisms, and the use of adversarial training can significantly enhance prediction outcomes. The research concludes that while data-driven models are effective, their inability to incorporate physical laws limits long-term predictive accuracy, suggesting future work should focus on integrating these principles with deep learning approaches for improved soil moisture dynamics simulation.
Introduction
The introduction of the research paper emphasizes the critical role of soil moisture in hydrological processes, influencing water and energy interactions between the land surface and atmosphere. Accurate soil moisture dynamics are essential for various applications, including water resource management, agriculture, climate forecasting, and flood monitoring. However, the inherent variability and nonlinearity of soil moisture due to unpredictable rainfall and complex infiltration and evaporation processes pose significant challenges for accurate forecasting. Traditional physical models, while interpretable, often struggle with practical applications due to parameter estimation difficulties and inadequate physical process descriptions.
In response to these challenges, there has been a shift towards data-driven approaches, particularly machine learning and deep learning methods, which have demonstrated superior data fitting capabilities. Techniques such as support vector regression (SVR), random forests (RF), and various neural network architectures, including long short-term memory (LSTM) and convolutional neural networks (CNNs), have shown promise in improving prediction accuracy. The paper highlights the emergence of hybrid models that combine different neural network types and attention mechanisms, which enhance feature extraction and model performance. The study aims to systematically evaluate the effectiveness of various deep learning methods for soil moisture prediction, utilizing a comprehensive dataset and advanced analytical techniques, including Shapley value analysis and t-distributed stochastic neighbor embedding (t-SNE) visualization, to elucidate model performance and feature importance.
Methods
In this section, the authors outline the methodologies employed in their comparative study of machine learning and deep learning models for soil moisture prediction. Three machine learning models—Random Forest (RF), Extreme Learning Machine (ELM), and Support Vector Machine (SVM)—are utilized as benchmarks against seven deep learning models. RF, introduced by Breiman (2001), constructs multiple decision trees from randomly sampled subsets of training data, enhancing accuracy and stability while reducing overfitting. ELM, based on a single-layer feedforward neural network (Huang et al., 2006), is noted for its rapid learning and strong generalization capabilities, having shown effective results in predicting soil moisture in various studies. SVM, developed by Cortes and Vapnik (1995), seeks to identify the maximum-margin hyperplane for classification and regression tasks, utilizing kernel functions for nonlinear mapping. The study specifically employs Support Vector Regression (SVR) for regression tasks, with input features and target outputs represented as \(x_t\) and \(y_t\), respectively. The performance of the machine learning models serves as a benchmark for evaluating the deep learning approaches, with hyperparameters detailed in Appendix A.
Results
The study investigates the efficacy of three machine learning methods and ten deep learning models in predicting soil moisture across ten sites and five depths, focusing on forecasts for 1, 3, and 7 days ahead. For predictions extending beyond one day, an iterative forecasting approach is employed, where the output from the previous day, combined with observed meteorological data and historical data, forms the input for subsequent predictions. Model performance is assessed using two key metrics: the coefficient of determination ($R^2$), which indicates the model’s ability to explain data variability, and the root mean square error (RMSE), which quantifies prediction accuracy.
The dataset is divided into training, validation, and test sets in a 6:2:2 ratio, with the training phase utilizing a learning rate of 0.001 and comprising at least 1500 epochs with a batch size of 50. The validation set helps in determining model updates, retaining the previous model if performance declines. The final evaluation of model accuracy is based on the test set, with results averaged over 25 training repetitions to ensure statistical robustness.
Discussion
In this section, the authors discuss the methodology and findings of their research on soil moisture prediction using various deep learning models. They utilized data from 30 diverse sites sourced from the International Soil Moisture Network, incorporating multiple meteorological inputs such as precipitation, temperature, and radiation, which were selected based on their correlation with soil moisture dynamics. The study employed advanced deep learning architectures, including Long Short-Term Memory (LSTM) networks, 1D Convolutional Neural Networks (CNNs), and Transformers, to model the temporal dependencies and features of soil moisture data. The input vector for the models consisted of meteorological factors and previous soil moisture readings, with a focus on optimizing prediction accuracy over different time horizons.
The comparative analysis revealed that LSTM models outperformed traditional machine learning approaches in terms of prediction accuracy and stability, particularly for long-term forecasts. Among the deep learning models, LSTM demonstrated the highest accuracy, followed by 1D-CNN and Transformer models, with LSTM being particularly effective for capturing temporal dependencies. Hybrid models combining CNN and LSTM architectures showed comparable performance to LSTM alone, suggesting limited additional benefits for soil moisture prediction tasks. Furthermore, attention mechanisms integrated with LSTM models enhanced prediction accuracy, with feature attention mechanisms yielding the most consistent improvements. Overall, the findings underscore the efficacy of deep learning techniques, particularly LSTM, in modeling soil moisture dynamics and highlight the importance of selecting appropriate input features and model architectures for accurate predictions.