DOI: https://doi.org/10.1038/s41598-024-68040-3
PMID: https://pubmed.ncbi.nlm.nih.gov/39060335
تاريخ النشر: 2024-07-26
المؤلف: G. H. Harish Nayak وآخرون
الموضوع الرئيسي: طرق التنبؤ بسوق الأسهم
نظرة عامة
تتناول الدراسة الحاجة الملحة للتنبؤ بأسعار السلع الزراعية بدقة في الهند، وخاصة بالنسبة للمحاصيل الرئيسية مثل الطماطم والبصل والبطاطس (TOP). تواجه النماذج التقليدية القياسية قيودًا بسبب افتراضاتها الصارمة، بينما تفتقر أساليب التعلم الآلي (ML) إلى استخراج الميزات التلقائي. بالمقابل، تم استكشاف نماذج التعلم العميق (DL)، وخاصة NBEATSX وTransformerX، لقدراتها المتقدمة في استخراج الميزات. استخدمت الدراسة بيانات أسعار أسبوعية من 2002 إلى 2023، مدعومة ببيانات الطقس (هطول الأمطار ودرجة الحرارة)، وقارنت هذه النماذج DL ضد الأساليب الإحصائية التقليدية (ARIMAX، MLR) ومجموعة متنوعة من خوارزميات ML (ANN، SVR، RFR، XGBoost). استخدمت التقييم مقاييس الخطأ بما في ذلك RMSE، MAE، sMAPE، MASE، وQL، مما كشف أن نماذج DL تفوقت بشكل كبير على نظرائها، حيث حققت NBEATSX وTransformerX قيم RMSE متوسطة تبلغ 110.33 و135.33 على التوالي.
تؤكد النتائج فعالية نماذج DL في تعزيز دقة التنبؤ بأسعار الزراعة، خاصة عند دمج المتغيرات الخارجية. تبرز الدراسة الإمكانية للبحث المستقبلي لدمج عوامل إضافية، مثل السلاسل الزمنية المالية وبيانات وسائل التواصل الاجتماعي، في هذه الأطر DL المتطورة. علاوة على ذلك، تعترف بحدود TransformerX في التعامل مع متغيرات خارجية متعددة، مما يشير إلى الحاجة إلى تعديلات معمارية، مثل تطوير RESNETX، لتحسين قدرات التنبؤ من خلال دمج العوامل المكانية والزمنية. لا تملأ هذه الدراسة فجوة كبيرة في الأدبيات فحسب، بل تضع أيضًا الأساس لتطوير منهجيات التنبؤ بأسعار الزراعة في الهند.
الطرق
تستخدم الدراسة منهجية منظمة لتطوير نماذج التنبؤ، والتي تشمل خمس مراحل حاسمة: جمع البيانات، معالجة البيانات، تجميع النموذج، تدريب النموذج، وتقييم النموذج. كل من هذه المراحل جزء لا يتجزأ من العملية العامة، مما يضمن أن النماذج مبنية على بيانات قوية ويتم تدريبها وتقييمها بشكل فعال. يتم تمثيل المنهجية بصريًا في الشكل 3، الذي يعمل كدليل لفهم التدفق التسلسلي لعملية البحث. توفر الأقسام التالية من الورقة استكشافًا مفصلًا لكل مرحلة، موضحة التقنيات والأساليب المحددة المستخدمة في الدراسة.
النتائج
في هذه الدراسة، تم استخدام نظام كمبيوتر مزود بذاكرة وصول عشوائي سعة 8 جيجابايت، وقرص SSD سعة 512 جيجابايت، ومعالج AMD Ryzen 7 5700U لتحليل نماذج التنبؤ لثلاث سلع زراعية رئيسية: الطماطم، البصل، والبطاطس. تم إجراء البحث باستخدام Windows 11 وPython 3.8، مع دمج حزم متنوعة مثل Keras وTensorFlow 2.0 وscikit-learn. كان الهدف الرئيسي هو تقييم أداء النماذج فيما يتعلق بمتغيرين خارجيين هامين – هطول الأمطار ودرجة الحرارة – بشكل فردي ومجتمعي.
شملت نماذج التنبؤ التي تم تقييمها الأساليب التقليدية مثل ARIMAX وMLR، بالإضافة إلى تقنيات التعلم الآلي المتقدمة مثل الشبكات العصبية الاصطناعية (ANN)، والانحدار باستخدام دعم المتجهات (SVR)، والانحدار باستخدام الغابات العشوائية (RFR)، وXGBoost. بالإضافة إلى ذلك، تم استخدام هياكل التعلم العميق مثل TransformerX وNBEATSX، على الرغم من أنه تم ملاحظة أن نموذج TransformerX لم يتمكن من تحليل التأثيرات المجمعة للمتغيرات الخارجية. تم تقييم أداء النماذج بدقة باستخدام مقاييس تشمل خطأ الجذر التربيعي المتوسط (RMSE)، ومتوسط الخطأ المطلق (MAE)، ومتوسط الخطأ المطلق النسبي المتماثل (sMAPE)، ومتوسط الخطأ المطلق المقنن (MASE)، وخسارة الكوانتيل (QL).
المناقشة
تتناول قسم المناقشة في ورقة البحث تقنيات النمذجة المختلفة لتنبؤ السلاسل الزمنية، مع التركيز على مزايا دمج المتغيرات الخارجية. يوسع نموذج المتوسط المتحرك التكاملي الذاتي مع المدخلات الخارجية (ARIMAX) الإطار التقليدي لـ ARIMA من خلال دمج المتنبئين الخارجيين، مما يحسن دقة التنبؤ. يتم تمثيل النموذج الرياضي لـ ARIMAX كالتالي:
\[
Y_t = c + \sum_{i=1}^{p} \phi_i Y_{t-i} + \sum_{j=1}^{q} \theta_j \epsilon_{t-j} + X_t \beta + \epsilon_t
\]
حيث \(Y_t\) هو القيمة الملاحظة، و\(c\) هو ثابت، و\(\phi_i\) هي معاملات ذاتية الانحدار، و\(\epsilon_{t-j}\) هي مصطلحات الخطأ السابقة، و\(X_t\) تمثل المدخلات الخارجية، و\(\beta\) هي المعاملات لهذه المدخلات.
بالإضافة إلى ذلك، يناقش القسم الانحدار الخطي المتعدد (MLR)، الذي يقوم بنمذجة العلاقة بين متغير تابع وعدة متغيرات مستقلة، بهدف تقليل مجموع مربعات البواقي. يتم التعبير عن الصياغة الرياضية كالتالي:
\[
y = \beta_0 + \sum_{i=1}^{n} \beta_i x_i + \epsilon
\]
حيث \(\beta_0\) هو التقاطع، و\(\beta_i\) هي المعاملات، و\(\epsilon\) هو مصطلح الخطأ. كما تسلط الورقة الضوء على فعالية تقنيات التعلم الآلي مثل الشبكات العصبية الاصطناعية (ANNs)، وآلات الدعم المتجهة (SVM)، والغابات العشوائية (RF)، وتعزيز التدرجات القصوى (XGBoost) في التقاط الأنماط المعقدة والعلاقات غير الخطية في البيانات، مما يعزز الأداء التنبؤي في تطبيقات متنوعة. يتميز كل أسلوب بنهجه الفريد في النمذجة، حيث تستخدم ANNs الانتشار العكسي لتقليل أخطاء التنبؤ، بينما تركز SVM على تعظيم الهامش بين نقاط البيانات. تؤكد المناقشة على أهمية اختيار النماذج المناسبة بناءً على خصائص البيانات وأهداف التنبؤ.
DOI: https://doi.org/10.1038/s41598-024-68040-3
PMID: https://pubmed.ncbi.nlm.nih.gov/39060335
Publication Date: 2024-07-26
Author(s): G. H. Harish Nayak et al.
Primary Topic: Stock Market Forecasting Methods
Overview
The study addresses the critical need for accurate agricultural commodity price predictions in India, particularly for key crops such as Tomato, Onion, and Potato (TOP). Traditional parametric models face limitations due to their stringent assumptions, while machine learning (ML) approaches lack automatic feature extraction. In contrast, deep learning (DL) models, specifically NBEATSX and TransformerX, were explored for their advanced feature extraction capabilities. The research utilized weekly price data from 2002 to 2023, complemented by weather data (precipitation and temperature), and benchmarked these DL models against traditional statistical methods (ARIMAX, MLR) and various ML algorithms (ANN, SVR, RFR, XGBoost). The evaluation employed error metrics including RMSE, MAE, sMAPE, MASE, and QL, revealing that the DL models significantly outperformed their counterparts, with NBEATSX and TransformerX achieving average RMSE values of 110.33 and 135.33, respectively.
The findings underscore the effectiveness of DL models in enhancing the accuracy of agricultural price forecasting, particularly when incorporating exogenous variables. The study highlights the potential for future research to integrate additional factors, such as financial time series and social media data, into these sophisticated DL frameworks. Furthermore, it acknowledges the limitations of TransformerX in handling multiple exogenous variables, suggesting the need for architectural modifications, such as the development of RESNETX, to improve forecasting capabilities by combining spatial and temporal factors. This research not only fills a significant gap in the literature but also sets the stage for advancing agricultural price prediction methodologies in India.
Methods
The study employs a structured methodology for developing forecasting models, which encompasses five critical stages: Data Collection, Data Pre-processing, Model Compilation, Model Training, and Model Evaluation. Each of these phases is integral to the overall process, ensuring that the models are built on robust data and are effectively trained and assessed. The methodology is visually represented in Figure 3, which serves as a guide for understanding the sequential flow of the research process. The following sections of the paper provide a detailed exploration of each phase, elucidating the specific techniques and approaches utilized in the study.
Results
In this study, a computer system with 8 GB of RAM, a 512 GB SSD, and an AMD Ryzen 7 5700U processor was utilized to analyze forecasting models for three key agricultural commodities: Tomato, Onion, and Potato. The research was conducted using Windows 11 and Python 3.8, incorporating various packages such as Keras, TensorFlow 2.0, and scikit-learn. The primary aim was to evaluate the models’ performance in relation to two significant exogenous variables—Precipitation and Temperature—both individually and in combination.
The forecasting models assessed included traditional approaches like ARIMAX and MLR, as well as advanced machine learning techniques such as Artificial Neural Networks (ANN), Support Vector Regression (SVR), Random Forest Regression (RFR), and XGBoost. Additionally, deep learning architectures like TransformerX and NBEATSX were employed, although it was noted that the TransformerX model could not analyze the combined effects of the exogenous variables. The models’ performances were rigorously evaluated using metrics including Root Mean Square Error (RMSE), Mean Absolute Error (MAE), symmetric Mean Absolute Percentage Error (sMAPE), Mean Absolute Scaled Error (MASE), and Quantile Loss (QL).
Discussion
The discussion section of the research paper elaborates on various modeling techniques for time series forecasting, emphasizing the advantages of incorporating exogenous variables. The Autoregressive Integrated Moving Average with Exogenous Inputs (ARIMAX) model extends the traditional ARIMA framework by integrating external predictors, thereby improving forecasting accuracy. The mathematical representation of the ARIMAX model is given by:
\[
Y_t = c + \sum_{i=1}^{p} \phi_i Y_{t-i} + \sum_{j=1}^{q} \theta_j \epsilon_{t-j} + X_t \beta + \epsilon_t
\]
where \(Y_t\) is the observed value, \(c\) is a constant, \(\phi_i\) are autoregressive coefficients, \(\epsilon_{t-j}\) are past error terms, \(X_t\) represents exogenous inputs, and \(\beta\) are the coefficients for these inputs.
Additionally, the section discusses Multiple Linear Regression (MLR), which models the relationship between a dependent variable and multiple independent variables, aiming to minimize the residual sum of squares. The mathematical formulation is expressed as:
\[
y = \beta_0 + \sum_{i=1}^{n} \beta_i x_i + \epsilon
\]
where \(\beta_0\) is the intercept, \(\beta_i\) are the coefficients, and \(\epsilon\) is the error term. The paper also highlights the effectiveness of machine learning techniques such as Artificial Neural Networks (ANNs), Support Vector Machines (SVM), Random Forests (RF), and Extreme Gradient Boosting (XGBoost) in capturing complex patterns and non-linear relationships in data, thus enhancing predictive performance in various applications. Each method is characterized by its unique approach to modeling, with ANNs utilizing backpropagation to minimize prediction errors, while SVM focuses on maximizing the margin between data points. The discussion underscores the importance of selecting appropriate models based on the data characteristics and forecasting objectives.