DOI: https://doi.org/10.1186/s40537-025-01135-4
تاريخ النشر: 2025-04-03
المؤلف: T.O. Kehinde وآخرون
الموضوع الرئيسي: طرق التنبؤ بسوق الأسهم
نظرة عامة
تقدم ورقة البحث نموذج Helformer، وهو نهج جديد في التعلم العميق مصمم لتوقع أسعار العملات المشفرة. يجمع هذا النموذج بين التنعيم الأسي لـ Holt-Winters مع بنية قائمة على Transformer، مما يمكّن من تحليل بيانات السلاسل الزمنية بفعالية إلى مكوناتها من المستوى، الاتجاه، والموسمية. تسلط الدراسة الضوء على قيود طرق التوقع التقليدية، التي غالبًا ما تتجاهل الخصائص غير الخطية وغير الثابتة لبيانات العملات المشفرة. من خلال استخدام ضبط المعلمات الفائقة باعتماد Optuna، لا يحقق نموذج Helformer دقة تنبؤية متفوقة وقوة مقارنة بالنماذج المتقدمة الأخرى فحسب، بل يظهر أيضًا قدرات تعميم ملحوظة عبر عملات مشفرة متنوعة. علاوة على ذلك، يتم التحقق من تطبيقه العملي من خلال استراتيجية تداول تتفوق على الطرق التقليدية، مما يوفر رؤى قيمة للمستثمرين والمحللين الماليين.
تؤكد الخاتمة على تقدم نموذج Helformer في معالجة تحديات السلاسل الزمنية المالية المتقلبة. تبرز قدرة النموذج على دمج تحسين المعلمات الفائقة وقدرته على التعامل مع عدم الثبات والموسمية بفعالية. تشمل اتجاهات البحث المستقبلية توسيع قابلية تطبيق النموذج على أدوات مالية أخرى، ودمج بيانات متعددة المتغيرات لتحسين الدقة، واستكشاف تكاملات أعمق مع التعلم المعزز لتحسين استراتيجيات التداول. بالإضافة إلى ذلك، قد يوفر التحقيق في التوقعات متعددة الخطوات رؤى حول أداء النموذج على مدى آفاق التنبؤ الأطول. بشكل عام، يمثل نموذج Helformer خطوة كبيرة إلى الأمام في توقع العملات المشفرة، مع إمكانية التأثير على استراتيجيات الاستثمار واتخاذ القرار في القطاع المالي.
مقدمة
تسلط مقدمة ورقة البحث هذه الضوء على التطور السريع والأهمية المتزايدة للعملات المشفرة، وخاصة بيتكوين (BTC)، منذ إنشائها في عام 2008. تشير الورقة إلى أن قيمة BTC قفزت من الصفر إلى أعلى مستوى لها على الإطلاق وهو 103,900.47 دولار بحلول ديسمبر 2024، مدفوعة بميزاتها الفريدة مثل دفاتر السجلات اللامركزية وخوارزميات الإجماع مثل إثبات العمل وإثبات الحصة. أدت هذه الخصائص، إلى جانب انخفاض تكاليف المعاملات والاستقلال عن اللوائح المالية التقليدية، إلى الاعتراف بالعملات المشفرة كأصول استثمارية قابلة للتطبيق، وغالبًا ما تعمل كتحوط ضد الأصول التقليدية مثل الذهب والأسهم بسبب ارتباطها المنخفض مع هذه الأسواق.
تناقش الورقة التحديات المتعلقة بتوقع أسعار العملات المشفرة بدقة، نظرًا لتقلبها الفطري وقيود الطرق الإحصائية التقليدية، التي غالبًا ما تفترض الخطية والتوزيع الطبيعي. تقارن هذه الطرق مع أساليب التعلم الآلي، التي يمكن أن تلتقط العلاقات غير الخطية ولكن قد تعاني من الإفراط في التكيف. أدت إدخال نماذج التعلم العميق، وخاصة الشبكات العصبية المتكررة (RNNs) ومتغيراتها، إلى تحسين دقة التوقع، على الرغم من أنها لا تزال تواجه مشكلات مثل تلاشي التدرجات. لمعالجة هذه التحديات، يقترح المؤلفون نموذجًا جديدًا يسمى Helformer، الذي يدمج التنعيم الأسي لـ Holt-Winters للتعامل مع عدم الثبات والموسمية في بيانات العملات المشفرة. يهدف هذا النموذج إلى تعزيز دقة التوقع ويتم اختباره عبر عملات مشفرة متعددة، مما يظهر إمكانيته لتطبيقات أوسع في سوق العملات المشفرة بينما ينفذ أيضًا استراتيجية تداول بسيطة لتقييم ربحيتها العملية.
طرق
توضح قسم المنهجية الإطار الشامل لتنفيذ نموذج تنبؤ لأسعار العملات المشفرة، موضحة جمع البيانات، والمعالجة المسبقة، وتطوير النموذج. يتم تقييم النموذج المقترح مقابل خمسة هياكل أخرى: RNN، LSTM، BiLSTM، GRU، وTransformer، باستخدام تقسيم تدريب-اختبار بنسبة 80:20 ومجموعة تحقق بنسبة 20% لتحسين الأداء وتقليل الإفراط في التكيف. تم اختيار معلمات التدريب الأولية، بما في ذلك خطوة زمنية قدرها 30، بناءً على أبحاث سابقة تشير إلى تحسين الدقة. وظيفة الخسارة المستخدمة هي متوسط مربع الخطأ، بينما وظيفة التنشيط هي دالة Mish، المعرفة كـ \( f(x) = x \cdot \tanh(\ln(1 + e^x)) \). تشمل مزايا Mish طبيعتها السلسة وغير الأحادية وخصائصها الذاتية، مما يساعد على منع مشكلات مثل “مشكلة ReLU الميتة” ويسهل تدفق التدرجات بشكل أفضل في الشبكات العميقة.
تعتبر معالجة البيانات المسبقة أمرًا حاسمًا، حيث تم تطبيع أسعار BTC باستخدام MinMaxScaler لتعزيز أداء النموذج من خلال استقرار التباين والحفاظ على علاقات البيانات. تُفضل هذه التقنية على طرق التقييس بسبب فعاليتها في التعامل مع تقلبات السلاسل الزمنية المالية. يعتمد التنفيذ على Python 3.10.12 على Google Colab، باستخدام TensorFlow 2.17.0 وKeras لتنفيذ النموذج، إلى جانب Matplotlib وSeaborn لتصور البيانات. يتم تسليط الضوء على استخدام النسخة المميزة من Google Colab، التي تشمل الوصول إلى NVIDIA A100 GPU، لقدرتها على إدارة المتطلبات الحسابية لمهام التعلم العميق بكفاءة، خاصة أثناء ضبط المعلمات الفائقة.
النتائج
في هذا القسم، يتم تقديم النتائج التجريبية لنموذج Helformer ومقارنته مع نماذج متطورة أخرى—RNN، LSTM، BiLSTM، GRU، وTransformer—بعد ضبط المعلمات الفائقة عبر Optuna. تفوق نموذج Helformer المحسن بشكل كبير على جميع النماذج الأخرى في الدقة التنبؤية، محققًا RMSE قدره 7.7534، وMAPE قدره 0.0148%، وتناسب مثالي تشير إليه قيم R² وEVS التي تبلغ 1. تؤكد قيمة KGE للنموذج البالغة 0.9998 قدرته التنبؤية القريبة من الكمال. بالمقابل، بينما أظهرت النماذج الأخرى تحسينات بعد الضبط، إلا أنها لا تزال أقل من أداء Helformer، حيث حققت نماذج GRU وRNN قيم RMSE قدرها 1151.1653 و1153.1877، على التوالي، وسجل نموذج Transformer أعلى RMSE قدره 1218.5600.
بالإضافة إلى ذلك، أظهر نموذج Helformer قدرة استثنائية على التعميم من خلال تطبيق أوزان مدربة مسبقًا من بيانات BTC على 15 عملة مشفرة رائدة أخرى، مما أدى إلى عوائد كبيرة في استراتيجيات التداول. تسلط النتائج الضوء على قوة النموذج في ظروف السوق المتنوعة وتحقق فعالية هيكله، الذي يدمج تحليل السلاسل وآليات الانتباه. تدعو النتائج إلى اعتبار نموذج Helformer أداة موثوقة لتوقع العملات المشفرة، مع التأكيد على قدرته على إدارة التعقيدات الكامنة في الأسواق المالية المتقلبة.
المناقشة
يوفر قسم المناقشة في الورقة نظرة شاملة على تطور منهجيات توقع أسعار العملات المشفرة، مصنفة إياها إلى طرق كلاسيكية، وطرق تعلم آلي، وطرق تعلم عميق. يبرز التحديات الكامنة في توقع أسعار العملات المشفرة، التي تتأثر بعوامل مثل توزيعات العوائد ذات الذيل الثقيل، والارتباط الذاتي، ومشاعر السوق، بدلاً من الأسس التقليدية. حققت النماذج الكلاسيكية مثل ARIMA وGARCH تقدمًا في توقع التقلبات ولكن غالبًا ما تفشل في التقاط الخصائص غير الخطية وغير الثابتة لأسواق العملات المشفرة. لقد دفعت هذه القيود إلى التحول نحو تقنيات التعلم الآلي، التي يمكن أن تحلل مجموعات بيانات كبيرة وتحدد أنماطًا معقدة، مما يؤدي إلى تحسين الأداء التنبؤي.
أظهرت نماذج التعلم الآلي، بما في ذلك طرق التجميع والنهج الهجينة، دقة متفوقة مقارنة بالنماذج الكلاسيكية. تشمل الأمثلة البارزة تطبيق الشبكات العصبية الاصطناعية (ANNs) والأطر الهجينة التي تدمج GARCH مع ANN، مما يعزز توقع التقلبات. كما تؤكد المناقشة على ظهور نماذج التعلم العميق، مثل LSTMs وGRUs، التي تتفوق في التقاط الاعتماد الزمني في بيانات السلاسل الزمنية. تشمل التطورات الأخيرة تطوير نموذج Transformer، الذي يستفيد من آليات الانتباه الذاتي لتحسين دقة التوقع. تقدم الورقة نموذجًا جديدًا، Helformer، مصممًا لمعالجة تعقيدات بيانات العملات المشفرة من خلال دمج تحليل الموسمية وآليات الانتباه، مما يعزز القدرات التنبؤية مع تقليل المتطلبات الحسابية. بشكل عام، تؤكد هذه القسم على التطور المستمر لتقنيات التوقع في مجال العملات المشفرة، مع تسليط الضوء على الحاجة إلى نماذج متطورة يمكن أن تتكيف مع التحديات الفريدة التي تطرحها هذه السوق المتقلبة.
DOI: https://doi.org/10.1186/s40537-025-01135-4
Publication Date: 2025-04-03
Author(s): T.O. Kehinde et al.
Primary Topic: Stock Market Forecasting Methods
Overview
The research paper presents the Helformer model, a novel deep learning approach designed for cryptocurrency price forecasting. This model combines Holt-Winters exponential smoothing with a Transformer-based architecture, enabling effective decomposition of time series data into its level, trend, and seasonal components. The study highlights the limitations of traditional forecasting methods, which often overlook the non-linear and non-stationary characteristics of cryptocurrency data. By employing Bayesian hyperparameter tuning via Optuna, the Helformer model not only achieves superior predictive accuracy and robustness compared to other advanced models but also demonstrates significant generalization capabilities across various cryptocurrencies. Furthermore, its practical application is validated through a trading strategy that outperforms traditional methods, providing valuable insights for investors and financial analysts.
The conclusion emphasizes the Helformer model’s advancements in addressing the challenges of volatile financial time series. It highlights the model’s integration of hyperparameter optimization and its ability to handle non-stationarities and seasonality effectively. Future research directions include expanding the model’s applicability to other financial instruments, incorporating multivariate data for enhanced accuracy, and exploring deeper integrations with reinforcement learning to refine trading strategies. Additionally, investigating multi-step forecasting could provide insights into the model’s performance over longer prediction horizons. Overall, the Helformer model represents a significant step forward in cryptocurrency forecasting, with the potential to influence investment strategies and decision-making in the financial sector.
Introduction
The introduction of this research paper highlights the rapid evolution and increasing significance of cryptocurrencies, particularly Bitcoin (BTC), since its inception in 2008. The paper notes that BTC’s value surged from zero to an all-time high of $103,900.47 by December 2024, driven by its unique features such as decentralized ledgers and consensus algorithms like Proof-of-Work and Proof-of-Stake. These characteristics, along with low transaction costs and independence from traditional financial regulations, have led to cryptocurrencies being recognized as viable investment assets, often serving as a hedge against traditional assets like gold and stocks due to their low correlation with these markets.
The paper discusses the challenges of accurately predicting cryptocurrency prices, given their inherent volatility and the limitations of traditional statistical methods, which often assume linearity and normal distribution. It contrasts these with machine learning approaches, which can capture non-linear relationships but may suffer from overfitting. The introduction of deep learning models, particularly Recurrent Neural Networks (RNNs) and their variants, has improved forecasting accuracy, although they still face issues like vanishing gradients. To address these challenges, the authors propose a novel model called Helformer, which integrates Holt-Winters exponential smoothing to handle non-stationarity and seasonality in cryptocurrency data. This model aims to enhance prediction accuracy and is tested across multiple cryptocurrencies, showcasing its potential for broader applications in the cryptocurrency market while also implementing a simple trading strategy to evaluate its practical profitability.
Methods
The methodology section outlines the comprehensive framework for implementing a predictive model for cryptocurrency prices, detailing data collection, preprocessing, and model development. The proposed model is evaluated against five other architectures: RNN, LSTM, BiLSTM, GRU, and Transformer, using an 80:20 training-testing split and a 20% validation set to optimize performance and mitigate overfitting. The initial training parameters, including a time step of 30, were chosen based on prior research indicating improved accuracy. The loss function employed is mean square error, while the activation function is the Mish function, defined as \( f(x) = x \cdot \tanh(\ln(1 + e^x)) \). Mish’s advantages include its smooth, non-monotonic nature and self-gating properties, which help prevent issues like the “dying ReLU problem” and facilitate better gradient flow in deep networks.
Data preprocessing is critical, with BTC prices normalized using MinMaxScaler to enhance model performance by stabilizing variance and preserving data relationships. This scaling technique is preferred over standardization methods due to its effectiveness in handling the volatility of financial time series. The implementation leverages Python 3.10.12 on Google Colab, utilizing TensorFlow 2.17.0 and Keras for model execution, alongside Matplotlib and Seaborn for data visualization. The use of the premium version of Google Colab, which includes access to the NVIDIA A100 GPU, is highlighted for its capacity to efficiently manage the computational demands of deep learning tasks, particularly during hyperparameter tuning.
Results
In this section, the empirical results of the Helformer model and its comparison with other sophisticated models—RNN, LSTM, BiLSTM, GRU, and Transformer—are presented following hyperparameter tuning via Optuna. The optimized Helformer model significantly outperformed all other models in predictive accuracy, achieving an RMSE of 7.7534, a MAPE of 0.0148%, and a perfect fit indicated by R² and EVS values of 1. The model’s KGE of 0.9998 further underscores its near-perfect predictive capability. In contrast, while other models showed improvements post-tuning, they still fell short of the Helformer’s performance, with the GRU and RNN models achieving RMSEs of 1151.1653 and 1153.1877, respectively, and the Transformer model recording the highest RMSE of 1218.5600.
Additionally, the Helformer model demonstrated exceptional generalizability by applying pre-trained weights from BTC data to 15 other top cryptocurrencies, yielding significant returns in trading strategies. The results highlight the model’s robustness in diverse market conditions and validate the effectiveness of its architecture, which integrates series decomposition and attention mechanisms. The findings advocate for the Helformer model as a reliable tool for cryptocurrency forecasting, emphasizing its capacity to manage the complexities inherent in volatile financial markets.
Discussion
The discussion section of the paper provides a comprehensive overview of the evolution of cryptocurrency price forecasting methodologies, categorizing them into classical, machine learning, and deep learning approaches. It highlights the challenges inherent in predicting cryptocurrency prices, which are influenced by factors such as heavy-tailed return distributions, autocorrelations, and market sentiment, rather than traditional fundamentals. Classical models like ARIMA and GARCH have made strides in volatility prediction but often fall short in capturing the non-linear and non-stationary characteristics of cryptocurrency markets. This limitation has prompted a shift towards machine learning techniques, which can analyze large datasets and identify complex patterns, leading to improved predictive performance.
Machine learning models, including ensemble methods and hybrid approaches, have demonstrated superior accuracy compared to classical models. Notable examples include the application of Artificial Neural Networks (ANNs) and hybrid frameworks that integrate GARCH with ANN, enhancing volatility forecasting. The discussion also emphasizes the emergence of deep learning models, such as LSTMs and GRUs, which excel in capturing temporal dependencies in time series data. Recent advancements include the development of the Transformer model, which leverages self-attention mechanisms for improved prediction accuracy. The paper introduces a novel model, Helformer, designed to address the complexities of cryptocurrency data by incorporating seasonal decomposition and attention mechanisms, thereby enhancing predictive capabilities while reducing computational demands. Overall, the section underscores the ongoing evolution of forecasting techniques in the cryptocurrency domain, highlighting the need for sophisticated models that can adapt to the unique challenges posed by this volatile market.