توقعات العملات المشفرة المدفوعة بالمشاعر: تحليل نماذج LSTM وGRU وBi-LSTM ونموذج الانتباه الزمني (TAM)
Sentiment-driven cryptocurrency forecasting: analyzing LSTM, GRU, Bi-LSTM, and temporal attention model (TAM)

المجلة: Social Network Analysis and Mining، المجلد: 15، العدد: 1
DOI: https://doi.org/10.1007/s13278-025-01463-6
تاريخ النشر: 2025-05-14
المؤلف: Phumudzo Lloyd Seabe وآخرون
الموضوع الرئيسي: ديناميات الرأي والتأثير الاجتماعي

نظرة عامة

تبحث هذه الدراسة في دمج تحليل مشاعر وسائل التواصل الاجتماعي مع نماذج التعلم العميق لتحسين توقعات أسعار البيتكوين وسط تقلبات السوق. باستخدام أدوات تحليل المشاعر VADER و RoBERTa، تجد الدراسة أن النماذج المعتمدة على RoBERTa تتفوق بشكل كبير على تلك التي تستخدم VADER. ومن الجدير بالذكر أن نموذج Bi-LSTM الذي يتضمن RoBERTa حقق أدنى خطأ نسبي مطلق (MAPE) بنسبة 2.01%، مما يبرز فعالية التضمينات السياقية العميقة في تعزيز دقة التنبؤ. حدد تحليل SHAP المتنبئين الرئيسيين لحركات الأسعار، بما في ذلك زخم المشاعر، ودرجة RoBERTa المركبة، ودرجة سلبية VADER، مما يشير إلى أن المشاركين في السوق أكثر استجابة للتغيرات في المشاعر بدلاً من مستويات المشاعر المطلقة.

تخلص الدراسة إلى أن نماذج التنبؤ المدفوعة بالمشاعر، وخاصة تلك التي تستفيد من التعلم العميق وتقنيات استخراج المشاعر المتقدمة، توفر تحسينات كبيرة في توقع أسعار العملات المشفرة. أظهر نموذج Bi-LSTM دقة اتجاهية عالية بنسبة 79.5%، مما يشير إلى أن التعلم الثنائي الاتجاه يساهم بشكل إيجابي في توقعات تحركات السوق. تدعو النتائج إلى اعتماد طرق تحليل المشاعر المعتمدة على المحولات بدلاً من الأساليب التقليدية المعتمدة على القواميس، مما يبرز قدرتها على التقاط التحولات الدقيقة في مشاعر السوق. لا تركز هذه الدراسة فقط على أهمية زخم المشاعر والقطبية في فهم ديناميكيات أسعار العملات المشفرة، بل تقدم أيضًا إطارًا للتقدمات المستقبلية في منهجيات التنبؤ المالي.

مقدمة

تسلط مقدمة هذه الورقة البحثية الضوء على التأثير التحويلي للعملات المشفرة على المشهد المالي، حيث تقدم كل من الفرص والتحديات بسبب تقلباتها الفطرية وقابليتها للتأثر بعوامل مختلفة، بما في ذلك مشاعر السوق المستمدة من منصات وسائل التواصل الاجتماعي مثل تويتر. مع اكتساب العملات المشفرة مثل البيتكوين والإيثيريوم والريبل زخمًا، تصبح الحاجة إلى طرق دقيقة لتوقع الأسعار أمرًا حاسمًا للمستثمرين الذين يسعون إلى تحسين الأرباح وتقليل المخاطر. غالبًا ما تفشل تقنيات التنبؤ التقليدية في التقاط تعقيدات هذا السوق، مما يدفع الباحثين لاستكشاف تحليل المشاعر كأداة تنبؤية قابلة للتطبيق، خاصة بما يتماشى مع فرضية السوق الفعالة (EMH).

تقترح الورقة نهجًا مبتكرًا لتحليل المشاعر من خلال تعزيز قاموس VADER وSentiment Reasoner مع قاموس خاص بالعملات المشفرة، بينما تستخدم أيضًا هياكل التعلم العميق المتقدمة مثل الشبكات العصبية طويلة وقصيرة المدى (LSTM) ونسخها (GRU، Bi-LSTM) جنبًا إلى جنب مع آليات الانتباه الزمني (TAM). تهدف هذه الدراسة إلى تقييم القوة التنبؤية لمشاعر تويتر على أسعار العملات المشفرة من خلال إطار شامل يقارن بين طرق تحليل المشاعر المختلفة ونماذج التعلم العميق. تشمل المساهمات الرئيسية تطوير إطار عمل متعدد النماذج للتنبؤ، وتقديم ميزات مشاعر مدركة زمنيًا، وتطبيق SHapley Additive exPlanations (SHAP) لزيادة قابلية تفسير النموذج. تستخدم البحث مجموعة بيانات واسعة تضم أكثر من 48 مليون تغريدة تتعلق بالبيتكوين، مما يوفر رؤى تجريبية حول فعالية التنبؤ المدفوع بالمشاعر في مجال العملات المشفرة.

الطرق

في هذا القسم، يوضح المؤلفون منهجية تدمج تحليل المشاعر مع نماذج التعلم العميق لتوقع أسعار البيتكوين. تستخدم الطريقة مشاعر وسائل التواصل الاجتماعي من تويتر لقياس اتجاهات مشاعر السوق وتجمع هذه البيانات مع معلومات أسعار البيتكوين التاريخية، مما يعزز دقة التنبؤ. يتم تنظيم المنهجية في أربعة مكونات رئيسية:

1. **جمع البيانات والمعالجة المسبقة**: يتضمن ذلك تجميع بيانات أسعار البيتكوين جنبًا إلى جنب مع بيانات مشاعر تويتر، لضمان اتساق البيانات وإزالة الإدخالات غير ذات الصلة أو الضوضاء.
2. **تحليل المشاعر**: يستخدم المؤلفون كل من النماذج المعتمدة على القواميس (VADER) والنماذج المعتمدة على المحولات (XLM-RoBERTa) لاشتقاق درجات المشاعر التي تعكس تباينات مشاعر السوق.
3. **هندسة الميزات**: يتم إثراء مجموعة البيانات بمؤشرات فنية مثل تقارب وتباعد المتوسط المتحرك (MACD)، ومؤشر القوة النسبية (RSI)، وقياسات التقلب لتحسين مدخلات النموذج.
4. **توقع الأسعار المعتمد على التعلم العميق**: يتم استخدام نماذج مختلفة، بما في ذلك الشبكات العصبية طويلة وقصيرة المدى (LSTM)، وBi-Directional LSTM (Bi-LSTM)، ووحدات التكرار المغلقة (GRU)، ونماذج الانتباه الزمني، لتوقع تحركات الأسعار. يتم تقييم أداء النموذج باستخدام مقاييس مثل خطأ النسبة المطلقة المتوسطة (MAPE)، وجذر متوسط مربع الخطأ (RMSE)، وخطأ النسبة المطلقة المتوسطة (MAE)، بينما يتم تعزيز قابلية التفسير من خلال قيم SHAP (SHapley Additive exPlanations) لتوضيح أهمية الميزات. تهدف هذه المنهجية الشاملة إلى توضيح التفاعل بين مشاعر السوق وتقلبات أسعار البيتكوين، مما يسلط الضوء على سلوكيات التداول المدفوعة بالمشاعر.

النتائج

تستكشف قسم النتائج في الدراسة العلاقة بين بيانات مشاعر تويتر وتوقعات أسعار العملات المشفرة، مع التركيز بشكل خاص على البيتكوين (BTC). تكشف التحليلات عن وجود ارتباط ضئيل بين المشاعر السلبية وتحركات الأسعار الهابطة، مما يشير إلى أن المشاعر السلبية قد تُعتبر ضوضاء عابرة من قبل المشاركين في السوق. يتماشى هذا الاكتشاف مع نظريات المالية السلوكية، مما يشير إلى أن التشاؤم الشديد يمكن أن يؤدي إلى استراتيجيات تداول مضادة، حيث يقوم المستثمرون بشراء الأصول الم undervalued. وبالتالي، يتم وضع المشاعر كمتنبئ دقيق يكمل عوامل السوق الأخرى، مما يوجه اختيار الميزات التنبؤية للنماذج التي تم تقييمها.

تم تقييم الأداء التنبؤي لمختلف النماذج، بما في ذلك الشبكات العصبية طويلة وقصيرة المدى (LSTM)، ووحدة التكرار المغلقة (GRU)، وBi-directional LSTM (Bi-LSTM)، ونموذج الانتباه الزمني (TAM)، باستخدام مقاييس مثل خطأ النسبة المطلقة المتوسطة (MAPE)، وجذر متوسط مربع الخطأ (RMSE)، وخطأ النسبة المطلقة المتوسطة (MAE). من الجدير بالذكر أن نموذج Bi-LSTM أظهر دقة متفوقة، حيث حقق MAPE بنسبة 2.54% مع تحليل المشاعر المعتمد على RoBERTa، مقارنةً بـ 4.83% لنموذج VADER. حقق نموذج TAM، الذي يستخدم RoBERTa، MAPE بنسبة 2.26% وRMSE بقيمة 0.02، مما يشير إلى أن نماذج المشاعر السياقية العميقة تعزز بشكل كبير دقة التنبؤ، على الرغم من أن كلا النموذجين يظهران دقة اتجاهية منخفضة (RoBERTa: 53%، VADER: 48%). تؤكد هذه النتائج على أهمية تقنيات تحليل المشاعر المتقدمة في تحسين نماذج توقع أسعار العملات المشفرة.

المناقشة

في قسم المناقشة من الورقة البحثية، يتم تقديم مراجعة شاملة للأدبيات، تركز على توقعات العملات المشفرة وتحليل المشاعر. يتم تتبع تطور سوق العملات المشفرة منذ إصدار البيتكوين بواسطة ساتوشي ناكاموتو في عام 2008، مع تسليط الضوء على دوره الأساسي في تكنولوجيا البلوكشين وظهور العملات البديلة مثل الإيثيريوم واللايتكوين. تناقش الورقة الارتباط الأولي للسوق بالأنشطة غير المشروعة وتحولها اللاحق إلى قطاع مالي شرعي، يتميز بنمو كبير واهتمام مؤسسي. تجاوزت القيمة السوقية الإجمالية للعملات المشفرة 2.77 تريليون دولار، مما يعكس تحولًا في التصور وإدخال أطر تنظيمية تهدف إلى معالجة تقلبات السوق والتلاعب.

تستكشف القسم أيضًا التحديات المرتبطة بتوقع أسعار العملات المشفرة بسبب تقلباتها العالية وعدم الكفاءة التي أبرزتها فرضية السوق الفعالة (EMH). تؤكد على دور تحليل المشاعر، خاصة من منصات وسائل التواصل الاجتماعي مثل تويتر، في توقع تحركات الأسعار. تشير الأبحاث إلى أن النماذج المدفوعة بالمشاعر، خاصة تلك التي تستخدم تقنيات التعلم العميق مثل الشبكات العصبية طويلة وقصيرة المدى (LSTM)، يمكن أن تلتقط ديناميكيات السوق بشكل فعال وتحسن دقة التنبؤ. على الرغم من النتائج الواعدة، تعترف الورقة بالتحديات المستمرة، بما في ذلك الضوضاء الكامنة في بيانات وسائل التواصل الاجتماعي والحاجة إلى نماذج يمكن أن تتكيف مع التغيرات السريعة في السوق. بشكل عام، تؤكد النتائج على إمكانية دمج تحليل المشاعر مع البيانات المالية التقليدية لتعزيز توقع أسعار العملات المشفرة.

القيود

تقدم الدراسة نتائج واعدة؛ ومع ذلك، فهي محدودة بتركيزها الحصري على البيتكوين، مما قد يقيد قابلية تطبيق النتائج على العملات المشفرة الأخرى. تم تحديد تحدٍ كبير وهو التكلفة الحاسوبية المرتبطة بالتطبيق الفوري لتحليل المشاعر المعتمد على RoBERTa، والذي يتطلب وقت معالجة كبير (أكثر من ست ساعات على وحدات معالجة الرسوميات عالية الأداء مثل 2x RTX 4090). تطرح هذه القيود مشاكل في قابلية التوسع لتطبيقات التداول عالية التردد، حيث يصبح الاستدلال الفوري غير عملي.

لمعالجة هذه التحديات، يجب أن تأخذ الأعمال المستقبلية في الاعتبار استخدام نماذج المحولات الخفيفة الوزن (مثل DistilBERT، TinyBERT) وآليات التخزين المؤقت لدرجات المشاعر المحسوبة مسبقًا. يمكن أن تعزز الأساليب الهجينة التي تستخدم VADER لتحولات المشاعر الفورية بينما تستفيد من RoBERTa للحصول على رؤى أعمق في وضع الدفعات الأداء. بالإضافة إلى ذلك، فإن قابلية تحليل مشاعر تويتر للتحيزات الناتجة عن المحتوى الذي تنتجه الروبوتات والأخبار المزيفة تتطلب تقنيات تصفية بيانات قوية ودمج مصادر مشاعر متعددة، مثل Reddit والمقالات الإخبارية. يجب أن تهدف الأبحاث المستقبلية إلى تطوير نماذج مشاعر أسرع، وتوسيع مجموعة البيانات لتشمل عملات مشفرة متنوعة، ودمج مؤشرات مالية إضافية لتحسين دقة التنبؤ، مع تقييم الجدوى طويلة الأجل لاستراتيجيات التداول المعتمدة على المشاعر وتأثيرها على ديناميكيات السوق.

Journal: Social Network Analysis and Mining, Volume: 15, Issue: 1
DOI: https://doi.org/10.1007/s13278-025-01463-6
Publication Date: 2025-05-14
Author(s): Phumudzo Lloyd Seabe et al.
Primary Topic: Opinion Dynamics and Social Influence

Overview

This research investigates the integration of social media sentiment analysis with deep learning models to improve Bitcoin price forecasting amidst market volatility. Utilizing sentiment analysis tools VADER and RoBERTa, the study finds that models based on RoBERTa significantly outperform those using VADER. Notably, the Bi-LSTM model incorporating RoBERTa achieved the lowest Mean Absolute Percentage Error (MAPE) of 2.01%, underscoring the effectiveness of deep contextual embeddings in enhancing prediction accuracy. SHAP analysis identified key predictors of price movements, including Sentiment Momentum, RoBERTa Compound Score, and VADER Negativity Score, indicating that market participants are more responsive to changes in sentiment rather than absolute sentiment levels.

The study concludes that sentiment-driven forecasting models, particularly those leveraging deep learning and advanced sentiment extraction techniques, provide substantial improvements in predicting cryptocurrency prices. The Bi-LSTM model demonstrated a high directional accuracy of 79.5%, suggesting that bidirectional learning contributes positively to market movement predictions. The findings advocate for the adoption of transformer-based sentiment analysis methods over traditional lexicon-based approaches, highlighting their capability to capture nuanced shifts in market sentiment. This research not only emphasizes the significance of sentiment momentum and polarity in understanding cryptocurrency price dynamics but also offers a framework for future advancements in financial forecasting methodologies.

Introduction

The introduction of this research paper highlights the transformative impact of cryptocurrencies on the financial landscape, presenting both opportunities and challenges due to their inherent volatility and susceptibility to various influencing factors, including market sentiment derived from social media platforms like Twitter. As cryptocurrencies such as Bitcoin, Ethereum, and Ripple gain traction, the need for accurate price prediction methods becomes critical for investors aiming to optimize profits and mitigate risks. Traditional forecasting techniques often fall short in capturing the complexities of this market, prompting researchers to explore sentiment analysis as a viable predictive tool, particularly in alignment with the Efficient Market Hypothesis (EMH).

The paper proposes an innovative approach to sentiment analysis by enhancing the Valence Aware Dictionary and Sentiment Reasoner (VADER) with a cryptocurrency-specific lexicon, while also employing advanced deep learning architectures such as Long Short-Term Memory (LSTM) networks and their variants (GRU, Bi-LSTM) alongside Temporal Attention Mechanisms (TAM). This study aims to assess the predictive power of Twitter sentiment on cryptocurrency prices through a comprehensive framework that compares different sentiment analysis methods and deep learning models. Key contributions include the development of a multi-model forecasting framework, the introduction of temporally-aware sentiment features, and the application of SHapley Additive exPlanations (SHAP) for model interpretability. The research utilizes an extensive dataset of over 48 million tweets related to Bitcoin, providing empirical insights into the effectiveness of sentiment-driven forecasting in the cryptocurrency domain.

Methods

In this section, the authors detail a methodology that integrates sentiment analysis with deep learning models to forecast Bitcoin prices. The approach utilizes social media sentiment from Twitter to gauge market sentiment trends and combines this data with historical Bitcoin price information, thereby enhancing predictive accuracy. The methodology is organized into four main components:

1. **Data Collection and Preprocessing**: This involves aggregating Bitcoin price data alongside Twitter sentiment data, ensuring data consistency and eliminating irrelevant or noisy entries.
2. **Sentiment Analysis**: The authors employ both lexicon-based (VADER) and transformer-based (XLM-RoBERTa) models to derive sentiment scores that reflect market sentiment variations.
3. **Feature Engineering**: The dataset is enriched with technical indicators such as Moving Average Convergence Divergence (MACD), Relative Strength Index (RSI), and volatility measures to improve model inputs.
4. **Deep Learning-Based Price Forecasting**: Various models, including Long Short-Term Memory (LSTM), Bi-Directional LSTM (Bi-LSTM), Gated Recurrent Units (GRU), and Temporal Attention Models, are utilized to predict price movements. Model performance is assessed using metrics such as Mean Absolute Percentage Error (MAPE), Root Mean Square Error (RMSE), and Mean Absolute Error (MAE), while interpretability is enhanced through SHAP (SHapley Additive exPlanations) values to elucidate feature importance. This comprehensive methodology aims to elucidate the interplay between market sentiment and Bitcoin price fluctuations, shedding light on sentiment-driven trading behaviors.

Results

The results section of the study investigates the relationship between Twitter sentiment data and cryptocurrency price predictions, specifically focusing on Bitcoin (BTC). The analysis reveals a negligible correlation between negative sentiment and downward price movements, suggesting that negative sentiment may be perceived as transient noise by market participants. This finding aligns with behavioral finance theories, indicating that extreme pessimism can trigger contrarian trading strategies, where investors buy undervalued assets. Consequently, sentiment is positioned as a nuanced predictor that complements other market factors, guiding the selection of predictive features for the models evaluated.

The predictive performance of various models, including Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), Bi-directional LSTM (Bi-LSTM), and the Temporal Attention Model (TAM), was assessed using metrics such as Mean Absolute Percentage Error (MAPE), Root Mean Squared Error (RMSE), and Mean Absolute Error (MAE). Notably, the Bi-LSTM model demonstrated superior accuracy, achieving a MAPE of 2.54% with RoBERTa-based sentiment analysis, compared to 4.83% for the VADER model. The TAM, utilizing RoBERTa, achieved a MAPE of 2.26% and RMSE of 0.02, indicating that deep contextual sentiment models significantly enhance forecasting accuracy, despite both models exhibiting low directional accuracy (RoBERTa: 53%, VADER: 48%). These results underscore the importance of advanced sentiment analysis techniques in improving cryptocurrency price prediction models.

Discussion

In the discussion section of the research paper, a comprehensive literature review is presented, focusing on cryptocurrency forecasting and sentiment analysis. The evolution of the cryptocurrency market is traced from the release of Bitcoin by Satoshi Nakamoto in 2008, highlighting its foundational role in blockchain technology and the emergence of altcoins like Ethereum and Litecoin. The paper discusses the market’s initial association with illicit activities and its subsequent transformation into a legitimate financial sector, marked by significant growth and institutional interest. The total market capitalization of cryptocurrencies has surpassed $2.77 trillion, reflecting a shift in perception and the introduction of regulatory frameworks aimed at addressing market volatility and manipulation.

The section further explores the challenges of predicting cryptocurrency prices due to their high volatility and the inefficiencies highlighted by the Efficient Market Hypothesis (EMH). It emphasizes the role of sentiment analysis, particularly from social media platforms like Twitter, in forecasting price movements. The research indicates that sentiment-driven models, especially those utilizing deep learning techniques such as Long Short-Term Memory (LSTM) networks, can effectively capture market dynamics and improve prediction accuracy. Despite the promising results, the paper acknowledges ongoing challenges, including the noise inherent in social media data and the need for models that can adapt to rapid market changes. Overall, the findings underscore the potential of integrating sentiment analysis with traditional financial data to enhance cryptocurrency price forecasting.

Limitations

The study presents promising results; however, it is limited by its exclusive focus on Bitcoin, which may restrict the applicability of findings to other cryptocurrencies. A significant challenge identified is the computational expense associated with real-time implementation of RoBERTa-based sentiment analysis, which requires extensive processing time (over six hours on high-performance GPUs such as 2x RTX 4090). This limitation poses scalability issues for high-frequency trading applications, as real-time inference becomes impractical.

To address these challenges, future work should consider the use of lightweight transformer models (e.g., DistilBERT, TinyBERT) and caching mechanisms for precomputed sentiment scores. Hybrid approaches that utilize VADER for real-time sentiment shifts while leveraging RoBERTa for deeper insights in batch mode could enhance performance. Additionally, the susceptibility of Twitter sentiment analysis to biases from bot-generated content and fake news necessitates robust data filtering techniques and the integration of multiple sentiment sources, such as Reddit and news articles. Future research should aim to develop faster sentiment models, broaden the dataset to include various cryptocurrencies, and incorporate additional financial indicators to improve predictive accuracy, while also evaluating the long-term viability of sentiment-based trading strategies and their impact on market dynamics.