DOI: https://doi.org/10.1007/s10844-025-00971-3
تاريخ النشر: 2025-08-02
المؤلف: Renjie Wang وآخرون
الموضوع الرئيسي: طرق التنبؤ بسوق الأسهم
نظرة عامة
يقدم هذا القسم نظرة عامة على Senti-MambaMoE، وهو نموذج جديد مصمم لتعزيز توقعات أسعار الأسهم من خلال دمج بيانات الأسعار التاريخية مع تحليل المشاعر المستمدة من الأخبار المالية. غالبًا ما تفشل طرق التنبؤ التقليدية في التقاط مشاعر السوق، وهو أمر حاسم للتنبؤات الدقيقة. للتغلب على هذه القيود، يقوم المؤلفون بضبط نموذج لغة كبير قائم على DeepSeek (LLM) لتصنيف المشاعر المالية ودمج هذه المعلومات العاطفية في إطارهم التنبؤي.
المركز الأساسي في Senti-MambaMoE هو بنية MambaMoE، التي تستخدم نماذج الفضاءات الحالة (SSMs) لنمذجة الاعتمادات طويلة المدى بشكل فعال مع الحفاظ على تعقيد حسابي خطي. وهذا يجعل النموذج مناسبًا بشكل خاص لتوقعات السلاسل الزمنية المالية. علاوة على ذلك، يعزز آلية مزيج الخبراء (MoE) قدرة النموذج على التكيف مع سلوكيات السوق المتغيرة من خلال اختيار خبراء متخصصين ديناميكيًا بناءً على أنماط بيانات الأسهم الملاحظة. تشير النتائج التجريبية إلى أن Senti-MambaMoE يتفوق بشكل كبير على النماذج القائمة على LSTM بنسبة 23.7% وعلى النماذج القائمة على Transformer بنسبة 6.3% في توقعات الأسهم على المدى القصير، مما يبرز فعاليته في هذا المجال.
مقدمة
تسلط مقدمة هذه الدراسة الضوء على التركيز المزدوج على الاستفادة من نماذج اللغة الكبيرة القائمة على DeepSeek (LLMs) لتحليل المشاعر للنصوص المالية واستخدام نماذج الفضاءات الحالة لتوقع أسعار الأسهم. تتطلب تعقيدات ديناميات سوق الأسهم تقنيات توقع متقدمة تدمج بين البيانات التاريخية الكمية والرؤى النوعية من عناوين الأخبار. تعتبر الطرق التقليدية، التي تعتمد أساسًا على المؤشرات الفنية، محدودة في قدراتها التنبؤية. تؤكد الدراسة على تطور منهجيات تحليل المشاعر، من النماذج المبكرة مثل LSTM وTextCNN إلى التأثير التحويلي لـ BERT والنماذج التوليدية الحديثة، وخاصة DeepSeek-R1 مفتوح المصدر، الذي يستخدم بنية مزيج من الخبراء (MoE) لتعزيز الكفاءة الحسابية.
تجمع الطريقة المقترحة بين تحليل المشاعر وتوقع السلاسل الزمنية من خلال نموذج من مرحلتين يدمج بيانات المشاعر من عناوين الأخبار المالية في توقعات اتجاه الأسهم باستخدام نموذج Mamba. يدمج هذا النموذج آلية اختيار فضاء الحالة الجديدة التي تلتقط كل من الاعتمادات الطويلة والقصيرة الأجل في البيانات المالية، مما يحسن بشكل كبير من دقة التوقعات. تفيد الدراسة بأنها حققت أداءً رائدًا في ثلاثة مجموعات بيانات للأسهم الصينية، متجاوزة النماذج الحالية، بما في ذلك الهياكل القائمة على Transformer وBiLSTM، بفوارق كبيرة. تشير النتائج إلى أن دمج نماذج LLM المتقدمة ونماذج الفضاءات الحالة يمكن أن يعزز بشكل كبير من منهجيات التنبؤ المالي.
طرق
في هذا القسم، يقدم المؤلفون المنهجية لنموذج توقع السلاسل الزمنية المالية المقترح، Senti-MambaMoE، الذي يدمج تحليل المشاعر من الأخبار المالية مع نهج نمذجة متخصص باستخدام Mamba ونماذج اللغة الكبيرة (LLMs). تبدأ العملية بتصنيف المشاعر لعناوين الأخبار المالية، مما ينتج عنه مؤشر مشاعر يتم دمجه في مجموعة بيانات أسعار الأسهم. يتم تطبيع تسلسلات أسعار الأسهم، وتقسيمها إلى قطع، وترميزها باستخدام خبراء Mamba داخل القطعة وبين القطع لالتقاط كل من الاعتمادات المحلية والعالمية. يتم توليد التوقعات النهائية لأسعار الأسهم من خلال طبقة فك تشفير خطية تليها تطبيع عكسي.
تشمل الإعدادات التجريبية ضبط النماذج المدربة مسبقًا مع معلمات محددة مثل التكميم 4 بت ورقم LoRA 8. يتم تقسيم مجموعة البيانات إلى مجموعات تدريب، والتحقق، والاختبار بنسبة 8:1:1. للتعامل مع مؤشرات المشاعر المفقودة، يتم استخدام تقنية التنعيم الأسّي، حيث يتم تقدير القيم المفقودة بناءً على المجموع المرجح لأحدث خمس مؤشرات متاحة. يستخدم النموذج نهج نافذة منزلقة للتنبؤ، مع التركيز على عدم الثبات من خلال التطبيع. يتضمن التدريب ضبط المعلمات الفائقة، مع استخدام مقاييس مثل متوسط الخطأ التربيعي (MSE)، وR-squared، ومتوسط النسبة المئوية المطلقة للخطأ (MAPE) للتقييم. تم إجراء التجارب على أجهزة عالية الأداء، مما يضمن تدريب وتقييم النموذج بشكل قوي.
نقاش
يسلط قسم النقاش في ورقة البحث الضوء على التقدم في تحليل المشاعر وتوقع السلاسل الزمنية المالية من خلال دمج نماذج التعلم العميق المختلفة. تظهر أعمال يون كيم فعالية الشبكات العصبية الالتفافية (CNNs) مع متجهات الكلمات المدربة مسبقًا لتصنيف المشاعر، بينما تعزز نماذج CNN-LSTM الإقليمية تحليل المشاعر البعدية من خلال استخراج المعلومات العاطفية الخاصة بالمنطقة. يُظهر تقديم أطر مثل ConFEDE ونماذج مثل Mamba إمكانيات التعلم التبايني والهياكل الفعالة في تحسين تمثيل المشاعر ودقة التنبؤ. من الجدير بالذكر أن الدراسة تؤكد على دور نماذج اللغة الكبيرة (LLMs) في تحليل المشاعر، موضحة قدرتها على التعميم عبر السياقات المالية والتكيف مع المصطلحات المتطورة، مما يعزز بشكل كبير من توقع أسعار الأسهم عند دمجها مع بيانات المشاعر.
تقدم الورقة أيضًا MambaMoE، وهو إطار جديد يجمع بين بنية Mamba وآلية مزيج من الخبراء (MoE) للتنبؤ المالي على المدى القصير. يستفيد هذا النموذج من خبراء داخل القطعة وبين القطع لالتقاط كل من الاتجاهات المحلية والاعتمادات طويلة الأجل، مما يحسن دقة التنبؤ. تشير النتائج التجريبية إلى أن نموذج MambaMoE يتفوق على النماذج التقليدية، محققًا تخفيضات كبيرة في متوسط الخطأ التربيعي (MSE) ومتوسط النسبة المئوية المطلقة للخطأ (MAPE) بينما يظهر أهمية دمج تحليل المشاعر ونهج MoE في التقاط أنماط السوق المعقدة. تؤكد النتائج على مزايا نمذجة الفضاءات الحالة المنظمة في توقع السلاسل الزمنية المالية، مما يبرز كفاءة النموذج وفعاليته في بيئات السوق الديناميكية.
DOI: https://doi.org/10.1007/s10844-025-00971-3
Publication Date: 2025-08-02
Author(s): Renjie Wang et al.
Primary Topic: Stock Market Forecasting Methods
Overview
The section presents an overview of Senti-MambaMoE, a novel model designed to enhance stock price prediction by integrating historical price data with sentiment analysis derived from financial news. Traditional forecasting methods often fall short in capturing market sentiment, which is crucial for accurate predictions. To overcome this limitation, the authors fine-tune a DeepSeek-based large language model (LLM) for financial sentiment classification and incorporate this sentiment information into their predictive framework.
Central to Senti-MambaMoE is the MambaMoE architecture, which utilizes state space models (SSMs) to effectively model long-range dependencies while maintaining linear computational complexity. This makes the model particularly suitable for financial time series forecasting. Furthermore, the mixture of experts (MoE) mechanism enhances the model’s capability to adapt to varying market behaviors by dynamically selecting specialized experts based on observed stock data patterns. Experimental results indicate that Senti-MambaMoE significantly outperforms LSTM-based models by 23.7% and Transformer-based models by 6.3% in short-term stock prediction, underscoring its effectiveness in this domain.
Introduction
The introduction of this study highlights the dual focus on leveraging DeepSeek-based large language models (LLMs) for sentiment analysis of financial texts and employing state-space models for stock price prediction. The complexity of stock market dynamics necessitates advanced forecasting techniques that integrate both quantitative historical data and qualitative insights from news headlines. Traditional methods, primarily reliant on technical indicators, are limited in their predictive capabilities. The study emphasizes the evolution of sentiment analysis methodologies, from early models like LSTM and TextCNN to the transformative impact of BERT and recent generative LLMs, particularly the open-sourced DeepSeek-R1, which utilizes a Mixture of Experts (MoE) architecture for enhanced computational efficiency.
The proposed approach combines sentiment analysis with time series forecasting through a two-stage model that incorporates sentiment data from financial news headlines into stock trend predictions using the Mamba model. This model integrates a novel state-space selection mechanism that captures both long- and short-term dependencies in financial data, significantly improving forecasting accuracy. The study reports state-of-the-art performance on three Chinese stock datasets, surpassing existing models, including Transformer-based architectures and BiLSTM, by substantial margins. The findings suggest that the integration of advanced LLMs and state-space models can substantially enhance financial forecasting methodologies.
Methods
In this section, the authors present the methodology for their proposed financial time series forecasting model, Senti-MambaMoE, which integrates sentiment analysis from financial news with a specialized modeling approach using Mamba and large language models (LLMs). The process begins with sentiment classification of financial news titles, resulting in a sentiment index that is incorporated into the stock price dataset. The stock price sequences are normalized, divided into patches, and encoded using intra-patch and inter-patch Mamba experts to capture both local and global dependencies. The final stock price predictions are generated through a linear decoding layer followed by inverse normalization.
The experimental setup includes fine-tuning pre-trained models with specific parameters such as 4-bit quantization and a LoRA rank of 8. The dataset is divided into training, validation, and test sets in an 8:1:1 ratio. To handle missing sentiment indices, an exponential smoothing technique is employed, estimating missing values based on the weighted sum of the five most recent available indices. The model utilizes a sliding window approach for forecasting, with a focus on non-stationarity through normalization. Training involves hyperparameter tuning, with metrics such as Mean Squared Error (MSE), R-squared, and Mean Absolute Percentage Error (MAPE) used for evaluation. The experiments were conducted on high-performance hardware, ensuring robust model training and evaluation.
Discussion
The discussion section of the research paper highlights advancements in sentiment analysis and financial time series forecasting through the integration of various deep learning models. Yoon Kim’s work demonstrates the effectiveness of convolutional neural networks (CNNs) with pre-trained word vectors for sentiment classification, while regional CNN-LSTM models enhance dimensional sentiment analysis by extracting region-specific affective information. The introduction of frameworks like ConFEDE and models such as Mamba showcases the potential of contrastive learning and efficient architectures in improving sentiment representation and forecasting accuracy. Notably, the study emphasizes the role of large language models (LLMs) in sentiment analysis, illustrating their ability to generalize across financial contexts and adapt to evolving terminologies, which significantly enhances stock price prediction when integrated with sentiment data.
The paper also presents MambaMoE, a novel framework that combines the Mamba architecture with a Mixture of Experts (MoE) mechanism for short-term financial forecasting. This model leverages intra-patch and inter-patch experts to capture both localized trends and long-term dependencies, thereby improving prediction accuracy. Experimental results indicate that the MambaMoE model outperforms traditional models, achieving significant reductions in mean squared error (MSE) and mean absolute percentage error (MAPE) while demonstrating the importance of incorporating sentiment analysis and the MoE approach in capturing complex market patterns. The findings underscore the advantages of structured state space modeling in financial time series forecasting, highlighting the model’s efficiency and effectiveness in dynamic market environments.