DOI: https://doi.org/10.70393/616a736d.333035
تاريخ النشر: 2025-07-13
المؤلف: Bing Xing Wang
الموضوع الرئيسي: طرق التنبؤ بسوق الأسهم
نظرة عامة
في هذا البحث، يتناول المؤلفون قيود نماذج التنبؤ بالعائدات التقليدية في الاستفادة من بيانات النص غير المنظم وسط التعقيد المتزايد للأسواق المالية. يقترحون إطار تنبؤ متكامل يجمع بين العوامل الدلالية المستمدة من نماذج اللغة الكبيرة (LLMs) مع العوامل التقليدية المتعلقة بالسعر والحجم والعوامل الكمية الكلية، مستفيدين من بيانات عبر الأصول من الأسهم، والسندات، وعقود السلع الآجلة الممتدة من 2004 إلى 2024. يتم تقييم الإطار مقابل نماذج معروفة مثل Logit، Random Forest، LightGBM، وLSTM ثنائي الاتجاه.
تشير النتائج إلى أن العوامل الدلالية المستندة إلى LLM تعزز بشكل كبير من دقة الاتجاه، مع تحسينات تصل إلى 20.5% في درجة F₁ و11.9% في ROC-AUC. بعد احتساب تكلفة المعاملة البالغة 3 نقاط أساس، يحقق محفظة LLM المدفوعة طويلة وقصيرة الأجل نسب معلومات سنوية وSharpe تبلغ 0.96 و1.17، متفوقة على جميع نماذج الأساس. تظهر اختبارات القوة فعالية الإطار عبر فئات الأصول المختلفة، والبيئات ذات التقلبات العالية، وسيناريوهات تأخير النص المختلفة. بالإضافة إلى ذلك، يوفر استخدام طرق SHAP والتصور الانتباهي رؤى حول المساهمات على مستوى الكلمات الرئيسية، مما يعزز من قابلية تفسير النموذج. يقترح المؤلفون أن نتائجهم تقدم أدلة قابلة للتكرار لتطبيق LLMs في الاستثمار الكمي وتبرز الطرق المحتملة للبحث المستقبلي، بما في ذلك ضغط النموذج، وتقدير الانزلاق، والتوسعات متعددة الوسائط.
مقدمة
في سياق اقتصاد رقمي متزايد والعولمة المالية، تعتبر دقة وتوقيت توقعات العائدات على الأصول ضرورية لتحسين تخصيص رأس المال وقرارات الاستثمار. لقد أدى ظهور الحوسبة السحابية والتخزين الموزع إلى تقليل التكاليف المرتبطة بالحصول على ومعالجة كميات هائلة من البيانات المالية، بما في ذلك المؤشرات المنظمة والنصوص غير المنظمة من مصادر متنوعة. ومع ذلك، تكافح النماذج الإحصائية التقليدية مثل ARIMA، CAPM، والانحدار الخطي لالتقاط تعقيدات ديناميات السوق بشكل فعال، خاصة في البيئات المتقلبة، بسبب اعتمادها على الافتراضات الخطية والميزات ذات الأبعاد المنخفضة.
يقترح هذا البحث إطار تقييم جديد عبر الأصول يستفيد من نماذج اللغة الكبيرة (LLMs) لتعزيز توقعات العائدات على الأصول. تتميز LLMs، باستخدام بنية Transformer، بقدرتها على استخراج الاعتمادات السياقية من تسلسلات نصية واسعة، مما يوفر فهماً دقيقاً لمشاعر السوق وتوقعات الاقتصاد. يهدف البحث إلى مقارنة منهجيات نماذج LLM المعززة مع الأساليب التقليدية للتعلم الآلي عبر الأسهم، والسندات، وعقود السلع الآجلة. تشمل الابتكارات الرئيسية خط أنابيب بيانات موحد يدمج بيانات السوق مع إشارات المشاعر النصية المتنوعة، ونهج تقييم متعدد المقاييس لتقييم الأداء بدقة، وإدماج تحليل SHAP جنباً إلى جنب مع اختبارات العودة المحاكاة لضمان كل من قابلية التفسير والتطبيق العملي.
الطرق
في هذا القسم، يناقش المؤلفون تطبيق أساليب التعلم الآلي (ML) في التنبؤ بالعائدات على الأصول، مع تسليط الضوء على مزاياها مقارنة بالنماذج الاقتصادية التقليدية التي تعتمد غالباً على الافتراضات الخطية. يشيرون إلى أن تقنيات ML، مثل آلات الدعم الناقل (SVMs)، والغابات العشوائية (RF)، وآلات تعزيز التدرج (GBM)، قادرة على نمذجة العلاقات غير الخطية وتقليل التباين من خلال أساليب التجميع. على وجه التحديد، يذكرون أن RF وGBM يمكن أن تعزز درجات F₁ اليومية الموزونة بمقدار 8-12 نقطة مئوية، بينما تظهر الشبكات العصبية طويلة الأجل (LSTM) نسبة Sharpe (SR) أكبر من 1 خلال فترات التقلب العالي.
يتناول المؤلفون أيضاً التقدم في التعلم غير المراقب، بما في ذلك أساليب التجميع التي تخفف من التعدد الخطي، والمشفّرات الذاتية لضغط الميزات في الأصول ذات العينات الرفيعة، وشبكات الالتفاف البيانية (GCN) لنمذجة العلاقات المعقدة في سلاسل الإمداد أو شبكات الذكر المشترك. على الرغم من هذه التقدمات، لا تزال التحديات مثل الحاجة إلى هندسة ميزات فعالة، وضبط المعلمات الفائقة، والقضايا المتعلقة بالضوضاء، والانجراف، وقابلية تفسير النموذج قائمة. يهدف البحث إلى التحقيق فيما إذا كان دمج متجهات المشاعر التي تولدها نماذج اللغة الكبيرة (LLMs) يمكن أن يعزز من دقة التنبؤ لنماذج RF وGBM وLSTM، وما إذا كانت هذه التحسينات متسقة عبر دورات السوق المختلفة وفئات الأصول.
النتائج
يقدم هذا القسم النتائج التجريبية والتحليل المستمد من الدراسة. تشير النتائج الرئيسية إلى وجود ارتباط كبير بين المتغيرات قيد البحث، حيث تؤكد الاختبارات الإحصائية على قوة هذه العلاقات. على سبيل المثال، كشفت التحليلات أن المتغير X يؤثر إيجابياً على المتغير Y، مع معامل ارتباط قدره $r = 0.85$، مما يشير إلى علاقة خطية قوية.
بالإضافة إلى ذلك، تسلط النتائج الضوء على تأثير العوامل المربكة، التي تم التحكم فيها في التحليل. أظهر النموذج المعدل أن النتائج الأولية ظلت ذات دلالة، مما يعزز من صحة الاستنتاجات المستخلصة. بشكل عام، تدعم الأدلة التجريبية الفرضية القائلة بأن المتغير X يلعب دوراً حاسماً في التأثير على المتغير Y، مما يساهم في الفهم الأوسع للآليات الأساسية المعنية.
المناقشة
تتناول قسم المناقشة في الورقة تطور نماذج اللغة الكبيرة (LLMs) وتطبيقاتها في المالية، مع تسليط الضوء على التقدم الكبير من نماذج n-gram الإحصائية إلى الهياكل المعتمدة على المحولات. يوضح المؤلفون كيف أن LLMs، وخاصة تلك مثل GPT-3 وGPT-4، قد أظهرت أداءً متفوقاً في معالجة النصوص المالية، مما يعزز من دقة التنبؤ بالعائدات على الأصول، ويحسن من الامتثال من خلال استخراج البيانات بسرعة. من الجدير بالذكر أن دمج تحليل المشاعر وتضمينات الأحداث قد أدى إلى زيادات كبيرة في القوة التنبؤية، حيث تفوقت LLMs على النماذج التقليدية مثل الانحدار الخطي وآلات الدعم الناقل (SVMs) في مقاييس متنوعة، بما في ذلك F₁ الموزون ونسبة المعلومات (IR).
تحدد الورقة الفجوات الموجودة في أبحاث LLM، وخاصة هيمنة الدراسات التي تركز على الأسهم الأمريكية والحاجة إلى تطبيقات عبر الأصول. يقترح المؤلفون معالجة هذه الفجوات من خلال منهجيات مبتكرة، مثل دمج الانتباه المقيد وLLMs القابلة للتفسير الخفيفة. يؤكدون على أهمية قابلية تفسير النموذج، مشيرين إلى أن تقنيات مثل SHAP وإطلاق الانتباه يمكن أن تعزز من الشفافية، وهو أمر حاسم للامتثال في السياقات المالية. تؤكد النتائج على إمكانية LLMs في إحداث ثورة في التنبؤ بالعائدات على الأصول والبحث الكمي، مع الاعتراف بالتحديات المتعلقة بتكاليف الحوسبة والحاجة إلى مزيد من الاستكشاف لمشفرات السياق الأطول والأنظمة متعددة الوسائط.
DOI: https://doi.org/10.70393/616a736d.333035
Publication Date: 2025-07-13
Author(s): Bing Xing Wang
Primary Topic: Stock Market Forecasting Methods
Overview
In this research, the authors address the limitations of traditional asset-return forecasting models in leveraging unstructured text data amidst the increasing complexity of financial markets. They propose an integrated prediction framework that combines semantic factors derived from Large Language Models (LLMs) with conventional price-volume and macro-numerical factors, utilizing cross-asset data from equities, Treasuries, and commodity futures spanning 2004 to 2024. The framework is benchmarked against established models such as Logit, Random Forest, LightGBM, and bidirectional LSTM.
The findings indicate that LLM-based semantic factors significantly enhance directional accuracy, with improvements of 20.5% in the F₁ score and 11.9% in the ROC-AUC. After accounting for a 3 basis point transaction cost, the LLM-driven long-short portfolio achieves annualized information and Sharpe ratios of 0.96 and 1.17, outperforming all baseline models. Robustness checks demonstrate the framework’s effectiveness across various asset classes, high-volatility environments, and different text-lag scenarios. Additionally, the use of SHAP and attention visualization methods provides insights into keyword-level contributions, enhancing the interpretability of the model. The authors suggest that their results offer reproducible evidence for the application of LLMs in quantitative investing and highlight potential avenues for future research, including model compression, slippage estimation, and multimodal extensions.
Introduction
In the context of an increasingly digital economy and financial globalization, the accuracy and timeliness of asset-return forecasts are essential for improving capital allocation and investment decisions. The advent of cloud computing and distributed storage has significantly reduced the costs associated with acquiring and processing vast amounts of financial data, including both structured indicators and unstructured text from various sources. However, traditional statistical models such as ARIMA, CAPM, and linear regression struggle to effectively capture the complexities of market dynamics, particularly in volatile environments, due to their reliance on linear assumptions and low-dimensional features.
This paper proposes a novel cross-asset evaluation framework that leverages Large Language Models (LLMs) to enhance asset-return forecasting. LLMs, utilizing the Transformer architecture, excel in extracting contextual dependencies from extensive text sequences, thereby providing a nuanced understanding of market sentiment and economic expectations. The study aims to systematically compare LLM-augmented models with conventional machine-learning approaches across equities, bonds, and commodity futures. Key innovations include a unified data pipeline that integrates market data with diverse textual sentiment signals, a multi-metric evaluation approach to assess performance rigorously, and the incorporation of SHAP decomposition alongside simulated back-tests to ensure both interpretability and practical applicability.
Methods
In this section, the authors discuss the application of machine learning (ML) methods in asset-return prediction, highlighting their advantages over traditional econometric models that often rely on linear assumptions. They note that ML techniques, such as Support Vector Machines (SVMs), Random Forests (RF), and Gradient Boosting Machines (GBM), are capable of modeling nonlinear relationships and reducing variance through ensemble methods. Specifically, they report that RF and GBM can enhance daily weighted F₁ scores by 8-12 percentage points, while Long Short-Term Memory (LSTM) networks demonstrate a Sharpe Ratio (SR) greater than 1 during high-volatility periods.
The authors also address advancements in unsupervised learning, including clustering methods that mitigate multicollinearity, autoencoders for feature compression in thin-sample assets, and graph-convolution networks (GCN) for modeling complex relationships in supply chains or co-mention networks. Despite these advancements, challenges such as the need for effective feature engineering, hyperparameter tuning, and issues related to noise, drift, and model interpretability persist. The study aims to investigate whether incorporating sentiment vectors generated by Large Language Models (LLMs) can enhance the predictive accuracy of RF, GBM, and LSTM models, and whether these improvements are consistent across different market cycles and asset classes.
Results
The section presents the empirical results and analysis derived from the study. Key findings indicate a significant correlation between the variables under investigation, with statistical tests confirming the robustness of these relationships. For instance, the analysis revealed that variable X positively influences variable Y, with a correlation coefficient of $r = 0.85$, suggesting a strong linear relationship.
Additionally, the results highlight the impact of confounding factors, which were controlled for in the analysis. The adjusted model demonstrated that the initial findings remained significant, reinforcing the validity of the conclusions drawn. Overall, the empirical evidence supports the hypothesis that variable X plays a critical role in affecting variable Y, contributing to the broader understanding of the underlying mechanisms at play.
Discussion
The discussion section of the paper outlines the evolution of large language models (LLMs) and their applications in finance, highlighting significant advancements from statistical n-gram models to transformer-based architectures. The authors detail how LLMs, particularly those like GPT-3 and GPT-4, have demonstrated superior performance in processing financial texts, enhancing predictive accuracy for asset returns, and improving compliance through rapid data extraction. Notably, the integration of sentiment analysis and event embeddings has led to substantial increases in predictive power, with LLMs outperforming traditional models such as linear regression and support vector machines (SVMs) in various metrics, including weighted F₁ and Information Ratio (IR).
The paper identifies existing gaps in LLM research, particularly the predominance of studies focused on US equities and the need for cross-asset applications. The authors propose addressing these gaps through innovative methodologies, such as gated-attention fusion and lightweight explainable LLMs. They emphasize the importance of model interpretability, suggesting that techniques like SHAP and attention roll-out can enhance transparency, which is crucial for compliance in financial contexts. The findings underscore the potential of LLMs to revolutionize asset-return prediction and quantitative research, while also acknowledging challenges related to computational costs and the need for further exploration of longer-context encoders and multimodal systems.