DOI: https://doi.org/10.1186/s40854-025-00870-0
تاريخ النشر: 2025-11-27
المؤلف: Yeonchan Kang وآخرون
الموضوع الرئيسي: طرق التنبؤ بسوق الأسهم
نظرة عامة
تدرس هذه الدراسة فعالية نماذج التعلم الآلي في التنبؤ بعوائد الأسهم في السوق الكورية، مع التركيز على تأثير خصائص الشركات والمتغيرات الاقتصادية الكلية. تشير النتائج إلى أن النماذج المعتمدة على الأشجار تتفوق باستمرار على الأساليب الأكثر تعقيدًا في التعلم الآلي، لا سيما في البيئات المحدودة البيانات التي تتميز بها الأسواق الناشئة. من الجدير بالذكر أن التحليل يحدد الزخم لمدة 36 شهرًا (المشار إليه بـ $mom_{36m}$) كمتنبئ حاسم عبر نماذج مختلفة، حيث تكشف الرسوم البيانية للاعتماد الجزئي (PDP) وتوقعات الحالة الفردية (ICE) وتحليلات التأثيرات المحلية المتراكمة (ALE) عن تأثيرات عتبة تتناقص عند مستويات العائد الأعلى. وهذا يشير إلى علاقة غير خطية دقيقة بين الزخم وعوائد الأسهم.
تؤكد النتائج على أهمية استخدام الأساليب المعتمدة على التجميع في الأسواق المتقلبة التي تتميز ببيانات محدودة. تسلط الدراسة الضوء على التباين في أداء النماذج بين الأسواق الناشئة والأسواق المتقدمة، داعية إلى استراتيجيات تفسير مخصصة تعالج التحديات الفريدة للأولى. يُشجع الممارسون على استخدام الخوارزميات المعتمدة على الأشجار والتركيز على المتنبئين الرئيسيين لتحسين استراتيجيات الاستثمار وتقييم المخاطر. بالإضافة إلى ذلك، تدعو الأبحاث إلى تحسين توافر البيانات والشفافية من صانعي السياسات لتحسين كفاءة السوق. بشكل عام، تساهم هذه الدراسة في الأدبيات حول التعلم الآلي في المالية من خلال إظهار قيمة التفسير في التخفيف من المخاوف بشأن نماذج الصندوق الأسود واقتراح أن الأسواق الناشئة تتطلب أساليب نمذجة متميزة مقارنة بنظيراتها المتقدمة. قد تبني الأبحاث المستقبلية على هذه الرؤى من خلال التحقيق في متغيرات سوقية محددة أخرى أو أطر تفسير بديلة.
مقدمة
تسلط مقدمة ورقة البحث الضوء على أهمية فهم ديناميات عوائد الأسهم وآثارها على الممارسات المالية مثل نماذج التسعير، وتخصيص الأصول، وبناء المحافظ. غالبًا ما تفشل النظريات المالية التقليدية في التقاط العلاقات المعقدة وغير الخطية الموجودة في عوائد الأسهم، مما يدفع إلى التحول نحو أساليب التعلم الآلي (ML). تشير الدراسات الحديثة إلى أن أساليب التعلم الآلي فعالة في التنبؤ الاقتصادي وإدارة المحافظ، لا سيما في الأسواق الناشئة، التي تم استكشافها بشكل أقل مقارنة بالأسواق المتقدمة. تهدف هذه الدراسة إلى معالجة فجوتين حرجتين: الاستخدام المحدود للتعلم الآلي في الأسواق الناشئة والحاجة إلى التفسير في نماذج التعلم الآلي، وهو أمر ضروري لفهم العوامل المحركة وراء توقعات عوائد الأسهم.
يركز المؤلفون على سوق الأسهم الكورية كدراسة حالة، مفترضين أن أداء نماذج التعلم الآلي التنبؤية سيختلف عن ذلك في الأسواق المتقدمة بسبب خصائص السوق الفريدة وقيود البيانات. يجدون أن النماذج المعتمدة على الأشجار تتفوق على الشبكات العصبية في التنبؤ بعوائد الأسهم، لا سيما في سياق الأسواق الناشئة التي تتميز بزيادة التقلبات. بالإضافة إلى ذلك، تحدد الدراسة الزخم لمدة 36 شهرًا كمتنبئ رئيسي لعوائد الأسهم في كوريا، مما يبرز الديناميات المتميزة للأسواق الناشئة. من خلال استخدام طرق تفسير متنوعة، توضح الأبحاث العلاقات بين المتغيرات الرئيسية وعوائد الأسهم، مما يعزز الصلة العملية لنماذج التعلم الآلي لاستراتيجيات الاستثمار في هذه الأسواق. تساهم الدراسة في الأدبيات من خلال تقديم أدلة تجريبية على فعالية التعلم الآلي في الأسواق الناشئة وتقديم رؤى حول تفسير هذه النماذج.
الطرق
في هذه الدراسة، يتم استخدام مجموعة متنوعة من نماذج التعلم الآلي للتنبؤ بعوائد الأسهم، تتراوح من نماذج خطية بسيطة مثل الانحدار باستخدام المكونات الرئيسية (PCR)، وأقل المربعات الجزئية (PLS)، وElasticNet (ENet) إلى نماذج غير خطية أكثر تعقيدًا مثل الغابات العشوائية (RF)، وتعزيز التدرج المتطرف (XGB)، وآلة تعزيز التدرج الخفيف (LGBM)، والشبكات العصبية (NN). لا يقيم هذا النهج المنهجي أداء النموذج فحسب، بل يسعى أيضًا لفهم ملاءمة الهياكل المختلفة لخصائص الأسواق الناشئة. تشمل المنهجية تقنيات تقليل الأبعاد لإدارة فضاءات الميزات عالية الأبعاد مع ضمان التفسير، وطرق التعلم الآلي القابلة للتفسير مثل أهمية الميزات بالتبديل (PFI)، SHAP، LIME، الرسوم البيانية للاعتماد الجزئي (PDP)، توقعات الحالة الفردية (ICE)، والتأثيرات المحلية المتراكمة (ALE) لتوضيح قرارات النموذج وأهمية الميزات.
يتم تأطير النموذج التنبؤي لعوائد الأسهم رياضيًا كـ \( r_{i,t+1} = E_t[r_{i,t+1}] + e_{i,t+1} \)، حيث يتم تقدير \( E_t[r_{i,t+1}] \) باستخدام متجه من المتنبئين \( x_{i,t} \). يتم استخدام وظائف خسارة متنوعة، بما في ذلك متوسط الخطأ التربيعي (MSE) وخسارة هوبر، لتدريب النماذج، حيث تكون الأخيرة فعالة بشكل خاص في التعامل مع القيم الشاذة. كما تقارن الدراسة الانحدار الخطي ضد النماذج الأكثر تعقيدًا لتقييم الفوائد الإضافية للتقنيات المتقدمة في التنبؤ المالي. يتم إجراء ضبط المعلمات الفائقة من خلال البحث الشبكي، ويتم استخدام مقياس \( R^2 \) خارج العينة لتقييم الأداء التنبؤي، مما يضمن تقييمًا قويًا عبر شركات وفترات زمنية مختلفة.
لمعالجة قابلية تفسير نماذج التعلم الآلي، تستخدم الأبحاث تقنيات تصور متعددة. تحدد PFI المتغيرات المهمة التي تؤثر على التوقعات، بينما توفر PDP وICE رؤى حول العلاقات بين المتنبئين والنتائج المتوقعة. بالإضافة إلى ذلك، تقدم ALE منظورًا عالميًا حول تأثيرات الميزات، مما يقلل من التحيزات الموجودة في PDP. تعزز SHAP وLIME قابلية التفسير من خلال تقديم رؤى عالمية ومحلية حول عمليات اتخاذ القرار للنموذج، مما يسهل فهمًا أعمق للتفاعلات المعقدة داخل مجموعات البيانات المالية.
النتائج
في التحليل التجريبي المقدم، يتم استخدام قيم $R^2$ خارج العينة لتقييم أداء نماذج التعلم الآلي المختلفة في التنبؤ بعوائد الأسهم في السوق الكورية. تشير النتائج إلى أن نموذج المربعات العادية البسيط (OLS) مع خسارة هوبر يؤدي بشكل ضعيف، على الأرجح بسبب قيوده في التقاط أنماط البيانات المعقدة. بالمقابل، يظهر نموذج Elastic Net (ENet) أداءً محسنًا، بينما تحقق الطرق التي تم تقليل أبعادها، لا سيما الانحدار باستخدام المكونات الرئيسية (PCR)، تحسينات كبيرة في دقة التنبؤ. تظهر النماذج غير الخطية، لا سيما الأساليب المعتمدة على الأشجار مثل الغابات العشوائية (RF) وتعزيز التدرج (XGB، LGBM)، أداءً متفوقًا مقارنة بالشبكات العصبية، التي تتطلب بيانات أكثر شمولاً للاستفادة الكاملة من قدراتها.
يكشف التحليل أن نماذج التعلم الآلي عمومًا تظهر قيم $R^2$ خارج العينة أقل في السوق الكورية مقارنة بالأسواق المتقدمة، مما يشير إلى أن فعالية هذه النماذج قد تكون مقيدة بفترات البيانات الأقصر في الأسواق الناشئة. يتم ملاحظة اتساق الأداء عبر شرائح مختلفة من رسملة السوق، حيث تظهر الشركات الأكبر أداءً مطلقًا أفضل. تشير النتائج إلى أن النماذج المعتمدة على الأشجار تتفوق باستمرار على الشبكات العصبية، التي تتطلب موارد أكثر بسبب هياكلها المعقدة. بالإضافة إلى ذلك، تستخدم الدراسة طريقة أهمية الميزات بالتبديل (PFI) لتحديد المتغيرات الرئيسية التي تؤثر على توقعات عوائد الأسهم، مما يبرز أهمية الزخم لمدة 36 شهرًا بين عوامل أخرى، وبالتالي تقديم رؤى حول ديناميات السوق المالية الكورية.
المناقشة
ت outlines قسم المناقشة في ورقة البحث بناءً وتحليل مجموعة بيانات شاملة تتكون من خصائص الشركات والمتغيرات الاقتصادية الكلية من 2005 إلى 2022، مع التركيز على 3,616 شركة مدرجة في بورصة كوريا. تتضمن مجموعة البيانات 80 خاصية للشركات، تم تعديلها من الأدبيات الموجودة، و10 متغيرات اقتصادية كلية، مع التركيز على ضمان التوافق مع معايير المحاسبة الكورية. تستخدم الدراسة نماذج تعلم آلي متنوعة للتنبؤ بعوائد الأسهم الشهرية الزائدة، كاشفة أن النماذج المعتمدة على الأشجار، مثل الغابات العشوائية (RF) وتعزيز التدرج المتطرف (XGB)، تتفوق على الشبكات العصبية الأكثر تعقيدًا في هذا السياق الخاص بالسوق الناشئة. تتناقض هذه النتيجة مع الاتجاهات الملحوظة في الأسواق المتقدمة، حيث تتفوق النماذج المعقدة عادةً بسبب مجموعات البيانات الأكبر.
تؤكد التحليل على أهمية المتغيرات المتعلقة بالزخم، لا سيما الزخم لمدة 36 شهرًا (mom36m)، الذي يظهر تأثيرًا مهيمنًا باستمرار عبر مواصفات نماذج مختلفة. تستخدم الدراسة طرق تفسير متعددة—أهمية الميزات بالتبديل (PFI)، SHAP، وLIME—لتوضيح القوة التنبؤية لمختلف الميزات، مما يبرز التأثير غير المتناظر لـ mom36m على عوائد الأسهم. من الجدير بالذكر أن النتائج تشير إلى أن فعاليتها تتناقص بالنسبة للأسهم ذات العوائد العالية، مما يشير إلى الحاجة لاستراتيجيات تداول مخصصة تأخذ في الاعتبار العلاقات غير الخطية. تدعو النتائج إلى استخدام نماذج أبسط، معتمدة على الأشجار في الأسواق الناشئة ذات البيانات المحدودة، بينما توصي أيضًا بتحسين توافر البيانات والشفافية لتحسين كفاءة السوق. بشكل عام، تساهم هذه الأبحاث في فهم تطبيقات التعلم الآلي في المالية، لا سيما في سياق الأسواق الناشئة، وتؤكد على أهمية تفسير النموذج في معالجة التحديات التي تطرحها الخوارزميات المعقدة.
DOI: https://doi.org/10.1186/s40854-025-00870-0
Publication Date: 2025-11-27
Author(s): Yeonchan Kang et al.
Primary Topic: Stock Market Forecasting Methods
Overview
This study investigates the efficacy of machine learning models in predicting stock returns within the Korean market, focusing on the impact of firm characteristics and macroeconomic variables. The results indicate that tree-based models consistently outperform more complex machine learning approaches, particularly in data-constrained environments typical of emerging markets. Notably, the analysis identifies the 36-month momentum (denoted as $mom_{36m}$) as a critical predictor across various models, with partial dependence plots (PDP), individual conditional expectation (ICE), and accumulated local effects (ALE) analyses revealing threshold effects that diminish at higher return levels. This suggests a nuanced, nonlinear relationship between momentum and stock returns.
The findings emphasize the importance of employing ensemble-based methods in volatile markets characterized by limited data. The study highlights the divergence in model performance between emerging and developed markets, advocating for tailored interpretability strategies that address the unique challenges of the former. Practitioners are encouraged to utilize tree-based algorithms and focus on key predictors to optimize investment strategies and risk assessments. Additionally, the research calls for enhanced data availability and transparency from policymakers to improve market efficiency. Overall, this work contributes to the literature on machine learning in finance by demonstrating the value of interpretability in mitigating concerns about black-box models and suggesting that emerging markets require distinct modeling approaches compared to their developed counterparts. Future research may build on these insights by investigating further market-specific variables or alternative interpretability frameworks.
Introduction
The introduction of the research paper highlights the significance of understanding stock return dynamics and their implications for financial practices such as pricing models, asset allocation, and portfolio construction. Traditional financial theories often fall short in capturing the complex, nonlinear relationships present in stock returns, prompting a shift towards machine learning (ML) approaches. Recent studies indicate that ML methods are effective in economic forecasting and portfolio management, particularly in emerging markets, which have been less explored compared to developed ones. This study aims to address two critical gaps: the underutilization of ML in emerging markets and the need for interpretability in ML models, which is essential for understanding the driving factors behind stock return predictions.
The authors focus on the Korean equity market as a case study, positing that the predictive performance of ML models will differ from that in developed markets due to unique market characteristics and data limitations. They find that tree-based models outperform neural networks in predicting stock returns, particularly in the context of emerging markets characterized by higher volatility. Additionally, the study identifies 36-month momentum as a key predictor of stock returns in Korea, emphasizing the distinct dynamics of emerging markets. By employing various interpretability methods, the research elucidates the relationships between key variables and stock returns, thereby enhancing the practical relevance of ML models for investment strategies in these markets. The study contributes to the literature by providing empirical evidence on the effectiveness of ML in emerging markets and offering insights into the interpretability of these models.
Methods
In this study, a diverse array of machine learning models is employed to predict stock returns, ranging from simple linear models like Principal Component Regression (PCR), Partial Least Squares (PLS), and ElasticNet (ENet) to more complex nonlinear models such as Random Forest (RF), eXtreme Gradient Boosting (XGB), Light Gradient Boosting Machine (LGBM), and Neural Networks (NN). This systematic approach not only evaluates model performance but also seeks to understand the suitability of different architectures for the characteristics of emerging markets. The methodology includes dimension reduction techniques to manage high-dimensional feature spaces while ensuring interpretability, and interpretable machine learning methods like Permutation Feature Importance (PFI), SHAP, LIME, Partial Dependence Plots (PDP), Individual Conditional Expectation (ICE), and Accumulated Local Effects (ALE) to elucidate model decisions and feature importance.
The predictive model for stock returns is mathematically framed as \( r_{i,t+1} = E_t[r_{i,t+1}] + e_{i,t+1} \), where \( E_t[r_{i,t+1}] \) is estimated using a vector of predictors \( x_{i,t} \). Various loss functions, including Mean Squared Error (MSE) and Huber loss, are utilized to train the models, with the latter being particularly effective in handling outliers. The study also benchmarks linear regression against more complex models to assess the incremental benefits of advanced techniques in financial forecasting. Hyperparameter tuning is conducted through grid search, and the out-of-sample \( R^2 \) metric is employed to evaluate predictive performance, ensuring robust assessment across different firms and time periods.
To address the interpretability of machine learning models, the research employs multiple visualization techniques. PFI identifies significant variables influencing predictions, while PDP and ICE provide insights into the relationships between predictors and predicted outcomes. Additionally, ALE offers a global perspective on feature effects, mitigating biases present in PDP. SHAP and LIME further enhance interpretability by providing both global and local insights into model decision-making processes, thereby facilitating a deeper understanding of the complex interactions within financial datasets.
Results
In the empirical analysis presented, the out-of-sample $R^2$ values are utilized to evaluate the performance of various machine learning models in predicting stock returns in the Korean market. The results indicate that the simple Ordinary Least Squares (OLS) model with Huber loss performs poorly, likely due to its limitations in capturing complex data patterns. In contrast, the Elastic Net (ENet) model shows improved performance, while dimensionally reduced methods, particularly Principal Component Regression (PCR), yield significant enhancements in predictive accuracy. Nonlinear models, especially tree-based approaches such as Random Forest (RF) and Gradient Boosting (XGB, LGBM), demonstrate superior performance compared to neural networks, which require more extensive data to fully leverage their capabilities.
The analysis reveals that the machine learning models generally exhibit lower out-of-sample $R^2$ values in the Korean market compared to developed markets, suggesting that the effectiveness of these models may be constrained by shorter data periods in emerging markets. Performance consistency is observed across different market capitalization segments, with larger firms showing better absolute performance. The findings indicate that tree-based models consistently outperform neural networks, which are more resource-intensive due to their complex architectures. Additionally, the study employs the Permutation Feature Importance (PFI) method to identify key variables influencing stock return predictions, highlighting the importance of 36-month momentum among other factors, thereby providing insights into the dynamics of the Korean financial market.
Discussion
The discussion section of the research paper outlines the construction and analysis of a comprehensive dataset comprising firm characteristics and macroeconomic variables from 2005 to 2022, focusing on 3,616 firms listed on the Korea Exchange. The dataset includes 80 firm characteristics, adapted from existing literature, and 10 macroeconomic variables, with an emphasis on ensuring compatibility with Korean accounting standards. The study employs various machine learning models to predict monthly excess stock returns, revealing that tree-based models, such as Random Forest (RF) and eXtreme Gradient Boosting (XGB), outperform more complex neural networks in this emerging market context. This finding contrasts with trends observed in developed markets, where complex models typically excel due to larger datasets.
The analysis emphasizes the significance of momentum-related variables, particularly the 36-month momentum (mom36m), which consistently demonstrates a dominant influence across different model specifications. The study employs multiple interpretability methods—Permutation Feature Importance (PFI), SHAP, and LIME—to elucidate the predictive power of various features, highlighting the asymmetric impact of mom36m on stock returns. Notably, the results indicate that its effectiveness diminishes for high-return stocks, suggesting the need for tailored trading strategies that account for nonlinear relationships. The findings advocate for the use of simpler, tree-based models in emerging markets with limited data, while also recommending enhancements in data availability and transparency to improve market efficiency. Overall, this research contributes to the understanding of machine learning applications in finance, particularly within the context of emerging markets, and underscores the importance of model interpretability in addressing the challenges posed by complex algorithms.