DOI: https://doi.org/10.19139/soic-2310-5070-3519
تاريخ النشر: 2026-03-10
المؤلف: Mourad Fariss وآخرون
الموضوع الرئيسي: طرق التنبؤ بسوق الأسهم
نظرة عامة
تبحث هذه الدراسة في دمج بنية Lambda-Lakehouse مع نماذج التعلم العميق لتعزيز دقة توقعات أسعار الذهب. يُعتبر الذهب من الأصول المالية الحيوية، حيث يعمل كملاذ آمن ومؤشر على استقرار السوق. تستخدم الدراسة بيانات تاريخية من 2004 إلى 2025، تتم معالجتها ضمن بيئة سحابية تجمع بين AWS S3 وApache Spark وDelta Lake وDatabricks. تم تقييم ثلاثة نماذج تنبؤية—ذاكرة طويلة وقصيرة المدى (LSTM) ووحدة متكررة مغلقة (GRU) وTransformer—باستخدام مقاييس مثل RMSE وMAE وMAPE و$R^2$. تشير النتائج إلى أن LSTM تفوقت على النماذج الأخرى، محققة RMSE قدره 0.0077 وMAE قدره 0.0047 و$R^2$ قدره 0.9984، خاصة خلال التحولات السوقية عندما تجاوزت الأسعار 2400 دولار أمريكي.
تخلص الدراسة إلى أن الإطار المقترح يدمج بنجاح بين دقة التنبؤ العالية وإمكانية إعادة التشغيل التشغيلية، وهو إنجاز نادر في توقعات المالية. بينما أظهرت LSTM أداءً متفوقًا في التقاط الاعتماديات طويلة الأجل والتكيف مع التغيرات السوقية، قدمت GRU مزايا في معالجة ذات زمن استجابة منخفض. نموذج Transformer، على الرغم من كونه أقل دقة في السيناريوهات أحادية المتغير، يحمل إمكانيات للتطبيقات متعددة المتغيرات في المستقبل. تؤكد البحث على أهمية دمج التعلم العميق ضمن بنية بيانات قوية، مع معالجة التحديات المتعلقة بالشفافية وإمكانية إعادة الإنتاج في تحليلات المالية. ستستكشف الأعمال المستقبلية إدخال البيانات في الوقت الحقيقي، وإدراج المتغيرات الاقتصادية الكلية، وتطوير وحدات الذكاء الاصطناعي القابلة للتفسير، مما يعزز الطبيعة التكميلية للتعلم العميق وهندسة البيانات الكبيرة في توقعات المالية.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على الدور المستمر للذهب كأصل مزدوج الغرض—يعمل كخزينة للقيمة وملاذ آمن خلال عدم الاستقرار الاقتصادي. يتأثر سعر الذهب بتفاعل معقد من عوامل العرض والطلب، بما في ذلك إنتاج التعدين، وإعادة التدوير، وإنتاج المجوهرات، ومؤشرات الاقتصاد الكلي مثل أسعار الفائدة الحقيقية وتوقعات التضخم. تؤكد التقلبات الأخيرة في سوق الذهب، خاصة في 2025، على حساسيته للتغيرات الاقتصادية العالمية، مما يجعله موضوعًا مثيرًا لأساليب التنبؤ المتقدمة.
تناقش الورقة تطور بنى البيانات لتوقعات المالية، خاصة الانتقال من النماذج التقليدية إلى نماذج Lambda وLakehouse. تسهل هذه البنى دمج عمليات التعلم الآلي (MLOps) مع تحسين قدرات معالجة البيانات، مما يعالج التحديات المتعلقة بالتحجيم وإمكانية إعادة الإنتاج. تؤكد الدراسة على الحاجة إلى بنية تحتية قوية لهندسة البيانات لدعم نماذج التعلم العميق في توقع أسعار الذهب، حيث ركزت الأبحاث الحالية بشكل كبير على التقدمات الخوارزمية مع إغفال الأطر التشغيلية اللازمة للنشر الفعال. من خلال اقتراح إطار عمل Lambda Lakehouse الذي يستخدم Apache Spark وDelta Lake وApache Airflow، تهدف الدراسة إلى تحسين كل من الأداء والموثوقية في توقع أسعار الذهب، مما يساهم بشكل كبير في مجالات هندسة البيانات وتحليلات المالية.
الطرق
توضح قسم المنهجية النهج المنظم المستخدم في البحث للتحقيق في الفرضيات المحددة. يتناول تصميم التجربة، بما في ذلك معايير اختيار المشاركين، وتقنيات جمع البيانات، والأساليب التحليلية المستخدمة لتفسير النتائج. استخدمت الدراسة مقاييس نوعية وكمية لضمان فهم شامل للظواهر قيد التحقيق.
شملت جمع البيانات استبيانات منظمة وتجارب محكومة، مع إجراء تحليلات إحصائية باستخدام أدوات البرمجيات لتقييم دلالة النتائج. تؤكد المنهجية على إمكانية التكرار والصرامة، مما يضمن إمكانية التحقق من النتائج من خلال الأبحاث المستقبلية. تم تعريف المقاييس والمتغيرات الرئيسية بوضوح، مما يسمح بالقياس الدقيق والمقارنة عبر ظروف مختلفة. بشكل عام، تم تصميم المنهجية لتوفير أدلة قوية تدعم استنتاجات البحث.
النتائج
تتناول قسم النتائج الاكتشافات التجريبية من ثلاثة نماذج تعلم عميق—ذاكرة طويلة وقصيرة المدى (LSTM) ووحدة متكررة مغلقة (GRU) وTransformer—التي تم تنفيذها ضمن بنية Lambda Lakehouse. تشمل التحليلات كل من مقاييس الأداء الكمية والرؤى النوعية، مع التركيز على جوانب مثل سلوك التقارب وقابلية تفسير النموذج.
تسلط المناقشة الضوء على العلاقة بين النتائج الخوارزمية وتصميم البنية، خاصة في سياق توقعات المالية على نطاق واسع. تهدف هذه التقييم الشامل إلى توفير فهم أعمق لكيفية أداء النماذج المختلفة والتقارب ضمن البنية المحددة، مما يساهم في تحسين قدرات التنبؤ في التطبيقات المالية.
المناقشة
تم بناء إطار التنبؤ المقترح على بنية Lambda Lakehouse، التي تدمج بشكل فعال بين طبقات الدفعات والسرعة لتسهيل كل من الاستجابة في الوقت الحقيقي وإمكانية إعادة الإنتاج التحليلية على نطاق واسع. تستخدم طبقة الدفعات، التي تستفيد من Amazon S3 للتخزين الدائم، بيانات أسعار الذهب التاريخية من خلال معالجة مسبقة موزعة باستخدام Apache Spark، بينما تلتقط طبقة السرعة التحديثات المتدفقة عبر Apache Kafka، مما يمكّن من إعادة تدريب النموذج في الوقت القريب. تضمن هذه البنية مصدرًا واحدًا للحقيقة وتدعم إمكانية إعادة الإنتاج العلمية، وهو أمر حاسم في البيئات المالية. يتم تنسيق سير العمل باستخدام Apache Airflow، ويتم تصور النتائج من خلال Microsoft Power BI، مما يوفر رؤى تفاعلية للمحللين وصانعي السياسات.
بينما يوفر إطار Lambda Lakehouse مزايا كبيرة في التحجيم والحوكمة، فإنه يقدم أيضًا تعقيدات تشغيلية، مثل الحاجة إلى تنسيق منسق لموارد موزعة وزيادة متطلبات التخزين بسبب قدرات Delta Lake المعاملات. تشير التحليلات المقارنة إلى أنه بينما قد تكون البنى الأبسط كافية للتجارب الاستكشافية، فإنها تفتقر إلى ميزات أساسية مثل التحكم في الإصدارات وقابلية التمديد في الوقت الحقيقي. تُظهر تقييم مقاييس أداء الإطار كفاءته في معالجة بيانات السلاسل الزمنية عالية التردد، مع الحفاظ على زمن استجابة منخفض وضمان قدرات تنبؤية قوية عبر نماذج الشبكات العصبية المختلفة، بما في ذلك هياكل LSTM وGRU وTransformer. في النهاية، تؤكد الدراسة على أهمية دمج تقنيات التعلم العميق المتقدمة مع بنية بيانات مصممة بشكل جيد لتحقيق توقعات مالية موثوقة وقابلة لإعادة الإنتاج.
DOI: https://doi.org/10.19139/soic-2310-5070-3519
Publication Date: 2026-03-10
Author(s): Mourad Fariss et al.
Primary Topic: Stock Market Forecasting Methods
Overview
This research investigates the integration of a Lambda-Lakehouse architecture with deep learning models to enhance the accuracy of gold price forecasting. Gold is recognized as a vital financial asset, serving both as a safe haven and a market stability indicator. The study utilizes historical data from 2004 to 2025, processed within a cloud-based environment that combines AWS S3, Apache Spark, Delta Lake, and Databricks. Three predictive models—Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), and Transformer—were evaluated using metrics such as RMSE, MAE, MAPE, and $R^2$. The findings indicate that LSTM outperformed the other models, achieving an RMSE of 0.0077, MAE of 0.0047, and $R^2$ of 0.9984, particularly excelling during market shifts when prices surpassed 2400 USD.
The study concludes that the proposed framework successfully merges high predictive accuracy with operational reproducibility, a rare achievement in financial forecasting. While LSTM demonstrated superior performance in capturing long-term dependencies and adapting to market changes, GRU offered advantages in low-latency processing. The Transformer model, although less accurate in univariate scenarios, holds potential for future multivariate applications. The research emphasizes the importance of integrating deep learning within a robust data architecture, addressing challenges related to transparency and reproducibility in financial analytics. Future work will explore real-time data ingestion, the inclusion of macroeconomic variables, and the development of explainable AI modules, reinforcing the complementary nature of deep learning and big data engineering in financial forecasting.
Introduction
The introduction of this research paper highlights the enduring role of gold as a dual-purpose asset—serving as a store of value and a safe haven during economic instability. The price of gold is influenced by a complex interplay of supply and demand factors, including mining output, recycling, jewelry production, and macroeconomic indicators such as real interest rates and inflation expectations. Recent volatility in the gold market, particularly in 2025, underscores its sensitivity to global economic shifts, making it a compelling subject for advanced forecasting methodologies.
The paper discusses the evolution of data architectures for financial forecasting, particularly the transition from traditional models to the Lambda and Lakehouse paradigms. These architectures facilitate the integration of machine learning operations (MLOps) with enhanced data handling capabilities, addressing challenges related to scalability and reproducibility. The study emphasizes the need for a robust data engineering infrastructure to support deep learning models in forecasting gold prices, as existing research has largely focused on algorithmic advancements while neglecting the operational frameworks necessary for effective deployment. By proposing a Lambda Lakehouse framework that utilizes Apache Spark, Delta Lake, and Apache Airflow, the research aims to improve both the performance and reliability of gold price forecasting, contributing significantly to the fields of data engineering and financial analytics.
Methods
The methodology section outlines the systematic approach employed in the research to investigate the specified hypotheses. It details the experimental design, including the selection criteria for participants, the data collection techniques, and the analytical methods utilized to interpret the results. The study employed both qualitative and quantitative measures to ensure a comprehensive understanding of the phenomena under investigation.
Data collection involved structured surveys and controlled experiments, with statistical analyses performed using software tools to assess the significance of the findings. The methodology emphasizes replicability and rigor, ensuring that the results can be validated by future research. Key metrics and variables were clearly defined, allowing for precise measurement and comparison across different conditions. Overall, the methodology is designed to provide robust evidence supporting the research conclusions.
Results
The results section details the experimental findings from three deep learning models—Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), and Transformer—implemented within the Lambda Lakehouse architecture. The analysis encompasses both quantitative performance metrics and qualitative insights, focusing on aspects such as convergence behavior and model interpretability.
The discussion highlights the relationship between the algorithmic outcomes and the architectural design, particularly in the context of large-scale financial forecasting. This comprehensive evaluation aims to provide a deeper understanding of how different models perform and converge within the specified architecture, ultimately contributing to improved forecasting capabilities in financial applications.
Discussion
The proposed forecasting framework is built on a Lambda Lakehouse architecture, which effectively integrates batch and speed layers to facilitate both real-time responsiveness and large-scale analytical reproducibility. The batch layer, utilizing Amazon S3 for durable storage, processes historical gold price data through distributed preprocessing with Apache Spark, while the speed layer captures streaming updates via Apache Kafka, enabling near-real-time model retraining. This architecture ensures a single source of truth and supports scientific reproducibility, crucial for financial environments. Workflows are orchestrated using Apache Airflow, and the results are visualized through Microsoft Power BI, providing interactive insights for analysts and policymakers.
While the Lambda Lakehouse framework offers significant advantages in scalability and governance, it also introduces operational complexities, such as the need for coordinated orchestration of distributed resources and increased storage requirements due to Delta Lake’s transactional capabilities. The comparative analysis indicates that while simpler architectures may suffice for exploratory experiments, they lack essential features like version control and real-time extensibility. The evaluation of the framework’s performance metrics demonstrates its efficiency in processing high-frequency time series data, maintaining low inference latency, and ensuring robust predictive capabilities across various neural network models, including LSTM, GRU, and Transformer architectures. Ultimately, the study underscores the importance of combining advanced deep learning techniques with a well-engineered data architecture to achieve reliable and reproducible financial forecasting.