التحقق المتقاطع التكيفي تحت انزياح المفهوم لتوقعات السلاسل الزمنية Adaptive Cross-Validation Under Concept Drift for Time Series Forecasting

شارك:
المجلة: Journal of Computer Science، المجلد: 22، العدد: 7
DOI: https://doi.org/10.3844/jcssp.2026.2104.2117
تاريخ النشر: 2026-07-01
المؤلف: Kunjira Kingphai وآخرون
الموضوع الرئيسي: طرق التنبؤ بسوق الأسهم

نظرة عامة

تقدم ورقة البحث إطار تقييم جديد يسمى التحقق المتكيف من السلاسل الزمنية (ATSCV)، والذي تم تصميمه لمعالجة التحديات المتعلقة بالبيانات غير الثابتة في توقع السلاسل الزمنية. تؤدي طرق التحقق التقليدية، مثل التحقق المستقل والموزع (i.i.d.) وبروتوكولات النوافذ الثابتة، غالبًا إلى تقديرات خاطئة للأخطاء بسبب عدم قدرتها على حساب التغيرات التوزيعية. يستخدم ATSCV اكتشاف نقطة التغيير الإحصائية لتقسيم السلاسل الزمنية إلى أنظمة تقريبية ثابتة، مما يسمح بإنشاء طيات متسلسلة تحترم هذه الحدود. تؤدي هذه الطريقة إلى تقييمات محكومة بالتسرب وتقديرات أداء أكثر دقة خارج العينة، كما يتضح من خلال التقييمات التجريبية على خمس سلاسل زمنية للأسهم وأربع فئات من النماذج، حيث قلل ATSCV باستمرار من RMSE و MAE بنسبة 30-50% مقارنة بالأسس العمياء.

تسلط النتائج الضوء على أهمية توافق بروتوكولات التقييم مع ديناميات البيانات، مما يكشف أن فوائد ATSCV تعتمد على سلوك الأصول الأساسية. تؤكد الورقة على ثلاث توصيات رئيسية للممارسين: توافق الطيات مع حدود الأنظمة، ومعايرة حساسية اكتشاف الانجراف بناءً على أهداف النموذج، واستخدام جداول إعادة التدريب الديناميكية المستندة إلى تشخيصات ATSCV. بينما تم التحقق منها في السياقات المالية، فإن إطار ATSCV قابل للتكيف مع مجالات متنوعة، مما يشير إلى تطبيقات محتملة في إنترنت الأشياء الصناعي والمراقبة السريرية. بشكل عام، يوفر هذا العمل تقدمًا كبيرًا في منهجيات تقييم النماذج، حيث يعالج التحيز المتفائل للطرق التقليدية ويضع الأساس لتقديرات أداء أكثر موثوقية في البيئات غير الثابتة.

مقدمة

تناقش مقدمة الورقة المراحل الحرجة المت involved في تطوير نموذج تعلم الآلة (ML)، مع التأكيد على أهمية التدريب والتقييم للتعميم على البيانات غير المرئية. تفترض تقنيات التحقق التقليدية، مثل تقسيمات التدريب/الاختبار العشوائية والتحقق المتقاطع باستخدام k-fold، أن نقاط البيانات مستقلة وموزعة بشكل متطابق (i.i.d.)، وهو ما غالبًا ما يتم انتهاكه في بيانات السلاسل الزمنية بسبب الاعتماد الزمني. يمكن أن يؤدي هذا الانتهاك إلى تسرب المعلومات وتقديرات أداء متحيزة عند استخدام التحقق المتقاطع المعتمد على الخلط. لمعالجة هذه القضايا، تم اقتراح طرق التحقق المتقاطع للسلاسل الزمنية (TSCV)، مثل النوافذ المتوسعة والدورانية، للحفاظ على الترتيب الزمني. ومع ذلك، لا تزال هذه الطرق تتأثر بتغيرات المتغيرات، حيث يتغير توزيع الميزات بمرور الوقت، مما يتطلب إطار تقييم أكثر تكيفًا.

تقدم الورقة إطار التحقق المتكيف من السلاسل الزمنية (ATSCV)، الذي يدمج اكتشاف نقطة التغيير الإحصائية مع الطيات المتسلسلة لتوافق أفضل بين التحقق والتغيرات المكتشفة في البيانات. يحدد المؤلفون ثلاث مساهمات رئيسية: تطوير بروتوكول ATSCV مستند إلى الإحصائيات يتكيف مع عدم الثبات، وتحليل رسمي للتحيزات التي أدخلتها طرق التحقق التقليدية العمياء، وإظهار فعالية ATSCV في تقييم تكيف النموذج في سياقات التوقع. يتم تقييم الإطار مقابل نماذج متنوعة، بما في ذلك الانحدار الخطي ونماذج التسلسل مثل RNNs و LSTMs و GRUs، باستخدام بيانات الأسهم المتقلبة. بالإضافة إلى ذلك، تم إظهار أن ATSCV قابل للتطبيق خارج المجالات المالية، حيث حقق أداءً محسنًا في مجموعات البيانات غير الثابتة من سياقات الطاقة والبيئة، مما يؤكد مرونته وفعاليته في التكيف مع أنواع مختلفة من الانجراف.

الطرق

في هذا القسم، يقدم المؤلفون إطار ATSCV، المصمم لتقييم أداء النموذج في البيئات غير الثابتة. يستخدم ATSCV خوارزمية ADWIN لاكتشاف انجراف البيانات، مما يمكّن من تقسيم السلاسل الزمنية إلى مقاطع متجاورة تقريبًا ثابتة. تتناقض هذه الطريقة مع طرق التحقق التقليدية التي تعمل تحت افتراض توزيع بيانات ثابت. من خلال توافق حدود الطيات مع نقاط التغيير المحددة إحصائيًا، يضمن ATSCV أن الطيات التدريبية والتحقق لا تتداخل مع تغيرات الأنظمة، مما يعزز موثوقية تقديرات الأخطاء خارج العينة.

تم التحقق من فعالية إطار ATSCV من خلال تطبيقه على بيانات السلاسل الزمنية المالية، حيث تم مقارنته بأساس عمياء قياسي. تظهر النتائج أن بناء ATSCV للطيات المحكومة بالتسرب والمتسقة زمنيًا يوفر تقييمات أكثر دقة لأداء النموذج في ظل وجود توزيعات بيانات متطورة.

النتائج

يستعرض قسم النتائج في الورقة التقييم التجريبي لإطار اكتشاف وتصور تغير السلاسل الزمنية المتكيف (ATSCV)، وهيكلها في ثلاث مراحل رئيسية: اختيار الكاشف، تحسين المعلمات، وعرض النتائج التجريبية الرئيسية. في البداية، يقارن المؤلفون بين ثلاثة كاشفات انجراف مختلفة لتبرير اختيار كاشف ADWIN. بعد ذلك، يتم إجراء تحليل حساسية لتحديد التكوين الأمثل لـ ADWIN. أخيرًا، يختتم القسم بالإبلاغ عن النتائج الرئيسية، التي تشمل أصولًا ونماذج ومجالات متنوعة، مما يوفر نظرة شاملة على أداء الإطار عبر سياقات مختلفة.

المناقشة

في قسم المناقشة، تتناول الورقة تحديات تقييم النموذج في البيئات غير الثابتة، مع التركيز بشكل خاص على عدم كفاية طرق التحقق المتقاطع للسلاسل الزمنية التقليدية (TSCV) التي تفترض بيانات مستقلة وموزعة بشكل متطابق (i.i.d.). يشير المؤلفون إلى أنه بينما تحافظ بروتوكولات TSCV، مثل النوافذ المتوسعة والدورانية، على النزاهة الزمنية، إلا أنها عرضة لتغيرات المتغيرات—حيث تتغير الخصائص الإحصائية للمتغيرات المدخلة بمرور الوقت. يمكن أن يؤدي هذا عدم التوافق إلى نتائج تحقق مضللة، حيث قد تؤدي النماذج المدربة على بيانات ما قبل التغير إلى أداء ضعيف على بيانات ما بعد التغير. يجادل المؤلفون بأن الأدبيات الحالية قد ركزت بشكل أساسي على تكييف النماذج للتعامل مع مثل هذه التغيرات، متجاهلة الحاجة إلى تحسين طرق التقييم، مما يخلق فجوة بحثية كبيرة.

لمعالجة هذه الفجوة، يقترح المؤلفون إطار التحقق المتكيف من السلاسل الزمنية (ATSCV) الذي يوافق ديناميكيًا بين طيات التحقق مع التغيرات النظامية المكتشفة باستخدام خوارزمية اكتشاف الانجراف ADWIN. تضمن هذه الطريقة أن يمثل كل طية نظامًا متماسكًا إحصائيًا، مما يسمح بتقييم أكثر دقة لأداء النموذج ونقاط ضعفه تجاه الانقطاعات الهيكلية. يؤكد القسم على أهمية تطوير بروتوكولات التقييم التي تستجيب لعمليات توليد البيانات الأساسية، مما يعزز موثوقية تقديرات الأداء في ظل وجود انجراف المفاهيم. يختتم المؤلفون بتحديد الحاجة إلى إطار تحقق متقاطع يتكيف مع الظروف غير الثابتة، مما يحسن من قوة تقييم النموذج في التطبيقات العملية.

Journal: Journal of Computer Science, Volume: 22, Issue: 7
DOI: https://doi.org/10.3844/jcssp.2026.2104.2117
Publication Date: 2026-07-01
Author(s): Kunjira Kingphai et al.
Primary Topic: Stock Market Forecasting Methods

Overview

The research paper introduces Adaptive Time-Series Cross-Validation (ATSCV), a novel evaluation framework designed to address the challenges of non-stationary data in time-series forecasting. Traditional validation methods, such as i.i.d. validation and fixed-window protocols, often lead to biased error estimates due to their inability to account for distributional changes. ATSCV employs statistical change-point detection to segment time series into approximately stationary regimes, allowing for forward-chaining folds that respect these boundaries. This approach results in leakage-controlled evaluations and more accurate out-of-sample performance estimates, as demonstrated through empirical evaluations on five equity time series and four model classes, where ATSCV consistently reduced RMSE and MAE by 30-50% compared to drift-blind baselines.

The findings highlight the importance of aligning evaluation protocols with data dynamics, revealing that the benefits of ATSCV are contingent on the underlying asset behavior. The paper emphasizes three key recommendations for practitioners: aligning folds to regime boundaries, calibrating drift detection sensitivity based on model objectives, and utilizing dynamic retraining schedules informed by ATSCV diagnostics. While validated in financial contexts, the ATSCV framework is adaptable to various domains, suggesting potential applications in industrial IoT and clinical monitoring. Overall, this work provides a significant advancement in model evaluation methodologies, addressing the optimistic bias of traditional methods and laying the groundwork for more reliable performance estimation in non-stationary environments.

Introduction

The introduction of the paper discusses the critical stages involved in developing a Machine Learning (ML) model, emphasizing the importance of training and evaluation for generalization to unseen data. Traditional validation techniques, such as random train/test splits and k-fold cross-validation, assume that data points are independent and identically distributed (i.i.d.), which is often violated in time-series data due to temporal dependencies. This violation can lead to information leakage and biased performance estimates when using shuffle-based cross-validation. To address these issues, Time-Series Cross-Validation (TSCV) methods, such as expanding and rolling windows, have been proposed to maintain temporal order. However, these methods can still be affected by covariate shifts, where the feature distribution changes over time, necessitating a more adaptive evaluation framework.

The paper introduces the Adaptive Time-Series Cross-Validation (ATSCV) framework, which integrates statistical change-point detection with forward-chaining folds to better align validation with detected shifts in data. The authors outline three main contributions: the development of a statistically grounded ATSCV protocol that adapts to non-stationarity, a formal analysis of the biases introduced by traditional drift-blind validation, and the demonstration of ATSCV’s effectiveness in evaluating model adaptability in forecasting contexts. The framework is benchmarked against various models, including linear regression and sequence models like RNNs, LSTMs, and GRUs, using volatile equity data. Additionally, ATSCV is shown to be applicable beyond financial domains, achieving improved performance in non-stationary datasets from energy and environmental contexts, thus confirming its versatility and effectiveness in adapting to different types of drift.

Methods

In this section, the authors introduce the ATSCV framework, designed to assess model performance in nonstationary environments. ATSCV employs the ADWIN algorithm to detect data drift, enabling the segmentation of time series into contiguous, approximately stationary segments. This approach contrasts with traditional validation methods that operate under the assumption of a static data distribution. By aligning fold boundaries with statistically identified change points, ATSCV ensures that training and validation folds do not overlap with regime shifts, thereby enhancing the reliability of out-of-sample error estimates.

The effectiveness of the ATSCV framework is validated through its application to financial time series data, where it is compared against a standard drift-blind baseline. The results demonstrate that ATSCV’s construction of leakage-controlled, temporally consistent folds provides more accurate assessments of model performance in the presence of evolving data distributions.

Results

The results section of the paper details the empirical evaluation of the Adaptive Time-Series Change Detection and Visualization (ATSCV) framework, structured into three key stages: detector selection, parameter optimization, and the presentation of main experimental results. Initially, the authors compare three different drift detectors to justify the selection of the ADWIN detector. Following this, a sensitivity analysis is conducted to identify the optimal configuration for ADWIN. Finally, the section culminates in the reporting of the primary findings, which encompass various assets, models, and domains, thereby providing a comprehensive overview of the framework’s performance across different contexts.

Discussion

In the discussion section, the paper addresses the challenges of model evaluation in non-stationary environments, particularly highlighting the inadequacies of traditional time-series cross-validation (TSCV) methods that assume independent and identically distributed (i.i.d.) data. The authors note that while TSCV protocols, such as expanding and rolling windows, maintain temporal integrity, they are vulnerable to covariate shifts—situations where the statistical properties of input variables change over time. This misalignment can lead to misleading validation scores, as models trained on pre-shift data may perform poorly on post-shift data. The authors argue that existing literature has predominantly focused on adapting models to handle such shifts, neglecting the need for improved evaluation methods, which creates a significant research gap.

To address this gap, the authors propose an Adaptive Time-Series Cross-Validation (ATSCV) framework that dynamically aligns validation folds with detected regime changes using the ADWIN drift detection algorithm. This approach ensures that each fold represents a statistically coherent regime, allowing for a more accurate assessment of model performance and vulnerabilities to structural breaks. The section emphasizes the importance of developing evaluation protocols that are responsive to the underlying data-generating processes, thereby enhancing the reliability of performance estimates in the presence of concept drift. The authors conclude by outlining the need for a cross-validation framework that adapts to non-stationary conditions, thereby improving the robustness of model evaluation in practical applications.