DOI: https://doi.org/10.1016/j.neucom.2026.132951
تاريخ النشر: 2026-02-03
المؤلف: Andrea Cossu وآخرون
الموضوع الرئيسي: تقنيات تعدين تدفقات البيانات
نظرة عامة
تقدم هذه القسم نظرة عامة على التعلم الآلي المتدفق (SML) والتعلم المستمر (CL)، مع التركيز على تمييزاتهما وأوجه التشابه بينهما. يقدم مفهوم التعلم المستمر المتدفق (SCL)، الذي يهدف إلى دمج المبادئ من كل من SML و CL في إطار متماسك. يقدم المؤلفون أدلة تجريبية لتأكيد ضرورة SCL، موضحين أن المنهجيات الحالية لـ SML و CL لا تعالج بشكل كاف الأهداف المزدوجة للتكيف السريع والاحتفاظ بالمعرفة.
في الختام، يعيد المؤلفون التأكيد على أهمية SCL، الذي يمكّن النماذج من التكيف بسرعة مع المعلومات الجديدة مع الحفاظ على المعرفة السابقة. يجادلون بأن لا SML ولا CL بمفردهما يكفيان لهذا الغرض، حيث يركز CL على توطيد المعرفة لتقليل النسيان، بينما يعطي SML الأولوية للتكيف السريع. تدعو الورقة إلى دمج هذه المناهج، خاصة في السياقات التي تكون فيها الارتباطات الزمنية وانجراف البيانات شائعة، مثل إنترنت الأشياء والروبوتات. يبرز المؤلفون إمكانية دمج استراتيجيات SML و CL، خاصة من خلال استخدام الشبكات العصبية المتكررة وطرق CL المعمارية، لنمذجة الاعتماديات الزمنية بفعالية وتعزيز التخصيص في النماذج التنبؤية. يختتمون بالإشارة إلى أن تحقيق توازن بين التكيف السريع والنسيان الانتقائي لا يزال تحديًا كبيرًا، مما يبرز أهمية أبحاث SCL.
مقدمة
تتناول مقدمة هذه الورقة البحثية التحديات التي تطرحها الزيادة الأسية في أنظمة البيانات الرقمية المترابطة، خاصة في سياق تدفقات البيانات الناتجة عن منصات مثل وسائل التواصل الاجتماعي وإنترنت الأشياء (IoT). تكافح نماذج التعلم الآلي التقليدية مع الطبيعة المستمرة والمتسلسلة لتدفقات البيانات، خاصة بسبب ظاهرة انجراف المفاهيم، حيث تتطور الخصائص الإحصائية للبيانات بمرور الوقت. يعقد هذا الانجراف تدريب النماذج على البيانات التاريخية، مما يتطلب التحول نحو التعلم المستمر الذي يمكن أن يتكيف مع المعلومات الجديدة مع إدارة معضلة الاستقرار-المرونة – موازنة الاحتفاظ بالمعرفة التي تم تعلمها سابقًا مع القدرة على تعلم مفاهيم جديدة.
تحدد الورقة فجوة في الأدبيات الحالية، مشيرة إلى أنه بينما يركز التعلم الآلي المتدفق (SML) على التكيف السريع مع المفاهيم الجديدة على حساب نسيان المعرفة السابقة، يركز التعلم المستمر (CL) على الحفاظ على المعرفة السابقة أثناء تعلم مفاهيم جديدة. لا تعالج أي من الطريقتين بمفردها تعقيدات التطبيقات الواقعية التي تتطلب كل من التكيف السريع والاحتفاظ بالمعرفة. لسد هذه الفجوة، يقترح المؤلفون التعلم المستمر المتدفق (SCL) كإطار موحد يدمج نقاط القوة لكل من SML و CL. توضح الورقة هيكله، الذي يتضمن مناقشات حول انجراف المفاهيم، SML، CL، والدافع لـ SCL، بهدف تقديم نظرة شاملة على الحالة الحالية للبحث والاتجاهات المستقبلية في هذا المجال الناشئ.
طرق
في هذا القسم، يحدد المؤلفون منهجيتهم التجريبية لمقارنة التعلم الآلي المتدفق (SML) وطرق التعلم المستمر عبر الإنترنت (OCL) باستخدام مجموعة بيانات MNIST تحت سيناريوهين: الانجراف الافتراضي والواقعي. يتضمن سيناريو الانجراف الافتراضي تغييرات مفاجئة في توزيع البيانات، حيث يجب على النموذج تصنيف صور الأرقام كزوجية أو فردية. يتم تمثيل كل رقم في مساحة إدخال ثنائية مبسطة بسبعة أبعاد، مشابهة لشاشة سبعة أجزاء، مما يسمح بفهم بديهي لكيفية إدخال الانجرافات الافتراضية حالات جديدة تشغل مناطق غير مرئية سابقًا من مساحة الإدخال مع الحفاظ على قواعد التصنيف المتسقة. في المقابل، يقدم سيناريو الانجراف الواقعي مهام تصنيف ثنائية متميزة (مثل: زوجي مقابل فردي، أولي مقابل غير أولي) باستخدام نفس توزيع الإدخال ولكن مع تغيير تعريفات المهام، مما يغير الاحتمالية الشرطية \( P(y_t | X_t) \) مع الحفاظ على \( P(X_t) \) ثابتة.
يقترح المؤلفون عدة فرضيات بشأن أداء استراتيجيات SML و OCL في مواجهة هذه الانجرافات، مع التركيز بشكل خاص على تحديات تقليل النسيان والتكيف مع المفاهيم الجديدة. يستخدمون درجة كابا لكوهين لتقييم أداء النموذج، خاصة في سيناريوهات التصنيف غير المتوازن، ويستخدمون طريقة تقييم مسبقة لتحديث الدرجات تدريجيًا مع معالجة نقاط البيانات الجديدة. كما تفحص الدراسة استراتيجيات متنوعة، بما في ذلك إعادة تجربة الخبرة (ER) وذاكرة التدرج المتوسطة (AGEM)، إلى جانب مصنف بسيط ونموذج غابة عشوائية تكيفية (ARF). يتم تبرير اختيار هذه المنهجيات بناءً على صلتها بطبيعة الانجرافات الواقعية والفرضيات الموضوعة، مع توقع أن استراتيجيات CL التقليدية قد تواجه صعوبة تحت ظروف الانجراف الواقعي، مما يؤدي إلى إشارات تدرج متناقضة تعيق تقارب النموذج.
نتائج
في قسم النتائج، تقيم الدراسة أداء نماذج متنوعة تحت سيناريوهات الانجراف الافتراضي والواقعي، باستخدام كل من التقييم المسبق والتعلم المستمر (CL). تشير النتائج إلى أنه في سيناريو الانجراف الافتراضي، يكون نموذج شجرة القرار أقل أداءً مقارنة بالشبكة العصبية، حيث تحقق الغابة العشوائية التكيفية (ARF) دقة مسبقة أقل من المصنف البسيط. من الجدير بالذكر أنه بينما يتكيف ARF بسرعة مع نقاط البيانات الأولية بعد الانجراف، فإنه يعاني من نسيان كارثي للمفاهيم السابقة، وهو اتجاه لوحظ أيضًا في المصنف البسيط. تظهر طريقة إعادة تجربة الخبرة (ER) استقرارًا في تقليل النسيان ولكن على حساب تقليل المرونة، مما يتماشى مع توازن الاستقرار-المرونة.
في المقابل، يكشف سيناريو الانجراف الواقعي أن أشجار القرار تتفوق على الشبكات العصبية، حيث يؤدي AGEM أداءً مشابهًا للمصنف البسيط، مما يشير إلى عدم وجود تحسين ذي معنى. يظهر كل من AGEM والمصنف البسيط احتفاظًا ضعيفًا بالمعرفة السابقة، حيث يكافحان للتوفيق بين إشارات التدريب المتناقضة من المفاهيم السابقة. تؤكد النتائج فرضيات البحث: H1 تؤكد أن المصنف البسيط أكثر مرونة من استراتيجيات CL؛ H2 تبرز الأداء الضعيف لـ ARF؛ H3 تشير إلى أن AGEM و ER لا يمكنهما تجنب النسيان بفعالية في سيناريو الانجراف الواقعي؛ و H4 تختتم بأن فعالية AGEM قابلة للمقارنة مع تلك الخاصة بالمصنف البسيط، حيث تواجه ER أيضًا تحديات في تعلم المفاهيم الحالية.
مناقشة
في مناقشة تدفقات البيانات غير الثابتة، تميز الورقة بين نوعين من تدفقات البيانات: التدفقات الطبيعية، التي تتميز بتوليد بيانات في الوقت الحقيقي بشكل مستمر (مثل: مستشعرات IoT)، والتدفقات الاصطناعية، حيث يتم الوصول إلى البيانات بشكل تدريجي بسبب الأحجام الكبيرة. تعتبر مشكلة التصنيف محور التركيز الرئيسي، حيث يتم تمثيل نقاط البيانات كسلاسل مع متجهات ميزات مرتبطة وتسميات. تنشأ تحديات كبيرة من انجراف المفاهيم، الذي يشير إلى التغييرات في توزيع الاحتمالات الأساسية للبيانات بمرور الوقت. تصنف الورقة انجراف المفاهيم إلى فئتين: الانجراف الواقعي، الذي يغير حدود القرار، والانجراف الافتراضي، الذي يقدم توزيعات إدخال جديدة دون تغيير قواعد التصنيف الحالية. يقترح المؤلفون تصنيفًا دقيقًا لأنواع الانجراف الافتراضي، بما في ذلك الانجرافات التوسعية والانجرافات القريبة، مما يبرز الحاجة إلى نماذج للتكيف مع مساحات الإدخال الجديدة مع الحفاظ على المعرفة السابقة.
تسلط المناقشة الضوء أيضًا على آثار انجراف المفاهيم على التعلم الآلي المتدفق (SML) والتعلم المستمر (CL). يركز SML على التكيف في الوقت الحقيقي مع التغييرات في توزيع البيانات، وغالبًا ما يتجاهل المعرفة السابقة بعد الانجراف، بينما يركز CL على الاحتفاظ بالمعرفة ومكافحة النسيان الكارثي، خاصة في السيناريوهات التي لا تتداخل فيها المفاهيم. توضح الورقة استراتيجيات متنوعة مستخدمة في CL لتقليل النسيان، مثل استراتيجيات إعادة التجربة وطرق التنظيم، التي تهدف إلى الحفاظ على الأداء على المفاهيم التي تم تعلمها سابقًا. تختلف طرق التقييم لـ SML و CL بشكل كبير، حيث يستخدم SML التقييم المسبق ويركز CL على أداء التعميم عبر تجارب متعددة. بشكل عام، تؤكد الورقة على تعقيد إدارة انجراف المفاهيم في كل من سياقات SML و CL، داعية إلى فهم أعمق لديناميات الانجراف الافتراضي لتعزيز أداء النموذج في بيئات البيانات المتطورة.
DOI: https://doi.org/10.1016/j.neucom.2026.132951
Publication Date: 2026-02-03
Author(s): Andrea Cossu et al.
Primary Topic: Data Stream Mining Techniques
Overview
This section provides an overview of Streaming Machine Learning (SML) and Continual Learning (CL), emphasizing their distinctions and commonalities. It introduces the concept of Streaming Continual Learning (SCL), which aims to integrate principles from both SML and CL into a cohesive framework. The authors present empirical evidence to underscore the necessity for SCL, illustrating that current SML and CL methodologies do not adequately address the dual objectives of rapid adaptation and knowledge retention.
In the conclusion, the authors reiterate the importance of SCL, which enables models to swiftly adjust to new information while preserving prior knowledge. They argue that neither SML nor CL alone suffices for this purpose, as CL emphasizes knowledge consolidation to mitigate forgetting, while SML prioritizes quick adaptation. The paper advocates for a synthesis of these approaches, particularly in contexts where temporal correlations and data drift are prevalent, such as in the Internet of Things and robotics. The authors highlight the potential of integrating SML and CL strategies, particularly through the use of Recurrent Neural Networks and architectural CL methods, to effectively model temporal dependencies and enhance personalization in predictive models. They conclude by noting that achieving a balance between rapid adaptation and selective forgetting remains a significant challenge, underscoring the relevance of SCL research.
Introduction
The introduction of this research paper addresses the challenges posed by the exponential growth of interconnected digital systems, particularly in the context of data streams generated by platforms like social media and the Internet of Things (IoT). Traditional machine learning paradigms struggle with the continuous and sequential nature of data streams, especially due to the phenomenon of concept drift, where the statistical properties of data evolve over time. This drift complicates the training of models on historical data, necessitating a shift towards continuous learning that can adapt to new information while managing the stability-plasticity dilemma—balancing the retention of previously learned knowledge with the ability to learn new concepts.
The paper identifies a gap in the existing literature, highlighting that while Streaming Machine Learning (SML) focuses on rapid adaptation to new concepts at the potential cost of forgetting past knowledge, Continual Learning (CL) emphasizes the preservation of prior knowledge while learning new concepts. Neither approach alone sufficiently addresses the complexities of real-world applications that require both quick adaptation and knowledge retention. To bridge this gap, the authors propose Streaming Continual Learning (SCL) as a unified framework that integrates the strengths of both SML and CL. The paper outlines its structure, which includes discussions on concept drift, SML, CL, and the motivation for SCL, ultimately aiming to provide a comprehensive overview of the current state of research and future directions in this emerging field.
Methods
In this section, the authors outline their experimental methodology for comparing Streaming Machine Learning (SML) and Online Continual Learning (OCL) approaches using the MNIST dataset under two scenarios: virtual and real drift. The virtual drift scenario involves abrupt changes in the data distribution, where the model must classify images of digits as odd or even. Each digit is represented in a simplified 7-dimensional binary input space, akin to a seven-segment display, allowing for an intuitive understanding of how virtual drifts introduce new instances that occupy previously unseen regions of the input space while maintaining consistent classification rules. The real drift scenario, in contrast, presents distinct binary classification tasks (e.g., even vs. odd, prime vs. non-prime) using the same input distribution but varying the task definitions, thus altering the conditional probability \( P(y_t | X_t) \) while keeping \( P(X_t) \) constant.
The authors propose several hypotheses regarding the performance of SML and OCL strategies in the face of these drifts, specifically focusing on the challenges of mitigating forgetting and adapting to new concepts. They employ Cohen’s Kappa Score to evaluate model performance, particularly in imbalanced classification scenarios, and utilize a prequential evaluation method to incrementally update scores as new data points are processed. The study also examines various strategies, including Experience Replay (ER) and Averaged Gradient Episodic Memory (AGEM), alongside a Naive classifier and an Adaptive Random Forest (ARF) model. The choice of these methodologies is justified based on their relevance to the nature of real drifts and the formulated hypotheses, with the expectation that traditional CL strategies may struggle under real drift conditions, potentially leading to contradictory gradient signals that hinder model convergence.
Results
In the results section, the study evaluates the performance of various models under virtual and real drift scenarios, utilizing both prequential and continual learning (CL) evaluations. The findings indicate that in the virtual drift scenario, the decision tree model underperforms compared to the neural network, with the Adaptive Random Forest (ARF) achieving lower prequential accuracy than the Naive classifier. Notably, while ARF adapts quickly to initial data points post-drift, it suffers from catastrophic forgetting of previous concepts, a trend also observed in the Naive classifier. The Experience Replay (ER) method demonstrates stability in mitigating forgetting but at the cost of reduced plasticity, aligning with the stability-plasticity trade-off.
In contrast, the real drift scenario reveals that decision trees outperform neural networks, with AGEM performing similarly to the Naive classifier, indicating a lack of meaningful improvement. Both AGEM and the Naive classifier exhibit poor retention of past knowledge, as they struggle to reconcile contradictory training signals from previous concepts. The results confirm the research hypotheses: H1 asserts that the Naive classifier is more plastic than CL strategies; H2 highlights ARF’s poor performance; H3 indicates that AGEM and ER cannot effectively avoid forgetting in the real drift scenario; and H4 concludes that AGEM’s effectiveness is comparable to that of the Naive classifier, with ER also facing challenges in learning current concepts.
Discussion
In the discussion of non-stationary data streams, the paper distinguishes between two types of data streams: natural streams, characterized by continuous real-time data generation (e.g., IoT sensors), and artificial streams, where data is accessed incrementally due to large volumes. The classification problem is a primary focus, where data points are represented as sequences with associated feature vectors and labels. A significant challenge arises from concept drift, which refers to changes in the underlying probability distribution of the data over time. The paper classifies concept drift into two categories: real drift, which alters the decision boundary, and virtual drift, which introduces new input distributions without changing the existing classification rules. The authors propose a nuanced categorization of virtual drift types, including zoom-in and expansionary virtual drifts, emphasizing the need for models to adapt to new input spaces while preserving past knowledge.
The discussion further highlights the implications of concept drift for Streaming Machine Learning (SML) and Continual Learning (CL). SML focuses on real-time adaptation to changes in data distribution, often discarding past knowledge post-drift, while CL emphasizes knowledge retention and combating catastrophic forgetting, particularly in scenarios where concepts do not overlap. The paper outlines various strategies employed in CL to mitigate forgetting, such as replay strategies and regularization approaches, which aim to maintain performance on previously learned concepts. The evaluation methods for SML and CL differ significantly, with SML utilizing prequential evaluation and CL focusing on generalization performance across multiple experiences. Overall, the paper underscores the complexity of managing concept drift in both SML and CL contexts, advocating for a deeper understanding of virtual drift dynamics to enhance model performance in evolving data environments.