DOI: https://doi.org/10.1109/tkde.2025.3569909
تاريخ النشر: 2025-05-13
المؤلف: Zahra Zamanzadeh Darban وآخرون
الموضوع الرئيسي: تقنيات الكشف عن الشذوذ وتطبيقاتها
نظرة عامة
في سياق الكشف عن الشذوذ في السلاسل الزمنية (TSAD)، يتم معالجة تحدي البيانات المعلّمة المحدودة من خلال نموذج التعلم التبايني للتكيف مع المجال المقترح للكشف عن الشذوذ في السلاسل الزمنية متعددة المتغيرات (DACAD). يدمج هذا النموذج التكيف مع المجال غير المراقب (UDA) مع التعلم التبايني، مما يسمح له بالاستفادة من البيانات المعلّمة من مجال ذي صلة لتحديد الشذوذ في مجال مستهدف غير معلّم. الابتكار الرئيسي في DACAD هو آلية حقن الشذوذ، التي تعزز قدرات تعميم النموذج عبر الفئات الشاذة غير المرئية، مما يحسن التكيف والصلابة. يستخدم النموذج خسارة تباينية تحت إشراف لمجال المصدر وخسارة ثلاثية تباينية ذاتية الإشراف لمجال الهدف، مما يسهل تمثيل الميزات الشامل واستخراج الميزات المستقلة عن المجال. بالإضافة إلى ذلك، يتعلم مصنف الانتروبيا القائم على المركز (CEC) الحدود الطبيعية بفعالية في مجال المصدر.
تظهر التقييمات التي أجريت على عدة مجموعات بيانات حقيقية وصناعية أداء DACAD المتفوق في نقل المعرفة عبر المجالات ومعالجة القيود التي تفرضها البيانات المعلّمة النادرة في TSAD. تشير قدرة النموذج على التعميم واكتشاف الشذوذ بدقة، بغض النظر عن توفر البيانات المعلّمة في مجال الهدف، إلى تقدم ملحوظ في هذا المجال. تشمل اتجاهات البحث المستقبلية تحسين عملية حقن الشذوذ لمحاكاة مجموعة أوسع من الأنماط الشاذة، وتوسيع تطبيق النموذج لتحليل السلاسل الزمنية أحادية المتغير، واستكشاف هياكل استخراج الميزات البديلة لتعزيز الأداء بشكل أكبر.
مقدمة
تناقش مقدمة هذه الورقة البحثية التكيف مع المجال غير المراقب (UDA)، وهي تقنية تهدف إلى نقل المعرفة من مجال مصدر معلّم إلى مجال هدف غير معلّم، وهو ما يكون مفيدًا بشكل خاص عندما تكون البيانات المعلّمة نادرة. تسلط الورقة الضوء على هيمنة طرق التعلم العميق في UDA، مشيرة إلى أدائها المحسن مقارنة بالتقنيات التقليدية، خاصة في معالجة تحول المجال – وهو تحدٍ كبير حيث يمكن أن تؤدي الفجوات بين توزيعات البيانات إلى تدهور أداء النموذج. بينما تم تطبيق UDA بفعالية في مجالات متنوعة، بما في ذلك تحليل الصور والنصوص، إلا أنها تواجه تحديات فريدة في بيانات السلاسل الزمنية بسبب الميزات المتغيرة ذات الصلة بالمهام وعدد الفئات الشاذة المتقلبة بين المجالات.
لمعالجة هذه التحديات، يقدم المؤلفون نموذج التعلم التبايني للتكيف مع المجال للكشف عن الشذوذ في السلاسل الزمنية (DACAD)، الذي يدمج التعلم التبايني لتحسين استخراج الميزات وكشف الشذوذ في بيانات السلاسل الزمنية متعددة المتغيرات. يستخدم DACAD كل من التعلم التبايني تحت إشراف والتعلم التبايني الذاتي، مستفيدًا من حقن الشذوذ الاصطناعي لتعزيز التمييز بين الأنماط الطبيعية والشاذة. تقدم الورقة أيضًا مصنف انتروبيا قائم على المركز (CEC) جديد يقوم بتحسين الكشف عن الشذوذ من خلال الاستفادة من تسميات مجال المصدر لتحسين قابلية الفصل بين الفئات في فضاء الميزات. يدعي المؤلفون أن DACAD يتفوق على نماذج UDA الحالية لكشف الشذوذ في السلاسل الزمنية، مما يثبت فعاليته من خلال تقييمات شاملة على مجموعات بيانات حقيقية.
طرق
في هذه الدراسة، نقيم عدة نماذج حديثة (SOTA) لكشف الشذوذ في السلاسل الزمنية (TSAD)، بما في ذلك OmniAnomaly و TS2Vec و THOC و DCdetector، جنبًا إلى جنب مع نماذج التكيف مع المجال غير المراقب (UDA) الحديثة لتصنيف السلاسل الزمنية متعددة المتغيرات (MTS)، وتحديدًا VRADA و CLUDA. يتم إجراء التقييم على مجموعات بيانات مرجعية تم الإشارة إليها في القسم الأول، باستخدام الشيفرة المصدرية الأصلية والمعلمات الفائقة المثلى كما أبلغ عنها المؤلفون المعنيون لضمان مقارنة عادلة.
بالنسبة لتنفيذ نموذج DACAD، نستخدم بنية شبكة تلافيفية زمنية (TCN) مكونة من 3 طبقات مع أحجام قنوات [128، 256، 512] لالتقاط الاعتماديات الزمنية بفعالية. يتم تعيين بُعد التمثيل إلى 1024. يتم تطبيق معلمات فائقة متسقة عبر جميع مجموعات البيانات، بما في ذلك حجم نافذة (WS) قدره 100، وهامش (m) قدره 1، ويتم تدريب النموذج لمدة 20 دورة. يسمح هذا الإطار المنهجي بتقييم قوي لأداء النماذج المختارة.
مناقشة
في قسم “المناقشة”، تستعرض الورقة الأدبيات الحالية حول التكيف مع المجال غير المراقب (UDA) لتحليل السلاسل الزمنية وتقنيات التعلم العميق لكشف الشذوذ في السلاسل الزمنية (TSAD). تسلط الضوء على التحديات والتقدم في UDA، خاصة في سياقات السلاسل الزمنية، حيث تم استخدام طرق تقليدية مثل الفجوة المتوسطة القصوى (MMD) والتعلم العدائي لتقليل الفجوات بين المجالات. لقد أظهرت طرق UDA الملحوظة، مثل التكيف العميق العدائي المتكرر المتغير (VRADA) والتكيف العميق التلافيفي للسلاسل الزمنية (CoDATS)، وعدًا ولكنها غالبًا ما تكون غير فعالة لمهام TSAD. تناقش الورقة أيضًا ظهور نماذج اللغة الكبيرة (LLMs) ونماذج الانتشار، التي تستفيد من التدريب المسبق الواسع لتعزيز قدرات UDA، على الرغم من أنها تواجه تحديات تتعلق بالكفاءة الحاسوبية واستقرار التدريب.
تتوسع القسم أيضًا في تطور طرق التعلم العميق في TSAD، مع التركيز على قدرتها على استخراج الميزات بشكل مستقل ومعالجة ندرة البيانات المعلّمة من خلال تقنيات غير مراقبة وشبه مراقبة. تُعتبر نماذج مثل OmniAnomaly و GDN فعالة في السيناريوهات التي تحتوي على تسميات شذوذ محدودة، بينما تتفوق الهياكل المتقدمة مثل LSTM-NDT و THOC في التقاط الاعتماديات الزمنية. تؤكد الورقة على أهمية التعلم التمثيلي التبايني في TSAD، الذي يساعد في تجميع العينات المماثلة وتمييز الشذوذ. بشكل عام، تضع المناقشة نموذج DACAD المقترح في سياق أوسع من UDA و TSAD، مما يمهد الطريق لمساهماته المبتكرة في الكشف عن الشذوذ في بيانات السلاسل الزمنية.
DOI: https://doi.org/10.1109/tkde.2025.3569909
Publication Date: 2025-05-13
Author(s): Zahra Zamanzadeh Darban et al.
Primary Topic: Anomaly Detection Techniques and Applications
Overview
In the context of time series anomaly detection (TSAD), the challenge of limited labeled data is addressed through the proposed Domain Adaptation Contrastive learning model for Anomaly Detection in multivariate time series (DACAD). This model integrates unsupervised domain adaptation (UDA) with contrastive learning, allowing it to leverage labeled data from a related domain to identify anomalies in an unlabeled target domain. A key innovation of DACAD is its anomaly injection mechanism, which enhances the model’s generalization capabilities across unseen anomalous classes, thereby improving adaptability and robustness. The model employs a supervised contrastive loss for the source domain and a self-supervised contrastive triplet loss for the target domain, facilitating comprehensive feature representation and domain-invariant feature extraction. Additionally, the Center-based Entropy Classifier (CEC) effectively learns normal boundaries in the source domain.
The evaluations conducted on multiple real-world and synthetic datasets demonstrate DACAD’s superior performance in transferring knowledge across domains and addressing the limitations posed by scarce labeled data in TSAD. The model’s ability to generalize and accurately detect anomalies, irrespective of the labeled data availability in the target domain, signifies a notable advancement in the field. Future research directions include refining the anomaly injection process to simulate a wider array of anomalous patterns, extending the model’s applicability to univariate time series analysis, and exploring alternative feature extraction architectures to further enhance performance.
Introduction
The introduction of this research paper discusses Unsupervised Domain Adaptation (UDA), a technique aimed at transferring knowledge from a labeled source domain to an unlabeled target domain, which is particularly beneficial when labeled data is scarce. The paper highlights the predominance of deep learning methods in UDA, noting their enhanced performance over traditional techniques, especially in addressing domain shift—a significant challenge where discrepancies between data distributions can degrade model performance. While UDA has been effectively applied in various fields, including image and text analysis, it faces unique challenges in time series data due to varying task-relevant features and the fluctuating number of anomalous classes between domains.
To tackle these challenges, the authors introduce the Domain Adaptation Contrastive learning model for Anomaly Detection in time series (DACAD), which integrates contrastive learning to improve feature extraction and anomaly detection in multivariate time series data. DACAD employs both supervised and self-supervised contrastive learning, utilizing synthetic anomaly injection to enhance the differentiation between normal and anomalous patterns. The paper also presents a novel Center-based Entropy Classifier (CEC) that refines anomaly detection by leveraging source domain labels to improve class separability in the feature space. The authors claim that DACAD outperforms existing UDA models for time series anomaly detection, demonstrating its effectiveness through comprehensive evaluations on real-world datasets.
Methods
In this study, we assess several state-of-the-art (SOTA) time series anomaly detection (TSAD) models, including OmniAnomaly, TS2Vec, THOC, and DCdetector, alongside SOTA unsupervised domain adaptation (UDA) models for multivariate time series (MTS) classification, specifically VRADA and CLUDA. The evaluation is conducted on benchmark datasets referenced in Section I, utilizing the original source code and optimal hyperparameters as reported by the respective authors to ensure a fair comparison.
For our implementation of the DACAD model, we employ a 3-layer temporal convolutional network (TCN) architecture with channel sizes of [128, 256, 512] to effectively capture temporal dependencies. The representation dimension is set to 1024. Consistent hyperparameters are applied across all datasets, including a window size (WS) of 100, a margin (m) of 1, and the model is trained for 20 epochs. This methodological framework allows for a robust evaluation of the performance of the selected models.
Discussion
In the “Discussion” section, the paper reviews existing literature on Unsupervised Domain Adaptation (UDA) for time series analysis and deep learning techniques for Time Series Anomaly Detection (TSAD). It highlights the challenges and advancements in UDA, particularly in time series contexts, where traditional methods like Maximum Mean Discrepancy (MMD) and adversarial learning have been employed to minimize domain discrepancies. Notable UDA approaches, such as variational recurrent adversarial deep domain adaptation (VRADA) and convolutional deep domain adaptation for time series (CoDATS), have shown promise but are often ineffective for TSAD tasks. The paper also discusses the emergence of Large Language Models (LLMs) and diffusion models, which leverage extensive pre-training to enhance UDA capabilities, although they face challenges related to computational efficiency and training stability.
The section further elaborates on the evolution of deep learning methods in TSAD, emphasizing their ability to autonomously extract features and address the scarcity of labeled data through unsupervised and semi-supervised techniques. Models like OmniAnomaly and GDN are noted for their effectiveness in scenarios with limited anomaly labels, while advanced architectures such as LSTM-NDT and THOC excel in capturing temporal dependencies. The paper underscores the importance of contrastive representation learning in TSAD, which aids in grouping similar samples and distinguishing anomalies. Overall, the discussion contextualizes the proposed DACAD model within the broader landscape of UDA and TSAD, setting the stage for its innovative contributions to anomaly detection in time series data.