DOI: https://doi.org/10.1007/s00778-025-00907-x
تاريخ النشر: 2025-03-27
المؤلف: Paul Boniol وآخرون
الموضوع الرئيسي: تقنيات الكشف عن الشذوذ وتطبيقاتها
نظرة عامة
يعد اكتشاف الشذوذ (AD) في تحليلات السلاسل الزمنية أمرًا حيويًا نظرًا لآثاره على تطبيقات متنوعة. على عكس اكتشاف الشذوذ التقليدي القائم على النقاط، الذي يركز على الشواذ الفردية، يتناول اكتشاف الشذوذ في السلاسل الزمنية أيضًا الشذوذ القائم على النطاقات الذي يمتد عبر عدة ملاحظات. عادةً ما تستخدم تقييمات طرق اكتشاف الشذوذ مقاييس قائمة على النقاط مثل الدقة والاسترجاع ودرجة F، والتي يمكن أن تُدخل تحيزات عند تقييم الشذوذ القائم على النطاقات. يسلط هذا البحث الضوء على نقص التحليل الشامل لمقاييس التقييم لاكتشاف الشذوذ في السلاسل الزمنية ويقدم تقييمًا واسعًا لهذه المقاييس تحت ظروف متغيرة، بما في ذلك الضوضاء وعدم المحاذاة.
تشير النتائج إلى أن مقاييس التقييم التي لا تعتمد على العتبات، مثل المساحة تحت المنحنى لمؤشر التشغيل المستلم (AUC-ROC) والمساحة تحت المنحنى للدقة والاسترجاع (AUC-PR)، أكثر فعالية لاكتشاف الشذوذ في السلاسل الزمنية. بناءً على ذلك، يقترح المؤلفون توسيع مقاييس AUC لتناسب الشذوذ القائم على النطاقات ويقدمون عائلة جديدة من المقاييس المستقلة عن المعلمات وغير المعتمدة على العتبات تُسمى الحجم تحت السطح (VUS). تُظهر هذه المقاييس تحسينًا في القوة والفعالية في التمييز بين الطرق الدقيقة وغير الدقيقة. على الرغم من أن التطبيقات المحسّنة لـ VUS (VUS opt و VUS mem opt) تُظهر تحسينات كبيرة في قابلية التوسع، إلا أنها لا تزال تتطلب وقت تنفيذ أطول مقارنةً بالمقاييس التقليدية المعتمدة على AUC.
مقدمة
تسلط مقدمة البحث الضوء على الأهمية المتزايدة لبيانات السلاسل الزمنية عبر مجالات علمية وصناعية متنوعة، خاصةً بسبب انتشار أجهزة إنترنت الأشياء (IoT) التي تولد كميات هائلة من البيانات. تتطلب هذه الزيادة تطوير تقنيات فعالة لاكتشاف الشذوذ (AD) لتحديد الشذوذات التي يمكن أن تؤثر سلبًا على تحليل البيانات. تركز طرق اكتشاف الشذوذ التقليدية بشكل أساسي على الشذوذات القائمة على النقاط، ولكن بيانات السلاسل الزمنية تتطلب أيضًا الانتباه إلى الشذوذات القائمة على النطاقات، التي تمتد عبر عدة ملاحظات. ينتقد البحث المقاييس الحالية للتقييم، مثل الدقة والاسترجاع ودرجة F، بسبب اعتمادها على عتبة واحدة لتسجيل الشذوذ، مما يمكن أن يؤدي إلى عدم التناسق في تقييم الأداء عبر طرق ومجموعات بيانات مختلفة.
لمعالجة هذه القيود، يقترح المؤلفون مقاييس تقييم جديدة، بما في ذلك Range-AUC-ROC وRange-AUC-PR، والتي تم تصميمها لتكون مستقلة عن العتبات وأكثر قوة ضد عدم المحاذاة مع التسميات البشرية. بالإضافة إلى ذلك، يقدمون مقاييس الحجم تحت السطح (VUS)، التي توسع مقاييس AUC التقليدية لتأخذ في الاعتبار أحجام العازلات والعتبات المتغيرة، مما يعزز قابليتها للتطبيق على كل من الشذوذات القائمة على النقاط والنطاقات. يناقش البحث أيضًا الكفاءة الحسابية لهذه المقاييس الجديدة، مقدمًا خوارزميات محسّنة تقلل بشكل كبير من وقت التنفيذ مع الحفاظ على الدقة. بشكل عام، تشير النتائج إلى أن مقاييس VUS المقترحة تقدم إطارًا أكثر موثوقية لتقييم طرق اكتشاف الشذوذ في تحليل السلاسل الزمنية، مع آثار محتملة لمهام التصنيف الثنائي الأوسع.
طرق
في هذا القسم، يحدد المؤلفون الإطار المنهجي لتقييم مقاييس الدقة الجديدة في طرق اكتشاف الشذوذ (AD). يؤكدون على أهمية الفصل العالي بين الطرق الدقيقة وغير الدقيقة، فضلاً عن اتساق الدرجات عبر سلاسل زمنية مشابهة. يتم هيكلة التحليل التجريبي في عدة أقسام فرعية: يبدأ بمقدمة حول مجموعات البيانات وطرق التقييم، يتبعها نقد للمقاييس الحالية للدقة، وينتهي بتقييمات كمية للمقاييس المقترحة فيما يتعلق بالصلابة تجاه التأخير والضوضاء ونسبة الطبيعي/غير الطبيعي. بالإضافة إلى ذلك، يقيم المؤلفون درجة الفصل بين الطرق واتساق الترتيب عبر مقاييس الدقة المختلفة، جنبًا إلى جنب مع تحليل لأوقات التنفيذ المتعلقة بمعلمات مختلفة.
يستخدم الإعداد التجريبي Python 3.8 ويشمل تبعيات مثل sklearn وTensorFlow. تم الحصول على مجموعات البيانات المستخدمة من معيار TSB-UAD، والتي تتكون من 900 سلسلة زمنية مصنفة عبر عشرة مجموعات بيانات متميزة، كل منها بخصائص وشذوذات محددة. كما يوضح المؤلفون طرق اكتشاف الشذوذ المستخدمة للتقييم، بما في ذلك Isolation Forest وLocal Outlier Factor وMatrix Profile وNormA وPrincipal Component Analysis، حيث تستخدم كل منها تقنيات مختلفة لتحديد الشذوذات بناءً على هيكل وسلوك بيانات السلاسل الزمنية.
نتائج
تسلط النتائج المقدمة في هذا القسم الضوء على أداء مقاييس الدقة المختلفة عبر اختبارات مختلفة، كما هو موضح في الشكل 19. يتم تصنيف اختبار الصلابة إلى ثلاث مجموعات فرعية: التأخير والضوضاء ونسبة الطبيعي مقابل غير الطبيعي. تشير النتائج إلى أن VUS-ROC يتفوق باستمرار على المقاييس الأخرى، محققًا المرتبة الأولى، بينما تتبع VUS-PR والمقاييس المعتمدة على Range-AUC كأفضل مقاييس ثانية وثالثة ورابعة، على التوالي. وبالتالي، يستنتج البحث أن VUS-ROC هو المقياس الأكثر فعالية في التحليل التجريبي.
علاوة على ذلك، تُظهر النسخة المحسّنة من VUS تسريعًا حسابيًا بمعدل الضعف؛ ومع ذلك، لا يزال وقت تنفيذها أبطأ بكثير من طرق AUC المعتمدة. من المهم ملاحظة أن كفاءة مقاييس الدقة تختلف عن عملية اكتشاف الشذوذ، خاصةً في التطبيقات الزمنية الحقيقية حيث تكون تسميات الحقيقة الأرضية غير متاحة. وبالتالي، بينما يعد قياس الدقة خطوة تقييم مهمة غير متصلة بالإنترنت للمجتمع لتحسين المنهجيات، يجب ألا يكون وقت التنفيذ هو المعيار الأساسي لاختيار مقياس التقييم.
مناقشة
في هذا القسم، يناقش المؤلفون صياغة وتقييم طرق اكتشاف الشذوذ (AD) باستخدام بيانات السلاسل الزمنية. يعرفون السلسلة الزمنية \( T \in \mathbb{R}^n \) كسلسلة من الأرقام ذات القيم الحقيقية، مع تسلسلات فرعية \( T_{i,\ell} \) تمثل مجموعات فرعية مستمرة بطول \( \ell \). يتم اشتقاق تسلسل درجات الشذوذ \( S_T \) من طريقة AD \( A \)، حيث تنتج الطرق القائمة على النقاط \( S_T \in \mathbb{R}^n \) وتنتج الطرق القائمة على النطاقات \( S_T \in \mathbb{R}^{n-\ell} \). يتم تصنيف تقييم طرق AD إلى مقاييس قائمة على العتبات ومقاييس مستقلة عن العتبات. تتطلب المقاييس القائمة على العتبات عتبة محددة مسبقًا لتصنيف الشذوذات، مما يؤدي إلى مقاييس مثل الإيجابيات الحقيقية (TP) والسلبيات الحقيقية (TN) والإيجابيات الكاذبة (FP) والسلبيات الكاذبة (FN). تشمل مقاييس الأداء الرئيسية الدقة والاسترجاع ودرجة F، حيث تجمع الأخيرة بين الدقة والاسترجاع.
كما يقدم المؤلفون مقاييس مستقلة عن العتبات، وتحديدًا المساحة تحت المنحنى (AUC) لمؤشرات التشغيل المستلمة (ROC) ومنحنيات الدقة والاسترجاع (PR). توفر هذه المقاييس تقييمًا شاملاً لطرق AD من خلال تقييم الأداء عبر عتبات مختلفة. يقترحون توسيعات جديدة قائمة على النطاقات لمنحنيات ROC وPR، تتضمن منطقة عازلة لأخذ عدم اليقين في التسميات في الاعتبار وتعزيز صلابة التقييم. يتم تقديم الحجم تحت السطح (VUS) كمقياس شامل يوسع مفهوم AUC إلى أطوال عازلة متعددة، مما يسمح بتقييم أكثر دقة لأداء اكتشاف الشذوذ. يختتم القسم بتحليل تعقيد المقاييس المقترحة، مسلطًا الضوء على الكفاءة الحسابية لنهج VUS مقارنةً بالطرق التقليدية.
القيود
يناقش قسم القيود العيوب الرئيسية للمقاييس الحالية لتقييم جودة اكتشاف الشذوذ القائم على النطاقات (AD). يسلط الضوء على التأثير الكبير للمقاييس القائمة على العتبات على الدقة، مشيرًا إلى أن اختيار العتبة يمكن أن يؤثر بشكل كبير على مقاييس مثل الدقة وR-Precision ودرجات F. بالمقابل، تُظهر المقاييس المستقلة عن العتبات مثل AUC-ROC وAUC-PR قوة ضد التغيرات في العتبة والضوضاء، مما يجعلها مفضلة لتقييم اكتشاف الشذوذ عبر مجموعات بيانات متنوعة. تؤدي تأثيرات الضوضاء ونسبة الطبيعي/غير الطبيعي إلى تعقيد موثوقية المقاييس القائمة على العتبات، حيث يمكن أن تؤدي التقلبات في درجة الشذوذ إلى قيم دقة غير متسقة.
بالإضافة إلى ذلك، يتم فحص قيود المقاييس القائمة على النقاط، ولا سيما عدم كفايتها للشذوذات القائمة على النطاقات، التي تتطلب اعتبار كل من اكتشاف النطاق واكتشاف الوجود. يبرز القسم التحديات في تصنيف الشذوذات ضمن سلاسل زمنية مستمرة، حيث قد تستخدم مجموعات بيانات مختلفة استراتيجيات تصنيف متباينة، مما يعقد تقييم أداء الاكتشاف. علاوة على ذلك، يمكن أن تؤدي تحويل بيانات السلاسل الزمنية إلى نقاط عالية الأبعاد إلى إخفاء أهمية الشذوذات الفردية، مما يؤدي إلى احتمال التمثيل الخاطئ في عملية تسجيل الشذوذ. بشكل عام، يؤكد القسم على الحاجة إلى طرق تقييم أكثر قوة يمكن أن تستوعب التعقيدات الكامنة في اكتشاف الشذوذ القائم على النطاقات.
DOI: https://doi.org/10.1007/s00778-025-00907-x
Publication Date: 2025-03-27
Author(s): Paul Boniol et al.
Primary Topic: Anomaly Detection Techniques and Applications
Overview
Anomaly detection (AD) in time-series analytics is crucial due to its implications for various applications. Unlike traditional point-based anomaly detection, which focuses on individual outliers, time-series AD also addresses range-based anomalies that span multiple observations. The evaluation of AD methods typically employs point-based metrics such as Precision, Recall, and F-score, which can introduce biases when assessing range-based anomalies. This paper highlights the lack of a comprehensive analysis of evaluation measures for time-series AD and presents an extensive evaluation of these measures under varying conditions, including noise and misalignments.
The findings suggest that evaluation metrics that do not rely on thresholds, such as Area Under the Curve for Receiver Operating Characteristic (AUC-ROC) and Area Under the Curve for Precision-Recall (AUC-PR), are more effective for time-series AD. Building on this, the authors propose an extension of AUC-based measures to accommodate range-based anomalies and introduce a new family of parameter-free, threshold-independent measures termed Volume Under the Surface (VUS). These measures demonstrate improved robustness and effectiveness in distinguishing between accurate and inaccurate methods. Although optimized implementations of VUS (VUS opt and VUS mem opt) show significant scalability improvements, they still require more execution time compared to traditional AUC-based measures.
Introduction
The introduction of the paper highlights the growing significance of time series data across various scientific and industrial fields, particularly due to the proliferation of Internet-of-Things (IoT) devices generating vast amounts of data. This surge necessitates the development of effective anomaly detection (AD) techniques to identify irregularities that can adversely affect data analysis. Traditional AD methods primarily focus on point-based anomalies, but time series data also requires attention to range-based anomalies, which span multiple observations. The paper critiques existing evaluation metrics, such as Precision, Recall, and F-score, for their reliance on a single threshold for anomaly scoring, which can lead to inconsistencies in performance evaluation across different methods and datasets.
To address these limitations, the authors propose new evaluation measures, including Range-AUC-ROC and Range-AUC-PR, which are designed to be threshold-independent and more robust against misalignments with human labels. Additionally, they introduce the Volume Under the Surface (VUS) measures, which extend traditional AUC metrics to account for varying buffer sizes and thresholds, thereby enhancing their applicability to both point-based and range-based anomalies. The paper also discusses the computational efficiency of these new measures, presenting optimized algorithms that significantly reduce execution time while maintaining accuracy. Overall, the findings suggest that the proposed VUS measures offer a more reliable framework for evaluating AD methods in time series analysis, with potential implications for broader binary classification tasks.
Methods
In this section, the authors outline the methodological framework for evaluating new accuracy measures in anomaly detection (AD) methods. They emphasize the importance of high separability between accurate and inaccurate methods, as well as the consistency of scores across similar time series. The experimental analysis is structured into several subsections: it begins with an introduction to datasets and evaluation methods, followed by a critique of existing accuracy measures, and culminates in quantitative assessments of the proposed measures regarding robustness to lag, noise, and the normal/abnormal ratio. Additionally, the authors evaluate the degree of separability of methods and the consistency of ranking across different accuracy measures, alongside an analysis of execution times related to various parameters.
The experimental setup utilizes Python 3.8 and includes dependencies such as sklearn and TensorFlow. The datasets employed are sourced from the TSB-UAD benchmark, comprising 900 labeled time series across ten distinct datasets, each with specific characteristics and anomalies. The authors also detail the anomaly detection methods used for evaluation, including Isolation Forest, Local Outlier Factor, Matrix Profile, NormA, and Principal Component Analysis, each employing different techniques to identify anomalies based on the structure and behavior of the time series data.
Results
The results presented in this section highlight the performance of various accuracy measures across different tests, as illustrated in Figure 19. The robustness test is categorized into three sub-groups: lag, noise, and the normal versus abnormal ratio. The findings indicate that the VUS-ROC consistently outperforms other measures, securing the top rank, while VUS-PR and Range-AUC-based measures follow as the second, third, and fourth best, respectively. Consequently, the study concludes that VUS-ROC is the most effective measure in the experimental analysis.
Furthermore, the optimized version of VUS demonstrates a computational acceleration by a factor of two; however, its execution time remains considerably slower than that of AUC-based approaches. It is crucial to note that the efficiency of accuracy measures is distinct from the anomaly detection process, particularly in real-time applications where ground truth labels are unavailable. Thus, while measuring accuracy serves as an important offline evaluation step for the community to refine methodologies, execution time should not be the primary criterion for selecting an evaluation measure.
Discussion
In this section, the authors discuss the formulation and evaluation of anomaly detection (AD) methods using time series data. They define a time series \( T \in \mathbb{R}^n \) as a sequence of real-valued numbers, with subsequences \( T_{i,\ell} \) representing continuous subsets of length \( \ell \). The anomaly score sequence \( S_T \) is derived from an AD method \( A \), where point-based approaches yield \( S_T \in \mathbb{R}^n \) and range-based approaches yield \( S_T \in \mathbb{R}^{n-\ell} \). The evaluation of AD methods is categorized into threshold-based and threshold-independent measures. Threshold-based measures require a predefined threshold to classify anomalies, leading to metrics such as True Positives (TP), True Negatives (TN), False Positives (FP), and False Negatives (FN). Key performance metrics include Precision, Recall, and F-Score, with the latter combining both Precision and Recall.
The authors also introduce threshold-independent measures, specifically the Area Under the Curve (AUC) for Receiver Operating Characteristics (ROC) and Precision-Recall (PR) curves. These measures provide a holistic evaluation of AD methods by assessing performance across various thresholds. They propose new range-based extensions for ROC and PR curves, incorporating a buffer region to account for labeling uncertainties and enhance evaluation robustness. The Volume Under the Surface (VUS) is introduced as a comprehensive measure that extends the AUC concept to multiple buffer lengths, allowing for a more nuanced assessment of anomaly detection performance. The section concludes with a complexity analysis of the proposed measures, highlighting the computational efficiency of the VUS approach compared to traditional methods.
Limitations
The section on limitations discusses critical shortcomings of existing measures for assessing the quality of range-based anomaly detection (AD). It highlights the significant impact of threshold-based measures on accuracy, noting that the choice of threshold can drastically affect metrics such as Precision, R-Precision, and F-scores. In contrast, threshold-independent measures like AUC-ROC and AUC-PR demonstrate robustness against variations in threshold and noise, making them preferable for evaluating anomaly detection across diverse datasets. The influence of noise and the normal/abnormal ratio further complicates the reliability of threshold-based measures, as fluctuations in the anomaly score can lead to inconsistent accuracy values.
Additionally, the limitations of point-based measures are examined, particularly their inadequacy for range-based anomalies, which require consideration of both range detection and existence detection. The section underscores the challenges in labeling anomalies within continuous time series, as different datasets may employ varying labeling strategies, complicating the evaluation of detection performance. Furthermore, the transformation of time series data into high-dimensional points can obscure the significance of individual anomalies, leading to potential misrepresentation in the anomaly scoring process. Overall, the section emphasizes the need for more robust evaluation methods that can accommodate the complexities inherent in range-based anomaly detection.