DOI: https://doi.org/10.1007/s11633-025-1554-4
تاريخ النشر: 2025-09-06
المؤلف: Yang Cao وآخرون
الموضوع الرئيسي: تقنيات الكشف عن الشذوذ وتطبيقاتها
نظرة عامة
تظل اكتشاف الشذوذ مجالًا حيويًا للبحث مع تطبيقات كبيرة عبر مجالات مختلفة، بما في ذلك المالية والأمن والتصنيع. يمثل ظهور البيانات الضخمة تحديات لخوارزميات اكتشاف الشذوذ التقليدية، خاصة بسبب التعقيدات المرتبطة بمجموعات البيانات الكبيرة، عالية الأبعاد، وغير المتجانسة. يظهر اكتشاف الشذوذ غير الخاضع للإشراف القائم على العزل كحل واعد، مستفيدًا من المبدأ القائل بأن الشذوذ نادر ومتميز عن الحالات الطبيعية، مما يسمح بعزلها بشكل فعال من خلال التقسيم العشوائي.
تستعرض هذه الدراسة بشكل شامل الحالة الحالية لطرق اكتشاف الشذوذ القائم على العزل، موضحة استراتيجيات تقسيم البيانات، ودوال درجات الشذوذ، وتعقيدات الخوارزميات. تشمل مزايا هذه الطرق انخفاض التعقيد الحسابي، ومتطلبات الذاكرة الدنيا، وقابلية التوسع العالية، والصلابة ضد الضوضاء والميزات غير ذات الصلة، وكل ذلك دون الحاجة إلى معرفة مسبقة واسعة أو ضبط معلمات. بالإضافة إلى ذلك، تستكشف الورقة مجموعة متنوعة من التوسعات والتطبيقات للتقنيات القائمة على العزل في سياقات مثل البيانات المتدفقة، وسلاسل الزمن، وتحليل المسارات، ومجموعات بيانات الصور. وتختتم بتسليط الضوء على التحديات المفتوحة والاتجاهات البحثية المستقبلية المحتملة في مجال اكتشاف الشذوذ القائم على العزل.
مقدمة
تناقش مقدمة الورقة أهمية اكتشاف الشذوذ، الذي ينطوي على تحديد نقاط البيانات التي تنحرف بشكل ملحوظ عن الأنماط المعمول بها داخل مجموعة البيانات. لهذا المجال جذور في إحصائيات القرن التاسع عشر وقد اكتسب شهرة عبر قطاعات مختلفة، بما في ذلك الرعاية الصحية، والمالية، والأمن، والطاقة، والتصنيع، حيث يلعب دورًا حيويًا في مراقبة وحماية العمليات. من بين تقنيات اكتشاف الشذوذ المختلفة، تبرز الطرق غير الخاضعة للإشراف القائمة على العزل بسبب تعقيدها الزمني الخطي، ومتطلبات الذاكرة الدنيا، وصلابتها تجاه الضوضاء والميزات غير ذات الصلة.
تسلط الورقة الضوء على الطريقة الأساسية القائمة على العزل، غابة العزل (iForest)، وتلاحظ تطوير عدة توسعات تهدف إلى تعزيز الأداء ومعالجة تحديات محددة. تشمل هذه الطرق مثل iNNE، وغابة العزل الموسعة، وOptiForest، ونواة توزيع العزل، التي تعمل دون الحاجة إلى تعلم مسبق. تعتبر هذه العمل أول دراسة شاملة لاكتشاف الشذوذ غير الخاضع للإشراف القائم على العزل، حيث تفحص الآليات الأساسية، وتقدير الشذوذ، والاعتبارات الخوارزمية. بالإضافة إلى ذلك، تناقش تطبيق هذه الطرق في سياقات مختلفة، مثل البيانات المتدفقة ومجموعات بيانات الصور، مع تحديد التحديات المفتوحة والاتجاهات البحثية المستقبلية المحتملة.
نقاش
في قسم النقاش من الورقة، يعرف المؤلفون الشذوذ على أنه ملاحظات تنحرف بشكل كبير عن الأنماط الطبيعية، مصنفين إياها إلى شذوذ نقطي، وشذوذ جماعي، وشذوذ سياقي. كما يميزون بين الشذوذ الحسي منخفض المستوى، الذي يتعلق بخصائص مستوى البكسل في البيانات غير المهيكلة، والشذوذ الدلالي عالي المستوى، الذي يتعلق بمفاهيم دلالية أوسع. يقدم القسم أيضًا استراتيجيات تقسيم الفضاء المختلفة المستخدمة في اكتشاف الشذوذ القائم على العزل، بما في ذلك التقسيم المتوازي للمحاور، والسطوح العشوائية، والكرات الفائقة، ومخططات فورونوي، والتقسيم القائم على التجزئة. لكل طريقة نقاط قوتها وضعفها، خاصة في كيفية تعاملها مع الشذوذ الذي يتماشى مع محاور مجموعات البيانات الطبيعية.
يستعرض المؤلفون المنهجيات الحسابية لتحديد درجات الشذوذ، مؤكدين على المنظورات الهندسية والقائمة على التشابه. يعتمد النهج الهندسي على أطوال المسارات داخل أشجار العزل، بينما تستخدم المنظور القائم على التشابه مقاييس عدم التشابه ونواة العزل لتحديد الشذوذ بناءً على علاقاتها مع نقاط البيانات الأخرى. بالإضافة إلى ذلك، تناقش الورقة تطبيق هذه الطرق عبر مجالات مختلفة، بما في ذلك البيانات المتدفقة وغير المهيكلة، مما يبرز قابلية تكيف التقنيات القائمة على العزل. يختتم القسم بالإشارة إلى إمكانية توسيع آليات العزل لتتجاوز اكتشاف الشذوذ إلى مهام مثل التجميع، والتصنيف، واكتشاف نقاط التغيير، مما يبرز تعدد استخداماتها في تحليل البيانات.
DOI: https://doi.org/10.1007/s11633-025-1554-4
Publication Date: 2025-09-06
Author(s): Yang Cao et al.
Primary Topic: Anomaly Detection Techniques and Applications
Overview
Anomaly detection remains a critical area of research with significant applications across various fields, including finance, security, and manufacturing. The advent of big data presents challenges for traditional anomaly detection algorithms, particularly due to the complexities associated with large-scale, high-dimensional, and heterogeneous datasets. Isolation-based unsupervised anomaly detection emerges as a promising solution, leveraging the principle that anomalies are sparse and distinct from normal instances, allowing for their effective isolation through random partitioning.
This survey comprehensively reviews the current state of isolation-based anomaly detection methods, detailing their data partitioning strategies, anomaly score functions, and algorithmic intricacies. The advantages of these methods include low computational complexity, minimal memory requirements, high scalability, and robustness against noise and irrelevant features, all without necessitating extensive prior knowledge or parameter tuning. Additionally, the paper explores various extensions and applications of isolation-based techniques in contexts such as streaming data, time series, trajectory analysis, and image datasets. It concludes by highlighting open challenges and potential future research directions in the field of isolation-based anomaly detection.
Introduction
The introduction of the paper discusses the significance of anomaly detection, which involves identifying data points that deviate markedly from established patterns within a dataset. This field has roots in 19th-century statistics and has gained prominence across various sectors, including healthcare, finance, security, energy, and manufacturing, where it plays a vital role in monitoring and safeguarding processes. Among the various anomaly detection techniques, isolation-based unsupervised methods stand out due to their linear time complexity, minimal memory requirements, and robustness to noise and irrelevant features.
The paper highlights the foundational isolation-based method, Isolation Forest (iForest), and notes the development of several extensions aimed at enhancing performance and addressing specific challenges. These include methods like iNNE, Extended Isolation Forest, OptiForest, and Isolation Distributional Kernel, which operate without the need for prior learning. This work serves as the first comprehensive survey of isolation-based unsupervised anomaly detection, examining the underlying mechanisms, anomaly scoring, and algorithmic considerations. Additionally, it discusses the application of these methods in various contexts, such as streaming data and image datasets, while identifying open challenges and potential future research directions.
Discussion
In the discussion section of the paper, the authors define anomalies as observations that significantly deviate from normal patterns, categorizing them into point, group, and contextual anomalies. They further distinguish between low-level sensory anomalies, which pertain to pixel-level characteristics in unstructured data, and high-level semantic anomalies, which relate to broader semantic concepts. The section also introduces various space partitioning strategies used in isolation-based anomaly detection, including axis-parallel splitting, random hyperplanes, hyperspheres, Voronoi diagrams, and hash-based splitting. Each method has its strengths and weaknesses, particularly in how they handle anomalies that align with the axes of normal data clusters.
The authors detail the computational methodologies for determining anomaly scores, emphasizing geometric and similarity-based perspectives. The geometric approach relies on path lengths within isolation trees, while the similarity-based perspective utilizes measures of dissimilarity and the isolation kernel to identify anomalies based on their relationships to other data points. Additionally, the paper discusses the application of these methods across various domains, including streaming and unstructured data, highlighting the adaptability of isolation-based techniques. The section concludes by noting the potential for isolation mechanisms to extend beyond anomaly detection to tasks such as clustering, classification, and change-point detection, thereby underscoring their versatility in data analysis.