DOI: https://doi.org/10.1016/j.asoc.2026.115029
تاريخ النشر: 2026-03-12
المؤلف: Sepehr Maleki وآخرون
الموضوع الرئيسي: تقنيات الكشف عن الشذوذ وتطبيقاتها
نظرة عامة
تم تقديم Pi-Transformer (المحول المعتمد على المعلومات السابقة) كنهج جديد لاكتشاف الشذوذ في السلاسل الزمنية متعددة المتغيرات، حيث يعالج تعقيد الشذوذ الذي ينشأ من السياق الزمني والعلاقات بين القنوات بدلاً من القيم الشاذة المعزولة. يتميز النموذج بطريقتي انتباه: انتباه مدفوع بالبيانات وسابق يشفر الثوابت الزمنية مثل التشابه الذاتي المرتبط بالمقياس والتزامن الزمني. يعمل هذا الانتباه السابق كمرجع غير حساس للسعة لمعايرة أخطاء إعادة البناء. خلال التدريب، يستخدم النموذج هدفًا مزدوجًا يجمع بين إعادة البناء مع مصطلح تباين لضمان تمييز ذي معنى بين طريقيتي الانتباه. عند الاستدلال، ينتج النموذج درجة مدمجة من خلال دمج إشارة إعادة بناء موزونة بالتحاذي (الطاقة) وإشارة عدم التطابق التي تبرز الاضطرابات الزمنية والفازية.
تظهر التقييمات التجريبية عبر خمسة مجموعات بيانات مرجعية (SMD، MSL، SMAP، SWaT، وPSM) أن Pi-Transformer يحقق درجات F1 على مستوى الدولة أو تنافسية عالية، حيث يتفوق بشكل خاص في اكتشاف الشذوذات الزمنية وكسر الفاز، حيث تكافح الطرق التقليدية. تكشف تحليلات الحالة عن السلوك التكميلي لتيارات الانتباه الاثنين وقابليتها للتفسير في تحديد تغييرات النظام. بينما يظهر النموذج تحسينات كبيرة، فإنه يشير أيضًا إلى مجالات للتحسين المستقبلي، مثل تحسين طرق تجميع الدرجات لتتوافق بشكل أفضل مع الشذوذات المكتشفة مع الحدود الفعلية واستكشاف الضبط التكيفي لبارامترات النموذج. تشير النتائج إلى أن دمج الهياكل المعتمدة على المعلومات السابقة في نماذج المحولات يعزز قدرات اكتشاف الشذوذ في الأنظمة متعددة المتغيرات المعقدة، مما يوفر كل من الدقة وقابلية التفسير في فهم الديناميات الزمنية.
مقدمة
تسلط مقدمة ورقة البحث الضوء على الدور الحاسم لاكتشاف الشذوذ في السلاسل الزمنية متعددة المتغيرات عبر مختلف القطاعات، بما في ذلك الصناعة والرعاية الصحية والأمن السيبراني والمالية واستكشاف الفضاء. يعد اكتشاف الشذوذ الفعال أمرًا ضروريًا للصيانة التنبؤية في البيئات الصناعية، ومراقبة العلامات الحيوية في الرعاية الصحية، ومنع الانقطاعات في الاتصالات، وضمان سلامة المهمات الفضائية. لقد زاد الانتشار المتزايد للأنظمة الغنية بالمستشعرات من إنترنت الأشياء (IoT) والأنظمة السيبرانية الفيزيائية من تعقيد وحجم بيانات السلاسل الزمنية، مما زاد من حدة التحديات المرتبطة باكتشاف الشذوذ.
يعد اكتشاف الشذوذ في السلاسل الزمنية متعددة المتغيرات معقدًا بسبب طبيعتها السياقية، واعتمادها على متغيرات متعددة، وتغيرها الزمني. غالبًا ما تظهر الشذوذات من خلال علاقات معقدة بين المتغيرات بدلاً من كونها قيمًا شاذة بسيطة، مما يتطلب نماذج يمكن أن تستوعب التوقيت متعدد المقاييس. على سبيل المثال، في الآلات الدوارة، يعد تزامن إشارات الاهتزاز أمرًا حيويًا؛ يمكن أن تشير الانحرافات في التوقيت إلى فشل ميكانيكي حتى عندما تظل الإشارات الفردية ضمن النطاقات الطبيعية. تحدد الورقة عدة تحديات في تطوير أنظمة اكتشاف الشذوذ الفعالة، بما في ذلك ندرة الشذوذات المعلّمة للتعلم تحت الإشراف، والحاجة إلى المتانة ضد الضوضاء والتحولات التوزيعية الحميدة، ومتطلبات اتخاذ قرارات قابلة للتفسير لتسهيل التحقق والتشخيص للإنذارات في ظروف التشغيل المتغيرة.
الطرق
في هذا القسم، يحدد المؤلفون المنهجية المستخدمة لتقييم أداء نموذج Pi-Transformer في سياق اكتشاف الشذوذ في السلاسل الزمنية متعددة المتغيرات. يتم إجراء التقييم عبر خمسة معايير معروفة: SMD، MSL، SMAP، SWaT، وPSM. تُعرف هذه المجموعات بصلتها وتعقيدها في اختبار خوارزميات اكتشاف الشذوذ، مما يوفر إطارًا قويًا لتحليل فعالية النموذج المقترح. ستساهم النتائج من هذه التجارب في فهم نقاط القوة والقيود في Pi-Transformer في التطبيقات الواقعية.
النتائج
تظهر النتائج المقدمة في الجدول 2 أن Pi-Transformer يحقق درجات F1 على مستوى الدولة أو تنافسية عالية عبر خمسة معايير، مع عرض ملف دقيق متوازن. يتبع التقييم إجراء ضبط النقاط على مستوى القطاعات، والذي يُلاحظ أنه أكثر تساهلاً من المقاييس الأكثر صرامة على مستوى النقاط أو الوعي بالنطاق. هذا مهم لأنه يسمح بإعطاء الفضل للاكتشافات ضمن القطاعات الشاذة المعلّمة، مما قد يؤدي إلى اختلافات طفيفة حول حدود الشذوذ بسبب النوافذ المتداخلة ذات الخطوة 1 وتجميع الدرجات المتوافقة مع النهاية. وبالتالي، بينما تعكس النتائج أداء اكتشاف القطاعات، قد تكون الدرجات المطلقة أقل تحت مقاييس أكثر صرامة حساسة للتوطين.
تكشف التحليلات الإضافية على مجموعة بيانات PSM عن الطبيعة متعددة المتغيرات والمرتبطة جزئيًا للمهمة، كما هو موضح في الأشكال 4 و5. تُظهر نافذة الإدخال نظامين شاذين حقيقيين، مع ظهور بعض القنوات انحرافات واضحة في السعة. تشير تحليل سلوك الانتباه إلى إعادة تخصيص ملحوظة في مسار السلسلة خلال الظروف الشاذة، مما يتناقض مع المسار السابق الأكثر سلاسة. يشير هذا التباين إلى أحداث كسر الفاز، والتي تتميز باستجابة عدم تطابق مرتفعة. بالإضافة إلى ذلك، تسلط تيارات القرار الموضحة في الشكل 6 الضوء على الارتفاعات قبل البداية في كل من $e_i$ و$\Delta_i$، مما يؤدي إلى تأثير قيادي قبل بداية الشذوذات. يوضح الشكل 7 أيضًا مساهمات القنوات الفردية، مما يكشف أنه بينما قد تبدو بعض القنوات طبيعية عند عزلها، فإن علاقاتها الفازية المشتركة تتدهور حول الأنظمة المعلّمة، مما يؤدي إلى زيادات منهجية في خطأ إعادة البناء. وهذا يبرز أن أدلة الشذوذ موزعة عبر السلسلة متعددة المتغيرات، بدلاً من أن تكون محصورة في القنوات التي تظهر انحرافات واضحة.
المناقشة
في قسم المناقشة، يستعرض المؤلفون المنهجيات الحالية لاكتشاف الشذوذ في السلاسل الزمنية متعددة المتغيرات، مع تسليط الضوء على نقاط قوتها وقيودها. تقدم الطرق الإحصائية التقليدية، مثل ARIMA وEWMA، قابلية للتفسير ولكنها تكافح مع عدم الخطية والاعتماد على متغيرات متعددة. تحسن تقنيات التعلم الآلي الكلاسيكية، بما في ذلك الغابات المعزولة وSVM من فئة واحدة، من العمومية ولكنها لا تعالج الارتباطات الزمنية بشكل كافٍ، مما يؤدي إلى تقليل الفعالية في البيئات الديناميكية. لقد تقدمت أساليب التعلم العميق، وخاصة المشفرات التلقائية والشبكات المتكررة، في هذا المجال من خلال تمكين النمذجة غير الخطية للسلاسل الزمنية المعقدة. ومع ذلك، غالبًا ما تواجه هذه الطرق تحديات في المعايرة، مما يؤدي إلى إيجابيات كاذبة بسبب الضوضاء الحميدة والتحولات التوزيعية. أظهرت النماذج الحديثة المعتمدة على الانتباه، مثل Anomaly Transformer وDCDetector، وعدًا من خلال التقاط الاعتماديات بعيدة المدى ولكنها لا تزال تفتقر إلى التحيزات الاستقرائية اللازمة للتمييز بين الشذوذات ذات المعنى والتقلبات الطفيفة.
يقدم المؤلفون مساهمتهم، Pi-Transformer، وهي بنية ذات انتباه مزدوج مصممة لتعزيز اكتشاف الشذوذ في السلاسل الزمنية متعددة المتغيرات. يعالج هذا النموذج أخطاء المعايرة في أجهزة الكشف عن إعادة البناء والتنبؤ من خلال دمج مسار انتباه معتمد على المعلومات السابقة يوفر مرجعًا زمنيًا مستقرًا. تشمل الابتكارات الرئيسية معلمة سابقة منظمة تعتمد على مجالات المقياس والفاز المتغيرة زمنياً، واستراتيجية تدريب تتماشى مع طريقيتي الانتباه دون انهيار إشارة عدم التطابق، وآلية استدلال تفكك الاكتشاف إلى إشارات تكاملية. يظهر Pi-Transformer أداءً قويًا عبر خمسة مجموعات بيانات مرجعية، متفوقًا بشكل خاص في اكتشاف الشذوذات الزمنية وكسر الفاز، مما يقدم تقدمًا كبيرًا في مجال اكتشاف الشذوذ.
DOI: https://doi.org/10.1016/j.asoc.2026.115029
Publication Date: 2026-03-12
Author(s): Sepehr Maleki et al.
Primary Topic: Anomaly Detection Techniques and Applications
Overview
The Pi-Transformer (Prior-Informed Transformer) is introduced as a novel approach to anomaly detection in multivariate time series, addressing the complexity of anomalies that arise from temporal context and inter-channel relationships rather than isolated outliers. The model features two attention pathways: a data-driven series attention and a prior attention that encodes temporal invariants such as scale-related self-similarity and phase synchrony. This prior attention serves as an amplitude-insensitive reference to calibrate reconstruction errors. During training, the model employs a dual objective that combines reconstruction with a divergence term to ensure meaningful distinctions between the two attention pathways. At inference, the model generates a fused score by integrating an alignment-weighted reconstruction signal (Energy) and a mismatch signal that highlights timing and phase disruptions.
Empirical evaluations across five benchmark datasets (SMD, MSL, SMAP, SWaT, and PSM) demonstrate that the Pi-Transformer achieves state-of-the-art or highly competitive F1 scores, particularly excelling in detecting timing and phase-breaking anomalies where traditional methods struggle. Case analyses reveal the complementary behavior of the two attention streams and their interpretability in identifying regime changes. While the model shows significant improvements, it also indicates areas for future enhancement, such as refining score aggregation methods to better align detected anomalies with actual boundaries and exploring adaptive tuning for model parameters. The findings suggest that integrating prior-informed structures into transformer models enhances anomaly detection capabilities in complex multivariate systems, providing both accuracy and interpretability in understanding temporal dynamics.
Introduction
The introduction of the research paper highlights the critical role of anomaly detection in multivariate time series across various sectors, including industry, healthcare, cybersecurity, finance, and space exploration. Effective anomaly detection is essential for predictive maintenance in industrial settings, monitoring vital signs in healthcare, preventing outages in telecommunications, and ensuring the safety of space missions. The increasing prevalence of sensor-rich Internet of Things (IoT) and cyber-physical systems has amplified the complexity and scale of time series data, thereby intensifying the challenges associated with anomaly detection.
Detecting anomalies in multivariate time series is complicated due to their contextual nature, dependence on multiple variables, and temporal variability. Anomalies often manifest through intricate relationships between variables rather than as straightforward outliers, necessitating models that can accommodate multi-scale timing. For example, in rotating machinery, the synchronization of vibration signals is crucial; deviations in timing can indicate mechanical failures even when individual signals remain within normal ranges. The paper identifies several challenges in developing effective anomaly detection systems, including the scarcity of labeled anomalies for supervised learning, the need for robustness against noise and benign distribution shifts, and the requirement for interpretable decision-making to facilitate validation and diagnosis of alarms in evolving operational conditions.
Methods
In this section, the authors outline the methodology employed to assess the performance of the Pi-Transformer model in the context of multivariate time-series anomaly detection. The evaluation is conducted across five established benchmarks: SMD, MSL, SMAP, SWaT, and PSM. These datasets are recognized for their relevance and complexity in testing anomaly detection algorithms, thereby providing a robust framework for analyzing the efficacy of the proposed model. The results from these experiments will contribute to understanding the strengths and limitations of the Pi-Transformer in real-world applications.
Results
The results presented in Table 2 demonstrate that the Pi-Transformer achieves state-of-the-art or highly competitive F1 scores across five benchmarks, exhibiting a balanced precision-recall profile. The evaluation follows a segment-level point-adjust procedure, which is noted to be more permissive than stricter point-wise or range-aware metrics. This is significant as it allows for crediting detections within labeled anomalous segments, potentially leading to slight discrepancies around anomaly boundaries due to stride-1 overlapping windows and end-aligned score aggregation. Consequently, while the results reflect segment-detection performance, absolute scores may be lower under stricter localization-sensitive metrics.
Further analysis on the PSM dataset reveals the multivariate and partially correlated nature of the task, as illustrated in Figures 4 and 5. The input window shows two ground-truth anomalous regimes, with certain channels exhibiting clear amplitude deviations. The attention behavior analysis indicates a pronounced reallocation in the series pathway during anomalous conditions, contrasting with the smoother prior pathway. This divergence is indicative of phase-breaking events, characterized by an elevated mismatch response. Additionally, decision streams depicted in Figure 6 highlight pre-onset spikes in both $e_i$ and $\Delta_i$, leading to a lead effect before the onset of anomalies. Figure 7 further elucidates the contributions of individual channels, revealing that while some channels may appear normal in isolation, their joint phase relationships deteriorate around the annotated regimes, resulting in systematic increases in reconstruction error. This underscores that evidence of anomalies is distributed across the multivariate series, rather than confined to visibly deviating channels.
Discussion
In the discussion section, the authors review existing methodologies for anomaly detection in multivariate time series, highlighting their strengths and limitations. Traditional statistical methods, such as ARIMA and EWMA, offer interpretability but struggle with non-linearities and multivariable dependencies. Classical machine learning techniques, including isolation forests and one-class SVMs, improve generality but inadequately address temporal correlations, leading to reduced effectiveness in dynamic environments. Deep learning approaches, particularly autoencoders and recurrent networks, have advanced the field by enabling non-linear modeling of complex time series. However, these methods often face calibration challenges, resulting in false positives due to benign noise and distribution shifts. Recent attention-based models, like the Anomaly Transformer and DCDetector, have shown promise by capturing long-range dependencies but still lack the inductive biases necessary to distinguish between meaningful anomalies and minor fluctuations.
The authors introduce their contribution, the Pi-Transformer, a dual-attention architecture designed to enhance multivariate time-series anomaly detection. This model addresses calibration errors in reconstruction and prediction-based detectors by incorporating a prior-informed attention pathway that provides a stable temporal reference. Key innovations include a structured prior parameterized by time-varying scale and phase fields, a training strategy that aligns the two attention pathways without collapsing the mismatch signal, and an inference mechanism that decomposes detection into complementary signals. The Pi-Transformer demonstrates robust performance across five benchmark datasets, particularly excelling in detecting timing and phase-breaking anomalies, thus offering a significant advancement in the field of anomaly detection.
