DOI: https://doi.org/10.1109/tip.2026.3683277
PMID: https://pubmed.ncbi.nlm.nih.gov/41996438
تاريخ النشر: 2026-01-01
المؤلف: Canhui Tang وآخرون
الموضوع الرئيسي: تقنيات الكشف عن الشذوذ وتطبيقاتها
نظرة عامة
تقدم البحث إطار عمل جديد من مرحلتين لاكتشاف الشذوذ الصناعي، يسمى AAND، والذي يعزز الفجوة في الميزات بين نموذج المعلم ونموذج الطالب من خلال عمليات متسلسلة من تضخيم الشذوذ وتقطير الطبيعية. يعتمد الإطار على فرضيتين رئيسيتين: أن نموذج المعلم يمكنه تحديد التوزيعات الطبيعية وغير الطبيعية، بينما يُقيد نموذج الطالب بإعادة بناء التوزيع الطبيعي فقط. لمعالجة التحديات في الحفاظ على هذه الافتراضات، يقترح المؤلفون وحدة تضخيم الشذوذ المتبقي (RAA) في المرحلة الأولى، والتي تولد متبقيات تكيفية لتضخيم الشذوذ دون المساس بسلامة نموذج المعلم المدرب مسبقًا. تتضمن هذه الوحدة بوابة متبقية موجهة بالمطابقة ومولد متبقيات مقاييس الخصائص لتحسين خصائص المتبقيات.
في المرحلة الثانية، يستخدم الإطار نموذج تقطير عكسي مع خسارة تقطير المعرفة الصعبة (HKD) لتعزيز قدرة فك تشفير الطالب على إعادة بناء الأنماط الطبيعية. يتم التحقق من فعالية إطار AAND من خلال تجارب شاملة على مجموعات بيانات MvTecAD وVisA وMvTec3D-RGB، محققًا أداءً متقدمًا. يعترف المؤلفون بالقيود في اكتشاف بعض الشذوذات الصعبة من صور RGB فقط ويقترحون أن دمج المعرفة من أوضاع أخرى، مثل سحب النقاط واللغة الطبيعية، بالإضافة إلى توليد بيانات شذوذ أكثر واقعية، يمكن أن يحسن نتائج الاكتشاف. ستستكشف الأعمال المستقبلية أيضًا تفكيك نموذج المعلم المدرب مسبقًا إلى شبكات عوامل محددة للمهام.
مقدمة
تناقش مقدمة الورقة أهمية اكتشاف الشذوذ الصناعي (IAD)، الذي يهدف إلى تحديد وتحديد مواقع الشذوذ في صور المنتجات الصناعية. تنشأ التحديات من توفر عينات شذوذ محدودة، مما يستلزم نهجًا غير خاضع للإشراف يعتمد على العينات الطبيعية للتدريب. تعقد الطبيعة المتنوعة للشذوذات الصناعية الاكتشاف، حيث يمكن أن تظهر كتغيرات دقيقة في القوام أو عيوب هيكلية كبيرة. تسلط الورقة الضوء على استخدام مستخرجات الميزات المدربة مسبقًا على ImageNet لتوليد تمثيلات لكل من الأنماط الطبيعية وغير الطبيعية، مع الاستفادة من التقدمات الحديثة في تقطير المعرفة لتعزيز اكتشاف الشذوذ من خلال إطار “فجوة المعلم والطالب”.
يحدد المؤلفون فرضيتين حرجتين لتقطير المعرفة الفعال: (1) يجب أن يمثل نموذج المعلم توزيعات متميزة للأنماط الطبيعية وغير الطبيعية، و(2) يجب على فك تشفير الطالب إعادة بناء الأنماط الطبيعية فقط. يشيرون إلى أن هذه الافتراضات غالبًا ما لا تتحقق في الممارسة العملية، خاصة بسبب الاختلافات الجوهرية في أهداف المهام وندرة البيانات غير الطبيعية. لمعالجة هذه التحديات، تقترح الورقة إطار عمل من مرحلتين يتضمن مرحلة تضخيم الشذوذ ومرحلة تقطير الطبيعية. تستخدم مرحلة تضخيم الشذوذ وحدة تضخيم الشذوذ المتبقي (RAA) لتعزيز قدرة نموذج المعلم على التمييز باستخدام الشذوذات الاصطناعية، بينما تستخدم مرحلة تقطير الطبيعية خسارة تقطير المعرفة الصعبة لتحسين قدرة فك تشفير الطالب على إعادة البناء. تظهر الطريقة المقترحة تحسينات كبيرة في أداء اكتشاف الشذوذ عبر مجموعات بيانات متنوعة، مما يشير إلى قوتها في التعامل مع السيناريوهات الصناعية المعقدة.
طرق
تناقش هذه القسم طرقًا متنوعة لاكتشاف الشذوذ (IAD)، مع التركيز على الأساليب المعتمدة على التركيب، والأساليب المعتمدة على التضمين، والأساليب المعتمدة على التقطير. تعالج الأساليب المعتمدة على التركيب تحدي محدودية عينات الشذوذ من خلال توليد شذوذات اصطناعية عبر تقنيات مثل إدخال الضوضاء والتلاعب بقطع الصور. على سبيل المثال، تستخدم طرق مثل DRAEM وNSA القوام الخارجي وتحرير الصور بوساطة بواسون، على التوالي، لإنشاء الشذوذات. ومع ذلك، يمكن أن يؤدي الاعتماد على الشذوذات الاصطناعية إلى الإفراط في التكيف، مما يدفع المؤلفين إلى اقتراح نهج جديد يعزز حساسية نموذج مدرب مسبقًا تجاه الشذوذات مع الحفاظ على قدرته على اكتشاف الشذوذات غير المرئية.
تستفيد الأساليب المعتمدة على التضمين من النماذج المدربة مسبقًا لتمثيل الأنماط الطبيعية وغير الطبيعية في فضاءات الميزات عالية الأبعاد. تستخدم تقنيات مثل Padim وPatchcore النمذجة الإحصائية وبنوك الذاكرة، على التوالي، بينما تدمج أخرى تدفقات التطبيع لتعلم التوزيعات الطبيعية. تجمع الأساليب المعتمدة على التقطير بين إعادة البناء والأساليب المعتمدة على التضمين، حيث تستخدم نموذج الطالب للتعلم من تضمينات متعددة المقاييس لنموذج المعلم. يبرز المؤلفون قيود الأساليب الحالية للتقطير، خاصة تركيزها على نماذج الطلاب، ويقترحون استراتيجية تعزيز مزدوجة لكل من نماذج المعلم والطالب.
يقارن المؤلفون طريقتهم مع التصاميم البديلة، مما يظهر أداءً متفوقًا من خلال تجارب تكشف عن عيوب الأساليب التقليدية، التي تميل إلى الإفراط في التكيف مع الشذوذات الاصطناعية. يظهر إطار التدريب المكون من مرحلتين أنه فعال، مع دراسات إلغاء تشير إلى أن دمج كلا المرحلتين أمر حاسم لتحقيق الأداء الأمثل. ومع ذلك، يؤدي التدريب المشترك للمرحلتين إلى نتائج أسوأ بسبب عدم الاستقرار في فضاء ميزات نموذج المعلم. بشكل عام، يعزز الإطار المقترح فعالية قدرة التمييز لنموذج المعلم مع الحفاظ على قدرة نموذج الطالب على تعلم الأنماط الطبيعية.
نقاش
في مناقشة ورقة البحث، يصنف المؤلفون الأساليب الحالية لاكتشاف الشذوذ الصناعي (IAD) إلى أربعة أنواع: الأساليب المعتمدة على إعادة البناء، والأساليب المعتمدة على التركيب، والأساليب المعتمدة على التضمين، والأساليب المعتمدة على التقطير. يبرزون أن الأساليب المعتمدة على إعادة البناء، التي تستخدم عادة تقنيات مثل الشبكات التنافسية التوليدية (GANs)، والمشفيرات الذاتية (AEs)، والمشفيرات الذاتية التغيرية (VAEs)، تركز على إعادة بناء المدخلات الطبيعية وتعتمد على الافتراض بأن الشذوذات ستؤدي إلى أخطاء إعادة بناء أعلى. لقد دمجت التقدمات الحديثة نماذج الانتشار الكامنة لتحسين جودة إعادة بناء الصور. ومع ذلك، يشير المؤلفون إلى تحدٍ كبير: قد تؤدي طرق إعادة البناء على مستوى البكسل عن غير قصد إلى تعميم الشذوذات، مما يؤدي إلى إعادة بنائها بشكل فعال.
لمعالجة هذه المشكلة، يقترح المؤلفون إطار عمل من مرحلتين لاكتشاف الشذوذ يستفيد من تقطير المعرفة (KD). تهدف المرحلة الأولى، المسماة مرحلة تضخيم الشذوذ، إلى تعزيز قدرة نموذج المعلم على التمييز بين الأنماط الطبيعية والشاذة من خلال إدخال شذوذات اصطناعية واستخدام وحدة تضخيم الشذوذ المتبقي (RAA). تستخدم هذه الوحدة التعلم المتبقي التكيفي لتضخيم الشذوذات مع الحفاظ على سلامة النموذج المدرب مسبقًا. تركز المرحلة الثانية، مرحلة تقطير الطبيعية، على تدريب فك تشفير الطالب لإعادة بناء التوزيع الطبيعي فقط، باستخدام خسارة تقطير المعرفة الصعبة لتحسين إعادة بناء الأنماط الطبيعية الصعبة. تم تصميم الإطار العام لضمان تعظيم الفجوات بين نماذج المعلم والطالب للشذوذات، مما يعزز قوة عملية اكتشاف الشذوذ.
DOI: https://doi.org/10.1109/tip.2026.3683277
PMID: https://pubmed.ncbi.nlm.nih.gov/41996438
Publication Date: 2026-01-01
Author(s): Canhui Tang et al.
Primary Topic: Anomaly Detection Techniques and Applications
Overview
The research introduces a novel two-stage framework for industrial anomaly detection, termed AAND, which enhances the feature discrepancy between a teacher model and a student model through sequential processes of Anomaly Amplification and Normality Distillation. The framework is predicated on two key assumptions: that the teacher model can delineate normal and abnormal distributions, while the student model is restricted to reconstructing only the normal distribution. To address the challenges in maintaining these assumptions, the authors propose a Residual Anomaly Amplification (RAA) module in the first stage, which generates adaptive residuals to amplify anomalies without compromising the integrity of the pre-trained teacher model. This module includes a Matching-guided Residual Gate and an Attribute-scaling Residual Generator to optimize the characteristics of the residuals.
In the second stage, the framework employs a reverse distillation paradigm with a Hard Knowledge Distillation (HKD) loss to enhance the student decoder’s ability to reconstruct normal patterns. The effectiveness of the AAND framework is validated through comprehensive experiments on the MvTecAD, VisA, and MvTec3D-RGB datasets, achieving state-of-the-art performance. The authors acknowledge limitations in detecting certain hard anomalies from RGB images alone and suggest that integrating knowledge from other modalities, such as point clouds and natural language, as well as synthesizing more realistic anomaly data, could improve detection outcomes. Future work will also explore decomposing the pre-trained teacher model into task-specific factor networks.
Introduction
The introduction of the paper discusses the significance of Industrial Anomaly Detection (IAD), which aims to identify and localize anomalies in industrial product images. The challenge arises from the limited availability of anomaly samples, necessitating an unsupervised approach that relies on normal samples for training. The diverse nature of industrial anomalies complicates detection, as they can manifest as subtle texture changes or major structural defects. The paper highlights the use of feature extractors pre-trained on ImageNet to generate representations for both normal and abnormal patterns, with recent advancements leveraging knowledge distillation to enhance anomaly detection through a “teacher-student discrepancy” framework.
The authors identify two critical assumptions for effective knowledge distillation: (1) the teacher model must represent distinct distributions for normal and abnormal patterns, and (2) the student decoder should only reconstruct normal patterns. They note that these assumptions are often not met in practice, particularly due to the inherent differences in task objectives and the scarcity of abnormal data. To address these challenges, the paper proposes a two-stage framework that includes an anomaly amplification stage and a normality distillation stage. The anomaly amplification stage utilizes a Residual Anomaly Amplification (RAA) module to enhance the teacher model’s discrimination ability using synthetic anomalies, while the normality distillation stage employs a hard knowledge distillation loss to improve the student decoder’s reconstruction capability. The proposed method demonstrates significant improvements in anomaly detection performance across various datasets, indicating its robustness in handling complex industrial scenarios.
Methods
The section discusses various methods for anomaly detection (IAD), focusing on synthesis-based, embedding-based, and distillation-based approaches. Synthesis-based methods address the challenge of limited abnormal samples by generating synthetic anomalies through techniques such as noise introduction and image patch manipulation. For instance, methods like DRAEM and NSA utilize external textures and Poisson image editing, respectively, to create anomalies. However, reliance on synthetic anomalies can lead to overfitting, prompting the authors to propose a novel approach that enhances a pre-trained model’s sensitivity to anomalies while preserving its ability to detect unseen anomalies.
Embedding-based methods leverage pre-trained models to represent normal and abnormal patterns in high-dimensional feature spaces. Techniques such as Padim and Patchcore utilize statistical modeling and memory banks, respectively, while others incorporate normalizing flows to learn normal distributions. Distillation-based methods combine reconstruction and embedding approaches, employing a student model to learn from a teacher model’s multi-scale embeddings. The authors highlight the limitations of existing distillation methods, particularly their focus on student models, and propose a dual enhancement strategy for both the teacher and student models.
The authors compare their method with alternative designs, demonstrating superior performance through experiments that reveal the drawbacks of conventional approaches, which tend to overfit synthetic anomalies. Their two-stage training framework is shown to be effective, with ablation studies indicating that integrating both stages is crucial for optimal performance. Joint training of the two stages, however, results in poorer outcomes due to instability in the teacher model’s feature space. Overall, the proposed framework effectively enhances the discrimination capacity of the teacher model while maintaining the student model’s ability to learn normal patterns.
Discussion
In the discussion of the research paper, the authors categorize existing methods for industrial anomaly detection (IAD) into four types: reconstruction-based, synthesis-based, embedding-based, and distillation-based approaches. They highlight that reconstruction-based methods, which typically utilize techniques such as Generative Adversarial Networks (GANs), Autoencoders (AEs), and Variational Autoencoders (VAEs), focus on reconstructing normal inputs and rely on the assumption that anomalies will yield higher reconstruction errors. Recent advancements have incorporated latent diffusion models to enhance image reconstruction quality. However, the authors note a significant challenge: pixel-level reconstruction methods may inadvertently generalize to anomalies, leading to their effective reconstruction.
To address this issue, the authors propose a two-stage framework for anomaly detection that leverages knowledge distillation (KD). The first stage, termed the Anomaly Amplification Stage, aims to enhance the teacher model’s ability to distinguish between normal and anomalous patterns by introducing synthetic anomalies and employing a Residual Anomaly Amplification (RAA) module. This module uses adaptive residual learning to amplify anomalies while preserving the integrity of the pre-trained model. The second stage, the Normality Distillation Stage, focuses on training a student decoder to reconstruct only the normal distribution, utilizing a hard knowledge distillation loss to improve the reconstruction of challenging normal patterns. The overall framework is designed to ensure that the discrepancies between the teacher and student models are maximized for anomalies, thereby enhancing the robustness of the anomaly detection process.