DOI: https://doi.org/10.1007/s10489-026-07220-2
تاريخ النشر: 2026-04-01
المؤلف: Amirhossein Nazeri وآخرون
الموضوع الرئيسي: الصلابة ضد الهجمات في تعلم الآلة
نظرة عامة
تبحث ورقة البحث في قوة نماذج Transformers للكشف (DETRs) ضد الهجمات العدائية، وهو أمر حاسم للتطبيقات في القيادة الذاتية والروبوتات المتنقلة. على الرغم من التقدم في نماذج DETR، إلا أن ضعفها أمام الاضطرابات العدائية لم يتم فحصه بدقة. قام المؤلفون بإجراء تقييم شامل لـ DETR ونسخه باستخدام مجموعات بيانات MS-COCO وKITTI، حيث تم تطبيق كل من الهجمات ذات الصندوق الأبيض (FGSM وPGD وC&W) وهجوم غير مستهدف جديد مصمم خصيصًا لـ DETR. تكشف النتائج أن نماذج DETR تظهر قابلية كبيرة للهجمات العدائية، مشابهة للكاشفات التقليدية المعتمدة على CNN، مع قابلية نقل ملحوظة داخل الشبكة بين نسخ DETR ولكن مع قابلية نقل محدودة إلى نماذج CNN.
تخلص الدراسة إلى أن آلية الانتباه في DETR لا توفر حماية إضافية ضد الهجمات العدائية، مما يتحدى الافتراضات السابقة. تؤكد النتائج على الثغرات الحرجة في نماذج DETR في التطبيقات الحساسة للسلامة، مما يبرز ضرورة البحث المستقبلي الذي يهدف إلى تعزيز قوتها. يقترح المؤلفون استكشاف قابلية نقل الهجمات العدائية إلى الكاشفات ذات المرحلة الواحدة مثل YOLO وتحليل آثار هذه الهجمات على أنظمة الإدراك المعتمدة على DETR في سيناريوهات القيادة الذاتية في العالم الحقيقي.
مقدمة
تؤكد مقدمة ورقة البحث هذه على الدور الحاسم للكشف عن الأجسام في رؤية الكمبيوتر، خاصة للتطبيقات في القيادة الذاتية والروبوتات المتنقلة. تبرز التحدي المزدوج المتمثل في التنبؤ بدقة بالصناديق المحيطة وتصنيف الأجسام، وهو أمر أساسي لضمان السلامة والكفاءة التشغيلية. تناقش الورقة ظهور نماذج قائمة على المحولات، وخاصة المحول البصري (ViT) ونماذج Transformers للكشف (DETR)، التي أظهرت أداءً متفوقًا في مهام تصنيف الصور وكشف الأجسام، على التوالي. تبسط بنية DETR عملية الكشف من خلال القضاء على الحاجة إلى مكونات تقليدية مثل توليد المراسي، مما يسمح بالتدريب من البداية إلى النهاية.
على الرغم من التقدم في التعلم العميق، تشير الورقة إلى الثغرات الكبيرة في الشبكات العصبية العميقة (DNNs) أمام الهجمات العدائية، والتي يمكن أن تؤدي إلى تصنيفات خاطئة وتشكل مخاطر على السلامة في التطبيقات الحرجة. بينما استكشفت الدراسات السابقة قوة ViTs ضد الهجمات العدائية، لا تزال قوة DETR غير مستكشفة بشكل كافٍ. تهدف هذه الدراسة إلى سد هذه الفجوة من خلال تقديم تقييم شامل لأداء DETR ضد مجموعة متنوعة من الهجمات العدائية (FGSM وPGD وC&W) عبر مجموعتي بيانات للكشف عن الأجسام: MS-COCO وKITTI. تكشف النتائج عن ثغرات ملحوظة في DETR، بما في ذلك التأثيرات الكبيرة على خرائط ميزات الانتباه الذاتي وإمكانية تحسين استراتيجيات الهجوم العدائي المصممة خصيصًا لـ DETR. تؤكد الدراسة في النهاية على الحاجة إلى تعزيز القوة في نماذج الكشف عن الأجسام المعتمدة على المحولات للتطبيقات في العالم الحقيقي.
نقاش
في هذا القسم، يستكشف المؤلفون ضعف نماذج DETR (DEtection TRansformer) أمام الهجمات العدائية، موسعين الطرق الكلاسيكية مثل FGSM وPGD وC&W إلى هذه البنية. تظهر الدراسة أن نماذج DETR عرضة لهذه الهجمات، مشابهة لكاشفات الأجسام المعتمدة على CNN. يركز المؤلفون على التلاعب بتوقعات الفئة مع الاعتراف بأن توقعات الصناديق المحيطة لم يتم تناولها بشكل صريح في تكييفاتهم. يتم إعطاء صياغة هجوم FGSM بواسطة \( x_{\text{adv}} = x + \epsilon \cdot \text{sign}(\nabla_x (-J(\theta, x, t_c))) \)، حيث \( J \) هو دالة خسارة الانتروبيا المتقاطعة. يتم وصف هجوم PGD كنسخة متعددة الخطوات من FGSM، بينما يقلل هجوم C&W من الاضطرابات مع زيادة ثقة التصنيف الخاطئ.
بالإضافة إلى ذلك، يستكشف المؤلفون قابلية نقل الأمثلة العدائية التي تم إنشاؤها على نماذج DETR، مع تسليط الضوء على الآثار المترتبة على التطبيقات في العالم الحقيقي مثل القيادة الذاتية. يجدون أن الأمثلة العدائية يمكن أن تنتقل بفعالية عبر نسخ DETR ولكن تظهر قابلية نقل محدودة إلى نماذج CNN المعتمدة مثل Faster R-CNN. يجمع الهجوم الجديد المقترح بين اضطراب من خطوة واحدة وعملية C&W متعددة الخطوات، مستهدفًا دوال الخسارة الوسيطة لـ DETR. تؤدي هذه الطريقة إلى تدهور كبير في الأداء مع اضطرابات أصغر مقارنة بالطرق الحالية، مما يشير إلى أن آلية الانتباه في DETR لا تحمي بشكل كافٍ ضد الهجمات العدائية. تؤكد النتائج على الحاجة إلى تعزيز القوة في نماذج DETR، خاصة في التطبيقات الحساسة للسلامة.
DOI: https://doi.org/10.1007/s10489-026-07220-2
Publication Date: 2026-04-01
Author(s): Amirhossein Nazeri et al.
Primary Topic: Adversarial Robustness in Machine Learning
Overview
The research paper investigates the robustness of Detection Transformers (DETRs) against adversarial attacks, which is crucial for applications in autonomous driving and mobile robotics. Despite advancements in DETR models, their vulnerability to adversarial perturbations has not been thoroughly examined. The authors conducted a comprehensive evaluation of DETR and its variants using the MS-COCO and KITTI datasets, applying both white-box attacks (FGSM, PGD, and C&W) and a novel untargeted attack tailored for DETR. The findings reveal that DETR models exhibit significant susceptibility to adversarial attacks, akin to traditional CNN-based detectors, with a notable intra-network transferability among DETR variants but limited transferability to CNN models.
The study concludes that the attention mechanism in DETR does not confer additional protection against adversarial attacks, challenging previous assumptions. The results underscore the critical vulnerabilities of DETR models in safety-sensitive applications, highlighting the necessity for future research aimed at enhancing their robustness. The authors suggest exploring the transferability of adversarial attacks to single-stage detectors like YOLO and analyzing the implications of these attacks on DETR-based perception systems in real-world autonomous driving scenarios.
Introduction
The introduction of this research paper emphasizes the critical role of object detection in computer vision, particularly for applications in autonomous driving and mobile robotics. It highlights the dual challenge of accurately predicting bounding boxes and classifying objects, which is essential for ensuring safety and operational efficiency. The paper discusses the emergence of transformer-based models, specifically the Vision Transformer (ViT) and Detection Transformers (DETR), which have shown superior performance in image classification and object detection tasks, respectively. DETR’s architecture simplifies the detection process by eliminating the need for traditional components like anchor generation, allowing for end-to-end training.
Despite the advancements in deep learning, the paper notes significant vulnerabilities of Deep Neural Networks (DNNs) to adversarial attacks, which can lead to misclassifications and pose safety risks in critical applications. While previous studies have explored the adversarial robustness of ViTs, the robustness of DETR remains underexplored. This research aims to fill that gap by providing a comprehensive evaluation of DETR’s performance against various adversarial attacks (FGSM, PGD, and C&W) across two object detection datasets: MS-COCO and KITTI. The findings reveal notable vulnerabilities in DETR, including significant impacts on self-attention feature maps and the potential for improved adversarial attack strategies tailored to DETR. The study ultimately underscores the need for enhanced robustness in transformer-based object detection models for real-world applications.
Discussion
In this section, the authors investigate the vulnerability of DETR (DEtection TRansformer) models to adversarial attacks, extending classic methods like FGSM, PGD, and C&W to this architecture. The study demonstrates that DETR models are susceptible to these attacks, similar to CNN-based object detectors. The authors focus on manipulating class predictions while acknowledging that bounding box predictions are not explicitly addressed in their adaptations. The formulation of the FGSM attack is given by \( x_{\text{adv}} = x + \epsilon \cdot \text{sign}(\nabla_x (-J(\theta, x, t_c))) \), where \( J \) is a cross-entropy loss function. The PGD attack is described as a multi-step version of FGSM, while the C&W attack minimizes perturbations while maximizing misclassification confidence.
Additionally, the authors explore the transferability of adversarial examples generated on DETR models, highlighting the implications for real-world applications such as autonomous driving. They find that adversarial examples can effectively transfer across DETR variants but show limited transferability to CNN-based models like Faster R-CNN. The proposed novel attack combines a one-step perturbation with a multi-step C&W process, targeting DETR’s intermediate loss functions. This approach results in significant performance degradation with smaller perturbations compared to existing methods, indicating that the attention mechanism in DETR does not adequately protect against adversarial attacks. The findings underscore the need for enhanced robustness in DETR models, particularly in safety-critical applications.