DOI: https://doi.org/10.1109/tmm.2026.3668652
تاريخ النشر: 2026-01-01
المؤلف: Yufei Song وآخرون
الموضوع الرئيسي: الصلابة ضد الهجمات في تعلم الآلة
نظرة عامة
في هذا القسم، يقدم المؤلفون SegTrans، وهو إطار عمل جديد لهجمات النقل مصمم لتعزيز قابلية النقل للأمثلة العدائية عبر نماذج التقسيم المختلفة. يعالج الإطار قيود طرق الهجوم العدائي الحالية، التي غالبًا ما تعاني من ضعف قابلية النقل بسبب الاعتماديات السياقية المعقدة وفجوات توزيع الميزات بين النماذج البديلة والنماذج المستهدفة. يقوم SegTrans بشكل مبتكر بتقسيم عينات الإدخال إلى مناطق محلية متعددة، وإعادة رسم معلوماتها الدلالية لإنشاء عينات معززة متنوعة. تركز هذه الطريقة على المعلومات الدلالية المحلية بدلاً من الدلالات العالمية، مما يحسن من فعالية الاضطرابات بشكل أكبر.
أجرى المؤلفون تجارب واسعة على مجموعات بيانات مرجعية، PASCAL VOC وCityscapes، باستخدام أربعة نماذج تقسيم مختلفة وثلاثة شبكات أساسية. تظهر النتائج أن SegTrans يحسن بشكل كبير من معدلات نجاح النقل العدائي، محققًا زيادة متوسطة قدرها 8.55% مقارنة بالطرق الحديثة، بينما يعزز أيضًا الكفاءة الحسابية بأكثر من 100%. استراتيجية تنشيط الاضطراب متعددة المناطق المقترحة تعطل التماسك العالمي في ميزات الإدخال، وطريقة إعادة رسم الدلالات المبتكرة تقلل من التباينات في تمثيل الميزات، مما يخدع نماذج التقسيم بشكل فعال. الشيفرة الخاصة بـ SegTrans متاحة للجمهور، مما يسهل المزيد من البحث في هذا المجال.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على الأهمية المتزايدة لنماذج التقسيم الدلالي في تطبيقات معقدة متنوعة، بما في ذلك القيادة الذاتية، وتحليل الصور الطبية، والاستشعار عن بعد. تُعترف هذه النماذج، التي تقوم بتصنيف على مستوى البكسل، بشكل متزايد بضعفها أمام الأمثلة العدائية وهجمات التسميم. تمثل الأمثلة العدائية، على وجه الخصوص، تهديدًا عمليًا حيث تتضمن إضافة اضطرابات غير ملحوظة إلى بيانات الإدخال، مما يؤدي إلى مخرجات غير صحيحة من نماذج التعلم العميق. تناقش الورقة التقدمات الأخيرة في الهجمات العدائية المعتمدة على النقل ضد نماذج التقسيم، التي تستخدم نماذج بديلة لتوليد اضطرابات قابلة للنقل دون الوصول المباشر إلى النموذج المستهدف. ومع ذلك، تفشل الطرق الحالية في أخذ الاعتماديات الدلالية القوية بين الكائنات في مهام التقسيم في الاعتبار وغالبًا ما تعتمد بشكل كبير على ميزات النموذج البديل، مما يحد من فعاليتها.
لمعالجة هذه التحديات، يقترح المؤلفون SegTrans، وهو إطار عمل جديد لهجمات النقل مصمم لتعزيز قابلية النقل للأمثلة العدائية في مهام التقسيم. يتكون SegTrans من وحدتين رئيسيتين: وحدة تنشيط الاضطراب متعددة المناطق، التي تولد عينات معززة من خلال الحفاظ على معلومات دلالية جزئية، ووحدة إعادة رسم الدلالات، التي تقوم بتحسين الاضطرابات من خلال إنشاء نسخ معززة متعددة من العينة الأصلية. هذه الطريقة تحول التركيز من المعلومات الدلالية العالمية إلى الدلالات الجزئية، مما يحسن من قابلية النقل للأمثلة العدائية عبر نماذج التقسيم المختلفة. تظهر النتائج التجريبية أن SegTrans يحقق معدل نجاح هجوم مرتفع عبر أربعة نماذج تقسيم واثنين من مجموعات البيانات المرجعية، مما يبرز فعاليته في استغلال نقاط الضعف في نماذج التقسيم. تشمل المساهمات الرئيسية للدراسة التحقيق في ظاهرة الاقتران في مهام التقسيم، وتقديم إطار عمل SegTrans، والتحقق التجريبي من أدائه.
طرق
في هذا القسم، يتم تفصيل المنهجية المستخدمة في التجارب، مع تسليط الضوء على مواصفات الأجهزة والتحليل المقارن لمختلف النماذج من حيث معدلات نجاح الهجوم (ASR). تم إجراء التجارب على جهاز مزود ببطاقتي NVIDIA A100-SXM4، واثنين من معالجات Intel Xeon Gold 6132، و314 جيجابايت من الذاكرة العشوائية. يتم تلخيص النتائج في الجدول II، حيث يتم التأكيد على أعلى قيم ASR بالخط العريض. تشمل النماذج التي تم تقييمها DeepLabV3+ مع هيكل ResNet101 (المشار إليه بـ DV3+ مع R101) وPSPNet مع هيكل ResNet50 (المشار إليه بـ P Net مع R50)، إلى جانب نماذج بديلة مختلفة مثل FCN، PSP، DeepLabV1 (DV1)، وDeepLabV3+ (DV3+).
تشير النتائج إلى أن الطريقة المقترحة تتفوق على التقنيات الحالية عبر مجموعات بيانات متعددة، بما في ذلك PASCAL VOC وCITYSCAPES. على سبيل المثال، حققت الطريقة المسمى “خاصتنا” قيم ASR قدرها 62.60% و58.09% على مجموعة بيانات PASCAL VOC مع نماذج DV3+ وP Net، على التوالي، مما يظهر فعالية تفوق مقارنة بطرق أخرى مثل MI-FGSM وEBAD. تؤكد هذه النتائج على قوة الطريقة المقترحة في تعزيز معدلات نجاح الهجوم في البيئات العدائية.
نتائج
تشير النتائج إلى أن الاضطرابات العدائية المصممة لنموذج معين مرتبطة ارتباطًا وثيقًا بتوزيع ميزاته، مما يقيد قابلية نقلها ويقلل من فعاليتها على نماذج أخرى. تُعرف هذه الظاهرة، التي تُسمى تثبيت الميزات، بأنها ناتجة عن اعتماد النموذج المفرط على ميزات إدخال معينة. لمعالجة هذه المشكلة، يقترح المؤلفون استراتيجية إعادة رسم دلالية تهدف إلى تقليل تأثير تثبيت الميزات من خلال محاكاة التباينات في معالجة الصور عبر نماذج مختلفة.
تشمل الاستراتيجية المقترحة توجيه تحسين الاضطراب باستخدام نسخ متعددة معززة دلاليًا من الإدخال الأصلي، بدلاً من الاعتماد فقط على العينة الأصلية. تعزز هذه الطريقة التنوع في الاضطرابات، وكما هو موضح في النتائج (خصوصًا في الشكل 3)، تقلل بشكل كبير من تحيز تمثيل الميزات بين النماذج البديلة والنماذج المستهدفة. وبالتالي، فإن هذه الطريقة تخفف بشكل فعال من الآثار السلبية المرتبطة بتثبيت الميزات، مما يؤدي إلى تحسين القوة العدائية عبر نماذج مختلفة.
مناقشة
تتناول قسم المناقشة في الورقة البحثية التحديات والتقدمات في الهجمات العدائية والدفاعات ضمن نماذج التقسيم. تسلط الضوء على قيود طرق الهجوم العدائي الحالية، ولا سيما ضعف قابلية نقلها عبر هياكل نماذج مختلفة بسبب ظاهرة الاقتران الضيق وتثبيت الميزات. تشير ظاهرة الاقتران الضيق إلى الروابط الدلالية القوية بين الكائنات في مهام التقسيم، مما يسمح للنماذج بالاستفادة من المعلومات السياقية لتخفيف تأثير الاضطرابات العدائية. في المقابل، يحدث تثبيت الميزات عندما تتناسب الاضطرابات العدائية بشكل مفرط مع توزيع ميزات النموذج البديل، مما يؤدي إلى تقليل الفعالية ضد النماذج المستهدفة.
لمعالجة هذه التحديات، تقدم الورقة SegTrans، الذي يتكون من مكونين رئيسيين: تنشيط الاضطراب متعدد المناطق وإعادة رسم الدلالات. الأول يعطل سلامة المعلومات الدلالية من خلال اختيار مناطق غير متداخلة بشكل عشوائي للاضطراب، مما يعزز تنوع الأمثلة العدائية. الثاني يحسن تمثيلات الميزات من خلال توجيه توليد الاضطراب عبر مناطق عشوائية متعددة، مما يساعد على التغلب على القيود المفروضة بواسطة تثبيت الميزات. تظهر النتائج التجريبية أن SegTrans يحسن بشكل كبير من معدل نجاح الهجوم (ASR) عبر نماذج التقسيم ومجموعات البيانات المختلفة، محققًا أكثر من 50% ASR في العديد من الإعدادات، مما يثبت فعاليته في توليد أمثلة عدائية قابلة للنقل.
قيود
في هذا القسم، يعترف المؤلفون بعدة قيود في بحثهم حول الهجمات العدائية القابلة للنقل التي تستهدف نماذج التقسيم الدلالي. يبرزون الحاجة إلى مزيد من التحقيق في ما إذا كان التدريب العدائي باستخدام طريقتهم المقترحة SegTrans يمكن أن يعزز من قوة هذه النماذج ضد مجموعة أوسع من الهجمات العدائية. يُعتبر هذا الاستكشاف أمرًا حيويًا لتقدم قوة التقسيم الدلالي ومجال أبحاث الهجمات العدائية بشكل عام.
بالإضافة إلى ذلك، يشير المؤلفون إلى أن نهجهم لم يُطبق بعد على نماذج التصنيف أو الكشف عن الكائنات بسبب الاختلافات الهيكلية الجوهرية. ومع ذلك، يؤكدون أن استراتيجيات تنشيط الاضطراب متعددة المناطق وإعادة رسم الدلالات تقدم منظورًا جديدًا مع تطبيقات محتملة تتجاوز التقسيم الدلالي. أخيرًا، يعترفون بنقص التحليل النظري الكافي في تجارب الدفاع العدائي الخاصة بهم، لا سيما فيما يتعلق بالآليات التي تتجاوز بها هجماتهم المقترحة الدفاعات الحالية. يُعتبر معالجة هذه الفجوة النظرية أولوية للبحث المستقبلي لتعزيز الفهم وتحسين استراتيجيات الدفاع.
DOI: https://doi.org/10.1109/tmm.2026.3668652
Publication Date: 2026-01-01
Author(s): Yufei Song et al.
Primary Topic: Adversarial Robustness in Machine Learning
Overview
In this section, the authors present SegTrans, a novel transfer attack framework designed to enhance the transferability of adversarial examples across different segmentation models. The framework addresses the limitations of existing adversarial attack methods, which often struggle with poor transferability due to complex contextual dependencies and feature distribution gaps between surrogate and target models. SegTrans innovatively divides input samples into multiple local regions, remapping their semantic information to create diverse enhanced samples. This approach focuses on local semantic information rather than global semantics, thereby optimizing perturbations more effectively.
The authors conducted extensive experiments on benchmark datasets, PASCAL VOC and Cityscapes, utilizing four different segmentation models and three backbone networks. The results demonstrate that SegTrans significantly improves adversarial transfer success rates, achieving an average increase of 8.55% compared to state-of-the-art methods, while also enhancing computational efficiency by over 100%. The proposed multiregion perturbation activation strategy disrupts global coherence in input features, and the innovative semantic remapping method reduces feature representation discrepancies, effectively deceiving segmentation models. The code for SegTrans is publicly available, facilitating further research in this area.
Introduction
The introduction of this research paper highlights the growing significance of semantic segmentation models in various complex applications, including autonomous driving, medical image analysis, and remote sensing. These models, which perform pixel-level classification, are increasingly recognized for their vulnerability to adversarial examples and poisoning attacks. Adversarial examples, in particular, pose a practical threat as they involve adding imperceptible perturbations to input data, leading to incorrect outputs from deep learning models. The paper discusses recent advancements in transfer-based adversarial attacks against segmentation models, which utilize surrogate models to generate transferable perturbations without direct access to the target model. However, existing methods fail to account for the strong semantic dependencies among objects in segmentation tasks and often rely heavily on surrogate model features, limiting their effectiveness.
To address these challenges, the authors propose SegTrans, a novel transfer attack framework designed to enhance the transferability of adversarial examples in segmentation tasks. SegTrans consists of two key modules: the multi-region perturbation activation module, which generates enhanced samples by preserving partial semantic information, and the semantic remapping module, which refines perturbations by creating multiple enhanced variants of the original sample. This approach shifts the focus from global semantic information to partial semantics, thereby improving the transferability of adversarial examples across various segmentation models. Experimental results demonstrate that SegTrans achieves a high attack success rate across four segmentation models and two benchmark datasets, underscoring its effectiveness in exploiting the vulnerabilities of segmentation models. The main contributions of the study include an investigation into the coupling phenomenon in segmentation tasks, the introduction of the SegTrans framework, and empirical validation of its performance.
Methods
In this section, the methodology employed for the experiments is detailed, highlighting the hardware specifications and the comparative analysis of various models in terms of their attack success rates (ASR). The experiments were conducted on a machine equipped with two NVIDIA A100-SXM4 GPUs, two Intel Xeon Gold 6132 CPUs, and 314GB of RAM. The results are summarized in Table II, where the highest ASR values are emphasized in bold. The models evaluated include DeepLabV3+ with a ResNet101 backbone (denoted as DV3+ with R101) and PSPNet with a ResNet50 backbone (denoted as P Net with R50), alongside various surrogate models such as FCN, PSP, DeepLabV1 (DV1), and DeepLabV3+ (DV3+).
The results indicate that the proposed method outperforms existing techniques across multiple datasets, including PASCAL VOC and CITYSCAPES. For instance, the method labeled “Ours” achieved ASR values of 62.60% and 58.09% on the PASCAL VOC dataset with the DV3+ and P Net models, respectively, demonstrating superior effectiveness compared to other methods such as MI-FGSM and EBAD. These findings underscore the robustness of the proposed approach in enhancing attack success rates in adversarial settings.
Results
The results indicate that adversarial perturbations tailored for a specific model are closely linked to its feature distribution, which restricts their transferability and diminishes their effectiveness on other models. This phenomenon, termed feature fixation, arises from the model’s over-reliance on particular input features. To address this issue, the authors propose a Semantic Remapping Strategy aimed at reducing the impact of feature fixation by simulating the variances in image processing across different models.
The proposed strategy involves guiding perturbation optimization using multiple semantically enhanced versions of the original input, rather than relying solely on the original sample. This approach fosters diversity in the perturbations and, as demonstrated in the results (specifically in Fig. 3), significantly lessens the feature representation bias between surrogate and target models. Consequently, this method effectively mitigates the negative effects associated with feature fixation, leading to improved adversarial robustness across different models.
Discussion
The discussion section of the research paper elaborates on the challenges and advancements in adversarial attacks and defenses within segmentation models. It highlights the limitations of existing adversarial attack methods, particularly their weak transferability across different model architectures due to the tight coupling phenomenon and feature fixation. The tight coupling phenomenon refers to the strong semantic associations between objects in segmentation tasks, which allows models to leverage contextual information to mitigate the impact of adversarial perturbations. In contrast, feature fixation occurs when adversarial perturbations overfit the surrogate model’s feature distribution, leading to reduced effectiveness against target models.
To address these challenges, the paper introduces SegTrans, which comprises two key components: Multi-region Perturbation Activation and Semantic Remapping. The former disrupts the integrity of semantic information by randomly selecting non-overlapping regions for perturbation, thereby enhancing the diversity of adversarial examples. The latter optimizes feature representations by guiding perturbation generation through multiple random regions, which helps to overcome the limitations imposed by feature fixation. Experimental results demonstrate that SegTrans significantly improves the attack success rate (ASR) across various segmentation models and datasets, achieving over 50% ASR in numerous settings, thus validating its effectiveness in generating transferable adversarial examples.
Limitations
In this section, the authors acknowledge several limitations of their research on transferable adversarial attacks targeting semantic segmentation models. They highlight the need for further investigation into whether adversarial training using their proposed SegTrans method can enhance the robustness of these models against a wider array of adversarial attacks. This exploration is deemed crucial for advancing the robustness of semantic segmentation and the broader field of adversarial attack research.
Additionally, the authors note that their approach has not yet been applied to classification or object detection models due to inherent structural differences. However, they assert that their multi-region perturbation activation and semantic remapping strategies present a novel perspective with potential applications beyond semantic segmentation. Lastly, they recognize a lack of sufficient theoretical analysis in their adversarial defense experiments, particularly regarding the mechanisms by which their proposed attacks circumvent existing defenses. Addressing this theoretical gap is identified as a priority for future research to enhance the understanding and optimization of defense strategies.