تأثير ضوضاء الزجاج المحاكي على التعرف على المشاعر الوجهية باستخدام نماذج التعلم العميق Impact of simulated glasses noise on facial emotion recognition with deep learning models

شارك:
المجلة: Scientific Reports، المجلد: 16، العدد: 1
DOI: https://doi.org/10.1038/s41598-026-56549-8
PMID: https://pubmed.ncbi.nlm.nih.gov/42265365
تاريخ النشر: 2026-06-09
المؤلف: Deniz Baharvand وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج

نظرة عامة

تناقش هذه الفقرة التحديات والمنهجيات في التعرف على المشاعر الوجهية (FER)، مع التركيز بشكل خاص على تأثير ضوضاء الإخفاء الاصطناعية، مثل النظارات الكبيرة، على أداء النموذج. تستخدم الدراسة مجموعة بيانات RAF DB لتدريب وتقييم ثلاث هياكل متقدمة للتعلم العميق: ResNet-50، وVision Transformer (ViT-Base/16)، وSwin Transformer Tiny (Swin-T). تشير النتائج إلى أن النماذج المعتمدة على المحولات، وخاصة Swin-T، تظهر قوة أكبر ضد الضوضاء البصرية المحاكية، وهو أمر حاسم لتطوير أنظمة FER تعمل بفعالية في ظروف العالم الحقيقي المعقدة.

في الخاتمة، تسلط الأبحاث الضوء على أن هيكل Swin-T Tiny حقق أعلى دقة وF1-Score عبر كل من مجموعات البيانات النظيفة والضوضاء، مع الحفاظ على توازن قوي بين الدقة والاسترجاع. على الرغم من أن جميع النماذج شهدت انخفاضًا في الأداء تحت ظروف الضوضاء الشديدة، أظهر Swin-T قدرات تعميم متفوقة مع قيم AUC لكل فئة تتجاوز 0.85. تعترف الدراسة بالقيود بسبب الطبيعة الاصطناعية للإخفاء المستخدم ونقص التنوع المحتمل في مجموعة بيانات RAF-DB. ستركز الأعمال المستقبلية على دمج البيانات غير البصرية من خلال دمج البيانات متعددة الأنماط وتنفيذ استراتيجية تعلم منهجية للإخفاء لتعزيز مرونة النموذج وقدرته على التكيف في السيناريوهات الواقعية.

مقدمة

في المقدمة، يؤكد المؤلفون على الدور الحاسم للعواطف البشرية في علم السلوك والذكاء الاصطناعي، خاصة في سياقات القيادة حيث يؤثر الحالة العقلية للسائق على التركيز، واتخاذ القرار، وأوقات الاستجابة. يمكن أن تؤثر العواطف السلبية مثل الغضب، والتعب، والضغط على إدراك المخاطر وزيادة احتمال وقوع حوادث المرور، مما يبرز أهمية التعرف الدقيق على المشاعر لتعزيز أنظمة النقل الذكية وتدابير السلامة.

تحدد الورقة تحديات كبيرة في التعرف على المشاعر في العالم الحقيقي، خاصة بسبب الإخفاءات الشائعة في سيناريوهات القيادة، مثل النظارات الشمسية، والأقنعة، والإضاءة غير المتسقة، التي يمكن أن تحجب الميزات الوجهية الرئيسية. وهذا يستلزم تطوير نماذج قوية قادرة على العمل بفعالية على الرغم من المدخلات الضوضائية. أظهرت التطورات الأخيرة في التعلم العميق، خاصة مع الشبكات العصبية التلافيفية (CNNs) والهياكل المعتمدة على المحولات، وعدًا في التعرف على المشاعر الوجهية. كما يشير المؤلفون إلى فوائد دمج تقنيات تقليل الميزات الإحصائية مثل تحليل المكونات الرئيسية (PCA) وتحليل المكونات المستقلة (ICA) لتعزيز استقرار النموذج. تهدف الدراسة إلى تقييم ومقارنة قوة مختلف نماذج الشبكات العصبية، بما في ذلك ResNet-50، وVision Transformer (ViT-Base/16)، وSwin Transformer Tiny (Swin T)، في محاكاة الإخفاءات الواقعية وتحسين أداء التعرف على المشاعر.

الطرق

يقوم إطار التقييم المقترح بتقييم قوة ثلاث هياكل للتعلم العميق – ResNet-50 (المعزز بـ CBAM)، وVision Transformer (ViT-Base/16)، وSwin Transformer Tiny (Swin-T) – ضد إخفاء الوجه العلوي المنظم. تتبع المنهجية خط أنابيب موحد حيث تخضع المدخلات من كل من مجموعات البيانات النظيفة والضوضاء لعمليات معالجة مسبقة متطابقة، واستخراج الميزات من خلال النماذج المختارة، وتحسين عبر وحدات تعزيز الميزات المشتركة (MultiScaleConv وAttentionFusion) قبل التصنيف النهائي. تعتبر قاعدة بيانات الوجه العاطفي الواقعي (RAF-DB) هي مجموعة البيانات، التي تتكون من آلاف الصور الوجهية المصنفة إلى سبع مشاعر أساسية، مما يضمن تنوعًا عاليًا في العمر، والجنس، والعرق، والإضاءة، وهو أمر حاسم لتقييم تعميم النموذج.

في التحليل التجريبي، تم تقييم النماذج تحت كل من سيناريوهات النظافة والإخفاء المنظم باستخدام مجموعة بيانات RAF-DB-Noisy. تم استخدام استراتيجية ضبط دقيقة موحدة من ثلاث مراحل، باستخدام مُحسِّن AdamW، وتنعيم العلامات (0.15)، وتقنيات تعزيز هجينة (CutMix وMixUp). تضمنت بروتوكولات التدريب ضبط النماذج في البداية على مجموعة بيانات RAF-DB النظيفة قبل تعديلها لمجموعة البيانات الضوضائية لتعزيز القوة ضد الإخفاء. تم إجراء التجارب على منصة Google Colab، مما يضمن مقارنة صارمة عبر الهياكل مع إعداد تدريب موحد، بما في ذلك تقنيات التنظيم واستراتيجيات تعزيز البيانات للتخفيف من الإفراط في التكيف.

النتائج

في قسم النتائج، تقيم الدراسة أداء ثلاث نماذج أساسية – ResNet-50، وVision Transformer (ViT-B/16)، وSwin-T Tiny – على مجموعات بيانات RAF-DB وRAF-DB-noisy تحت كل من ظروف الوجه النظيفة والمخفية. تم تقييم النماذج باستخدام الدقة العامة وF1-score الموزون، حيث حقق Swin-T Tiny أعلى دقة نظيفة وF1-score قدرها 0.86، متجاوزًا ResNet-50 (0.83) وViT-B/16 (0.84). تم قياس انخفاض القوة (ΔF1) أيضًا، مما يدل على تدهور الأداء بسبب الضوضاء.

تكشف النتائج النوعية عن سلوكيات مميزة بين الهياكل. أدت ResNet-50، التي تستخدم أنماط مكانية محلية، أداءً جيدًا في الفئات القابلة للفصل بسهولة لكنها واجهت صعوبة مع الإخفاءات. أظهر ViT-B/16 حساسية تجاه الإخفاء العيني، مما أدى إلى عدم اتساق. في المقابل، أظهر Swin-T Tiny تفعيلات مستقرة وإدارة فعالة للاهتمام تحت الإخفاء، مع الحفاظ على حدود فئة متماسكة. أشارت مقاييس الفئات إلى أداء قوي للعواطف مثل السعادة (F1 = 0.90، AUC = 0.98) والحيادية (F1 = 0.72)، بينما عانت الفئات المعتمدة على تعبيرات دقيقة، مثل الاشمئزاز (F1 = 0.24) والخوف (F1 = 0.42)، من تدهور كبير بسبب إخفاء المناطق الوجهية الحرجة. بشكل عام، تؤكد النتائج على قوة Swin-T Tiny في التعرف على تعبيرات الوجه المميزة على الرغم من التحديات التي تطرحها الإخفاءات.

المناقشة

في هذا القسم، تناقش الأبحاث تقييم ثلاث نماذج للتعلم العميق – ResNet-50، وVision Transformer (ViT-Base/16)، وSwin Transformer Tiny (Swin-T) – في بيئة اختبار جديدة مقاومة للإخفاء باستخدام نسخة معدلة من مجموعة بيانات RAF DB، التي تُسمى RAF DB noisy. تقدم الدراسة ضوضاء مستطيلة منظمة لمحاكاة الإخفاءات الواقعية، مثل النظارات الشمسية أو الأقنعة، والتي تؤثر بشكل كبير على التعرف على المشاعر الوجهية (FER). تكشف النتائج أن النماذج المعتمدة على المحولات، وخاصة Swin-T، تظهر قوة متفوقة وقدرات تعميم الميزات تحت الإخفاء مقارنة بالشبكات العصبية التلافيفية التقليدية. يُعزى ذلك إلى آلية الانتباه الهرمية لـ Swin-T، التي تسمح للنموذج بالتركيز بشكل تكيفي على المناطق الوجهية المرئية، تعويضًا عن المعلومات المفقودة.

تساهم الورقة في المجال من خلال إنشاء معيار RAF-DB-Noisy، الذي يختبر أداء النموذج بدقة تحت الإخفاء المنظم، ومن خلال تحليل سلوكيات الهياكل المختلفة في هذا السياق بشكل منهجي. تستخدم الدراسة طرقًا نوعية، مثل تصورات Grad-CAM، للتحقق من قوة النماذج، مما يوضح أن الهياكل المقاومة يمكن أن تحول تركيزها بفعالية من المناطق المخفية إلى المناطق المفيدة من الوجه. بشكل عام، تؤكد الأبحاث على أهمية تطوير أنظمة التعرف على المشاعر القوية القادرة على العمل في السيناريوهات الواقعية حيث تكون الإخفاءات البصرية شائعة، مما يعزز التطبيقات في المراقبة العامة، والرعاية الصحية، والتفاعل بين الإنسان والروبوت.

القيود

تسلط القيود المفروضة على إطار التقييم المقترح الضوء على عدة تحديات رئيسية في تقييم قوة النموذج تحت الإخفاء المنظم. على الرغم من أن الإطار يسمح بمقارنة مضبوطة وتم تأكيد الأهمية الإحصائية من خلال خمس جولات مستقلة، فإن تقييم الأداء عبر نطاق أوسع من شدة الضوضاء محدود بسبب القيود الحاسوبية. بالإضافة إلى ذلك، فإن الاعتماد على ضوضاء تشبه النظارات المحاكية ينشأ من نقص مجموعات البيانات الكبيرة والموسعة، الموصوفة جيدًا، التي تحتوي على إخفاءات وجهية حقيقية. بينما يضمن هذا النهج الاصطناعي التحكم الدقيق وإمكانية التكرار، قد لا يعكس بشكل كافٍ تعقيدات التدخلات الواقعية، مثل الأيدي، والإضاءة الديناميكية، أو الأقنعة الطبية غير المنتظمة.

علاوة على ذلك، قد لا تشمل مجموعة بيانات RAF-DB الأساسية، على الرغم من تنوعها، التحولات الشديدة في التوزيع التي تواجهها في البيئات الواقعية غير المنضبطة. تشير هذه القيود إلى أنه بينما تكون النتائج قوية ضمن الظروف المضبوطة للدراسة، قد تكون قابليتها للتطبيق على السيناريوهات الواقعية محدودة، مما يستدعي مزيدًا من البحث مع مجموعات بيانات أكثر تمثيلًا للتحقق من أداء النموذج في التطبيقات العملية.

Journal: Scientific Reports, Volume: 16, Issue: 1
DOI: https://doi.org/10.1038/s41598-026-56549-8
PMID: https://pubmed.ncbi.nlm.nih.gov/42265365
Publication Date: 2026-06-09
Author(s): Deniz Baharvand et al.
Primary Topic: Emotion and Mood Recognition

Overview

This section discusses the challenges and methodologies in facial emotion recognition (FER), particularly focusing on the impact of artificial occlusion noise, such as large glasses, on model performance. The study utilizes the RAF DB dataset to train and evaluate three advanced deep learning architectures: ResNet-50, Vision Transformer (ViT-Base/16), and Swin Transformer Tiny (Swin-T). The findings indicate that transformer-based models, particularly Swin-T, exhibit greater robustness against simulated visual noise, which is critical for developing FER systems that operate effectively in complex real-world conditions.

In the conclusion, the research highlights that the Swin-T Tiny architecture achieved the highest accuracy and F1-Score across both clean and noisy datasets, maintaining a strong balance between precision and recall. Despite all models experiencing a performance drop under extreme noise conditions, Swin-T demonstrated superior generalization capabilities with per-class AUC values exceeding 0.85. The study acknowledges limitations due to the synthetic nature of the occlusion used and the potential lack of diversity in the RAF-DB dataset. Future work will focus on integrating non-visual data through Multi-modal Data Fusion and implementing an Occlusion Curriculum Learning strategy to enhance model resilience and adaptability in real-world scenarios.

Introduction

In the introduction, the authors emphasize the critical role of human emotions in behavioral science and artificial intelligence, particularly in driving contexts where a driver’s mental state influences concentration, decision-making, and reaction times. Negative emotions such as anger, fatigue, and stress can impair risk perception and increase the likelihood of traffic accidents, highlighting the importance of accurate emotion recognition for enhancing intelligent transportation systems and safety measures.

The paper identifies significant challenges in real-world emotion recognition, particularly due to common occlusions in driving scenarios, such as sunglasses, masks, and inconsistent lighting, which can obscure key facial features. This necessitates the development of robust models capable of functioning effectively despite noisy inputs. Recent advancements in deep learning, particularly with Convolutional Neural Networks (CNNs) and Transformer-based architectures, have shown promise in facial emotion recognition. The authors also note the benefits of integrating statistical feature reduction techniques like Principal Component Analysis (PCA) and Independent Component Analysis (ICA) to enhance model stability. The study aims to evaluate and compare the robustness of various neural network paradigms, including ResNet-50, Vision Transformer (ViT-Base/16), and Swin Transformer Tiny (Swin T), in simulating real-world occlusions and improving emotion recognition performance.

Methods

The proposed evaluation framework systematically assesses the robustness of three deep learning architectures—ResNet-50 (enhanced with CBAM), Vision Transformer (ViT-Base/16), and Swin Transformer Tiny (Swin-T)—against structured upper-face occlusion. The methodology follows a unified pipeline where inputs from both clean and noisy datasets undergo identical preprocessing, feature extraction through the selected models, and refinement via shared feature enhancement modules (MultiScaleConv and AttentionFusion) before final classification. The Real-world Affective Face Database (RAF-DB) serves as the dataset, comprising thousands of facial images categorized into seven basic emotions, ensuring high diversity in age, gender, ethnicity, and illumination, which is crucial for evaluating model generalization.

In the experimental analysis, the models were evaluated under both clean and structured-occlusion scenarios using the RAF-DB-Noisy dataset. A standardized three-stage fine-tuning strategy was employed, utilizing the AdamW optimizer, label smoothing (0.15), and hybrid augmentation techniques (CutMix and MixUp). The training protocol involved initially fine-tuning the models on the clean RAF-DB dataset before adapting them to the noisy dataset to enhance robustness against occlusion. Experiments were conducted on the Google Colab platform, ensuring a rigorous comparison across architectures with a unified training setup, including regularization techniques and data augmentation strategies to mitigate overfitting.

Results

In the results section, the study evaluates the performance of three baseline models—ResNet-50, Vision Transformer (ViT-B/16), and Swin-T Tiny—on the RAF-DB and RAF-DB-noisy datasets under both clean and occluded facial conditions. The models were assessed using overall accuracy and weighted F1-score, with Swin-T Tiny achieving the highest clean accuracy and F1-score of 0.86, surpassing ResNet-50 (0.83) and ViT-B/16 (0.84). The robustness drop (ΔF1) was also measured, indicating performance degradation due to noise.

Qualitative findings reveal distinct behaviors among the architectures. ResNet-50, utilizing localized spatial patterns, performed well in easily separable categories but struggled with occlusions. ViT-B/16 showed sensitivity to ocular occlusion, leading to inconsistencies. In contrast, Swin-T Tiny exhibited stable activations and effective attention management under occlusion, maintaining coherent class boundaries. Class-wise metrics indicated strong performance for emotions like Happy (F1 = 0.90, AUC = 0.98) and Neutral (F1 = 0.72), while categories dependent on subtle micro-expressions, such as Disgust (F1 = 0.24) and Fear (F1 = 0.42), experienced significant degradation due to occlusion of critical facial regions. Overall, the findings underscore Swin-T Tiny’s robustness in recognizing distinct facial expressions despite the challenges posed by occlusion.

Discussion

In this section, the research discusses the evaluation of three deep learning models—ResNet-50, Vision Transformer (ViT-Base/16), and Swin Transformer Tiny (Swin-T)—in a novel occlusion-resilient testing environment using a modified version of the RAF DB dataset, termed RAF DB noisy. The study introduces structured rectangular noise to simulate real-world occlusions, such as sunglasses or masks, which significantly impacts facial emotion recognition (FER). The findings reveal that Transformer-based models, particularly Swin-T, exhibit superior robustness and feature generalization capabilities under occlusion compared to traditional CNNs. This is attributed to Swin-T’s hierarchical attention mechanism, which allows the model to adaptively focus on visible facial regions, compensating for missing information.

The paper contributes to the field by establishing the RAF-DB-Noisy benchmark, which rigorously tests model performance under structured occlusion, and by systematically analyzing the architectural behaviors of different models in this context. The study employs qualitative methods, such as Grad-CAM visualizations, to validate the robustness of the models, demonstrating that resilient architectures can effectively shift their focus from occluded areas to informative regions of the face. Overall, the research emphasizes the importance of developing robust emotion recognition systems capable of functioning in real-world scenarios where visual occlusions are prevalent, thereby enhancing applications in public surveillance, healthcare, and human-robot interaction.

Limitations

The limitations of the proposed evaluation framework highlight several key challenges in assessing model robustness under structured occlusion. Although the framework allows for a controlled comparison and statistical significance was confirmed through five independent runs, the evaluation of performance across a wider range of noise intensities is limited by computational constraints. Additionally, the reliance on simulated glasses-like noise stems from the scarcity of large-scale, well-annotated datasets featuring real facial occlusions. While this synthetic approach ensures precise control and reproducibility, it may not adequately reflect the complexities of real-world interferences, such as hands, dynamic lighting, or irregular medical masks.

Moreover, the base RAF-DB dataset, despite its diversity, may not encompass the extreme distribution shifts encountered in uncontrolled, real-world environments. This limitation suggests that while the findings are robust within the controlled conditions of the study, their applicability to real-world scenarios may be constrained, necessitating further research with more representative datasets to validate the model’s performance in practical applications.