استغلال أحدث التطورات في التعلم العميق لاكتشاف المشاعر: مراجعة شاملة ورؤى Leveraging State-of-the-art Deep Learning Advancements for Emotion Detection: A Comprehensive Review and Insights

شارك:
المجلة: Vokasi UNESA Bulletin of Engineering, Technology and Applied Science، المجلد: 3، العدد: 2
DOI: https://doi.org/10.26740/vubeta.v3i2.46974
تاريخ النشر: 2026-05-28
المؤلف: Krishna Kant
الموضوع الرئيسي: التعرف على العواطف والمزاج

نظرة عامة

تقدم الورقة البحثية مراجعة منهجية لأنظمة التعرف على المشاعر الوجهية (FER)، مع التركيز بشكل خاص على نماذج التعلم العميق (DL)، بما في ذلك النماذج المعتمدة على الانتباه والهياكل المدفوعة بـ Transformer. تسلط الضوء على الأهمية المتزايدة لهذه النماذج المتقدمة في التقاط العلاقات المكانية الزمنية المعقدة، مما يعزز أداء التعرف. تقوم الدراسة بتقييم نقدي لمختلف هياكل التعلم العميق، واستراتيجيات التعلم، ومجموعات البيانات، ومقاييس الأداء، مع تحديد التحديات الشائعة مثل التعقيد الحسابي، والتعميم عبر مجموعات البيانات، وعدم توازن البيانات. يؤكد المؤلفون على الحاجة إلى نهج متوازن يضمن القوة والكفاءة والدقة في أنظمة FER.

بالإضافة إلى تحليل المنهجيات الحالية، تحدد الورقة اتجاهات البحث المستقبلية التي تهدف إلى معالجة القضايا المستمرة في FER، مثل الاعتماد على مجموعات البيانات المصطنعة، مما يحد من قابلية التطبيق في العالم الحقيقي. تدعو إلى تطوير نماذج قابلة للتفسير والتوضيح، والنظر في التعبيرات العاطفية عبر الثقافات، وإنشاء هياكل خفيفة الوزن مناسبة للتطبيقات في الوقت الحقيقي. تعتبر المراجعة مصدرًا شاملاً للباحثين والممارسين، موجهة الجهود نحو أنظمة التعرف على المشاعر الأكثر فعالية وقابلية للتوسع مع معالجة التحديات العملية التي تواجهها في بيئات متنوعة.

مقدمة

ت outlines مقدمة هذه الورقة البحثية أهمية الحوسبة العاطفية، التي تدمج التكنولوجيا وعلم النفس لإنشاء أنظمة ذكية قادرة على فهم والاستجابة لمشاعر الإنسان. تؤكد على دور اكتشاف المشاعر في تعزيز التفاعل بين الإنسان والكمبيوتر ومراقبة الصحة النفسية، مع تسليط الضوء على أهمية التعرف على تعبيرات الوجه (FER) كطريقة أساسية لتصنيف المشاعر. تشير الورقة إلى النظريات الأساسية التي وضعها إيكمان وبلوتشيك، والتي تصنف المشاعر إلى أنواع أساسية ومجموعات ثنائية القطب، وتناقش تعقيدات المشاعر كحالة نفسية وفسيولوجية متعددة الأوجه.

يحدد المؤلفون التحديات الرئيسية في منهجيات FER الحالية، مثل الإفراط في التكيف بسبب نقص بيانات التدريب، والتداخل من المتغيرات الخارجية، والصعوبات في التقاط التعبيرات العاطفية الدقيقة. يقترحون إطار عمل شامل يدمج أبعاد تحليلية متنوعة، بما في ذلك تمثيل مجموعة البيانات، وتقنيات التعلم العميق، وقوة النموذج، لمعالجة هذه القيود. تهدف الورقة إلى تقديم مراجعة شاملة للأدبيات الحالية، وتقييم الأساليب الحديثة، وتوجيه اتجاهات البحث المستقبلية في التعرف على المشاعر، مما يسهم في أنظمة أكثر دقة وموثوقية في التطبيقات الواقعية.

طرق

تركز الطرق المستخدمة في هذا البحث على تعزيز دقة اكتشاف المشاعر مع تقليل التكاليف الحسابية من خلال هياكل التعلم العميق المختلفة. تم إجراء مراجعة منهجية للأدبيات عبر قواعد بيانات متعددة، مما أسفر عن تحديد 555 سجلًا، تم تضمين 55 دراسة منها بعد تطبيق معايير إدراج واستبعاد محددة. تم توثيق عملية اختيار البحث باستخدام مخطط تدفق PRISMA، موضحًا كل مرحلة من التعرف إلى الإدراج.

تناقش الورقة تطور هياكل التعلم العميق المخصصة للتعرف على المشاعر، مع تسليط الضوء على نقاط قوتها الفريدة. تشمل الهياكل البارزة Inception/GoogleNet، التي تتفوق في تحديد المشاعر الوجهية بفضل قدراتها متعددة المقاييس؛ DenseNet، التي تعزز إعادة استخدام الميزات لمجموعات البيانات الصغيرة؛ ونماذج قائمة على Transformer التي تلتقط الاعتماديات بعيدة المدى عبر أنماط متعددة. بالإضافة إلى ذلك، تستعرض الورقة فعالية الشبكات العصبية الرسومية لتحليل البيانات الفسيولوجية، وEfficientNet للبيئات ذات الموارد المحدودة، ونماذج EEG لاكتشاف المشاعر مباشرة من إشارات الدماغ. تختتم التحليل بملخص مقارن لخصائص الأداء عبر هذه الهياكل، مع التأكيد على قابلية التوسع والدقة في تطبيقات اكتشاف المشاعر.

النتائج

تشير النتائج إلى أن نماذج التعلم العميق، وخاصة الشبكات العصبية التلافيفية (CNNs) ونسخها، تتفوق بشكل كبير على الطرق التقليدية من حيث الدقة والكفاءة في مهام استخراج الميزات والتصنيف. توفر الهياكل البارزة مثل Xception وEfficientNet دقة محسنة مع الحفاظ على الكفاءة الحسابية، بينما تتفوق MobileNet في البيئات ذات الموارد المحدودة بفضل تصميمها الخفيف الوزن. تبرز DenseNet من خلال تحسين كفاءة التعلم من خلال إعادة استخدام الميزات، مما يبرز التأثير الحاسم لاختيار الهيكل على الأداء، والذي يتضمن مقايضات بين دقة التنبؤ، وحجم النموذج، والتكلفة الحسابية.

في سياق اكتشاف المشاعر، يكشف التحليل عن اتجاه تصاعدي ثابت في الأداء من 2022 إلى 2025، مع استخدام طرق CNN الأعمق مثل Deep Emotion (2023) ونماذج ديناميكية مثل MIST (2024) التي تستخدم تقنيات النمذجة المكانية الزمنية. بحلول عام 2025، تظهر النماذج الهجينة التي تضم transformers، والشبكات العصبية الرسومية (GNNs)، وآليات الذاكرة فهمًا سياقيًا ودقة متفوقة. تشير النتائج إلى أن الهياكل المعتمدة على CNN تتفوق باستمرار على الطرق التقليدية عبر أنواع البيانات المختلفة، على الرغم من أن الأداء يختلف بشكل كبير بناءً على خصائص مجموعة البيانات وظروف التجربة. بينما تؤدي مجموعات البيانات الخاضعة للرقابة إلى دقة عالية، تؤدي التحديات الواقعية مثل تغييرات الإضاءة والتعبيرات العفوية إلى نتائج أقل موثوقية في مجموعات البيانات في العالم الحقيقي. وبالتالي، تؤكد الدراسة على أهمية خيارات الهيكل والعوامل السياقية في نشر نماذج التعلم العميق للتعرف على المشاعر.

المناقشة

تسلط قسم المناقشة في الورقة البحثية الضوء على التقدم الأخير في الشبكات العصبية التلافيفية (CNNs) لتعرف تعبيرات الوجه (FER)، مع التأكيد على التحديات التي تطرحها البيانات المحدودة المعلّمة وظروف الصورة المتغيرة، وخاصة الإضاءة. يتم مراجعة دراسات متنوعة، تعرض تطبيق تقنيات التعلم العميق، بما في ذلك CNNs، والشبكات العصبية المتكررة (RNNs)، والنماذج الهجينة، لتعزيز دقة اكتشاف المشاعر. بشكل ملحوظ، أدت الأساليب مثل التعلم الانتقالي، والتكامل متعدد الوسائط، واستخدام هياكل متقدمة مثل RESNET50 وInception V3 إلى تحسينات كبيرة في أداء التصنيف، حيث حقق البعض دقة تتجاوز 97% على مجموعات البيانات المرجعية مثل CK+.

تحدد الورقة أيضًا التحديات المستمرة في هذا المجال، بما في ذلك التعقيد الحسابي العالي، والقدرة المحدودة على التعميم عبر مجموعات البيانات، والحاجة إلى قدرات نشر في الوقت الحقيقي. يتم اقتراح اتجاهات البحث المستقبلية، مع التركيز على تطوير نماذج الذكاء الاصطناعي القابلة للتفسير، ومعالجة اختلافات التعبير العاطفي عبر الثقافات، وإنشاء هياكل خفيفة الوزن للتطبيقات العملية. تؤكد المراجعة على أهمية التعاون بين التخصصات لدفع تطوير أنظمة التعرف على المشاعر القوية والفعالة والأخلاقية التي يمكن أن تعمل بفعالية في السيناريوهات الواقعية.

القيود

تسلط قسم القيود في الورقة البحثية الضوء على عدة تحديات رئيسية تواجه أنظمة التعرف على المشاعر الوجهية (FER) المتطورة. أولاً، تجعل التعقيد الحسابي العالي للنماذج القائمة على Transformer والنماذج الهجينة غير مناسبة للتطبيقات في الوقت الحقيقي أو السيناريوهات ذات الموارد المحدودة. ثانيًا، غالبًا ما تظهر هذه النماذج قدرة محدودة على التعميم عبر مجموعات البيانات، مما يؤدي إلى تراجع الأداء عند تطبيقها على مجموعات بيانات غير مألوفة. بالإضافة إلى ذلك، يتأثر قوة أنظمة التعرف بشكل كبير بالتغيرات الواقعية مثل الوضع، والاحتجاب، والإضاءة، وتغيرات الخلفية.

علاوة على ذلك، تؤثر القضايا المتعلقة بعدم توازن البيانات وعدم اتساق التوصيفات بشكل أكبر على موثوقية النموذج وعدالته. على الرغم من التقدم في التعرف على المشاعر من خلال هياكل مختلفة، بما في ذلك CNNs، وRNNs، وLSTMs، وTransformers، لا تزال هناك فجوات حاسمة في مجالات مثل التكامل متعدد الوسائط، والقابلية للتفسير، والنشر الفعال من حيث الموارد، والقدرة على التحمل للاختلافات الفردية والثقافية والبيئية. يدعو المؤلفون إلى أن تعطي الأبحاث المستقبلية الأولوية لتطوير أطر عمل للتعرف على المشاعر متعددة الوسائط، والقابلة للتفسير، والتكيفية، والأخلاقية التي تكون فعالة في السياقات الثقافية والعالمية.

Journal: Vokasi UNESA Bulletin of Engineering, Technology and Applied Science, Volume: 3, Issue: 2
DOI: https://doi.org/10.26740/vubeta.v3i2.46974
Publication Date: 2026-05-28
Author(s): Krishna Kant
Primary Topic: Emotion and Mood Recognition

Overview

The research paper provides a systematic review of facial emotion recognition (FER) systems, particularly focusing on deep learning (DL) models, including attention-based and Transformer-driven architectures. It highlights the growing significance of these advanced models in capturing complex spatial-temporal relationships, which enhances recognition performance. The study critically evaluates various deep learning architectures, learning strategies, datasets, and performance metrics, identifying common challenges such as computational complexity, generalization across datasets, and data imbalance. The authors emphasize the need for a balanced approach that ensures robustness, efficiency, and accuracy in FER systems.

In addition to analyzing existing methodologies, the paper outlines future research directions aimed at addressing persistent issues in FER, such as the reliance on posed datasets, which limits real-world applicability. It advocates for the development of explainable and interpretable models, the consideration of cross-cultural emotional expressions, and the creation of lightweight architectures suitable for real-time applications. The review serves as a comprehensive resource for researchers and practitioners, guiding efforts toward more effective and scalable emotion recognition systems while addressing the practical challenges faced in diverse environments.

Introduction

The introduction of this research paper outlines the significance of affective computing, which merges technology and psychology to create intelligent systems capable of understanding and responding to human emotions. It emphasizes the role of emotion detection in enhancing human-computer interaction and mental health monitoring, highlighting the importance of facial expression recognition (FER) as a primary method for emotion classification. The paper references foundational theories by Ekman and Plutchik, which categorize emotions into basic types and bipolar sets, and discusses the complexities of emotion as a multifaceted psychological and physiological state.

The authors identify key challenges in current FER methodologies, such as overfitting due to insufficient training data, interference from extraneous variables, and difficulties in capturing nuanced emotional expressions. They propose a comprehensive framework that integrates various analytical dimensions, including dataset representativeness, deep learning techniques, and model robustness, to address these limitations. The paper aims to provide a thorough review of existing literature, evaluate state-of-the-art approaches, and guide future research directions in emotion recognition, ultimately contributing to more accurate and reliable systems in real-world applications.

Methods

The methods employed in this research focus on enhancing emotion detection accuracy while minimizing computational costs through various deep learning architectures. A systematic literature review was conducted across multiple databases, resulting in the identification of 555 records, from which 55 studies were included after applying specific inclusion and exclusion criteria. The research selection process was documented using a PRISMA flow diagram, detailing each stage from identification to inclusion.

The paper discusses the evolution of deep learning architectures tailored for emotion recognition, highlighting their unique strengths. Notable architectures include Inception/GoogleNet, which excels in facial emotion identification due to its multi-scale capabilities; DenseNet, which enhances feature reuse for small datasets; and Transformer-based models that capture long-range dependencies across various modalities. Additionally, the paper reviews the effectiveness of Graph Neural Networks for analyzing physiological data, EfficientNet for resource-constrained environments, and EEG-based models for direct emotion detection from brain signals. The analysis culminates in a comparative summary of performance attributes across these architectures, emphasizing their scalability and accuracy in emotion detection applications.

Results

The results indicate that deep learning models, particularly convolutional neural networks (CNNs) and their variants, significantly outperform conventional methods in accuracy and efficiency for feature extraction and classification tasks. Notable architectures such as Xception and EfficientNet provide enhanced accuracy while maintaining computational efficiency, whereas MobileNet excels in resource-constrained environments due to its lightweight design. DenseNet stands out by improving learning efficiency through feature reuse, underscoring the critical impact of architecture selection on performance, which involves trade-offs among prediction accuracy, model size, and computational cost.

In the context of emotion detection, the analysis reveals a consistent upward trend in performance from 2022 to 2025, with deeper CNN-based methods like Deep Emotion (2023) and dynamic models such as MIST (2024) utilizing spatiotemporal modeling techniques. By 2025, hybrid models incorporating transformers, graph neural networks (GNNs), and memory mechanisms demonstrate superior contextual understanding and accuracy. The findings suggest that CNN-based architectures consistently outperform traditional methods across various data types, although performance varies significantly based on dataset characteristics and experimental conditions. While controlled datasets yield high accuracy, real-world challenges such as illumination changes and spontaneous expressions lead to less reliable results in in-the-wild datasets. Thus, the study emphasizes the importance of architectural choices and contextual factors in the deployment of deep learning models for emotion recognition.

Discussion

The discussion section of the research paper highlights recent advancements in convolutional neural networks (CNNs) for facial expression recognition (FER), emphasizing the challenges posed by limited labeled data and varying image conditions, particularly illumination. Various studies are reviewed, showcasing the application of deep learning techniques, including CNNs, recurrent neural networks (RNNs), and hybrid models, to enhance emotion detection accuracy. Notably, approaches such as transfer learning, multimodal integration, and the use of advanced architectures like RESNET50 and Inception V3 have led to significant improvements in classification performance, with some achieving accuracies exceeding 97% on benchmark datasets like CK+.

The paper also identifies persistent challenges in the field, including high computational complexity, limited generalizability across datasets, and the need for real-time deployment capabilities. Future research directions are proposed, focusing on developing explainable AI models, addressing cross-cultural emotional expression differences, and creating lightweight architectures for practical applications. The review underscores the importance of interdisciplinary collaboration to advance the development of robust, efficient, and ethically sound emotion recognition systems that can operate effectively in real-world scenarios.

Limitations

The section on limitations in the research paper highlights several key challenges faced by state-of-the-art facial emotion recognition (FER) systems. Firstly, the high computational complexity of transformer-based and hybrid models renders them unsuitable for real-time applications or scenarios with limited resources. Secondly, these models often exhibit limited cross-dataset generalization, leading to a decline in performance when applied to unfamiliar datasets. Additionally, the robustness of recognition systems is significantly affected by real-world variations such as pose, occlusion, lighting, and background changes.

Moreover, issues related to data imbalance and annotation inconsistencies further compromise model reliability and fairness. Despite advancements in emotion recognition through various architectures, including CNNs, RNNs, LSTMs, and Transformers, critical gaps remain in areas such as multimodal integration, explainability, resource-efficient deployment, and resilience to individual, cultural, and environmental differences. The authors advocate for future research to prioritize the development of multimodal, explainable, adaptive, and ethically sound emotion recognition frameworks that are effective in cross-cultural and real-world contexts.