DOI: https://doi.org/10.14445/22315381/ijett-v74i1p125
تاريخ النشر: 2026-01-20
المؤلف: Sunny Bagga وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج
نظرة عامة
تتناول ورقة البحث تعقيدات تحليل تعبيرات الوجه، وهي منطقة حيوية في تطبيقات الآلات والتفاعل بين الإنسان والكمبيوتر. يقترح المؤلفون بنية جديدة تستخدم نموذجًا هجينًا يجمع بين الشبكات العصبية التلافيفية (CNN) وشبكات الذاكرة طويلة وقصيرة المدى (LSTM) لتصنيف سبع تعبيرات وجه أساسية: السعادة، الغضب، الحيادية، الخوف، الاشمئزاز، الحزن، والدهشة. تستخدم الدراسة مجموعة بيانات FER2013 لإظهار فعالية هذا النهج، الذي يستفيد أولاً من CNN لاستخراج الميزات البصرية ثم يستخدم LSTM لنمذجة الاعتمادات الزمنية بين تسلسلات الصور. تشير النتائج التجريبية إلى أن النموذج الهجين المقترح يتفوق على التقنيات الحالية، كما يتضح من التقييمات باستخدام مصفوفة الالتباس.
في الختام، تسلط الدراسة الضوء على مزايا نموذج CNN-LSTM الهجين في اكتشاف وتصنيف تعبيرات الوجه بدقة مع معالجة المخاوف المتعلقة بالخصوصية المتعلقة بجمع بيانات الوجه. تساعد تنفيذ طبقة عينة عشوائية في التخفيف من التباينات بين الفئات، وتعزز البنية الطبقية قدرة CNN على اكتشاف التعبيرات المعقدة. تكشف النتائج أن النموذج الهجين يحسن بشكل كبير من دقة التعرف، حيث حقق 79.79% و85.11% لنسختين من نموذج CNN-LSTM، مقارنة بـ 74.65% لنموذج CNN بمفرده. ستستكشف الأبحاث المستقبلية الأساليب متعددة الوسائط التي تدمج تحليل تعبيرات الوجه مع الصوت والخصائص الفيزيائية لتعزيز قدرات التعرف بشكل أكبر.
مقدمة
تركز مقدمة ورقة البحث على أهمية التعرف على تعبيرات الوجه (FER) ضمن مجال رؤية الكمبيوتر، مع التأكيد على جذورها في الدراسات النفسية التي تعود إلى أعمال داروين في عام 1872. توضح الورقة تطور FER، مع تسليط الضوء على المساهمات الرئيسية من إيكمان وفريسن في السبعينيات، الذين صنفوا المشاعر البشرية إلى ست فئات أساسية: الخوف، الحزن، الدهشة، السعادة، الغضب، والاشمئزاز. مع التقدم في الذكاء الاصطناعي والتعلم العميق، اكتسب FER زخمًا لتطبيقاته في مجالات متنوعة، بما في ذلك تقييم الصحة النفسية والتفاعل بين الإنسان والكمبيوتر. تشير الورقة إلى أن فك تشفير تعبيرات الوجه بدقة أمر ضروري لفهم المشاعر البشرية المعقدة، مما يشكل تحديات للخوارزميات الحاسوبية.
استخدمت الأبحاث الحديثة تقنيات تعلم الآلة المختلفة لتعزيز أنظمة FER، مع خوارزميات ملحوظة مثل الانحدار اللوجستي، والغابة العشوائية، وAdaBoost التي حققت درجات متفاوتة من النجاح. تقدم الورقة نموذجًا هجينًا يجمع بين الشبكات العصبية التلافيفية (CNNs) وشبكات الذاكرة طويلة وقصيرة المدى (LSTM) لمعالجة القيود في الطرق التقليدية، لا سيما في التعامل مع عدم توازن الفئات والتقاط كل من الميزات المكانية والزمنية لتعبيرات الوجه. يظهر النموذج المقترح دقة محسنة، حيث حقق 85.11% على مجموعة بيانات FER2013، مما يبرز إمكانيته في تعزيز مجال التعرف على المشاعر من خلال تحسين استخراج الميزات وقدرات التصنيف.
الطرق
توضح قسم المنهجية إعداد التجربة لنموذجي شبكة عصبية تلافيفية (CNN) يهدفان إلى التعرف على المشاعر الوجهية (FER). يتكون النموذج الأول، المعروف باسم نموذج CNN 1، من بنية ذات طبقة واحدة تعالج الصور الرمادية بحجم $48 \times 48 \times 1$. يستخدم سلسلة من طبقات Conv2D مع زيادة عدد المرشحات (من 32 إلى 128) ويشمل تطبيع الدفعات ووظائف تنشيط ReLU. يتضمن النموذج أيضًا ثلاث طبقات تجميع قصوى لتقليل حجم خرائط الميزات، تليها طبقة كثيفة تحتوي على 200 خلية عصبية وطبقة إسقاط للتخفيف من الإفراط في التكيف. تتكون الطبقة النهائية من 7 وحدات يتم تنشيطها بواسطة softmax، مما ينتج تقديرات احتمالية لكل فئة عاطفية.
النموذج الثاني، وهو نموذج هجين CNN+LSTM (النموذج 2)، يدمج طبقات LSTM لتعزيز تعلم الميزات الزمنية. يتكون هذا النموذج من 12 طبقة، بما في ذلك خمس طبقات تلافيفية، وثلاث طبقات تجميع، وطبقتين متصلتين بالكامل، وطبقتين LSTM. تبدأ البنية بطبقة تلافيفية تستخدم 32 مرشحًا، وتزداد تدريجيًا إلى 128 مرشحًا، مع تطبيق تطبيع الدفعات وتنشيطات ReLU في جميع الأنحاء. تعالج طبقات LSTM المخرجات المعاد تشكيلها من الطبقات التلافيفية، مما يؤدي في النهاية إلى طبقة كثيفة تحتوي على 200 خلية عصبية وطبقة إخراج softmax لتصنيف المشاعر. أظهر النموذج الهجين أداءً متفوقًا، حيث حقق دقة 85.11%، مقارنة بـ 74.65% و79.79% لنموذج CNN 1 ونسخة أخرى، على التوالي، مما يدل على فعاليته في مهام FER.
المناقشة
في مناقشة ورقة البحث، يتم فحص منهجيات مختلفة للتعرف على المشاعر من خلال تعبيرات الوجه والكلام، مع تسليط الضوء على دمج الشبكات العصبية التلافيفية (CNNs) وشبكات الذاكرة طويلة وقصيرة المدى (LSTM). يلتقط الأسلوب المقترح CNLSTM بفعالية كل من الميزات المكانية من إطارات الفيديو والديناميات الزمنية، محققًا دقة ملحوظة، لا سيما في التعرف على المشاعر مثل الغضب من مجموعة بيانات CK+. بالإضافة إلى ذلك، يظهر نموذج CNN خفيف الوزن، CLCM، المستند إلى MobileNetV2، أداءً تنافسيًا مقارنة بالهياكل الأكثر تعقيدًا، محققًا معدلات تعرف تتراوح بين 54% و84% عبر مجموعات بيانات متعددة، مما يعالج الكفاءات الحاسوبية غير الفعالة للنماذج التقليدية للتعلم العميق.
تؤكد الورقة أيضًا على أهمية تقنيات معالجة البيانات، مثل التطبيع، والتعزيز، والعينة الزائدة، لتحسين جودة الصور المدخلة والتخفيف من عدم توازن الفئات في مجموعات البيانات مثل FER2013. يسمح دمج CNN وLSTM في البنية المقترحة بالكشف عن المشاعر بشكل قوي تحت ظروف متغيرة، مما يظهر قدرة النموذج على التكيف مع السيناريوهات الواقعية. يتم استخدام مقاييس التقييم بما في ذلك الدقة، والدقة، والاسترجاع، ودرجة F1 لتقييم أداء النموذج، مع نتائج تشير إلى أن النهج الهجين يحسن بشكل كبير من قدرات التعرف على المشاعر مقارنة بالطرق التقليدية. بشكل عام، تسلط النتائج الضوء على إمكانيات دمج تقنيات التعلم العميق المتقدمة للتعرف الفعال على المشاعر في تطبيقات متنوعة.
DOI: https://doi.org/10.14445/22315381/ijett-v74i1p125
Publication Date: 2026-01-20
Author(s): Sunny Bagga et al.
Primary Topic: Emotion and Mood Recognition
Overview
The research paper addresses the complexities of facial expression analysis, a critical area in machine applications and human-computer interaction. The authors propose a novel architecture that utilizes a hybrid model combining Convolutional Neural Networks (CNN) and Long Short-Term Memory networks (LSTM) to categorize seven basic facial expressions: happiness, anger, neutrality, fear, disgust, sadness, and surprise. The study employs the FER2013 dataset to demonstrate the effectiveness of this approach, which first leverages CNN for visual feature extraction and subsequently uses LSTM to model temporal dependencies among sequences of images. Experimental results indicate that the proposed hybrid model outperforms existing techniques, as evidenced by evaluations using a confusion matrix.
In conclusion, the study highlights the advantages of the CNN-LSTM hybrid model in accurately detecting and classifying facial expressions while addressing privacy concerns related to facial data collection. The implementation of a random oversample layer helps mitigate class discrepancies, and the layered architecture enhances the CNN’s ability to detect complex expressions. The findings reveal that the hybrid model significantly improves recognition accuracy, achieving 79.79% and 85.11% for two variations of the CNN-LSTM model, compared to 74.65% for the CNN model alone. Future research will explore multi-modal approaches that integrate facial expression analysis with voice and physical characteristics to further enhance recognition capabilities.
Introduction
The introduction of the research paper focuses on the significance of Facial Expression Recognition (FER) within the field of computer vision, emphasizing its roots in psychological studies dating back to Darwin’s work in 1872. The paper outlines the evolution of FER, highlighting key contributions from Ekman and Friesen in the 1970s, who classified human emotions into six basic categories: fear, sadness, surprise, happiness, anger, and disgust. With advancements in Artificial Intelligence and Deep Learning, FER has gained traction for its applications in various domains, including mental health assessment and human-computer interaction. The paper notes that accurately decoding facial expressions is essential for understanding complex human emotions, which poses challenges for computational algorithms.
Recent research has employed various machine learning techniques to enhance FER systems, with notable algorithms such as logistic regression, random forest, and AdaBoost achieving varying degrees of success. The paper introduces a hybrid model combining Convolutional Neural Networks (CNNs) and Long Short-Term Memory (LSTM) networks to address limitations in traditional methods, particularly in handling class imbalances and capturing both spatial and temporal features of facial expressions. The proposed model demonstrates improved accuracy, achieving 85.11% on the FER2013 dataset, thereby showcasing its potential to advance the field of emotion recognition through enhanced feature extraction and classification capabilities.
Methods
The methodology section outlines the experimental setup for two convolutional neural network (CNN) models aimed at facial emotion recognition (FER). The first model, referred to as CNN Model 1, consists of a single-layer architecture that processes grayscale images of size $48 \times 48 \times 1$. It employs a series of Conv2D layers with increasing filter counts (32 to 128) and incorporates batch normalization and ReLU activation functions. The model also includes three max-pooling layers to downsample feature maps, followed by a dense layer with 200 neurons and a dropout layer to mitigate overfitting. The final output layer consists of 7 units activated by softmax, yielding probability estimates for each emotion class.
The second model, a hybrid CNN+LSTM (Model 2), integrates LSTM layers to enhance temporal feature learning. This model comprises 12 layers, including five convolutional layers, three pooling layers, two fully connected layers, and two LSTM layers. The architecture begins with a convolutional layer using 32 filters, progressively increasing to 128 filters, with batch normalization and ReLU activations applied throughout. The LSTM layers process reshaped outputs from the convolutional layers, ultimately leading to a dense layer with 200 neurons and a softmax output layer for emotion classification. The hybrid model demonstrated superior performance, achieving an accuracy of 85.11%, compared to 74.65% and 79.79% for the CNN Model 1 and another variant, respectively, indicating its effectiveness in FER tasks.
Discussion
In the discussion of the research paper, various methodologies for emotion recognition through facial expressions and speech are examined, highlighting the integration of Convolutional Neural Networks (CNNs) and Long Short-Term Memory (LSTM) networks. The proposed CNLSTM method effectively captures both spatial features from video frames and temporal dynamics, achieving notable accuracy, particularly in recognizing emotions such as anger from the CK+ dataset. Additionally, a lightweight CNN model, CLCM, based on MobileNetV2, demonstrates competitive performance against more complex architectures, achieving recognition rates between 54% and 84% across multiple datasets, thus addressing the computational inefficiencies of traditional deep learning models.
The paper also emphasizes the importance of data preprocessing techniques, such as normalization, augmentation, and oversampling, to enhance the quality of input images and mitigate class imbalances in datasets like FER2013. The integration of CNN and LSTM in the proposed architecture allows for robust emotion detection under varying conditions, showcasing the model’s adaptability to real-world scenarios. Evaluation metrics including accuracy, precision, recall, and F1-score are employed to assess model performance, with results indicating that the hybrid approach significantly improves emotion recognition capabilities compared to traditional methods. Overall, the findings underscore the potential of combining advanced deep learning techniques for effective emotion recognition in diverse applications.