DOI: https://doi.org/10.1007/s00521-024-09573-6
تاريخ النشر: 2024-02-23
المؤلف: Fatma Kebire Bardak وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج
نظرة عامة
تقدم ورقة البحث خوارزمية هجينة جديدة للتعرف على المشاعر باستخدام إشارات EEG، مع معالجة التحديات المتعلقة بالتصنيف الدقيق في هذا المجال. يدمج النموذج المقترح عدة مصنفات من نظام الاستدلال العصبي الضبابي التكيفي (ANFIS)، والتي تعمل بشكل متوازي، مع الشبكات العصبية الاحتمالية. من خلال اختيار ميزات ذات توزيع مثالي للتصنيف، يقوم النموذج بتدريب هذه الهياكل ANFIS لإنتاج مخرجات يتم دمجها لاحقًا في متجه ميزات لمزيد من المعالجة بواسطة الشبكات التكيفية. تم تقييم أداء هذا النظام الهجين على مجموعات بيانات معيارية معروفة للمشاعر، حيث حقق دقة بلغت 73.49% على مجموعة بيانات DEAP و95.97% على مجموعة بيانات مشاعر الشعور.
تخلص الدراسة إلى أن النموذج الهجين يعزز بشكل فعال تصنيف المشاعر من إشارات EEG، لا سيما للمشاعر مثل السعادة، والحزن، والخوف، والاسترخاء، بالإضافة إلى الحالات العاطفية الإيجابية والسلبية والمحايدة. تؤكد النتائج على تفوق هياكل ANFIS في هذا السياق وتقترح أن البحث المستقبلي يمكن أن يوسع النهج من خلال دمج إشارات فسيولوجية إضافية، مثل تعبيرات الوجه وتغير معدل ضربات القلب، إلى جانب استكشاف تقنيات تعلم الآلة الأخرى لتحسين التعرف على المشاعر.
مقدمة
تناقش مقدمة ورقة البحث تعقيدات فهم والتعرف على المشاعر البشرية، التي تؤثر بشكل كبير على اتخاذ القرار والسلوك والرفاهية. تواجه الطرق التقليدية لدراسة المشاعر، مثل الإبلاغ الذاتي من خلال الاستبيانات والمقابلات، قيودًا بسبب اعتمادها على التفسيرات الذاتية. بالمقابل، توفر المخطوطات غير الفسيولوجية، بما في ذلك المدخلات النصية من وسائل التواصل الاجتماعي والمحادثات، معلومات سياقية غنية ولكنها أيضًا عرضة لسوء التفسير. تقدم الإشارات الفسيولوجية، مثل تخطيط الدماغ (EEG)، وتغير معدل ضربات القلب (HRV)، والنشاط الكهربائي للجلد (EDA)، مقاييس موضوعية للاستجابات العاطفية، تلتقط التغيرات في وظائف الجسم المرتبطة بحالات عاطفية مختلفة. تؤكد الورقة على أهمية EEG في توقع المشاعر بسبب دقتها الزمنية العالية وطبيعتها غير الغازية، مما يسهل دراسة الآليات العصبية الكامنة وراء المشاعر.
تحدد المقدمة أيضًا نهجين رئيسيين لتصنيف المشاعر: تحديد المشاعر الأساسية المنفصلة، التي تصنف المشاعر إلى ست فئات (الفرح، الحزن، المفاجأة، الخوف، الغضب، والاشمئزاز)، والتعرف على المشاعر البُعدية، التي تصف المشاعر على أبعاد القيم، والاهتياج، والسيطرة. توفر هذه الأبعاد إطارًا شاملاً لفهم التجارب العاطفية، مما يساعد في تطوير تدخلات لتنظيم المشاعر. كما تسلط الورقة الضوء على دور الشبكات العصبية الاصطناعية (ANNs) وأنظمة الاستدلال العصبي الضبابي في التعرف على المشاعر، مشيرة إلى قدرتها على التعامل مع البيانات غير الخطية وعدم اليقين. يتم تقديم نظام الاستدلال العصبي الضبابي التكيفي (ANFIS) كأداة قوية لنمذجة الوظائف غير الخطية، بينما يتم مناقشة نماذج ANN الأخرى، مثل الشبكات العصبية ذات الدالة الأساسية الشعاعية (RBFNN) والشبكات العصبية الاحتمالية (PNN)، لفعاليتها في مهام التصنيف والتنبؤ.
طرق
في هذه الدراسة، يقدم المؤلفون نهجًا منهجيًا للتعرف على المشاعر من خلال نموذج منظم يتكون من ثلاث مراحل رئيسية: إعداد مجموعة البيانات، استخراج الميزات، وتصنيف البيانات. تتضمن المرحلة الأولية الاختيار والتنظيم الدقيق لمجموعة بيانات تمثل حالات عاطفية متنوعة. بعد ذلك، تركز مرحلة استخراج الميزات على تحديد وقياس الخصائص ذات الصلة من مجموعة البيانات التي يمكن أن تميز بفعالية بين المشاعر المختلفة. أخيرًا، تستخدم مرحلة التصنيف خوارزميات تعلم الآلة لتصنيف الميزات المستخرجة إلى فئات عاطفية محددة، مما يسهل التعرف الدقيق على المشاعر. يهدف هذا الإطار المنهجي إلى تعزيز موثوقية وفعالية أنظمة اكتشاف المشاعر.
نتائج
في هذه الدراسة، تم تقييم أداء نموذج هجين مقترح للتعرف على المشاعر المعتمدة على EEG باستخدام مجموعات بيانات DEAP ومشاعر الشعور. تم تدريب كل طريقة تصنيف والتحقق منها بشكل متقاطع 15 مرة لضمان استقرار الدقة. تشير النتائج إلى أن أول ثلاث ميزات من مجموعات البيانات هي الأكثر فعالية للتصنيف، مما أدى إلى اختيار هذه الميزات كمتجه إدخال للنموذج الهجين. تم تدريب مصنفات نظام الاستدلال العصبي الضبابي التكيفي (ANFIS) باستخدام مزيج من تقنية الانحدار العكسي وتقنية المربعات الصغرى، مع وظائف عضوية متغيرة لتقييم تأثيرها على أداء المصنف.
تكشف النتائج أن أعلى دقة تصنيف تم تحقيقها كانت 95.89% باستخدام نموذج ANFIS مع ثلاثة مدخلات وثلاث وظائف عضوية. بالمقارنة، حققت نماذج الشبكة العصبية الاحتمالية (PNN) والشبكة العصبية ذات الدالة الأساسية الشعاعية (RBFNN) دقة بلغت 94.61% و90.27%، على التوالي. كما توضح الدراسة أن النموذج المقترح يتفوق على تقنيات التعلم السطحي الحالية، محققًا دقة أعلى بنسبة 2% من طريقة Zhong وآخرون، متجاوزًا نهج Qing وآخرون بنسبة 20%. بالإضافة إلى ذلك، بالنسبة لتصنيف المشاعر من أربع فئات، حقق النموذج المقترح دقة بلغت 73.49%، متفوقًا على الدراسات السابقة بفارق كبير. بشكل عام، تؤكد النتائج على أهمية اختيار الميزات وفعالية النموذج الهجين في مهام التعرف على المشاعر.
مناقشة
تسلط قسم المناقشة في الورقة الضوء على تطور وتحديات التعرف على المشاعر المعتمدة على EEG، مع التأكيد على الحاجة إلى تحسين دقة التصنيف عبر فئات المشاعر المتعددة. ركزت الدراسات السابقة بشكل أساسي على تصنيف المشاعر إلى فئتين أو ثلاث أو أربع فئات، مع استخدام منهجيات متنوعة أدت إلى نتائج مختلطة. على سبيل المثال، حقق Moreira وآخرون دقة بلغت 88.75% لتصنيف المشاعر الثنائية باستخدام نظام ANFIS، بينما أفاد Degirmenci وآخرون بدقة 72.87% لتصنيف القيم باستخدام تحليل الوضع التجريبي (EMD). ومع ذلك، تظل فعالية هذه المناهج في التقاط الطيف العاطفي محدودة، مما دفع المؤلفين للدعوة لاستكشاف أكثر من أربع فئات عاطفية.
يقترح المؤلفون نموذجًا هجينًا يدمج نظام الاستدلال العصبي الضبابي التكيفي (ANFIS) مع تقنيات التعلم السطحي لتعزيز التعرف على المشاعر من إشارات EEG. يهدف هذا النموذج إلى الاستفادة من نقاط القوة في ANFIS في التقاط العلاقات المعقدة وغير الخطية مع الحفاظ على القابلية للتفسير من خلال المنطق الضبابي. يتم التحقق من النهج المقترح باستخدام مجموعتين من البيانات: مجموعة بيانات مشاعر الشعور للتعرف على ثلاث فئات ومجموعة بيانات DEAP للتعرف على أربع فئات. يؤكد المؤلفون أن نموذجهم الهجين، الذي يستخدم هياكل ANFIS متوازية لفئات المشاعر المختلفة، يمكن أن يحسن بشكل كبير دقة التصنيف مقارنة بالطرق الحالية. تؤكد النتائج على ضرورة وجود أطر مبتكرة يمكن أن تعالج بفعالية تعقيدات التعرف على المشاعر في بيانات EEG.
DOI: https://doi.org/10.1007/s00521-024-09573-6
Publication Date: 2024-02-23
Author(s): Fatma Kebire Bardak et al.
Primary Topic: Emotion and Mood Recognition
Overview
The research paper presents a novel hybrid algorithm for emotion recognition using EEG signals, addressing the challenges of accurate classification in this domain. The proposed model integrates multiple adaptive neuro-fuzzy inference system (ANFIS) classifiers, which operate in parallel, with probabilistic neural networks. By selecting features with optimal distribution for classification, the model trains these ANFIS structures to produce outputs that are subsequently combined into a feature vector for further processing by adaptive networks. The performance of this hybrid system was evaluated on established emotion benchmark datasets, achieving an accuracy of 73.49% on the DEAP dataset and 95.97% on the Feeling Emotions dataset.
The study concludes that the hybrid model effectively enhances emotion classification from EEG signals, particularly for emotions such as happiness, sadness, fear, and relaxation, as well as for positive, negative, and neutral emotional states. The findings underscore the superiority of ANFIS structures in this context and suggest that future research could expand the approach by incorporating additional physiological signals, such as facial expressions and heart rate variability, alongside exploring other machine learning techniques for improved emotion recognition.
Introduction
The introduction of the research paper discusses the complexities of understanding and recognizing human emotions, which significantly influence decision-making, behavior, and well-being. Traditional methods for studying emotions, such as self-reporting through questionnaires and interviews, face limitations due to their reliance on subjective interpretations. In contrast, non-physiological manuscripts, including text-based inputs from social media and conversations, provide rich contextual information but are also subject to misinterpretation. Physiological signals, such as electroencephalography (EEG), heart rate variability (HRV), and electrodermal activity (EDA), offer objective measures of emotional responses, capturing changes in bodily functions associated with different emotional states. The paper emphasizes the importance of EEG in emotion prediction due to its high temporal resolution and non-invasive nature, which facilitates the study of neural mechanisms underlying emotions.
The introduction further outlines two primary approaches to categorizing emotions: discrete basic emotion identification, which classifies emotions into six categories (joy, sadness, surprise, fear, anger, and disgust), and dimensional emotion recognition, which characterizes emotions along the dimensions of valence, arousal, and dominance. These dimensions provide a comprehensive framework for understanding emotional experiences, aiding in the development of interventions for emotional regulation. The paper also highlights the role of artificial neural networks (ANNs) and neuro-fuzzy inference systems in emotion recognition, noting their ability to handle nonlinear data and uncertainty. Specifically, the adaptive neuro-fuzzy inference system (ANFIS) is presented as a powerful tool for modeling nonlinear functions, while other ANN models, such as radial basis function neural networks (RBFNN) and probabilistic neural networks (PNN), are discussed for their effectiveness in classification and prediction tasks.
Methods
In this study, the authors present a systematic approach to emotion recognition through a structured model comprising three key stages: dataset preparation, feature extraction, and data classification. The initial stage involves the careful selection and organization of a dataset that is representative of various emotional states. Following this, the feature extraction phase focuses on identifying and quantifying relevant characteristics from the dataset that can effectively distinguish between different emotions. Finally, the classification stage employs machine learning algorithms to categorize the extracted features into specific emotional classes, thereby facilitating accurate emotion recognition. This methodological framework aims to enhance the reliability and effectiveness of emotion detection systems.
Results
In this study, the performance of a proposed hybrid model for EEG-based emotion recognition is evaluated using the DEAP and Feeling Emotion datasets. Each classification method was trained and cross-validated 15 times to ensure accuracy stability. The results indicate that the first three features of the datasets are the most effective for classification, leading to the selection of these features as the input vector for the hybrid model. The Adaptive Neuro-Fuzzy Inference System (ANFIS) classifiers were trained using a combination of backpropagation gradient descent and least-squares techniques, with varying membership functions to assess their impact on classifier performance.
The findings reveal that the highest classification accuracy achieved was 95.89% using the ANFIS model with three inputs and three membership functions. Comparatively, the Probabilistic Neural Network (PNN) and Radial Basis Function Neural Network (RBFNN) models achieved accuracies of 94.61% and 90.27%, respectively. The study also demonstrates that the proposed model outperforms existing shallow learning techniques, achieving a 2% higher accuracy than Zhong et al.’s method and surpassing Qing et al.’s approach by 20%. Additionally, for four-class emotion classification, the proposed model achieved an accuracy of 73.49%, outperforming previous studies by significant margins. Overall, the results underscore the importance of feature selection and the effectiveness of the hybrid model in emotion recognition tasks.
Discussion
The discussion section of the paper highlights the evolution and challenges in EEG-based emotion recognition, emphasizing the need for improved classification accuracy across multiple emotion categories. Previous studies predominantly focused on classifying emotions into two, three, or four categories, with varying methodologies yielding mixed results. For instance, Moreira et al. achieved an accuracy of 88.75% for binary emotion classification using an ANFIS system, while Degirmenci et al. reported 72.87% accuracy for valence classification using Empirical Mode Decomposition (EMD). However, the efficacy of these approaches in capturing the emotional spectrum remains limited, prompting the authors to advocate for the exploration of more than four emotion classes.
The authors propose a hybrid model that integrates Adaptive Neuro-Fuzzy Inference System (ANFIS) with shallow learning techniques to enhance emotion recognition from EEG signals. This model aims to leverage the strengths of ANFIS in capturing complex, nonlinear relationships while maintaining interpretability through fuzzy logic. The proposed approach is validated using two datasets: the Feeling Emotions dataset for three-class recognition and the DEAP dataset for four-class recognition. The authors assert that their hybrid model, which utilizes parallel ANFIS structures for different emotion classes, can significantly improve classification accuracy compared to existing methods. The findings underscore the necessity for innovative frameworks that can effectively address the complexities of emotion recognition in EEG data.