DOI: https://doi.org/10.3389/fnins.2025.1512799
PMID: https://pubmed.ncbi.nlm.nih.gov/40109659
تاريخ النشر: 2025-03-05
المؤلف: Zhuozheng Wang وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج
نظرة عامة
تقدم هذه الورقة البحثية طريقة جديدة للتعرف على المشاعر متعددة الوسائط تدمج بين إشارات تخطيط الدماغ الكهربائي (EEG) وتخطيط القلب الكهربائي (ECG) لتعزيز تصنيف الحالات العاطفية، مع التركيز بشكل خاص على أبعاد القيمة، الإثارة، والسيطرة. يقدم المؤلفون نموذج شبكة عصبية مركب، Att-1DCNN-GRU، الذي يجمع بين شبكة عصبية تلافيفية أحادية البعد وآلية انتباه ووحدات متكررة محكومة. هذا النموذج يستخرج بفعالية الميزات الزمنية، وميزات التردد، والميزات غير الخطية من الإشارات الفسيولوجية، مستخدمًا نهج الغابة العشوائية لتصفية الميزات لتحسين دقة التعرف وقوته. أسفرت التحقق على مجموعة بيانات DREAMER عن دقة تصنيف ملحوظة بلغت 95.95% بعد البعد القيمي، مما يظهر تحسينات كبيرة مقارنة بالطرق التقليدية التي تستخدم فقط بيانات EEG أو ECG.
تؤكد الدراسة أيضًا على قدرات تعميم النموذج على مجموعة بيانات DEAP، مما يؤكد قوته عبر مجموعات بيانات مختلفة. على الرغم من تحقيق أداء تصنيف عالٍ، يعترف المؤلفون بالقيود، مثل الحساسية للاختلافات الفردية وتنوع المشاعر. تشمل اتجاهات البحث المستقبلية تعزيز قابلية تكيف النموذج من خلال ميزات مخصصة، وتوسيع التحقق ليشمل مجموعات بيانات إضافية، وإجراء تحليلات متعمقة لأهمية الميزات بالنسبة للحالات العاطفية. تؤكد النتائج على إمكانيات التعلم العميق ودمج الإشارات متعددة الوسائط في تقدم تكنولوجيا التعرف على المشاعر، والتي يمكن أن تكون أداة قيمة لإدارة الصحة النفسية الشخصية في سياق التحديات المتزايدة في الصحة النفسية.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على الأهمية المتزايدة للصحة العاطفية في سياق الضغوط الاجتماعية المتزايدة وتأثيراتها على رفاهية الأفراد والتنمية الاقتصادية والاجتماعية الأوسع. يعمل النموذج العاطفي البُعدي (VAD: القيمة، الإثارة، السيطرة) كإطار أساسي لفهم الحالات العاطفية. غالبًا ما تفشل طرق التعرف على المشاعر التقليدية، التي تعتمد بشكل أساسي على تعبيرات الوجه، والكلام، والنص، بسبب التحيزات الذاتية والتأثيرات البيئية. بالمقابل، تقدم الإشارات الفسيولوجية مثل تخطيط الدماغ الكهربائي (EEG) وتخطيط القلب الكهربائي (ECG) نهجًا أكثر موضوعية وفي الوقت الحقيقي لمراقبة المشاعر، مع وجود علاقات مثبتة بين هذه الإشارات والحالات العاطفية.
تقترح الورقة طريقة جديدة تدمج إشارات EEG وECG باستخدام تقنيات التعلم العميق لتعزيز تصنيف أبعاد VAD. بينما أظهرت الدراسات السابقة فعالية الأساليب أحادية الوسائط، غالبًا ما تتجاهل الطبيعة التكميلية للإشارات متعددة الوسائط. تتناول هذه الدراسة القيود الحالية من خلال استخدام نموذج هجين يجمع بين الشبكات العصبية التلافيفية (CNN) والوحدات المتكررة المحكومة (GRU)، معززة بآلية انتباه لتحسين معالجة البيانات متعددة الوسائط. تشير النتائج التجريبية إلى أن هذا النهج يحسن بشكل كبير دقة التصنيف وقوته مقارنة بالطرق التقليدية، مما يثبت فعاليته عبر سيناريوهات تطبيقية متنوعة في التعرف على المشاعر.
طرق
في قسم الطرق، يصف المؤلفون نهجهم لتقسيم مجموعة البيانات والتحقق من النموذج لتقليل التحيز وتعزيز قوة نتائجهم. استخدموا طريقة تقسيم عشوائية، حيث خصصوا 80% من مجموعة بيانات DREAMER للتدريب واحتفظوا بـ 20% للاختبار. لمنع الإفراط في التكيف، تم استخدام تقنيات التحقق المتبادل، مما يضمن أن مجموعات التدريب والاختبار حافظت على توزيعات متسقة وفئات عاطفية متوازنة، وبالتالي تعكس خصائص مجموعة البيانات العامة.
توضح عملية تدريب نموذج Att-1DCNN-GRU المقترح من خلال منحنيات تكرارية لـ VALENCE وAROUSAL وDOMINANCE، كما هو موضح في الأشكال 4(A) و4(B) و4(C). تشير النتائج إلى عملية تدريب جيدة التصرف مع تقارب سريع وعدم وجود علامات على الإفراط في التكيف، مما يؤكد فعالية النموذج في التعرف على المشاعر بدقة تصنيف عالية. تكشف أداء التصنيف على مجموعة الاختبار، الموضحة في الشكل 5، أن النموذج حقق أعلى دقة للقيمة بلغت 95.95%، تليها الإثارة بنسبة 94.93%، والسيطرة بنسبة 94.91%. تم التخطيط لدراسات مستقبلية للتحقق من هذه النتائج مع مجموعات بيانات إضافية لتقييم قدرات تعميم النموذج بشكل أكبر.
نتائج
في هذا القسم، يقدم المؤلفون نتائج التجارب المقارنة التي تهدف إلى تقييم أداء نموذج Att-1DCNN-GRU المقترح للتعرف على المشاعر، مع التركيز بشكل خاص على بعد القيمة ضمن مجموعة بيانات DREAMER. تقارن الدراسة النموذج المقترح ضد عدة نماذج أساسية، بما في ذلك 1DCNN وGRU و1DCNN-GRU وهياكل قائمة على الانتباه المختلفة. تشير النتائج، الملخصة في الجدول 6، إلى أن نموذج Att-1DCNN-GRU يتفوق على جميع النماذج الأخرى في دقة التنبؤ، مما يظهر فعالية التعلم العميق في استخراج معلومات قيمة من البيانات الفسيولوجية الخام. يظهر النموذج تقاربًا سريعًا، ودقة عالية، وفقدان منخفض، ووقت تدريب معتدل، دون علامات على الإفراط في التكيف، مما يثبت فعاليته في مهام التعرف على المشاعر.
علاوة على ذلك، يستكشف المؤلفون تأثير مصادر البيانات المختلفة من خلال إجراء تجارب إضافية باستخدام بيانات EEG وECG بشكل منفصل. تكشف النتائج أن أداء النموذج يتحسن بشكل كبير عند دمج كلا نوعي البيانات، حيث أن بيانات EEG وحدها تحقق دقة أقل. يتم تأكيد قابلية تعميم النموذج بشكل أكبر من خلال الاختبار على مجموعة بيانات DEAP، حيث حقق دقة تصنيف بلغت 92.5%، وهي تنافس النماذج الحالية، بما في ذلك نموذج MS-MPHAN الأخير الذي حقق 93.75%. يقترح المؤلفون أن التحسينات المستقبلية في استخراج الميزات وهندسة النموذج يمكن أن تسد الفجوة في الأداء وتعزز الدقة بشكل أكبر.
مناقشة
تناقش الورقة البحثية تطوير طريقة للتعرف على المشاعر باستخدام مجموعة بيانات DREAMER، التي تتكون من إشارات فسيولوجية متعددة الوسائط (EEG وECG) من 23 مشاركًا شاهدوا 18 مقطعًا سينمائيًا. تتضمن مجموعة البيانات تقييمات عاطفية ذاتية عبر ثلاثة أبعاد: القيمة، الإثارة، والسيطرة. تم استخدام تقنيات معالجة الإشارة، بما في ذلك فلتر مصيدة بتردد 50 هرتز وفلتر تمرير نطاق من الدرجة الرابعة، لتحسين جودة الإشارة من خلال إزالة الضوضاء والإشارات الزائفة. تم تطبيق تحليل المكونات المستقلة (ICA) لعزل مكونات EEG ذات الصلة، مما أسفر عن مجموعة بيانات مصقولة مناسبة لاستخراج الميزات.
لاستخراج الميزات، استخدمت الدراسة تحليلات زمنية، وتحليل ترددي، وتحليلات غير خطية لاشتقاق ميزات هامة من كل من إشارات EEG وECG. تم استخدام خوارزمية الغابة العشوائية لاختيار الميزات، حيث نجحت في تحديد تسع ميزات تمييزية حسنت أداء النموذج مع تقليل الأبعاد. يدمج نموذج الشبكة العصبية المركب المقترح، Att-1DCNN-GRU، الطبقات التلافيفية والمتكررة مع آلية انتباه لتصنيف الحالات العاطفية بفعالية. أظهرت النتائج التجريبية دقة تصنيف عالية، خاصة بالنسبة للقيمة (95.95%)، مما يبرز مزايا دمج الوسائط المتعددة مقارنة بالبيانات ذات المصدر الواحد. تختتم الدراسة باقتراحات للبحث المستقبلي، بما في ذلك استكشاف الميزات المخصصة والتحقق من النموذج عبر مجموعات بيانات متنوعة لتعزيز قابليته للتطبيق وقوته في التعرف على المشاعر.
DOI: https://doi.org/10.3389/fnins.2025.1512799
PMID: https://pubmed.ncbi.nlm.nih.gov/40109659
Publication Date: 2025-03-05
Author(s): Zhuozheng Wang et al.
Primary Topic: Emotion and Mood Recognition
Overview
This research paper presents a novel multimodal emotion recognition method that integrates electroencephalography (EEG) and electrocardiography (ECG) signals to enhance the classification of emotional states, specifically focusing on the dimensions of valence, arousal, and dominance. The authors introduce a composite neural network model, Att-1DCNN-GRU, which combines a one-dimensional convolutional neural network with an attention mechanism and gated recurrent units. This model effectively extracts time-domain, frequency-domain, and nonlinear features from the physiological signals, employing a Random Forest approach for feature filtering to improve recognition accuracy and robustness. Validation on the DREAMER dataset yielded a remarkable classification accuracy of 95.95% for the valence dimension, demonstrating significant improvements over traditional methods that utilize only EEG or ECG data.
The study further validates the model’s generalization capabilities on the DEAP dataset, confirming its robustness across different datasets. Despite achieving high classification performance, the authors acknowledge limitations, such as sensitivity to individual differences and emotional diversity. Future research directions include enhancing model adaptability through personalized features, expanding validation to additional datasets, and conducting in-depth analyses of feature significance in relation to emotional states. The findings underscore the potential of deep learning and multimodal signal fusion in advancing emotion recognition technology, which could serve as a valuable tool for personalized mental health management in the context of increasing mental health challenges.
Introduction
The introduction of this research paper highlights the growing significance of emotional health in the context of increasing societal pressures and its implications for both individual well-being and broader socio-economic development. The emotional dimensional model (VAD: Valence, Arousal, Dominance) serves as a foundational framework for understanding emotional states. Traditional emotion recognition methods, primarily reliant on facial expressions, speech, and text, often fall short due to subjective biases and environmental influences. In contrast, physiological signals such as electroencephalography (EEG) and electrocardiography (ECG) offer a more objective and real-time approach to monitoring emotions, with established correlations between these signals and emotional states.
The paper proposes a novel method that integrates EEG and ECG signals using deep learning techniques to enhance the classification of the VAD dimensions. While previous studies have demonstrated the efficacy of single-modality approaches, they often overlook the complementary nature of multimodal signals. This research addresses existing limitations by employing a hybrid model that combines Convolutional Neural Networks (CNN) and Gated Recurrent Units (GRU), augmented with an attention mechanism to optimize the processing of multimodal data. The experimental results indicate that this approach significantly improves classification accuracy and robustness compared to traditional methods, validating its effectiveness across various application scenarios in emotion recognition.
Methods
In the methods section, the authors describe their approach to dataset segmentation and model validation to mitigate bias and enhance the robustness of their findings. They employed a random segmentation method, allocating 80% of the DREAMER dataset for training and reserving 20% for testing. To prevent overfitting, cross-validation techniques were utilized, ensuring that the training and test sets maintained consistent distributions and balanced emotional categories, thereby reflecting the overall dataset characteristics.
The training process of the proposed Att-1DCNN-GRU model is illustrated through iterative curves for VALENCE, AROUSAL, and DOMINANCE, as shown in Figures 4(A), 4(B), and 4(C). The results indicate a well-behaved training process with rapid convergence and no signs of overfitting, confirming the model’s effectiveness in emotion recognition with high classification accuracy. The classification performance on the test set, depicted in Figure 5, reveals that the model achieved the highest accuracy for VALENCE at 95.95%, followed closely by AROUSAL at 94.93%, and DOMINANCE at 94.91%. Future studies are planned to validate these findings with additional datasets to further assess the model’s generalization capabilities.
Results
In this section, the authors present the results of comparative experiments aimed at evaluating the performance of their proposed Att-1DCNN-GRU model for emotion recognition, specifically focusing on the VALENCE dimension within the DREAMER dataset. The study compares the proposed model against several baseline models, including 1DCNN, GRU, 1DCNN-GRU, and various attention-based architectures. The findings, summarized in Table 6, indicate that the Att-1DCNN-GRU model outperforms all other models in prediction accuracy, demonstrating the efficacy of deep learning in extracting valuable information from raw physiological data. The model exhibits fast convergence, high accuracy, low loss, and moderate training time, with no signs of overfitting, thus validating its effectiveness for emotion recognition tasks.
Furthermore, the authors explore the impact of different data sources by conducting additional experiments using EEG and ECG data separately. Results reveal that the model’s performance significantly improves when fusing both data types, with EEG data alone yielding lower accuracy. The model’s generalizability is further confirmed through testing on the DEAP dataset, achieving a classification accuracy of 92.5%, which is competitive with existing models, including the recent MS-MPHAN model that attained 93.75%. The authors suggest that future optimizations in feature extraction and model architecture could bridge the performance gap and enhance accuracy further.
Discussion
The research paper discusses the development of an emotion recognition method utilizing the DREAMER dataset, which comprises multimodal physiological signals (EEG and ECG) from 23 participants who viewed 18 movie clips. The dataset includes self-reported emotional ratings across three dimensions: Valence, Arousal, and Dominance. Signal preprocessing techniques, including a 50 Hz trap filter and a fourth-order Butterworth bandpass filter, were employed to enhance signal quality by removing noise and pseudo-signals. Independent Component Analysis (ICA) was applied to further isolate relevant EEG components, resulting in a refined dataset suitable for feature extraction.
For feature extraction, the study employed time-domain, frequency-domain, and nonlinear analyses to derive significant features from both EEG and ECG signals. The Random Forest algorithm was utilized for feature selection, successfully identifying nine discriminative features that improved model performance while reducing dimensionality. The proposed composite neural network model, Att-1DCNN-GRU, integrates convolutional and recurrent layers with an attention mechanism to effectively classify emotional states. Experimental results demonstrated high classification accuracy, particularly for Valence (95.95%), highlighting the advantages of multimodal fusion over single-source data. The study concludes with suggestions for future research, including the exploration of personalized features and the validation of the model across diverse datasets to enhance its applicability and robustness in emotion recognition.
