DOI: https://doi.org/10.1007/s00221-025-07002-1
PMID: https://pubmed.ncbi.nlm.nih.gov/39953308
تاريخ النشر: 2025-02-14
المؤلف: Samannaya Adhikari وآخرون
الموضوع الرئيسي: تخطيط الدماغ وواجهات الدماغ-الكمبيوتر
نظرة عامة
تبحث الدراسة في استخدام إشارات تخطيط الدماغ الكهربائي (EEG) للتعرف على المشاعر، مع التركيز بشكل خاص على المشاعر التي تثيرها المحفزات البصرية مثل السعادة، والحزن، والخوف. من خلال استخدام تحليل الوضع المتغير (VMD) لتحليل إشارات EEG المنظفة، تستخرج الدراسة ميزات نطاق التردد من الوظائف الوضعية الجوهرية (IMFs). يتم استخدام نهج النافذة المنزلقة لمدة 3 ثوانٍ لحساب توزيعات الطاقة عبر نطاقات التردد المحددة مسبقًا، مما يؤدي إلى تحسين كفاءة تحليل المشاعر. يظهر مصنف الغابة العشوائية أداءً استثنائيًا، حيث يحقق دقة تصل إلى 99.57% للتحقق و99.36% للاختبار، مع إظهار IMF الخامس ارتباطًا كبيرًا بالمشاعر المستحثة.
تؤكد الاستنتاجات على فعالية VMD وتحليل نطاق التردد في التعرف على المشاعر من إشارات EEG. تبرز الدراسة أهمية أطوال النوافذ المثلى ومساهمات IMFs الفردية في التنبؤ بالحالات العاطفية. يتم التأكيد على قدرات التصنيف المتفوقة لنموذج الغابة العشوائية، جنبًا إلى جنب مع استخدام تفسيرات شابلي الإضافية (SHAP) لتحسين القابلية للتفسير من خلال توضيح تأثير ميزات الإدخال على تنبؤات النموذج. لا تعزز هذه الدراسة فقط الفهم لتصنيف المشاعر من خلال EEG ولكن لها أيضًا تداعيات على الحوسبة العاطفية، وتقييمات الصحة العقلية، والتفاعل بين الإنسان والكمبيوتر، مما يمهد الطريق لاستكشافات مستقبلية في هذه المجالات.
مقدمة
تؤكد مقدمة ورقة البحث على الأهمية المتزايدة للتعرف على المشاعر في التفاعل بين الإنسان والكمبيوتر، خاصة مع تحول الآلات إلى جزء لا يتجزأ من الحياة اليومية. تم استكشاف طرق متعددة، مثل تعبيرات الوجه، والكلام، والإشارات الفسيولوجية، لهذا الغرض، حيث تبرز تخطيط الدماغ الكهربائي (EEG) بسبب قدرتها على تقديم رؤى مباشرة حول الجهاز العصبي المركزي. EEG، وهي تقنية تصوير عصبي غير جراحية، تلتقط النشاط الكهربائي للدماغ من خلال أقطاب كهربائية موضوعة على فروة الرأس، مما يسمح للباحثين بتحليل الاستجابات العصبية للمحفزات البصرية وردود أفعالهم العاطفية المقابلة.
تركز الدراسة بشكل خاص على تطبيق تحليل الوضع المتغير (VMD) لتحليل إشارات EEG المتعلقة بالتعرف على المشاعر. يوفر VMD مزايا على الطرق التقليدية مثل تحليل الوضع التجريبي (EMD) والتقنيات المعتمدة على فورييه من خلال تقديم تحليل أكثر قوة وغير تكراري يقلل من تأثير الضوضاء ويعزز الاستقرار عبر خصائص الإشارة المتغيرة. تهدف الدراسة إلى تحديد الوظائف الوضعية الجوهرية (IMFs) التي ترتبط بشكل كبير بالمشاعر المستحثة من المحفزات البصرية ومقارنة أداء أربعة نماذج تعلم آلي لتصنيف مشاعر EEG، باستخدام تفسيرات شابلي الإضافية (SHAP) لتوضيح العلاقة بين تنبؤات النموذج وميزات الإدخال.
الطرق
توضح منهجية البحث في الشكل 1، الذي يحدد التدفق الشامل للدراسة. يشمل عدة مراحل رئيسية، بدءًا من جمع البيانات، تليها تحليل الميزات المعتمدة على التردد. بعد ذلك، تستخدم الدراسة أربعة نماذج تعلم آلي معروفة على نطاق واسع لأغراض التصنيف. أخيرًا، تتضمن المنهجية تقييم قابلية تفسير النماذج المدربة، مما يضمن أن النتائج يمكن فهمها وتطبيقها بفعالية. يسهل هذا النهج المنظم فحصًا شاملاً للبيانات وأداء تقنيات التعلم الآلي المستخدمة.
النتائج
في هذه الدراسة، تم استخدام مجموعة متنوعة من مصنفات التعلم الآلي الكلاسيكية، بما في ذلك KNN، SVM، أشجار القرار (DT)، والغابة العشوائية (RF)، لتحديد حجم النافذة الأمثل وتقييم فعالية نطاقات التردد المختلفة لكل وظيفة وضعية جوهرية (IMF) في تصنيف المشاعر. استخدمت التجارب أطوال نوافذ تبلغ 1، 2، 3، 4 ثوانٍ، والإشارة الكاملة التي تبلغ 15 ثانية، مع تقسيم بيانات التدريب بنسبة 80% وبيانات الاختبار بنسبة 20%. أشارت النتائج إلى أن المصنفات المعتمدة على الأشجار، وخاصة مصنف RF، تفوقت بشكل كبير على الآخرين، حيث حققت أقصى دقة للتحقق تبلغ 99.57% مع طول نافذة يبلغ 3 ثوانٍ و50% تداخل. تم التحقق من أداء مصنف RF بشكل أكبر من خلال مصفوفات الالتباس والتحقق المتقاطع k-fold.
بالإضافة إلى ذلك، درست الدراسة العلاقة بين قوى النطاقات الترددية عبر IMFs المختلفة وارتباطها بالحالات العاطفية. تم استخدام أداة SHAP (تفسيرات شابلي الإضافية) لتعزيز شفافية النموذج، مما كشف أن الميزات الأكثر تأثيرًا في التنبؤ بالعواطف تشمل قوة نطاق دلتا لـ IMF 5 وقوة نطاق ألفا لـ IMF 4، من بين أمور أخرى. من الجدير بالذكر أن IMF 5 أظهر أقوى ارتباط بمعالجة المشاعر، خاصة لحالة “الحزن”، بينما ارتبط IMF 4 بتقليل التوتر والانتباه. تؤكد هذه النتائج على الآليات العصبية الفسيولوجية الكامنة وراء معالجة المشاعر، مما يبرز أهمية نطاقات التردد المحددة داخل IMFs في التنبؤ بالحالات العاطفية.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على فعالية تحليل الوضع المتغير (VMD) في تحليل إشارات EEG لتصنيف المشاعر. حققت الدراسة دقة ملحوظة في التمييز بين الحالات العاطفية من خلال تحديد نطاقات تردد محددة داخل الوظائف الوضعية الجوهرية (IMFs) المستمدة من بيانات EEG. من الجدير بالذكر أن قوة نطاق دلتا لـ IMF 5 ظهرت كمؤشر مهم لفئة المشاعر “الحزن”، بينما كانت قوة نطاق ثيتا لـ IMF 1 مرتبطة بحالة “الخوف”. تشير النتائج إلى أن دمج الميزات من جميع IMFs يعزز دقة التصنيف، متجاوزًا الدراسات السابقة في هذا المجال.
كما تؤكد الدراسة على قيود حجم العينة الصغيرة والتركيز على ثلاث فئات عاطفية فقط، مما يشير إلى أن العمل المستقبلي يجب أن يوسع العينة ويستكشف مشاعر إضافية. كشفت التحليل المقارن لمصنفات التعلم الآلي عن الأداء المتفوق لنموذج الغابة العشوائية في مهام التعرف على المشاعر، مدعومًا بتفسيرات شابلي الإضافية (SHAP) لتعزيز القابلية للتفسير. بشكل عام، تؤكد النتائج على إمكانيات دمج تقنيات معالجة الإشارات المتقدمة مع التعلم الآلي لتحسين التعرف على المشاعر، مع تداعيات على الحوسبة العاطفية وتطبيقات الصحة العقلية.
DOI: https://doi.org/10.1007/s00221-025-07002-1
PMID: https://pubmed.ncbi.nlm.nih.gov/39953308
Publication Date: 2025-02-14
Author(s): Samannaya Adhikari et al.
Primary Topic: EEG and Brain-Computer Interfaces
Overview
The research investigates the use of electroencephalogram (EEG) signals for emotion recognition, specifically focusing on emotions evoked by visual stimuli such as happiness, sadness, and fear. By employing variational mode decomposition (VMD) to analyze cleaned EEG signals, the study extracts frequency domain features from intrinsic mode functions (IMFs). A sliding window approach of 3 seconds is utilized to compute power distributions across predefined frequency bands, leading to enhanced emotion analysis efficiency. The random forest classifier demonstrates exceptional performance, achieving accuracies of 99.57% for validation and 99.36% for testing, with the fifth IMF showing a significant correlation with the elicited emotions.
The conclusions emphasize the effectiveness of VMD and frequency domain analysis in emotion recognition from EEG signals. The study highlights the importance of optimal window lengths and the contributions of individual IMFs in predicting emotional states. The random forest model’s superior classification capabilities are underscored, alongside the use of Shapley additive explanations (SHAP) to improve interpretability by clarifying the influence of input features on model predictions. This research not only advances the understanding of emotion classification through EEG but also has implications for affective computing, mental health assessments, and human-computer interaction, paving the way for future explorations in these fields.
Introduction
The introduction of the research paper emphasizes the growing importance of emotion recognition in human-computer interaction, particularly as machines become integral to daily life. Various modalities, such as facial expressions, speech, and physiological signals, have been explored for this purpose, with electroencephalography (EEG) standing out due to its ability to provide direct insights into the central nervous system. EEG, a non-invasive neuroimaging technique, captures the brain’s electrical activity through electrodes placed on the scalp, allowing researchers to analyze neural responses to visual stimuli and their corresponding emotional reactions.
The study specifically focuses on the application of Variational Mode Decomposition (VMD) for analyzing EEG signals related to emotion recognition. VMD offers advantages over traditional methods like Empirical Mode Decomposition (EMD) and Fourier-based techniques by providing a more robust, non-recursive decomposition that minimizes noise impact and enhances stability across varying signal characteristics. The research aims to identify intrinsic mode functions (IMFs) that correlate significantly with emotions elicited by visual stimuli and to compare the performance of four machine learning models for EEG emotion classification, utilizing Shapley additive explanations (SHAP) to elucidate the relationship between model predictions and input features.
Methods
The research methodology is illustrated in Figure 1, which outlines the comprehensive flow of the study. It encompasses several key stages, beginning with data acquisition, followed by frequency-based feature analysis. Subsequently, the study employs four widely recognized machine learning models for classification purposes. Finally, the methodology includes an assessment of the interpretability of the trained models, ensuring that the results can be understood and applied effectively. This structured approach facilitates a thorough examination of the data and the performance of the machine learning techniques utilized.
Results
In this study, various classical machine learning classifiers, including KNN, SVM, Decision Trees (DT), and Random Forest (RF), were employed to determine the optimal window size and evaluate the effectiveness of different frequency bands for each Intrinsic Mode Function (IMF) in emotion classification. The experiments utilized window lengths of 1, 2, 3, 4 seconds, and the entire 15-second signal, with an 80% training and 20% testing data split. Results indicated that tree-based classifiers, particularly the RF classifier, significantly outperformed others, achieving a maximum validation accuracy of 99.57% with a window length of 3 seconds and 50% overlap. The RF classifier’s performance was further validated through confusion matrices and k-fold cross-validation.
Additionally, the study investigated the relationship between band powers of frequency bands across different IMFs and their association with emotional states. The SHAP (SHapley Additive exPlanations) tool was utilized to enhance model transparency, revealing that the most influential features for emotion prediction included the Delta band power of IMF 5 and the Alpha band power of IMF 4, among others. Notably, IMF 5 exhibited the strongest correlation with emotion processing, particularly for the “sad” emotional state, while IMF 4 was linked to reduced stress and attentiveness. These findings underscore the neurophysiological mechanisms underlying emotion processing, highlighting the significance of specific frequency bands within IMFs in predicting emotional conditions.
Discussion
The discussion section of the research paper highlights the effectiveness of Variational Mode Decomposition (VMD) in analyzing EEG signals for emotion classification. The study achieved notable accuracy in distinguishing between emotional states by identifying specific frequency ranges within intrinsic mode functions (IMFs) derived from EEG data. Notably, the Delta band power of IMF 5 emerged as a significant predictor for the “sad” emotional class, while the Theta band power of IMF 1 was linked to the “fear” state. The findings indicate that combining features from all IMFs enhances classification accuracy, surpassing previous studies in the field.
The research also emphasizes the limitations of a small sample size and the focus on only three emotional classes, suggesting that future work should expand the sample and explore additional emotions. The study’s comparative analysis of machine learning classifiers revealed the random forest model’s superior performance in emotion recognition tasks, supported by Shapley additive explanations (SHAP) to enhance interpretability. Overall, the findings underscore the potential of integrating advanced signal processing techniques with machine learning for improved emotion recognition, with implications for affective computing and mental health applications.