DOI: https://doi.org/10.1186/s13634-024-01146-y
تاريخ النشر: 2024-04-08
المؤلف: Teng Wang وآخرون
الموضوع الرئيسي: تخطيط الدماغ وواجهات الدماغ-الكمبيوتر
نظرة عامة
تقدم ورقة البحث طريقة جديدة للتعرف على المشاعر باستخدام تخطيط الدماغ الكهربائي (EEG)، مع معالجة القيود التي تواجه الأساليب التقليدية التي تتجاهل الارتباطات المكانية بين إشارات الأقطاب الكهربائية. تدمج الطريقة المقترحة مصفوفة ميزات الانتروبيا التفاضلية (DEFM) مع بنية تعلم عميق هجينة تجمع بين الشبكات العصبية التلافيفية ثنائية الأبعاد (2D-CNN) وشبكات الذاكرة طويلة وقصيرة المدى (LSTM). من خلال تحويل بيانات EEG أحادية البعد إلى مصفوفة شبكية ثنائية الأبعاد تعكس التوزيع المكاني لمواقع الأقطاب الكهربائية، تلتقط الطريقة كل من الارتباطات المكانية والزمنية لإشارات EEG. يتم حساب الانتروبيا التفاضلية لكل قطب كهربائي ضمن نوافذ زمنية متساوية، مما يؤدي إلى تمثيل بيانات يعزز من توصيف الحالات العاطفية.
تظهر التحقق التجريبي على مجموعة بيانات DEAP فعالية هذا النهج، حيث تحقق دقة تصنيف متوسطة تبلغ 91.92% للانفعالات و92.31% للاثارة. تشير هذه النتائج إلى تحسين كبير مقارنة بالأساليب الحالية في التعرف على المشاعر باستخدام EEG. بينما تظهر الطريقة المقترحة وعدًا في تعزيز الدقة والموثوقية، فإنها تعترف بالقيود المتعلقة بالتنوع الفردي في إشارات EEG. تقترح الورقة أن الأبحاث المستقبلية يمكن أن تستكشف دراسات عبر الأنماط، وعبر الأجهزة، وعبر السكان لتعزيز مجال التعرف على المشاعر المعتمد على EEG.
مقدمة
تؤكد مقدمة ورقة البحث هذه على أهمية التعرف على المشاعر البشرية في مجالات متعددة، بما في ذلك العلوم المعرفية، وعلوم الحاسوب، والذكاء الاصطناعي. تبرز النهج المزدوج للتعرف على المشاعر، باستخدام كل من الإشارات غير الفسيولوجية (مثل تعبيرات الوجه والكلام) والإشارات الفسيولوجية (مثل EEG وECG وEMG وEOG). من بين هذه الإشارات، يُلاحظ أن EEG يتميز بطبيعته غير الغازية وقدرته على توفير مراقبة في الوقت الحقيقي لنشاط الدماغ، مما يجعله نقطة تركيز للباحثين. تستعرض الورقة عدة طرق مبتكرة للتعرف على المشاعر بناءً على EEG، بما في ذلك التقنيات التي تستفيد من تحليل الزمن والتردد ونماذج التعلم العميق، والتي أظهرت أداءً متفوقًا مقارنة بأساليب التعلم الآلي التقليدية.
يقترح المؤلفون نهجًا جديدًا يدمج مصفوفة ميزات الانتروبيا التفاضلية (DEFM) مع نموذج هجيني يجمع بين 2D-CNN وLSTM لتصنيف المشاعر. تلتقط هذه الطريقة المعلومات المكانية والطيفية من إشارات EEG من خلال بناء مصفوفة ميزات 9 × 9 بناءً على مواقع 32 قطبًا كهربائيًا وتقسيم بيانات EEG إلى نوافذ زمنية. تستخرج شبكة 2D-CNN-LSTM المقترحة الميزات بفعالية من هذه التمثيلات ثنائية الأبعاد وتستفيد من نقاط القوة في LSTM في معالجة بيانات السلاسل الزمنية، محققة دقة تصنيف عالية تبلغ 91.92% للانفعالات و92.31% للاثارة على مجموعة بيانات DEAP. توضح الورقة مساهماتها وتضع الأساس لمناقشات مفصلة في الأقسام اللاحقة.
الطرق
تم هيكلة المنهجية المقترحة للتعرف على المشاعر من إشارات EEG في ثلاث خطوات رئيسية، حيث تركز الخطوة الأولى على معالجة بيانات EEG لتحديد والتخفيف من القيم الشاذة والضوضاء. يتم إثبات فعالية الطريقة من خلال تحليل مقارن مع نماذج أخرى، كما هو ملخص في الجدول 5. تشير النتائج إلى أن نموذج شبكة 2D-CNN-LSTM يتفوق على الأساليب البديلة، محققًا دقة تزيد عن 91% في تصنيف الاثارة والانفعالات.
يُعزى الأداء المتفوق للطريقة المقترحة إلى نهجها الشامل، الذي يدمج الوضع المكاني للأقطاب الكهربائية ويستخرج المعلومات الزمنية والمكانية والترددية من إشارات EEG. تتعلم الشبكة العصبية التلافيفية (CNN) بفعالية الخصائص المكانية لبيانات الشبكة ثنائية الأبعاد، بينما تلتقط شبكة الذاكرة طويلة وقصيرة المدى (LSTM) الديناميات الزمنية العالمية عبر نقاط العينة المستمرة. تعزز هذه الدمج بين الميزات الزمنية والمكانية قدرة النموذج على التعرف على المشاعر، مما يبرز التحسينات الكبيرة في الدقة التي تم تحقيقها من خلال هذا التمثيل المبتكر للميزات.
النتائج
في هذه الدراسة، تم استخدام نموذج 2D-CNN-LSTM لتصنيف المشاعر، مستفيدًا من نقاط القوة في الشبكات العصبية التلافيفية (CNN) لاستخراج الميزات تلقائيًا وشبكات الذاكرة طويلة وقصيرة المدى (LSTM) للتعامل مع بيانات السلاسل الزمنية. ساهم كل موضوع بـ 4800 عينة، وخضع النموذج لتقييم عبر عشرة أضعاف لضمان تقييم موثوق. أظهرت النتائج أن عدد النوى التلافيفية أثر بشكل كبير على دقة التصنيف، حيث تم تحقيق الأداء الأمثل باستخدام ثلاث نوى تلافيفية وخلية واحدة في طبقة LSTM المخفية. أظهر النموذج دقة متوسطة تبلغ 92.31% لتصنيف الاثارة و91.92% لتصنيف الانفعالات عبر 32 موضوعًا، مع درجات F المقابلة 90.75% و92.31%، وقيم Kappa 91.76% و92.36%، على التوالي.
تحسنت دقة التدريب مع التكرارات، حيث وصلت إلى 97.2% للاثارة و96.8% للانفعالات، بينما كانت دقة الاختبار 92.31% و91.92%، على التوالي. كشفت مصفوفة الالتباس عن معدلات تصنيف خاطئ تبلغ حوالي 7.6% للانفعالات و7.2% للاثارة، مما يشير إلى أداء تصنيف قوي بشكل عام. بالإضافة إلى ذلك، أكدت تحليل منحنى ROC فعالية النموذج، حيث اقتربت المنحنيات من الزاوية العليا اليسرى، مما يدل على معدلات إيجابية حقيقية عالية ومعدلات إيجابية خاطئة منخفضة. تؤكد النتائج على مرونة النموذج وفعاليته في مهام التعرف على المشاعر.
المناقشة
في هذا القسم، يوضح المؤلفون منهجيتهم للتعرف على المشاعر باستخدام إشارات EEG، مع التركيز على استخراج الميزات وتطوير نموذج تعلم عميق هجيني. يقومون بتحويل بيانات EEG أحادية البعد إلى مصفوفة ثنائية الأبعاد لالتقاط الارتباطات المكانية بين الأقطاب الكهربائية، مستخدمين الانتروبيا التفاضلية (DE) كمقياس لتعقيد الإشارة. يتم حساب قيم DE عبر نوافذ زمنية منزلقة، مما يؤدي إلى مصفوفة ميزات تدمج كل من المعلومات الزمنية والمكانية. تعتبر مجموعة بيانات DEAP، التي تشمل تسجيلات EEG من 32 موضوعًا تعرضوا لمحفزات عاطفية، أساسًا لتجاربهم. يبرز المؤلفون أهمية خطوات المعالجة المسبقة، بما في ذلك تقليل العينة وتصفية النطاق الترددي، لتحسين جودة الإشارة.
يجمع النموذج المقترح بين شبكة عصبية تلافيفية ثنائية الأبعاد (2D-CNN) مع شبكات الذاكرة طويلة وقصيرة المدى (LSTM) لتصنيف الحالات العاطفية بفعالية بناءً على الميزات المستخرجة. تلتقط البنية الخصائص المكانية من خلال طبقات CNN والاعتماد الزمني عبر طبقات LSTM، مما يؤدي إلى طبقة متصلة بالكامل لتصنيف المشاعر. تُظهر مقاييس التقييم مثل الدقة، والدقة، والاسترجاع، ودرجة F1 فعالية النموذج، حيث تحقق معدلات تعرف متوسطة تبلغ 91.92% للانفعالات و92.31% للاثارة. يعترف المؤلفون بالقيود المتعلقة بالتنوع الفردي في إشارات EEG ويقترحون اتجاهات البحث المستقبلية، بما في ذلك دراسات عبر الأنماط وعبر السكان لتعزيز موثوقية أنظمة التعرف على المشاعر.
DOI: https://doi.org/10.1186/s13634-024-01146-y
Publication Date: 2024-04-08
Author(s): Teng Wang et al.
Primary Topic: EEG and Brain-Computer Interfaces
Overview
The research paper presents a novel method for emotion recognition using electroencephalography (EEG), addressing the limitations of traditional approaches that overlook the spatial correlations between electrode signals. The proposed method integrates a differential entropy feature matrix (DEFM) with a hybrid deep learning architecture combining 2D convolutional neural networks (2D-CNN) and long short-term memory networks (LSTM). By transforming the one-dimensional EEG data into a two-dimensional grid matrix that reflects the spatial distribution of electrode positions, the method captures both the spatial and temporal correlations of EEG signals. The differential entropy of each electrode is computed within equal time windows, resulting in a data representation that enhances the characterization of emotional states.
Experimental validation on the DEAP dataset demonstrates the effectiveness of this approach, achieving average classification accuracies of 91.92% for valence and 92.31% for arousal. These results indicate a significant improvement over existing methods in EEG emotion recognition. While the proposed method shows promise in enhancing accuracy and robustness, it acknowledges limitations related to individual variability in EEG signals. The paper suggests that future research could explore cross-paradigm, cross-device, and cross-population studies to further advance the field of EEG-based emotion recognition.
Introduction
The introduction of this research paper emphasizes the significance of human emotion recognition in various fields, including cognitive science, computer science, and artificial intelligence. It highlights the dual approach to emotion recognition, utilizing both non-physiological signals (such as facial expressions and speech) and physiological signals (like EEG, ECG, EMG, and EOG). Among these, EEG is particularly noted for its non-invasive nature and ability to provide real-time monitoring of brain activity, making it a focal point for researchers. The paper reviews several innovative methods for emotion recognition based on EEG, including techniques that leverage time-frequency analysis and deep learning models, which have shown superior performance compared to traditional machine learning methods.
The authors propose a novel approach that integrates a differential entropy feature matrix (DEFM) with a hybrid model combining 2D-CNN and LSTM for emotion classification. This method captures spatial and spectral information from EEG signals by constructing a 9 × 9 feature matrix based on the positions of 32 electrodes and segmenting EEG data into time windows. The proposed 2D-CNN-LSTM network effectively extracts features from these 2D representations and utilizes LSTM’s strengths in processing time series data, achieving high classification accuracies of 91.92% for valence and 92.31% for arousal on the DEAP dataset. The paper outlines its contributions and sets the stage for detailed discussions in subsequent sections.
Methods
The proposed methodology for emotion recognition from EEG signals is structured into three main steps, with the first step focusing on the preprocessing of EEG data to identify and mitigate outliers and noise. The effectiveness of the method is demonstrated through a comparative analysis with other models, as summarized in Table 5. The results indicate that the 2D-CNN-LSTM network model outperforms alternative approaches, achieving over 91% accuracy in classifying arousal and valence.
The superior performance of the proposed method is attributed to its comprehensive approach, which integrates spatial positioning of electrodes and extracts time, space, and frequency information from EEG signals. The convolutional neural network (CNN) effectively learns the spatial characteristics of the two-dimensional grid data, while the long short-term memory (LSTM) network captures the global temporal dynamics across continuous sampling points. This fusion of temporal and spatial features enhances the model’s ability to recognize emotions, highlighting the significant improvements in accuracy achieved through this innovative feature representation.
Results
In this study, the 2D-CNN-LSTM model was employed for emotion classification, leveraging the strengths of Convolutional Neural Networks (CNN) for automatic feature extraction and Long Short-Term Memory (LSTM) networks for handling time series data. Each subject contributed 4800 samples, and the model underwent tenfold cross-validation to ensure robust evaluation. The results indicated that the number of convolutional kernels significantly impacted classification accuracy, with optimal performance achieved using three convolutional kernels and two LSTM hidden layer cells. The model demonstrated an average accuracy of 92.31% for arousal classification and 91.92% for valence classification across 32 subjects, with corresponding F-scores of 90.75% and 92.31%, and Kappa values of 91.76% and 92.36%, respectively.
The training accuracy improved with iterations, reaching 97.2% for arousal and 96.8% for valence, while test accuracies were 92.31% and 91.92%, respectively. The confusion matrix revealed misclassification rates of approximately 7.6% for valence and 7.2% for arousal, indicating a strong overall classification performance. Additionally, the ROC curve analysis confirmed the model’s efficacy, with curves approaching the upper-left corner, signifying high true-positive rates and low false-positive rates. The findings underscore the model’s flexibility and effectiveness in emotion recognition tasks.
Discussion
In this section, the authors detail their methodology for emotion recognition using EEG signals, focusing on feature extraction and the development of a hybrid deep learning model. They convert one-dimensional EEG data into a two-dimensional matrix to capture spatial correlations among electrodes, employing differential entropy (DE) as a measure of signal complexity. The DE values are computed over sliding time windows, resulting in a feature matrix that integrates both temporal and spatial information. The DEAP dataset, which includes EEG recordings from 32 subjects exposed to emotional stimuli, serves as the basis for their experiments. The authors highlight the importance of preprocessing steps, including down-sampling and bandpass filtering, to enhance signal quality.
The proposed model combines a two-dimensional convolutional neural network (2D-CNN) with long short-term memory (LSTM) networks to effectively classify emotional states based on the extracted features. The architecture captures spatial features through the CNN layers and temporal dependencies via the LSTM layers, culminating in a fully connected layer for emotion classification. Evaluation metrics such as accuracy, precision, recall, and the F1-score demonstrate the model’s efficacy, achieving average recognition rates of 91.92% for valence and 92.31% for arousal. The authors acknowledge limitations related to individual variability in EEG signals and suggest future research directions, including cross-paradigm and cross-population studies to enhance the robustness of emotion recognition systems.