DOI: https://doi.org/10.3389/fncom.2024.1416494
PMID: https://pubmed.ncbi.nlm.nih.gov/39099770
تاريخ النشر: 2024-07-19
المؤلف: Wei Chen وآخرون
الموضوع الرئيسي: تخطيط الدماغ وواجهات الدماغ-الكمبيوتر
نظرة عامة
تقدم ورقة البحث نهجًا جديدًا للتعرف على المشاعر المعتمد على EEG من خلال تطوير شبكة عصبية تلافيفية ذات آلية انتباه مزدوج (DAMGCN). يدمج هذا النموذج الشبكات التلافيفية البيانية (GCNs) لتمثيل الشبكات الدماغية كرسوم بيانية، مما يمكّن من استخراج الميزات المكانية، بينما يستخدم أيضًا آلية انتباه ذاتي من نموذج Transformer لإعطاء الأولوية لقنوات الأقطاب الكهربائية المهمة ونطاقات التردد. أسفرت تقييمات DAMGCN على مجموعات بيانات DEAP و SEED و SEED-IV عن نتائج مثيرة للإعجاب، خاصة على مجموعة بيانات SEED، حيث حقق دقة تعتمد على الموضوع تبلغ 99.42% ودقة غير معتمدة على الموضوع تبلغ 73.21%، متفوقًا على العديد من النماذج الموجودة في هذا المجال.
في الختام، يجمع نموذج DAMGCN بشكل فعال بين منهجيات GCN و Transformer لتعزيز تصنيف المشاعر من خلال الاستفادة من العلاقات الهيكلية داخل بيانات EEG. تسلط الدراسة الضوء على أهمية مناطق الدماغ المحددة، مثل الفص الجبهي والفص القذالي، في معالجة المشاعر، بينما تكشف أيضًا عن ارتباط ضعيف بين نطاق التردد δ والمشاعر. ستركز الأعمال المستقبلية على معالجة تحديات تدريب النموذج وتحسين الأداء غير المعتمد على الموضوع من خلال دمج تقنيات التعلم التبايني والنقل، بهدف تسهيل تحديد الميزات المشتركة عبر مواضيع مختلفة.
مقدمة
تؤكد مقدمة ورقة البحث هذه على أهمية التعرف على المشاعر في سياق أنظمة واجهة الدماغ والحاسوب (BCI) والحوسبة العاطفية. وتبرز أن المشاعر البشرية، التي ترتبط ارتباطًا وثيقًا بالإشارات الكهربائية في الدماغ، يمكن التقاطها بشكل أكثر موثوقية من خلال إشارات تخطيط الدماغ الكهربائي (EEG) مقارنةً بالطرق الأخرى التي قد تتأثر بإخفاء المشاعر بشكل واعٍ أو غير واعٍ. كانت الأساليب التقليدية في التعلم الآلي، مثل آلات الدعم الناقل (SVM)، فعالة في الدراسات السابقة؛ ومع ذلك، فقد غير ظهور التعلم العميق هذا المجال، حيث أظهر أداءً متفوقًا في مجالات مختلفة، بما في ذلك معالجة الإشارات الطبية الحيوية.
يقترح المؤلفون نهجًا جديدًا يدمج الشبكات التلافيفية البيانية (GCN) مع آليات الانتباه المعتمدة على المحولات لتعزيز التعرف على المشاعر المعتمد على EEG. يستخدم هذا الإطار مصفوفة مجاورة مكانية ثلاثية الأبعاد لتجميع المعلومات من قنوات EEG متعددة، بينما تركز آليات الانتباه المزدوج على كل من قنوات الأقطاب الكهربائية ونطاقات تردد الإشارة. يتم تقييم النموذج المقترح على عدة مجموعات بيانات (DEAP و SEED و SEED-IV) ويظهر أداءً محسنًا مقارنة بالنماذج الموجودة، مما يوفر رؤى حول أدوار ميزات EEG المختلفة في معالجة المشاعر. توضح الورقة هيكلها، مشيرة إلى أن الأقسام اللاحقة ستتناول الأعمال ذات الصلة، والمنهجية، وإعداد التجارب، والاستنتاجات المتعلقة بالتداعيات واتجاهات البحث المستقبلية في هذا المجال.
النتائج
في هذا القسم، يقدم المؤلفون إعداد التجربة والنتائج لنموذج DAMGCN المقترح في تصنيف مشاعر EEG. استخدموا ثلاث مجموعات بيانات متميزة، وأجروا تجارب تعتمد على الموضوع وأخرى غير معتمدة على الموضوع. تشير النتائج إلى دقة تصنيف عالية: 96.96%، 97.17%، و 97.50% لعلامات الفئتين (الانفعالية، الإثارة، الهيمنة) في مجموعة بيانات DEAP؛ 99.42% لعلامات ثلاث فئات في مجموعة بيانات SEED؛ و 96.86% لعلامات أربع فئات في مجموعة بيانات SEED-IV. تظهر هذه النتائج أداء النموذج القوي عبر مجموعات بيانات مختلفة، حيث تحقق دقة تزيد عن 96%.
كشفت التحليلات الإضافية من خلال تصور t-SNE أن نموذج DAMGCN يقلل بشكل فعال من الاضطراب في توزيع العينات بعد التدريب. أشارت مصفوفات الالتباس إلى أن النموذج يتفوق في تصنيف المشاعر الإيجابية مقارنة بالسلبية، مما يتماشى مع الاتجاهات التي لوحظت في الدراسات السابقة. أظهرت التقييمات المقارنة ضد أساليب التعلم الآلي التقليدية ونماذج الشبكات العصبية المتطورة أن DAMGCN يتفوق على الخوارزميات الموجودة من حيث الدقة والثبات عبر جميع مجموعات البيانات. بالإضافة إلى ذلك، يستفيد تصميم النموذج من خصائص إشارة EEG ويشمل آلية انتباه Transformer، مما يعزز التعرف على الميزات العاطفية ذات الصلة من خلال وزن بيانات EEG ديناميكيًا، وبالتالي تحسين نتائج التصنيف.
المناقشة
في قسم المناقشة، يستعرض المؤلفون الميزات الرئيسية للتعرف على المشاعر من إشارات EEG، مع التأكيد على استخراج الميزات غير الخطية مثل الإنتروبيا التفاضلية (DE)، التي أثبتت فعاليتها في تصنيف الحالات العاطفية. يبرزون فائدة الشبكات التلافيفية البيانية (GCNs) في التقاط المعلومات المحلية والعالمية ضمن الهيكل المعقد لشبكة الدماغ، مما يعزز تحليل إشارة EEG. يناقش المؤلفون أيضًا قيود آليات الانتباه التقليدية في الشبكات البيانية، مقترحين استخدام نماذج Transformer لالتقاط الاعتماديات العالمية بشكل أفضل في بيانات EEG.
تخصص كتلة آلية الانتباه المزدوج المقترحة في نموذج DAMGCN أوزان الانتباه لقنوات EEG ونطاقات التردد، مما يحسن قدرة النموذج على التركيز على الإشارات ذات الصلة مع قمع الإشارات غير ذات الصلة. يقدم المؤلفون نظرة شاملة على هيكل نموذجهم، الذي يتضمن استخراج الميزات، والتلافيف البيانية، والانتباه المزدوج، وكتل التصنيف. يتحققون من نهجهم من خلال دراسات الإزالة، مما يوضح أن كل من GCN وآليات الانتباه تسهم بشكل كبير في أداء النموذج في مهام التعرف على المشاعر عبر مجموعات بيانات مختلفة، بما في ذلك DEAP و SEED. تشير النتائج إلى أن دمج GCNs وآليات الانتباه يمكن أن يعزز بشكل فعال قابلية تفسير ودقة أنظمة التعرف على المشاعر المعتمدة على EEG.
DOI: https://doi.org/10.3389/fncom.2024.1416494
PMID: https://pubmed.ncbi.nlm.nih.gov/39099770
Publication Date: 2024-07-19
Author(s): Wei Chen et al.
Primary Topic: EEG and Brain-Computer Interfaces
Overview
The research paper presents a novel approach to EEG-based emotion recognition through the development of the Dual Attention Mechanism Graph Convolutional Neural Network (DAMGCN). This model integrates graph convolutional networks (GCNs) to represent brain networks as graphs, enabling the extraction of spatial features, while also employing a self-attention mechanism from the Transformer model to prioritize significant electrode channels and frequency bands. The evaluation of DAMGCN on the DEAP, SEED, and SEED-IV datasets yielded impressive results, particularly on the SEED dataset, achieving a subject-dependent accuracy of 99.42% and a subject-independent accuracy of 73.21%, outperforming many existing models in the field.
In conclusion, the DAMGCN model effectively combines GCN and Transformer methodologies to enhance emotion classification by leveraging the structural relationships within EEG data. The study highlights the importance of specific brain regions, such as the prefrontal and occipital lobes, in emotional processing, while also revealing a weak correlation between the δ frequency band and emotions. Future work will focus on addressing the model’s training challenges and improving subject-independent performance through the incorporation of contrastive and transfer learning techniques, aiming to facilitate the identification of common features across different subjects.
Introduction
The introduction of this research paper emphasizes the significance of emotion recognition in the context of brain-computer interface (BCI) systems and affective computing. It highlights that human emotions, which are closely linked to electrical signals in the brain, can be more reliably captured through electroencephalogram (EEG) signals compared to other methods that may be influenced by conscious or unconscious concealment of emotions. Traditional machine learning approaches, such as Support Vector Machines (SVM), have been effective in earlier studies; however, the advent of deep learning has transformed the field, demonstrating superior performance in various domains, including biomedical signal processing.
The authors propose a novel approach that integrates graph convolutional networks (GCN) with transformer-based attention mechanisms to enhance EEG-based emotion recognition. This framework utilizes a three-dimensional spatial adjacency matrix to aggregate information from multiple EEG channels, while dual attention mechanisms focus on both electrode channels and signal frequency bands. The proposed model is evaluated on several datasets (DEAP, SEED, and SEED-IV) and shows improved performance over existing models, providing insights into the roles of different EEG features in emotional processing. The paper outlines its structure, indicating subsequent sections will cover related work, methodology, experimental setup, and conclusions regarding the implications and future research directions in the field.
Results
In this section, the authors present the experimental setup and results for the proposed DAMGCN model in EEG emotion classification. They utilized three distinct datasets, conducting both subject-dependent and subject-independent experiments. The results indicate high classification accuracies: 96.96%, 97.17%, and 97.50% for two-class labels (valence, arousal, dominance) in the DEAP dataset; 99.42% for three-class labels in the SEED dataset; and 96.86% for four-class labels in the SEED-IV dataset. These findings demonstrate the model’s robust performance across various datasets, achieving over 96% accuracy.
Further analysis through t-SNE visualization revealed that the DAMGCN model effectively reduces disorder in sample distribution post-training. Confusion matrices indicated that the model excels in classifying positive emotions compared to negative ones, aligning with trends observed in prior studies. Comparative evaluations against traditional machine learning and state-of-the-art neural network models showed that DAMGCN outperforms existing algorithms in accuracy and stability across all datasets. Additionally, the model’s design leverages EEG signal characteristics and incorporates a Transformer’s attention mechanism, which enhances the recognition of relevant emotional features by dynamically weighting EEG data, thereby improving classification outcomes.
Discussion
In the discussion section, the authors review key features for emotion recognition from EEG signals, emphasizing the extraction of nonlinear features such as differential entropy (DE), which has proven effective in classifying emotional states. They highlight the utility of Graph Convolutional Networks (GCNs) in capturing both local and global information within the brain’s complex network structure, thereby enhancing EEG signal analysis. The authors also discuss the limitations of traditional attention mechanisms in graph networks, proposing the use of Transformer models to better capture global dependencies in EEG data.
The proposed Dual Attention Mechanism Block in the DAMGCN model allocates attention weights to EEG channels and frequency bands, improving the model’s ability to focus on relevant signals while suppressing irrelevant ones. The authors provide a comprehensive overview of their model architecture, which includes feature extraction, graph convolution, dual attention, and classification blocks. They validate their approach through ablation studies, demonstrating that both the GCN and attention mechanisms significantly contribute to the model’s performance in emotion recognition tasks across various datasets, including DEAP and SEED. The findings suggest that the integration of GCNs and attention mechanisms can effectively enhance the interpretability and accuracy of EEG-based emotion recognition systems.