DOI: https://doi.org/10.1038/s41598-024-62990-4
PMID: https://pubmed.ncbi.nlm.nih.gov/38866813
تاريخ النشر: 2024-06-12
المؤلف: Xinyi Zhang وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج
نظرة عامة
تقدم البحث TPRO-NET، وهو شبكة عصبية جديدة مصممة للتعرف على المشاعر باستخدام إشارات تخطيط الدماغ الكهربائي (EEG). غالبًا ما تبسط الأساليب التقليدية نموذج المشاعر القائم على الفالنس-التحفيز-الهيمنة إلى فئات عالية ومنخفضة، مما يفشل في التقاط التغيرات العاطفية الدقيقة. يتناول TPRO-NET هذه القيود من خلال استخدام ميزات الانتروبيا التفاضلية والانتروبيا التفاضلية المعززة كمدخلات، تتم معالجتها من خلال طبقات الالتفاف ومحولات محسّنة. تم تقييم النموذج على مجموعتي بيانات DEAP وDREAMER، محققًا معدلات دقة متوسطة مثيرة للإعجاب تبلغ 97.63% للفالنس، 97.47% للتحفيز، و97.88% للهيمنة على DEAP، و98.18%، 98.37%، و98.40% على DREAMER، على التوالي، متفوقًا على الأساليب المتقدمة الحالية.
في الختام، يظهر TPRO-NET تقدمًا كبيرًا في تصنيف المشاعر المعتمد على EEG، حيث يميز بفعالية التغيرات العاطفية الدقيقة ويحقق نتائج متقدمة في المهام متعددة الفئات المعقدة. تؤكد النتائج على فعالية تحسين ميزات الانتروبيا التفاضلية والمحولات المحسّنة في تعزيز أداء التصنيف. ستركز الأعمال المستقبلية على معالجة أداء TPRO-NET في السيناريوهات المستقلة عن الموضوع، واستكشاف تأثيرات التحولات البسيطة على الميزات، وتقييم تطبيقاته العملية.
طرق
في هذا القسم، يصف المؤلفون مجموعات البيانات والمنهجية المستخدمة للتعرف على المشاعر المعتمد على EEG باستخدام خوارزمية TPRO-NET المقترحة. تتكون مجموعة بيانات DEAP من 40 فيديو مصممة لاستثارة المشاعر في 32 موضوعًا، حيث يتم التقاط إشارات EEG من 32 قناة. يقوم المشاركون بتقييم استجاباتهم العاطفية على مقياس من 1 إلى 9 عبر أربعة أبعاد: الفالنس، التحفيز، الهيمنة، والإعجاب. كل استثارة تنتج 3 ثوانٍ من خط الأساس و60 ثانية من إشارات EEG التجريبية، بإجمالي 2520 ثانية لكل موضوع. تقدم مجموعة البيانات إشارات أصلية بتردد 512 هرتز وإشارات منخفضة التردد بتردد 128 هرتز، حيث خضعت الأخيرة لتحليل المكونات المستقلة لإزالة آثار EOG. من ناحية أخرى، تتضمن مجموعة بيانات DREAMER 18 فيديو لـ 23 موضوعًا، مع جمع بيانات EEG من 14 قناة وتقييمات عاطفية على مقياس من 1 إلى 5 للفالنس، التحفيز، والهيمنة.
تتكون خوارزمية TPRO-NET من أربعة مكونات: استخراج الميزات، طبقات الالتفاف وإعادة تشكيلها، محول محسّن، وطبقة تصنيف المشاعر. يذكر المؤلفون أن TPRO-NET يتفوق على الأساليب المتقدمة الأخرى في كل من مهام التصنيف الثنائي ومتعدد الفئات، مما يظهر دقة أعلى وانحراف معياري أقل عبر الأبعاد العاطفية الثلاثة للفالنس، التحفيز، والهيمنة. يتم تلخيص النتائج المقارنة في الجدول 9، مما يبرز فعالية TPRO-NET مقارنة بالخوارزميات الحالية على كل من مجموعتي بيانات DEAP وDREAMER.
نتائج
في قسم النتائج، تحقق الدراسة من تأثير أنواع الميزات المختلفة على النتائج التجريبية، مع التركيز على مقارنة ميزات DE التقليدية مع ميزات DE المعززة المستمدة من خلال تحويل غير خطي، كما هو موضح في المعادلة 4. تم إجراء تجارب تعتمد على الموضوع لتقييم أداء كلا مجموعتي الميزات، المشار إليهما بـ “Feature_1″ لميزات DE و”Feature_2” لميزات DE المعززة.
تظهر النتائج، الملخصة في الجدول 5 والمصورة بواسطة الخطوط البرتقالية والخضراء في الأشكال 5 و6 و7 و8، أنه لا يوجد فرق أداء كبير بين ميزات DE ونظيراتها المعززة. وهذا يشير إلى أنه بينما قد تقدم التعزيزات مزايا نظرية، إلا أنها لا تترجم إلى تحسينات قابلة للقياس في سياق التجارب التي تم إجراؤها.
مناقشة
في قسم المناقشة، يقوم المؤلفون بتقييم نقدي للأبحاث الحالية في التعرف على المشاعر المعتمد على EEG، مع تسليط الضوء على كل من التقدمات والتحديات المستمرة. يشيرون إلى نماذج مختلفة، مثل شبكة الكبسولة المحولة والشبكات العصبية البيانية، التي حققت دقة عالية في التجارب المعتمدة على الموضوع ولكنها غالبًا ما تكافح مع التعرف عبر الموضوعات بسبب التباين الفردي في أنماط EEG. يلاحظ المؤلفون أن العديد من النماذج يتم التحقق منها على مجموعات بيانات محدودة، مما يثير القلق بشأن قابليتها للتعميم وقوتها. كما يحددون مشكلات شائعة، بما في ذلك التعقيد الحسابي العالي وعدم كفاية التعرف على حالات عاطفية متعددة.
ثم يقدم المؤلفون نموذجهم المقترح، TPRO-NET، الذي يدمج ميزات الانتروبيا التفاضلية وميزات الانتروبيا التفاضلية المعززة لتحسين التعرف على المشاعر. يذكرون أن TPRO-NET يظهر أداءً متفوقًا في كل من مهام التصنيف الثنائي ومتعدد الفئات مقارنة بالأساليب الحالية، خاصة في التعرف على التغيرات العاطفية الدقيقة. ومع ذلك، يعترفون بأن أداء TPRO-NET في السيناريوهات المستقلة عن الموضوع يبقى متوسطًا، مما يشير إلى أن الاختلافات الفردية في الاستجابة العاطفية قد تعيق قابليته للتطبيق. ويختتم المؤلفون بالتأكيد على إمكانيات TPRO-NET للتطبيقات العملية مع الإشارة إلى مجالات البحث المستقبلية، خاصة في تحسين أدائه عبر موضوعات متنوعة وتنقيح تقنيات تحويل الميزات.
DOI: https://doi.org/10.1038/s41598-024-62990-4
PMID: https://pubmed.ncbi.nlm.nih.gov/38866813
Publication Date: 2024-06-12
Author(s): Xinyi Zhang et al.
Primary Topic: Emotion and Mood Recognition
Overview
The research presents TPRO-NET, a novel neural network designed for emotion recognition using Electroencephalogram (EEG) signals. Traditional approaches often simplify the Valence-Arousal-Dominance emotion model into high and low categories, which fail to capture nuanced emotional variations. TPRO-NET addresses this limitation by utilizing differential entropy and enhanced differential entropy features as inputs, processed through convolutional layers and improved transformer encoders. The model was evaluated on the DEAP and DREAMER datasets, achieving impressive average accuracy rates of 97.63% for Valence, 97.47% for Arousal, and 97.88% for Dominance on DEAP, and 98.18%, 98.37%, and 98.40% on DREAMER, respectively, outperforming existing advanced methods.
In conclusion, TPRO-NET demonstrates significant advancements in EEG-based emotion classification, effectively distinguishing subtle emotional changes and achieving state-of-the-art results in complex multi-class tasks. The findings underscore the efficacy of the differential entropy feature enhancement and the improved transformer encoder in enhancing classification performance. Future work will focus on addressing TPRO-NET’s performance in subject-independent scenarios, exploring the effects of simple transformations on features, and assessing its practical applications.
Methods
In this section, the authors describe the datasets and methodology employed for EEG-based emotion recognition using their proposed algorithm, TPRO-NET. The DEAP dataset consists of 40 videos designed to elicit emotions in 32 subjects, capturing EEG signals from 32 channels. Participants rate their emotional responses on a scale from 1 to 9 across four dimensions: valence, arousal, dominance, and liking. Each elicitation yields 3 seconds of baseline and 60 seconds of experimental EEG signals, totaling 2520 seconds per subject. The dataset offers both original signals at 512 Hz and downsampled signals at 128 Hz, the latter having undergone independent component analysis to eliminate EOG artifacts. The DREAMER dataset, on the other hand, includes 18 videos for 23 subjects, with EEG data collected from 14 channels and emotional ratings on a scale from 1 to 5 for valence, arousal, and dominance.
The TPRO-NET algorithm is structured into four components: feature extraction, convolutional layers and reshaping, an improved transformer encoder, and an emotion classification layer. The authors report that TPRO-NET outperforms other advanced methods in both binary and multiclass classification tasks, demonstrating superior accuracy and lower standard deviation across the three emotional dimensions of valence, arousal, and dominance. Comparative results are summarized in Table 9, highlighting the effectiveness of TPRO-NET against existing algorithms on both the DEAP and DREAMER datasets.
Results
In the results section, the study investigates the impact of different feature types on experimental outcomes, specifically comparing traditional DE features with enhanced DE features derived through a nonlinear transformation, as described in Equation 4. Subject-dependent experiments were conducted to evaluate the performance of both feature sets, denoted as “Feature_1” for DE features and “Feature_2” for enhanced DE features.
The findings, summarized in Table 5 and illustrated by the orange and green lines in Figures 5, 6, 7, and 8, reveal that there is no significant performance difference between the DE features and their enhanced counterparts. This suggests that while the enhancement may offer theoretical advantages, it does not translate into measurable improvements in the context of the experiments conducted.
Discussion
In the discussion section, the authors critically evaluate existing research in EEG-based emotional recognition, highlighting both advancements and persistent challenges. They reference various models, such as the transformer capsule network and graph neural networks, which have achieved high accuracy in subject-dependent experiments but often struggle with cross-subject recognition due to individual variability in EEG patterns. The authors note that many models are validated on limited datasets, which raises concerns about their generalizability and robustness. They also identify common issues, including high computational complexity and inadequate recognition of multiple emotional states.
The authors then introduce their proposed model, TPRO-NET, which integrates differential entropy features and enhanced differential entropy features to improve emotion recognition. They report that TPRO-NET demonstrates superior performance in both binary and multi-class classification tasks compared to existing methods, particularly in recognizing subtle emotional changes. However, they acknowledge that TPRO-NET’s performance in subject-independent scenarios remains average, suggesting that individual differences in emotional response may hinder its applicability. The authors conclude by emphasizing the potential of TPRO-NET for practical applications while indicating areas for future research, particularly in enhancing its performance across diverse subjects and refining feature transformation techniques.