DOI: https://doi.org/10.1007/s00521-024-10240-z
تاريخ النشر: 2024-09-19
المؤلف: Ivonne Angélica Castiblanco Jiménez وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج
نظرة عامة
تستكشف هذه الدراسة تطبيق تخطيط الدماغ الكهربائي (EEG) في توصيف المشاعر، مع التركيز على التوافق بين الحالات العاطفية المبلغ عنها ذاتياً ونتائج التعلم الآلي. تفاعل ثلاثون مشاركًا مع خمسة بيئات واقع افتراضي مصممة لاستحضار مشاعر محددة بينما تم تسجيل نشاط دماغهم. قام المشاركون بتقييم حالاتهم العاطفية من حيث الإثارة والقيمة باستخدام دمية التقييم الذاتي. استخدمت التحليل مصنف شجرة القرار المعزز بالتدرج، كاشفًا أنماط تنشيط عصبية مميزة مرتبطة بمستويات مختلفة من القيمة والإثارة. ومن الجدير بالذكر أنه تم العثور على ارتباط قوي بين التقييمات الذاتية وتوقعات المصنف، مما يشير إلى إمكانية استخدام مؤشرات EEG كقياسات موثوقة لتوصيف المشاعر.
تؤكد النتائج على أهمية التعرف على المشاعر في مجالات متنوعة، بما في ذلك التعليم والطب، حيث يمكن أن يعزز فهم الحالات العقلية التدخلات والعلاجات. تسلط الدراسة الضوء على فعالية البيئات الافتراضية المعتمدة في استحضار المشاعر والاتساق بين مؤشرات EEG وتقارير المشاركين الذاتية. يتم تشجيع الأبحاث المستقبلية لتوسيع استكشاف مشاعر إضافية ومؤشرات قائمة على EEG، مثل الضغط والسيطرة. تؤكد هذه الدراسة على الحاجة إلى فهم أعمق للمشاعر البشرية، مستفيدة من تكنولوجيا الواقع الافتراضي لتطوير تطبيقات واعية عاطفياً يمكن أن تحسن جودة الحياة وتساعد في الكشف المبكر عن الاضطرابات العاطفية.
مقدمة
ت outlines مقدمة ورقة البحث أهمية المشاعر كاستجابات معقدة ومتعددة الأبعاد تتأثر بعمليات فسيولوجية ونفسية ومعرفية متنوعة. تسلط الضوء على ظهور الحوسبة العاطفية كحقل متعدد التخصصات يدمج علم النفس والفسيولوجيا وعلوم الحاسوب والهندسة الطبية الحيوية، مع التركيز على تطوير أنظمة قادرة على التعرف على المشاعر البشرية وتقليدها. تؤكد الورقة على الفوائد الاجتماعية لأنظمة التعرف على المشاعر عبر مجالات متنوعة، بما في ذلك التعليم والطب والصحة النفسية، مع الإشارة إلى قيود طرق التقرير الذاتي التقليدية، مثل دمية التقييم الذاتي (SAM)، التي يمكن أن تُدخل تحيزًا في تقييم المشاعر.
لمعالجة هذه التحديات، تقترح الدراسة استخدام تخطيط الدماغ الكهربائي (EEG) لقياس مقاييس عاطفية مثل القيمة والإثارة من خلال إشارات الدماغ عبر نطاقات تردد مختلفة. تهدف الأبحاث إلى تحليل كيف تؤثر المشاعر لدى المستخدمين على البيئات الافتراضية (VEs) المصممة خصيصًا لاستحضار مشاعر متميزة مثل السعادة والحزن والغضب والخوف والاشمئزاز. تتضمن المنهجية مقارنة بيانات EEG بتقارير SAM واستخدام خوارزميات التعلم الآلي، مثل تعزيز التدرج المتطرف والغابات العشوائية، لتحليل تنشيط الدماغ فيما يتعلق بالمؤشرات العاطفية. تم هيكلة الورقة لتقديم نظرة شاملة على الأبحاث الخلفية والمنهجية والنتائج والاستنتاجات المتعلقة بتقاطع استحضار المشاعر والتقييم والتقدم التكنولوجي في الواقع الافتراضي وتحليل EEG.
طرق البحث
في هذه الدراسة، أجرى المؤلفون تجربة محكومة شملت 30 مشاركًا تتراوح أعمارهم بين 19 و36 عامًا، مع الالتزام بالبروتوكولات المعتمدة لقياسات EEG في إعدادات الواقع الافتراضي (VR). تم تجنيد المشاركين من خلال منشورات ووسائل التواصل الاجتماعي، مما يضمن عينة متنوعة تتكون في الغالب من أفراد إيطاليين شباب مع تمثيل متوازن بين الجنسين. قبل المشاركة، قدم جميع الأفراد موافقة مستنيرة، وتم إطلاعهم على طبيعة الدراسة وحقوقهم واستخدام بياناتهم، وتم التأكيد لهم أنه يمكنهم الانسحاب في أي وقت دون عواقب.
حددت معايير الإدماج للدراسة أن المشاركين يجب أن تتراوح أعمارهم بين 18 و40 عامًا، وأن لا يكون لديهم تاريخ من الاضطرابات العصبية أو النفسية، وألا يتناولوا أدوية تؤثر على وظيفة الدماغ، وأن يمتلكوا رؤية طبيعية أو مصححة إلى طبيعية. كانت هذه العملية الدقيقة تهدف إلى تقليل المتغيرات المربكة وتعزيز موثوقية بيانات EEG التي تم جمعها خلال التجربة.
النتائج
في هذه الدراسة، تم تحليل بيانات EEG من 27 مشاركًا لتقييم الاستجابات العاطفية المميزة بالقيمة والإثارة خلال التفاعلات مع بيئات افتراضية متنوعة (VEs). بعد إزالة الشوائب، كشفت التحليلات عن نتائج مهمة بشأن نشاط موجات الدماغ. ومن الجدير بالذكر أن تردد h أظهر تنشيطًا قويًا عبر جميع VEs، لا سيما في الفص الجبهي، مما يدل على زيادة الانتباه المعرفي وتنظيم المشاعر. استحضرت بيئة الخوف الداخلية أعلى مستويات من ترددات b وc، مما يتوافق مع اليقظة والتركيز، بينما أدت بيئة الغضب إلى أدنى نشاط في هذه النطاقات. تتماشى النتائج مع الأدبيات الحالية حول العلاقة بين مناطق الدماغ والإدراك العاطفي.
تم استخدام مصنفات التعلم الآلي، وخاصة XGBoost والغابات العشوائية (RF)، لتصنيف القيمة والإثارة بناءً على بيانات EEG. حقق مصنف XGBoost درجات f1 تبلغ 0.97 للإثارة العالية و0.93 للقيمة العالية، مما يدل على أداء متفوق مقارنة بـ RF، لا سيما في تصنيف القيمة. وجدت الدراسة ارتباطًا قويًا بين الحالات العاطفية المبلغ عنها ذاتيًا من دمية التقييم الذاتي (SAM) ومؤشرات مستمدة من EEG، مما يشير إلى أن EEG يمكن أن يميز بفعالية الأبعاد العاطفية. تسلط هذه النتائج الضوء على إمكانية استخدام EEG كأداة مكملة لتقييم المشاعر، لا سيما في قياس القيمة والإثارة، بينما تشير أيضًا إلى الحاجة إلى مزيد من البحث للتحقق من هذه النتائج.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على التطبيقات المتنوعة للبيئات الافتراضية العاطفية (VEs) عبر مجالات مختلفة، بما في ذلك الصحة النفسية والتسويق والترفيه وإدارة مكان العمل. في الصحة النفسية، يمكن أن تعزز القدرة على تقييم الحالات العاطفية من خلال الواقع الافتراضي الأساليب العلاجية، مثل العلاج بالتعرض الشخصي لحالات مثل PTSD والقلق. في التسويق، يمكن أن يؤدي فهم الاستجابات العاطفية للمستهلكين في الواقع الافتراضي إلى استراتيجيات إعلانات أكثر جذبًا. بالإضافة إلى ذلك، يمكن أن تستفيد صناعة الترفيه من تعديل المحتوى بناءً على ردود فعل المستخدمين العاطفية، بينما يمكن أن تساعد التطبيقات في مكان العمل في إدارة الضغط وتحسين رفاهية الموظفين من خلال VEs مخصصة.
يتناول القسم أيضًا دور EEG في تقييم المشاعر، مناقشًا أنماط موجات الدماغ المختلفة المرتبطة بحالات عاطفية مختلفة. تشير النتائج الرئيسية إلى أن عدم التماثل الجبهي الأيسر يرتبط بالمشاعر الإيجابية، بينما يرتبط التنشيط الجبهي الأيمن بالمشاعر السلبية. أظهرت تقنيات التعلم الآلي، وخاصة آلات الدعم الشعاعي والأساليب الجماعية مثل الغابات العشوائية وتعزيز التدرج، وعدًا في تصنيف بيانات EEG المتعلقة بالحالات العاطفية. تضمنت إعدادات التجربة للدراسة مشاركة المشاركين في التنقل عبر VEs عاطفية بينما تم تسجيل نشاط دماغهم، مما كشف عن ارتباط قوي بين مؤشرات EEG العاطفية والمقاييس المبلغ عنها ذاتيًا للقيمة والإثارة. بشكل عام، تؤكد النتائج على إمكانية دمج تحليل EEG مع VEs العاطفية لتعزيز الفهم وتطبيق التعرف على المشاعر في مجالات متنوعة.
DOI: https://doi.org/10.1007/s00521-024-10240-z
Publication Date: 2024-09-19
Author(s): Ivonne Angélica Castiblanco Jiménez et al.
Primary Topic: Emotion and Mood Recognition
Overview
This study explores the application of electroencephalography (EEG) in characterizing emotions, focusing on the alignment between self-reported emotional states and machine learning outcomes. Thirty participants interacted with five virtual reality environments designed to evoke specific emotions while their brain activity was recorded. Participants assessed their emotional states in terms of Arousal and Valence using the Self-Assessment Manikin. The analysis employed a Gradient Boosted Decision Tree classifier, revealing distinct neural activation patterns associated with varying levels of Valence and Arousal. Notably, a strong correlation was found between self-assessments and the classifier’s predictions, indicating the potential of EEG-based indicators as reliable measures for emotional characterization.
The findings underscore the importance of emotion recognition in various fields, including education and medicine, where understanding mental states can enhance interventions and treatments. The study highlights the effectiveness of validated virtual environments in eliciting emotions and the consistency between EEG indicators and participants’ self-reports. Future research is encouraged to expand the exploration of additional emotions and EEG-based indicators, such as Stress and Dominance. This work emphasizes the need for a deeper understanding of human emotions, leveraging VR technology to develop emotionally aware applications that could improve quality of life and facilitate early detection of emotional disorders.
Introduction
The introduction of the research paper outlines the significance of emotions as complex, multidimensional responses influenced by various physiological, psychological, and cognitive processes. It highlights the emergence of affective computing as a multidisciplinary field that integrates psychology, physiology, computer science, and biomedical engineering, focusing on the development of systems capable of recognizing and emulating human emotions. The paper emphasizes the societal benefits of emotion recognition systems across diverse domains, including education, medicine, and mental health, while noting the limitations of traditional self-report methods, such as the Self-Assessment Manikin (SAM), which can introduce bias in emotional assessment.
To address these challenges, the study proposes the use of electroencephalography (EEG) to measure emotional metrics like Valence and Arousal through brain signals across different frequency bands. The research aims to analyze how user emotions are influenced by virtual environments (VEs) specifically designed to evoke distinct emotions such as happiness, sadness, anger, fear, and disgust. The methodology involves comparing EEG data with SAM reports and employing machine learning algorithms, such as extreme gradient boosting and random forest, to analyze brain activation in relation to emotional indicators. The paper is structured to provide a comprehensive overview of background research, methodology, results, and conclusions regarding the intersection of emotion elicitation, assessment, and technological advancements in virtual reality and EEG analysis.
Methods
In this study, the authors conducted a controlled experiment involving 30 participants aged 19 to 36, adhering to established protocols for EEG measurements in virtual reality (VR) settings. Participants were recruited through flyers and social media, ensuring a diverse sample predominantly composed of young Italian individuals with balanced gender representation. Prior to participation, all individuals provided informed consent, were briefed on the study’s nature, their rights, and the use of their data, and were assured they could withdraw at any time without repercussions.
Inclusion criteria for the study specified that participants must be between 18 and 40 years old, have no history of neurological or psychiatric disorders, not be on medications affecting brain function, and possess normal or corrected-to-normal vision. This careful selection process aimed to minimize confounding variables and enhance the reliability of the EEG data collected during the experiment.
Results
In this study, EEG data from 27 participants were analyzed to assess emotional responses characterized by Valence and Arousal during interactions with various virtual environments (VEs). Following artifact removal, the analysis revealed significant findings regarding brain wave activity. Notably, the h frequency exhibited strong activation across all VEs, particularly in the frontal lobe, indicating heightened cognitive attention and emotional regulation. The Indoor Fear VE elicited the highest levels of b and c frequencies, correlating with alertness and focus, while the Anger VE resulted in the lowest activity in these bands. The results align with existing literature on the relationship between brain regions and emotional perception.
Machine learning classifiers, specifically XGBoost and Random Forest (RF), were employed to classify Valence and Arousal based on EEG data. The XGBoost classifier achieved f1-scores of 0.97 for high Arousal and 0.93 for high Valence, demonstrating superior performance compared to RF, particularly in Valence classification. The study found a strong correlation between self-reported emotional states from the Self-Assessment Manikin (SAM) and EEG-derived indicators, suggesting that EEG can effectively characterize emotional dimensions. These findings highlight the potential of EEG as a complementary tool for emotional assessment, particularly in quantifying Valence and Arousal, while also indicating the need for further research to validate these results.
Discussion
The discussion section of the research paper highlights the diverse applications of emotional virtual environments (VEs) across various fields, including mental health, marketing, entertainment, and workplace management. In mental health, the ability to assess emotional states through VR can enhance therapeutic approaches, such as personalized exposure therapy for conditions like PTSD and anxiety. In marketing, understanding consumer emotional responses in VR can lead to more engaging advertising strategies. Additionally, the entertainment industry can benefit from adapting content based on users’ emotional reactions, while workplace applications can help manage stress and improve employee well-being through tailored VEs.
The section also delves into the role of EEG in emotional assessment, discussing various brain wave patterns associated with different emotional states. Key findings indicate that left frontal asymmetry correlates with positive emotions, while right frontal activation is linked to negative emotions. Machine learning techniques, particularly support vector machines and ensemble methods like random forests and gradient boosting, have shown promise in classifying EEG data related to emotional states. The study’s experimental setup involved participants navigating affective VEs while their brain activity was recorded, revealing a strong correlation between EEG-derived affective indicators and self-reported measures of Valence and Arousal. Overall, the findings underscore the potential of integrating EEG analysis with emotional VEs to enhance understanding and application of emotional recognition in various domains.