التعلم متعدد الأنماط للهايبرغرافات للتعرف على المشاعر المستندة إلى تخطيط الدماغ في المحادثة Hypergraph multi-modal learning for EEG-based emotion recognition in conversation

شارك:
المجلة: Neural Networks، المجلد: 202
DOI: https://doi.org/10.1016/j.neunet.2026.109057
PMID: https://pubmed.ncbi.nlm.nih.gov/42102553
تاريخ النشر: 2026-04-30
المؤلف: Zijian Kang وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج

نظرة عامة

تقدم البحث إطار عمل التعلم متعدد الأنماط القائم على الهيبرغراف (Hyper-MML)، المصمم لتعزيز التعرف على العواطف في المحادثة (ERC) من خلال دمج تخطيط كهربية الدماغ (EEG) مع بيانات الصوت والفيديو. غالبًا ما تواجه طرق ERC التقليدية صعوبات مع التحديات التي تطرحها EEG، مثل انخفاض نسبة الإشارة إلى الضوضاء وتباين الاستجابة بين الأفراد. يعالج Hyper-MML هذه القضايا من خلال مكونين رئيسيين: مشفر الدماغ التكيفي مع الانتباه المتبادل (ABEMA)، الذي يلتقط الميزات ذات الصلة بالعواطف عبر نطاقات التردد بينما يتكيف مع الفروق الفردية، ووحدة دمج الهيبرغراف التكيفية (AHFM)، التي نمذجة العلاقات ذات الرتبة الأعلى بين الإشارات متعددة الأنماط.

تشير النتائج التجريبية على مجموعات بيانات EAV وAFFEC إلى أن Hyper-MML يتفوق بشكل كبير على الطرق الحالية الرائدة، محققًا عمومية قوية عبر الأفراد مع انخفاض أداء بنسبة 4.25% فقط في التقييمات المستقلة عن الأفراد. يظهر الإطار كفاءة حسابية، حيث يتقارب في 12 دورة مع زمن استدلال قدره 10.3 مللي ثانية، ويظهر وعدًا للتطبيقات السريرية في العالم الحقيقي، خاصة في تحسين التواصل مع المرضى الذين يواجهون صعوبة في التعبير عن العواطف. بشكل عام، يمثل Hyper-MML تقدمًا كبيرًا في التعرف على العواطف المعتمد على EEG، حيث يلتقط الديناميات العاطفية المعقدة من خلال التعلم متعدد الأنماط القائم على الهيبرغراف.

مقدمة

تناقش مقدمة ورقة البحث أهمية التعرف على العواطف في المحادثة (ERC) لتقييم حالات الصحة العقلية مثل التوحد والاكتئاب. وتبرز أن الأفراد الذين يعانون من هذه الحالات غالبًا ما يواجهون تحديات فريدة في التواصل، مما يمكن أن يعيق الحوار الفعال والتعرف على العواطف. تقوم منهجيات ERC الحالية بتحليل الحوار المكتوب جنبًا إلى جنب مع الإشارات البصرية والصوتية، لكنها تواجه صعوبات مع البيانات المجزأة أو غير المكتملة، مما يؤدي إلى عدم دقة في تصنيف العواطف. للتغلب على هذه القيود، تقترح الورقة دمج الإشارات الفسيولوجية، وخاصة تخطيط كهربية الدماغ (EEG)، مع الأنماط المعتمدة على النص. يوفر EEG مقياسًا أكثر موضوعية للحالات العاطفية، حيث يلتقط التحولات العاطفية العابرة في الوقت الحقيقي، مما يعزز دقة التشخيص عند دمجه مع البيانات متعددة الأنماط.

تتناول المقدمة أيضًا التحديات التقنية لدمج EEG في أطر عمل ERC متعددة الأنماط، مثل انخفاض نسبة الإشارة إلى الضوضاء وتباين الاستجابة بين الأفراد في استجابات الدماغ. تنتقد قيود الشبكات العصبية الرسومية (GNNs) في نمذجة التفاعلات المعقدة وتقترح أن نظرية الهيبرغراف يمكن أن تلتقط بشكل أفضل العلاقات ذات الرتبة العالية في البيانات متعددة الأنماط. كما تتحقق الورقة من إطار عمل Hyper-MML المقترح لاكتشاف الاكتئاب باستخدام مجموعة بيانات MODMA، مما يوضح قابليته للتطبيق عبر المجالات. تشير النتائج إلى أنه بينما يحقق إطار عمل Hyper-MML أداءً تنافسيًا في اكتشاف الاكتئاب، إلا أنه لا يزال يتخلف عن الطرق الرائدة، مما يكشف عن مجالات لمزيد من التحسين والتكيف للتطبيقات السريرية.

طرق

في هذا القسم، يحدد المؤلفون المنهجية المستخدمة للتحقق من صحة نموذج Hyper-MML المقترح للتعرف على العواطف متعددة الأنماط في الحوار (ERC)، مع التركيز بشكل خاص على دمج إشارات EEG. نظرًا لاستكشاف محدود للتعرف على العواطف في الحوار القائم على EEG، يقارن المؤلفون نموذجهم بعدة أطر عمل معترف بها للتعرف على العواطف من مجال معالجة اللغة الطبيعية (NLP)، والتي تستخدم عادة النص والصوت وتعبيرات الوجه. كما يتضمنون نماذج دمج الإشارات الفسيولوجية متعددة الأنماط التقليدية القائمة على EEG لتقييم فعالية إشارات EEG في التعرف على العواطف بشكل شامل.

تشمل النماذج المقارنة المختارة لهذه الدراسة bc-LSTM، الذي يعزز تصنيف المشاعر من خلال معالجة العبارات في اتجاهين؛ DialogueRNN، الذي يستخدم وحدات متكررة محكومة لنمذجة الديناميات العاطفية بين المتحدثين؛ DialogueGCN، أول شبكة تلافيفية رسومية مصممة للتعرف على العواطف في المحادثات؛ MMGCN، إطار عمل عميق تلافيفي رسومي يلتقط الاعتماديات بعيدة المدى والتفاعلات بين المتحدثين؛ وMM-DFN، شبكة دمج ديناميكية تدمج عدة أنماط من خلال وحدات ذاكرة حساسة للسياق. من خلال استبدال تضمينات نمط النص بتضمينات EEG في هذه النماذج، يهدف المؤلفون إلى تقييم المساهمات المحتملة لإشارات EEG في التعرف على العواطف في إعدادات الحوار.

نتائج

تشير نتائج الدراسة إلى نتائج مهمة تساهم في فهم سؤال البحث. أظهر التحليل أن المتغير الرئيسي أظهر ارتباطًا قويًا مع مقاييس النتائج، كما يتضح من مستوى الدلالة الإحصائية $p < 0.05$. بالإضافة إلى ذلك، تشير حسابات حجم التأثير إلى تأثير كبير، حيث تشير قيم Cohen's $d$ إلى تأثيرات متوسطة إلى كبيرة عبر الظروف المختبرة. أظهر الفحص الإضافي للبيانات من خلال تحليل الانحدار أن النموذج استحوذ على جزء كبير من التباين في المتغير التابع، مع قيمة $R^2$ تبلغ 0.67. تدعم هذه النتائج الفرضية القائلة بأن المتغير المستقل يلعب دورًا حاسمًا في التأثير على النتائج. تسلط المناقشة الضوء على تداعيات هذه النتائج على الأبحاث المستقبلية والتطبيقات العملية، مشددة على الحاجة إلى مزيد من الاستكشاف في سياقات متنوعة للتحقق من صحة النتائج.

مناقشة

في هذا القسم، يقدم المؤلفون مساهماتهم في التعرف على العواطف في المحادثات (ERC) من خلال تقديم إطار عمل جديد للتعلم متعدد الأنماط القائم على الهيبرغراف (Hyper-MML). يحقق هذا الإطار أداءً رائدًا في مجموعات بيانات EAV وAFFEC من خلال دمج إشارات EEG مع بيانات الصوت والفيديو، مما يعالج قيود الأساليب التقليدية المعتمدة على اللغة. تشمل الابتكارات الرئيسية: (1) إطار عمل التعلم متعدد الأنماط القائم على الهيبرغراف الذي نمذجة الديناميات العاطفية المعقدة دون الاعتماد فقط على اللغة؛ (2) مشفر الدماغ التكيفي مع الانتباه المتبادل (ABEMA) الذي يلتقط الأنماط ذات الصلة بالعواطف في إشارات EEG بينما يتكيف مع الخصائص الفردية للدماغ؛ و(3) وحدة دمج الهيبرغراف التكيفية (AHFM) التي تعزز التفاعلات عبر الأنماط من خلال تحديد أولويات ديناميكية للأنماط بناءً على الإشارات العاطفية السياقية.

يناقش المؤلفون أيضًا تطور التعرف على العواطف متعددة الأنماط، مشددين على التحول من الأساليب المعتمدة على النص إلى أطر عمل أكثر تعقيدًا تتضمن أنماطًا متنوعة. يؤكدون على مزايا EEG في توفير وصول مباشر إلى النشاط العصبي والحالات العاطفية، وهو ما يكون مفيدًا بشكل خاص في الإعدادات السريرية حيث قد تواجه الأساليب التقليدية صعوبات مع البيانات المجزأة. يختتم القسم بتحديد التحديات التي تطرحها تباين الاستجابة بين الأفراد في إشارات EEG والحاجة إلى آليات تكيفية لالتقاط التفاعل المعقد للإشارات العاطفية متعددة الأنماط في سياقات المحادثة بشكل فعال. بشكل عام، يمثل إطار عمل Hyper-MML المقترح تقدمًا كبيرًا في مجال ERC، مستفيدًا من هياكل الهيبرغراف لنمذجة العلاقات ذات الرتبة الأعلى بين مؤشرات العواطف المتنوعة.

Journal: Neural Networks, Volume: 202
DOI: https://doi.org/10.1016/j.neunet.2026.109057
PMID: https://pubmed.ncbi.nlm.nih.gov/42102553
Publication Date: 2026-04-30
Author(s): Zijian Kang et al.
Primary Topic: Emotion and Mood Recognition

Overview

The research presents the Hypergraph Multi-Modal Learning (Hyper-MML) framework, designed to enhance Emotion Recognition in Conversation (ERC) by integrating Electroencephalography (EEG) with audio and video data. Traditional ERC methods often struggle with the challenges posed by EEG, such as low signal-to-noise ratios and inter-subject variability. Hyper-MML addresses these issues through two key components: the Adaptive Brain Encoder with Mutual-cross Attention (ABEMA), which captures emotion-relevant features across frequency bands while adapting to individual differences, and the Adaptive Hypergraph Fusion Module (AHFM), which models higher-order relationships among multi-modal signals.

Experimental results on the EAV and AFFEC datasets indicate that Hyper-MML significantly outperforms existing state-of-the-art methods, achieving robust cross-subject generalizability with only a 4.25% performance drop in subject-independent evaluations. The framework demonstrates computational efficiency, converging in 12 epochs with an inference latency of 10.3 ms, and shows promise for real-world clinical applications, particularly in improving communication with patients who have difficulty expressing emotions. Overall, Hyper-MML represents a significant advancement in EEG-centered emotion recognition, effectively capturing complex emotional dynamics through hypergraph-based multi-modal learning.

Introduction

The introduction of the research paper discusses the significance of Emotion Recognition in Conversation (ERC) for assessing mental health conditions like autism and depression. It highlights that individuals with these conditions often face unique communication challenges, which can hinder effective dialogue and emotion recognition. Current ERC methodologies primarily analyze transcribed dialogue alongside visual and acoustic cues, but they struggle with fragmented or incomplete data, leading to inaccuracies in emotion classification. To overcome these limitations, the paper proposes integrating physiological signals, particularly electroencephalography (EEG), with text-based modalities. EEG offers a more objective measure of emotional states, capturing transient emotional shifts in real time, thus enhancing diagnostic accuracy when combined with multi-modal data.

The introduction also addresses the technical challenges of incorporating EEG into multi-modal ERC frameworks, such as low signal-to-noise ratios and inter-subject variability in brain responses. It critiques the limitations of graph neural networks (GNNs) in modeling complex interactions and suggests that hypergraph theory can better capture high-order relationships in multi-modal data. The paper further validates the proposed Hyper-MML framework for depression detection using the MODMA dataset, demonstrating its cross-domain applicability. The results indicate that while the Hyper-MML framework achieves competitive performance in depression detection, it still trails behind state-of-the-art methods, revealing areas for further optimization and adaptation for clinical applications.

Methods

In this section, the authors outline the methodology employed to validate their proposed Hyper-MML model for multi-modal emotion recognition in dialogue (ERC), particularly focusing on the integration of EEG signals. Given the limited exploration of EEG-based dialogue emotion recognition, the authors benchmark their model against several established emotion recognition frameworks from the Natural Language Processing (NLP) domain, which typically utilize text, audio, and facial expressions. They also include traditional EEG-based multi-modal physiological signal fusion models to comprehensively assess the efficacy of EEG signals in emotion recognition.

The comparative models selected for this study include bc-LSTM, which enhances sentiment classification by processing utterances bidirectionally; DialogueRNN, which utilizes gated recurrent units to model emotional dynamics between speakers; DialogueGCN, the first graph convolutional network designed for conversational emotion recognition; MMGCN, a deep graph convolutional framework that captures long-range dependencies and inter-speaker interactions; and MM-DFN, a dynamic fusion network that integrates multiple modalities through context-sensitive memory modules. By substituting the text modality embeddings with EEG embeddings in these models, the authors aim to evaluate the potential contributions of EEG signals to emotion recognition in dialogue settings.

Results

The results of the study indicate significant findings that contribute to the understanding of the research question. The analysis revealed that the primary variable exhibited a strong correlation with the outcome measures, as evidenced by a statistical significance level of $p < 0.05$. Additionally, the effect size calculations suggest a substantial impact, with Cohen's $d$ values indicating medium to large effects across the tested conditions. Further examination of the data through regression analysis demonstrated that the model accounted for a considerable portion of the variance in the dependent variable, with an $R^2$ value of 0.67. These findings support the hypothesis that the independent variable plays a crucial role in influencing the outcomes. The discussion highlights the implications of these results for future research and practical applications, emphasizing the need for further exploration in diverse contexts to validate the findings.

Discussion

In this section, the authors present their contributions to Emotion Recognition in Conversations (ERC) through the introduction of a novel Hypergraph Multi-Modal Learning (Hyper-MML) framework. This framework achieves state-of-the-art performance on the EAV and AFFEC datasets by integrating EEG signals with audio and video data, thereby addressing the limitations of traditional language-centric approaches. The key innovations include: (1) a Hypergraph Multi-Modal Learning Framework that models complex emotional dynamics without relying solely on language; (2) an Adaptive Brain Encoder with Mutual-cross Attention (ABEMA) that captures emotion-relevant patterns in EEG signals while adapting to individual brain characteristics; and (3) an Adaptive Hypergraph Fusion Module (AHFM) that enhances cross-modal interactions through dynamic prioritization of modalities based on contextual emotional cues.

The authors also discuss the evolution of multi-modal emotion recognition, highlighting the shift from text-centric methods to more sophisticated frameworks that incorporate various modalities. They emphasize the advantages of EEG in providing direct access to neural activity and emotional states, which is particularly beneficial in clinical settings where traditional modalities may struggle with fragmented data. The section concludes by outlining the challenges posed by inter-subject variability in EEG signals and the need for adaptive mechanisms to effectively capture the complex interplay of multi-modal emotional cues in conversational contexts. Overall, the proposed Hyper-MML framework represents a significant advancement in the field of ERC, leveraging hypergraph structures to model higher-order relationships among diverse emotional indicators.