DOI: https://doi.org/10.1109/taffc.2026.3664341
تاريخ النشر: 2026-02-13
المؤلف: Siyuan Kan وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج
نظرة عامة
تقدم الورقة نهجًا جديدًا للتعرف على المشاعر عبر الأنماط المختلفة من خلال طريقة تُسمى تقطير التمثيل المتباين عبر الأنماط (CMCRD). تستفيد هذه التقنية من بيانات تخطيط الدماغ (EEG) وحركة العين أثناء التدريب، مع السماح بالاختبار باستخدام واحدة فقط من الأنماط. من خلال استخدام نموذج تصنيف حركة العين المدرب مسبقًا لتعزيز نموذج تصنيف EEG (أو العكس)، يحسن CMCRD استخراج الميزات من إشارات EEG، مما يؤدي إلى زيادة ملحوظة في دقة التعرف على المشاعر. تشير النتائج التجريبية عبر ثلاثة هياكل مختلفة من الشبكات العصبية ومجموعات بيانات التعرف على المشاعر متعددة الأنماط إلى أن CMCRD يحقق تحسينًا متوسطًا في دقة التصنيف يبلغ حوالي 6.2% مقارنة بالنماذج التي تعتمد فقط على EEG.
في الختام، لا يعزز CMCRD دقة أنظمة التعرف على المشاعر فحسب، بل يبسط أيضًا تنفيذها من خلال تقليل الحاجة إلى بيانات متعددة الأنماط أثناء الاختبار. تتضمن الطريقة التعلم المتباين الأحادي للحد من خطر انتشار الأخطاء من نموذج المعلم إلى نموذج الطالب، وتستخدم وزن انتروبيا المعلومات لتحسين استخراج المعرفة من العينات الموثوقة. ومع ذلك، يعترف المؤلفون بعدة قيود، بما في ذلك الحاجة إلى توسيع CMCRD لتشمل مشاكل الانحدار في الفضاء ثلاثي الأبعاد من الفالنس، والإثارة، والسيطرة، بالإضافة إلى سيناريوهات التعلم غير المراقب وشبه المراقب. بالإضافة إلى ذلك، يبقى التعامل مع الفروق الفردية في التعرف على المشاعر تحديًا يمكن معالجته من خلال التكيف مع المجال في الأعمال المستقبلية.
مقدمة
تناقش مقدمة ورقة البحث أهمية التعرف على المشاعر في تعزيز التفاعل بين الإنسان والكمبيوتر من خلال استخدام أنماط مختلفة مثل تعبيرات الوجه، والكلام، وحركات العين، وتخطيط الدماغ (EEG). يتم تسليط الضوء على EEG كأحد الأنماط القيمة بشكل خاص بسبب قياسه المباشر لنشاط الدماغ ومقاومته للتلاعب. تشير الورقة إلى تحول من طرق التعلم الآلي التقليدية إلى تقنيات التعلم العميق المتقدمة، بما في ذلك الشبكات العصبية التلافيفية (CNNs) والشبكات العصبية البيانية (GNNs)، في التعرف على المشاعر المعتمد على EEG. ومع ذلك، تعترف بحدود نماذج EEG فقط، التي غالبًا ما تعطي نتائج غير موثوقة بسبب الطبيعة متعددة الأوجه للمشاعر المتأثرة بالعوامل الداخلية والخارجية.
لمعالجة هذه التحديات، يقترح المؤلفون نهجًا جديدًا يُسمى تقطير التمثيل المتباين الخاضع للإشراف عبر الأنماط (CMCRD)، الذي يدمج EEG مع أنماط أخرى، وتحديدًا بيانات حركة العين. يعزز هذا الأسلوب دقة التعرف على المشاعر بينما يبسط عملية جمع البيانات من خلال السماح باستخدام نمط واحد أثناء الاختبار. تختتم المقدمة بتحديد هيكل الورقة، الذي يتضمن الأعمال ذات الصلة، ووصفًا تفصيليًا لطريقة CMCRD، والنتائج التجريبية، واتجاهات البحث المستقبلية.
النتائج
تشير نتائج التجارب داخل الموضوع، كما هو موضح في الجدول 1، إلى أن نموذج CM-CRD يعزز بشكل كبير دقة التصنيف مقارنة بالنماذج التي تعتمد فقط على EEG، محققًا زيادات تبلغ حوالي 3.5% على SEED، و3% على SEED-IV، و10% على SEED-V. من الجدير بالذكر أن CM-CRD تفوق على خوارزميات تقطير المعرفة الأخرى، متجاوزًا CRD بمتوسط 4% وأفضل خط أساس بنسبة حوالي 2%. بالإضافة إلى ذلك، بينما أظهر نموذج حركة العين فقط أداءً ضعيفًا، ساهم دمج بيانات حركة العين من خلال تقطير المعرفة بشكل إيجابي في دقة تصنيف EEG.
في التجارب عبر الموضوعات المفصلة في الجدول 2، أظهر CM-CRD مرة أخرى أداءً متفوقًا، حيث زاد متوسط دقة التصنيف بنسبة 3.8% على SEED، و4.5% على SEED-IV، و6.8% على SEED-V مقارنة بالنماذج التي تعتمد فقط على EEG. لقد تفوق باستمرار على طرق تقطير المعرفة الأخرى، متجاوزًا CRD بمتوسط 2% وأفضل خط أساس بنسبة 1.7%. كشفت التحليلات الإحصائية من خلال اختبارات t المزدوجة، مع تعديل قيم p باستخدام تصحيح معدل الاكتشاف الخاطئ لبنجاميني-هوشبرغ، أن معظم تحسينات أداء CM-CRD كانت ذات دلالة إحصائية، خاصة على SEED-V، الذي قدم السيناريو الأكثر تحديًا للتصنيف بسبب عدد فئاته الكبير.
المناقشة
تسلط قسم المناقشة في الورقة الضوء على التقدم في التعرف على المشاعر من خلال الأساليب متعددة الأنماط وعبر الأنماط، مع التأكيد على دمج إشارات EEG وحركة العين. لقد أظهر التعرف على المشاعر متعدد الأنماط أداءً متفوقًا مقارنة بالطرق أحادية النمط، مع دراسات تشير إلى أن هذين النمطين يكملان بعضهما البعض بشكل فعال. من الجدير بالذكر أن Zheng وآخرين قد ابتكروا إطار عمل لدمج الميزات الذي أظهر فوائد دمج بيانات EEG وحركة العين. ومع ذلك، فإن التحديات مثل جمع البيانات ومتطلبات الأجهزة قد حدت من التطبيق العملي للنماذج متعددة الأنماط.
لمعالجة هذه التحديات، يستكشف الباحثون بشكل متزايد التعلم عبر الأنماط، الذي يستخدم بيانات متعددة الأنماط أثناء التدريب ولكنه يعتمد على بيانات أحادية النمط أثناء الاختبار. يبسط هذا النهج نشر النموذج وقد تم التحقق منه من خلال تقنيات مختلفة، بما في ذلك الشبكات التنافسية التوليدية الشرطية وآليات التغذية الراجعة التكيفية لتقطير المعرفة. تقدم الورقة خوارزمية CMCRD، التي تستفيد من إشارات حركة العين لتعزيز تصنيف EEG، مما يظهر أداءً محسنًا مقارنة بالطرق التقليدية والنماذج متعددة الأنماط مع الحاجة إلى موارد حسابية أقل. تشير النتائج إلى أن CMCRD لا يعزز الدقة فحسب، بل يقدم أيضًا حلاً أكثر عملية للتطبيقات الواقعية في التعرف على المشاعر. ستسعى الأعمال المستقبلية إلى توسيع قدرات CMCRD لتشمل مهام الانحدار، وسيناريوهات التعلم غير المراقب، ومعالجة الفروق الفردية في التعرف على المشاعر.
DOI: https://doi.org/10.1109/taffc.2026.3664341
Publication Date: 2026-02-13
Author(s): Siyuan Kan et al.
Primary Topic: Emotion and Mood Recognition
Overview
The paper presents a novel approach to cross-modal emotion recognition through a method called cross-modal contrastive representation distillation (CMCRD). This technique leverages both electroencephalography (EEG) and eye movement data during training, while allowing for testing with only one of the modalities. By utilizing a pre-trained eye movement classification model to enhance the EEG classification model (or vice versa), CMCRD improves feature extraction from EEG signals, leading to a notable increase in emotion recognition accuracy. Experimental results across three different neural network architectures and multi-modal emotion recognition datasets indicate that CMCRD achieves an average classification accuracy improvement of approximately 6.2% compared to EEG-only models.
In conclusion, CMCRD not only enhances the accuracy of emotion recognition systems but also simplifies their implementation by reducing the need for multi-modal data during testing. The method incorporates unimodal contrastive learning to mitigate the risk of error propagation from the teacher model to the student model, and employs information entropy weighting to optimize knowledge extraction from confident samples. However, the authors acknowledge several limitations, including the need to extend CMCRD to regression problems in the three-dimensional space of valence, arousal, and dominance, as well as to unsupervised and semi-supervised learning scenarios. Additionally, addressing individual differences in emotion recognition remains a challenge that could be tackled through domain adaptation in future work.
Introduction
The introduction of the research paper discusses the significance of emotion recognition in enhancing human-computer interaction by utilizing various modalities such as facial expressions, speech, eye movements, and electroencephalography (EEG). EEG is highlighted as a particularly valuable modality due to its direct measurement of brain activity and resistance to manipulation. The paper notes a shift from traditional machine learning methods to advanced deep learning techniques, including Convolutional Neural Networks (CNNs) and Graph Neural Networks (GNNs), in EEG-based emotion recognition. However, it acknowledges the limitations of EEG-only models, which often yield unreliable results due to the multifaceted nature of emotions influenced by both internal and external factors.
To address these challenges, the authors propose a novel approach called cross-modal supervised contrastive representation distillation (CMCRD), which integrates EEG with other modalities, specifically eye movement data. This method enhances the accuracy of emotion recognition while simplifying the data collection process by allowing the use of a single modality during testing. The introduction concludes by outlining the structure of the paper, which includes related works, a detailed description of the CMCRD method, experimental results, and future research directions.
Results
The results of the within-subject experiments, as presented in Table 1, indicate that the CM-CRD model significantly enhances classification accuracy compared to EEG-only models, achieving increases of approximately 3.5% on SEED, 3% on SEED-IV, and 10% on SEED-V. Notably, CM-CRD outperformed other knowledge distillation algorithms, surpassing CRD by an average of 4% and the best-performing baseline by about 2%. Additionally, while the eye movement-only model exhibited poor performance, the incorporation of eye movement data through knowledge distillation still contributed positively to EEG classification accuracy.
In the cross-subject experiments detailed in Table 2, CM-CRD again demonstrated superior performance, increasing average classification accuracy by 3.8% on SEED, 4.5% on SEED-IV, and 6.8% on SEED-V compared to EEG-only models. It consistently outperformed other knowledge distillation methods, exceeding CRD by 2% on average and the best baseline by 1.7%. Statistical analysis through paired t-tests, with p-values adjusted using the Benjamini-Hochberg False Discovery Rate correction, revealed that most performance enhancements of CM-CRD were statistically significant, particularly on SEED-V, which presented the most challenging classification scenario due to its larger number of classes.
Discussion
The discussion section of the paper highlights advancements in emotion recognition through multi-modal and cross-modal approaches, emphasizing the integration of EEG and eye movement signals. Multi-modal emotion recognition has shown superior performance compared to single-modality methods, with studies indicating that these two modalities complement each other effectively. Notably, Zheng et al. pioneered a feature fusion framework that demonstrated the benefits of combining EEG and eye movement data. However, challenges such as data collection and hardware requirements have limited the practical application of multi-modal models.
To address these challenges, researchers are increasingly exploring cross-modal learning, which utilizes multi-modal data during training but relies on single-modal data during testing. This approach simplifies model deployment and has been validated through various techniques, including conditional generative adversarial networks and adaptive feedback mechanisms for knowledge distillation. The paper introduces the CMCRD algorithm, which leverages eye movement signals to enhance EEG classification, demonstrating improved performance over traditional methods and multi-modal models while requiring less computational resources. The findings suggest that CMCRD not only enhances accuracy but also offers a more practical solution for real-world applications in emotion recognition. Future work will aim to extend CMCRD’s capabilities to regression tasks, unsupervised learning scenarios, and address individual differences in emotion recognition.