DOI: https://doi.org/10.1038/s41598-025-34853-z
PMID: https://pubmed.ncbi.nlm.nih.gov/41513865
تاريخ النشر: 2026-01-09
المؤلف: Jiakun He
الموضوع الرئيسي: التعرف على العواطف والمزاج
نظرة عامة
في دراسة التعرف على المشاعر متعددة الأنماط، يحدد المؤلفون ثلاثة عوامل حاسمة لإكمال المهمة بشكل فعال: صلاحية بيانات المصدر، تفاعل البيانات متعددة الأنماط، واعتماد المهمة. لمعالجة نقص النماذج الشاملة التي تدمج هذه العناصر، يقترحون نموذج التعرف على المشاعر باستخدام الرسم البياني التفاعلي (IGEM)، الذي يستخدم تقنيات تعزيز بيانات متنوعة. على وجه التحديد، يستخدم النموذج Distil-DCCRN لاستخراج ميزات صوتية قوية من الكلام، ويشمل طرق غير خاضعة للإشراف لتعزيز بيانات النص للحفاظ على سلامة المعنى مع زيادة التنوع، ويستخدم شبكة معقدة لتعزيز بيانات الفيديو التي تدمج الخصائص الصورية والزمنية. تشمل بنية النموذج رسمًا تفاعليًا لتشفير البيانات عبر الأنماط، حيث يتم تمثيل الأنماط المختلفة كعقد مترابطة، مما يسهل الاندماج العميق لتصنيف المشاعر بدقة.
تظهر النتائج التجريبية فعالية IGEM، حيث تحقق دقة تصنيف تبلغ 72% و47.5% على مجموعات بيانات IEMOCAP وMELD المرجعية، على التوالي. لا يعزز النموذج فقط التعرف على التعبيرات العاطفية من خلال معالجة أوجه القصور في البيانات الخام من خلال تعزيز البيانات وتحسين حساسية الفقد، ولكنه يظهر أيضًا أداءً متفوقًا مقارنة بالنماذج الحالية. يقترح المؤلفون اتجاهات البحث المستقبلية، بما في ذلك تطبيق IGEM على سيناريوهات متعددة الأنماط أوسع، وتحسين هيكل النموذج من خلال تقنيات التعلم العميق المتقدمة، واستراتيجيات للتخفيف من عدم توازن البيانات في مهام التعرف على المشاعر. بشكل عام، تؤكد النتائج على إمكانيات IGEM في تطوير منهجيات التعرف على المشاعر متعددة الأنماط.
مقدمة
تسلط المقدمة الضوء على الدور الحاسم للعاطفة في بقاء الإنسان وتطوره، مع التأكيد على تأثيرها على الإدراك والتواصل الاجتماعي. مع التقدم في التكنولوجيا، هناك طلب متزايد على أنظمة التعرف على المشاعر التلقائية، والتي تعتبر ضرورية لتعزيز التفاعل بين الإنسان والكمبيوتر. بلغ حجم السوق العالمي لاكتشاف المشاعر والتعرف عليها حوالي 19.87 مليون دولار في عام 2020، مع توقعات تشير إلى زيادة إلى 52.86 مليون دولار خلال ثلاث سنوات.
على الرغم من قدرات النماذج ذات المصدر الواحد في تقييم الحالات العاطفية، إلا أنها غالبًا ما تفشل في التقاط الفروق السياقية وراء هذه المشاعر. تعقيد الميزات العاطفية، المتأثر بعوامل مختلفة، يستلزم استخدام أساليب متعددة الأنماط، والتي أظهرت أنها تعرض أنماط تفاعل غير خطية في التعبير العاطفي. تستخدم المنهجيات الحالية في التعرف على المشاعر بشكل رئيسي التعلم العميق، والشبكات العصبية الاصطناعية، والتعلم الآلي، وتشمل ثلاث خطوات رئيسية: استخراج الميزات واختيارها، الاندماج متعدد الأنماط، وتصنيف المشاعر. ومع ذلك، تواجه الخوارزميات التقليدية تحديات في تحديد المعلومات غير الخطية الهامة من بيانات السلاسل الزمنية بشكل فعال، خاصة مع زيادة حجم مجموعات البيانات، مما يؤدي إلى زيادة الطلبات الحاسوبية. يبقى اختيار الميزات جانبًا محوريًا في عملية التعرف.
طرق
في هذا القسم، يوضح المؤلفون بنية نموذج IGEM المقترح، الموضحة في الشكل 2، الذي يدمج مكونات متنوعة مثل Wav2Vec وBcLSTM وCNN وMRDN لتعزيز التعرف على المشاعر من البيانات متعددة الأنماط. الابتكار الرئيسي هو تعزيز البيانات المتميز القائم على الإدراك النمطي، مع التركيز بشكل خاص على تعزيز التمثيل البصري المشترك الزمني المكاني من بيانات الفيديو. يؤكد المؤلفون أن جودة الفيديو المضغوط تؤثر بشكل كبير على كفاءة التعرف على المشاعر، مما يستدعي تحسينات لاستخراج الإشارات العاطفية التي يصعب إدراكها.
لتقييم فعالية النموذج، استخدم المؤلفون مقاييس الدقة ودرجة F1 على مجموعات بيانات IEMOCAP وMELD المرجعية، مقارنةً بـ IGEM ضد عدة نماذج أساسية، بما في ذلك CT-Net وLRGCN. تم إجراء تحليل تشابه الميزات طبقة تلو الأخرى بين نماذج المعلم والطالب، مما أدى إلى اختيار طبقات معينة للتقليل من العينة لنقل الميزات الطيفية بشكل مثالي. تم تعيين معامل درجة الحرارة لتباين KL إلى $\tau = 3$، وتم تثبيت معامل توازن العلامات الناعمة والصعبة $\beta$ عند 1، مع إجراء تعديلات منهجية على معلمات أخرى. تشير النتائج إلى أن فقدان التقطير الكامل، الذي يشمل العلامات الناعمة، ومحاذاة ميزات الطبقات الوسيطة، وتباين KL، ضروري للحفاظ على أداء نموذج الطالب. استخدم الشبكة التفاعلية عبر الأنماط رسمًا بيانيًا لشبكة انتباه متعددة الطبقات (GAT) مع 4 رؤوس انتباه لكل طبقة وأبعاد مخفية تبلغ 128، مما يظهر فعالية في معالجة العلاقات متعددة الأنماط.
نقاش
في هذا القسم، يناقش المؤلفون الدور المحوري للتعلم العميق، وخاصة الشبكات العصبية التلافيفية (CNNs) والشبكات العصبية المتكررة (RNNs)، في التعرف على المشاعر عبر أنماط متعددة، بما في ذلك النص والكلام وتعبيرات الوجه. يبرزون قيود النماذج الحالية، مثل الصعوبات في دمج البيانات متعددة الأنماط عندما تكون البيانات أحادية النمط غير مكتملة والقيود الحاسوبية للهياكل التقليدية مثل Bi-LSTM وCNNs. لمعالجة هذه التحديات، يقدم البحث إطار عمل جديد يستخدم شبكة اتصال كثيفة صغيرة لتعزيز البيانات متعددة الأنماط، مما يحافظ على أداء عالٍ مع تقليل التعقيد الحاسوبي.
يقترح المؤلفون نموذج تعزيز بيانات متميز مدرك للنمط يقوم بتخصيص التحسينات لخصائص المشاعر لكل نمط، مما يحافظ على المعلومات الحيوية. كما يقدمون آلية اندماج عبر الأنماط تعتمد على الهياكل البيانية، والتي تستبدل خلط الميزات التقليدي بنمذجة تفاعلية قابلة للتفسير. يسمح هذا النهج بالتفكير التكيفي في السياقات العاطفية المعقدة، مثل السخرية والخداع. تظهر النتائج التجريبية أداءً متفوقًا للإطار على المعايير مثل IEMOCAP وMELD، حيث تحقق معدلات دقة تبلغ 72% و47.5%، على التوالي. يؤكد البحث على ضرورة كل مكون مبتكر من خلال التفكيك المنهجي، مؤكدًا أن إزالة أي عنصر واحد تؤدي إلى تدهور كبير في الأداء، مما يبرز الفعالية التعاونية للنموذج المقترح.
DOI: https://doi.org/10.1038/s41598-025-34853-z
PMID: https://pubmed.ncbi.nlm.nih.gov/41513865
Publication Date: 2026-01-09
Author(s): Jiakun He
Primary Topic: Emotion and Mood Recognition
Overview
In the study of multi-modal emotion recognition, the authors identify three critical factors for effective task completion: the validity of source data, multi-modal data interaction, and task dependence. To address the lack of comprehensive models that integrate these elements, they propose the Interactive Graph Emotion Recognition Model (IGEM), which employs various data enhancement techniques. Specifically, the model utilizes Distil-DCCRN for robust acoustic feature extraction from speech, incorporates unsupervised methods for text data enhancement to maintain semantic integrity while increasing diversity, and employs a complex network for video data enhancement that integrates image and temporal characteristics. The model’s architecture includes a cross-modal data coding interaction graph, where different modalities are represented as interconnected nodes, facilitating deep fusion for accurate emotion classification.
The experimental results demonstrate the effectiveness of IGEM, achieving classification accuracies of 72% and 47.5% on the IEMOCAP and MELD benchmark datasets, respectively. The model not only enhances the recognition of emotional expressions by addressing raw data shortcomings through data enhancement and loss sensitivity optimization but also shows superior performance compared to existing models. The authors suggest future research directions, including the application of IGEM to broader multi-modal scenarios, refinement of the model structure through advanced deep learning techniques, and strategies to mitigate data imbalance in emotion recognition tasks. Overall, the findings underscore IGEM’s potential to advance multi-modal emotion recognition methodologies.
Introduction
The introduction highlights the critical role of emotion in human survival and development, emphasizing its influence on cognition and social communication. With advancements in technology, there is a growing demand for automatic emotion recognition systems, which are essential for enhancing human-computer interaction. The global market for emotion detection and recognition reached approximately $19.87 million in 2020, with projections indicating an increase to $52.86 million within three years.
Despite the capabilities of single-source models in assessing emotional states, they often fail to capture the contextual nuances behind these emotions. The complexity of emotional features, influenced by various factors, necessitates the use of multimodal approaches, which have been shown to exhibit nonlinear interaction patterns in emotional expression. Current methodologies in emotion recognition predominantly utilize deep learning, artificial neural networks, and machine learning, encompassing three main steps: feature extraction and selection, multimodal fusion, and emotion classification. However, traditional algorithms face challenges in effectively identifying significant nonlinear information from time series data, particularly as dataset sizes grow, leading to increased computational demands. Feature selection remains a pivotal aspect of the recognition process.
Methods
In this section, the authors detail the architecture of the proposed IGEM model, illustrated in Figure 2, which integrates various components such as Wav2Vec, BcLSTM, CNN, and MRDN for enhanced emotion recognition from multimodal data. A key innovation is the modal perception-based differentiated data augmentation, particularly focusing on the enhancement of spatiotemporal joint visual representation from video data. The authors emphasize that the quality of compressed video significantly impacts the efficiency of emotion recognition, prompting enhancements to extract difficult-to-perceive emotional cues.
To evaluate the model’s effectiveness, the authors employed accuracy and F1 score metrics on the IEMOCAP and MELD benchmark datasets, comparing IGEM against several baseline models, including CT-Net and LRGCN. A layer-by-layer feature similarity analysis was conducted between the teacher and student models, leading to the selection of specific down-sampling layers for optimal spectral feature transfer. The temperature coefficient for KL divergence was set to $\tau = 3$, and the soft-hard label balance coefficient $\beta$ was fixed at 1, with systematic adjustments made to other hyperparameters. The results indicate that the complete distillation loss, which encompasses soft labels, intermediate layer feature alignment, and KL divergence, is essential for preserving the student model’s performance. The cross-modal interaction graph network utilized a two-layer Graph Attention Network (GAT) with 4 attention heads per layer and a hidden dimension of 128, demonstrating effectiveness in processing multimodal relationships.
Discussion
In this section, the authors discuss the pivotal role of deep learning, particularly convolutional neural networks (CNNs) and recurrent neural networks (RNNs), in emotion recognition across various modalities, including text, speech, and facial expressions. They highlight the limitations of current models, such as difficulties in integrating multi-modal data when single-modal data is incomplete and the computational constraints of traditional architectures like Bi-LSTM and CNNs. To address these challenges, the study introduces a novel framework that employs a small dense connection network for multi-modal data enhancement, which maintains high performance while reducing computational complexity.
The authors propose a modality-aware differentiated data augmentation paradigm that tailors enhancements to the emotional characteristics of each modality, thereby preserving critical information. They also introduce a cross-modal fusion mechanism based on graph structures, which replaces traditional feature mixing with interpretable interaction modeling. This approach allows for adaptive reasoning in complex emotional contexts, such as irony and deception. Experimental results demonstrate the framework’s superior performance on benchmarks like IEMOCAP and MELD, achieving accuracy rates of 72% and 47.5%, respectively. The study emphasizes the necessity of each innovative component through systematic disassembly, confirming that removing any one element significantly degrades performance, thereby underscoring the collaborative effectiveness of the proposed model.