DOI: https://doi.org/10.1109/taffc.2026.3722468
تاريخ النشر: 2026-01-01
المؤلف: Yu Liu وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج
نظرة عامة
يقدم هذا القسم نظرة عامة على البحث في التعرف على تعبيرات الوجه الديناميكية (DFER)، مع تسليط الضوء على قيود الطرق الحالية التي غالبًا ما تفشل في الاستفادة الكاملة من الإشارات العاطفية الدقيقة في الأوصاف النصية وتفتقر إلى آليات فعالة لتصفية الديناميات الوجهية غير ذات الصلة. لمعالجة هذه القضايا، يقدم المؤلفون GRACE (محاذاة التمثيل الحبيبي للتعرف على العواطف عبر الأنماط)، وهو إطار يعزز التعرف على العواطف من خلال دمج نمذجة الحركة الديناميكية، وتنقيح النصوص الدلالية، ومحاذاة عبر الأنماط على مستوى الرموز. تشمل الابتكارات الرئيسية وحدة تحسين النص العاطفي من الخشن إلى الدقيق (CATE) لتوليد أوصاف نصية مدركة للعواطف وآلية وزن فرق الحركة لعزل الحركات الوجهية ذات الصلة.
تظهر النتائج التجريبية على مجموعات البيانات المرجعية (DFEW، FERV39k، وMAFW) أن GRACE يحقق أداءً رائدًا، خاصة في السيناريوهات الصعبة مع فئات عاطفية غامضة أو غير متوازنة. تدعم فعالية الإطار أيضًا دراسات الإزالة التي تؤكد مساهمات مكوناته الفردية. من خلال إنشاء محاذاة دقيقة بين الهياكل اللغوية وأنماط التعبير الزمانية المكانية، يضع GRACE معيارًا جديدًا للبحث المستقبلي في التعرف على العواطف، مقترحًا سبلًا لتعزيز عمومية المحاذاة واستخراج الميزات المخصصة لفهم العواطف.
مقدمة
تستعرض مقدمة ورقة البحث المفاهيم الأساسية والدوافع وراء الدراسة. تؤكد على أهمية سؤال البحث في السياق الأوسع للمجال، مع تسليط الضوء على الفجوات في الأدبيات الحالية التي تهدف العمل الحالي إلى معالجتها. يقدم المؤلفون مبررًا واضحًا لتحقيقهم، موضحين الإطار النظري والأساليب المستخدمة. يتم تقديم النتائج الرئيسية والفرضيات بإيجاز، مما يمهد الطريق للأقسام اللاحقة من الورقة. بشكل عام، تعمل المقدمة على وضع البحث في سياق الخطاب الأكاديمي المستمر وتبرز مساهماته المحتملة في المجال.
الطرق
في هذا القسم، يقدم المؤلفون تحليلًا مقارنًا لإطار GRACE المقترح مقابل الطرق الرائدة (SOTA) على ثلاث مجموعات بيانات مرجعية: DFEW، FERV39k، وMAFW. تشير النتائج، المفصلة في الجدول I، إلى أن GRACE يحقق أعلى معدل استرجاع متوسط غير مرجح (UAR) بنسبة 68.94% ومعدل استرجاع متوسط مرجح (WAR) بنسبة 76.25% على DFEW، متفوقًا على كل من الطرق المعتمدة على الصور فقط والطرق المعتمدة على اللغة والصورة. على FERV39k، يسجل GRACE معدل UAR بنسبة 49.12% ومعدل WAR بنسبة 54.63%، متجاوزًا معايير بارزة مثل MAE-DFER وDFER-CLIP. بالإضافة إلى ذلك، على MAFW، يظهر GRACE أداءً تنافسيًا بمعدل UAR بنسبة 45.09% ومعدل WAR بنسبة 58.25%، مما يضع معيارًا جديدًا عبر هذه المجموعات.
ينسب المؤلفون مكاسب الأداء لـ GRACE إلى ميزاته التصميمية المبتكرة، بما في ذلك استخراج الرموز المدرك للسياق (CATE)، الذي يعزز تركيز النموذج على أوصاف العواطف الحرجة، وآلية تصفية بصرية مدركة للحركة تعزل الإشارات العاطفية البارزة. علاوة على ذلك، يضمن تنفيذ النقل الأمثل على مستوى الرموز للمحاذاة عبر الأنماط مطابقة دقيقة للكلمات ذات الصلة العاطفية مع المناطق الوجهية التعبيرية، مما يحسن من الدقة وقابلية التفسير. تسلط المقارنات الشاملة الضوء على قوة GRACE وتفوقه، خاصة في التعرف على التعبيرات العاطفية الدقيقة والغموضة، والتي غالبًا ما تكون تحديًا للطرق الحالية.
المناقشة
يناقش هذا القسم تطور وتحديات التعرف على تعبيرات الوجه الديناميكية (DFER)، مع التركيز على الانتقال من الأساليب التقليدية المعتمدة على الرؤية فقط إلى نماذج الرؤية-اللغة الأكثر تقدمًا (VL). بينما استخدمت الطرق المبكرة لـ DFER الشبكات العصبية التلافيفية (CNNs) وشبكات الذاكرة طويلة وقصيرة المدى (LSTM) لالتقاط حركة الوجه، إلا أنها واجهت صعوبة في التعامل مع الحركات غير ذات الصلة بالعواطف والتصنيفات الخشنة، مما أعاق التعرف الدقيق على التعبيرات الدقيقة. حاولت نماذج VL الحديثة دمج التوجيه الدلالي من خلال مطالبات محددة مسبقًا أو أوصاف حرة الشكل، ومع ذلك لا تزال تواجه قيودًا، خاصة في معالجة الضوضاء الناتجة عن الحركات الوجهية غير ذات الصلة وتسطح التمثيلات النصية، مما يؤدي إلى فقدان الدقة الدلالية الحرجة.
لمعالجة هذه القضايا، يقترح المؤلفون إطار GRACE (محاذاة التمثيل الحبيبي للتعرف على العواطف عبر الأنماط)، الذي يدمج إشارات دلالية متعددة الحبيبات من الأوصاف النصية مع تمثيلات الفيديو المدركة للحركة. يستخدم GRACE نهجًا مبتكرًا يحتفظ بالهيكل الداخلي للغة مع الانتباه الانتقائي إلى مقاطع الفيديو ذات الصلة بالعواطف. من خلال صياغة المحاذاة عبر الأنماط كمشكلة نقل مثالي، يهدف الإطار إلى تقليل تكاليف النقل الدلالي، مما يؤدي إلى تصفية الحركات غير ذات الصلة وتعزيز قابلية تفسير توقعات العواطف. تظهر النتائج من تجارب واسعة النطاق على مجموعات بيانات متنوعة أن GRACE يحقق أداءً رائدًا، مما يبرز أهمية الحفاظ على الدقة الدلالية واستخدام الديناميات الحركية الفعالة في DFER.
القيود
تسلط قيود إطار GRACE المقترح الضوء على عدة مجالات للتحسين في الأبحاث المستقبلية. أولاً، يعتمد أداء الإطار على جودة تمثيلات الميزات البصرية والنصية، المشتقة من نماذج مدربة مسبقًا مثل VideoMAE وVideoCLIP. تقتصر فعالية هذه الميزات على القدرة التمثيلية للشبكات الأساسية، مما يشير إلى الحاجة إلى تحسينات في مشفرات اللغة والبصرية الأساسية لتحقيق دقة محاذاة أفضل.
ثانيًا، قد تؤدي الطريقة الثابتة لاختيار الميزات البارزة بناءً على درجات البروز إلى الاحتفاظ بمناطق ضوضاء أو غير معلوماتية، خاصة في التعبيرات المعقدة. يمكن أن تعالج آلية اختيار تكيفية أو مدركة للسياق هذه القيود. بالإضافة إلى ذلك، تعتمد المحاذاة على مستوى الرموز على ضبط نموذج متعدد الوسائط مدرب مسبقًا، والذي قد لا يكون محسنًا للدقة المحددة والحساسية الزمنية المطلوبة لتحليل تعبيرات الوجه. من الضروري تطوير أطر محاذاة على مستوى الرموز أكثر قوة للبيانات العاطفية الزمانية المكانية. أخيرًا، لا تأخذ الطريقة الحالية في الاعتبار المعلومات السياقية بخلاف تعبيرات الوجه، مما يشير إلى أن دمج إشارات مساعدة مثل سياق المشهد أو هوية المتحدث يمكن أن يعزز التعرف على العواطف من خلال توفير رؤى دلالية أغنى.
DOI: https://doi.org/10.1109/taffc.2026.3722468
Publication Date: 2026-01-01
Author(s): Yu Liu et al.
Primary Topic: Emotion and Mood Recognition
Overview
The section presents an overview of the research on Dynamic Facial Expression Recognition (DFER), highlighting the limitations of existing methods that often fail to fully leverage subtle emotional cues in textual descriptions and lack effective mechanisms for filtering irrelevant facial dynamics. To address these issues, the authors introduce GRACE (Granular Representation Alignment for Cross-modal Emotion recognition), a framework that enhances emotion recognition by integrating dynamic motion modeling, semantic text refinement, and token-level cross-modal alignment. Key innovations include the Coarse-to-fine Affective Text Enhancement (CATE) module for generating emotion-aware textual descriptions and a motion-difference weighting mechanism to isolate relevant facial movements.
Experimental results on benchmark datasets (DFEW, FERV39k, and MAFW) demonstrate that GRACE achieves state-of-the-art performance, particularly in challenging scenarios with ambiguous or imbalanced emotion classes. The framework’s effectiveness is further supported by ablation studies that confirm the contributions of its individual components. By establishing a fine-grained alignment between linguistic structures and spatiotemporal expression patterns, GRACE sets a new standard for future research in emotion recognition, suggesting avenues for enhancing alignment generality and feature extraction tailored for affective understanding.
Introduction
The introduction of the research paper outlines the foundational concepts and motivations behind the study. It emphasizes the significance of the research question in the broader context of the field, highlighting gaps in existing literature that the current work aims to address. The authors present a clear rationale for their investigation, detailing the theoretical framework and methodologies employed. Key findings and hypotheses are briefly introduced, setting the stage for the subsequent sections of the paper. Overall, the introduction serves to contextualize the research within ongoing academic discourse and underscores its potential contributions to the field.
Methods
In this section, the authors present a comparative analysis of their proposed GRACE framework against state-of-the-art (SOTA) methods on three benchmark datasets: DFEW, FERV39k, and MAFW. The results, detailed in Table I, indicate that GRACE achieves the highest Unweighted Average Recall (UAR) of 68.94% and a Weighted Average Recall (WAR) of 76.25% on DFEW, outperforming both visual-only and visual-language-based methods. On FERV39k, GRACE records a UAR of 49.12% and a WAR of 54.63%, surpassing notable baselines such as MAE-DFER and DFER-CLIP. Additionally, on MAFW, GRACE demonstrates competitive performance with a UAR of 45.09% and a WAR of 58.25%, establishing a new benchmark across these datasets.
The authors attribute the performance gains of GRACE to its innovative design features, including the Context-Aware Token Extraction (CATE), which enhances the model’s focus on critical emotion descriptors, and a motion-aware visual filtering mechanism that isolates emotionally salient cues. Furthermore, the implementation of token-level optimal transport for cross-modal alignment ensures precise matching of emotionally relevant words with expressive facial regions, thereby improving both accuracy and interpretability. The comprehensive comparisons highlight GRACE’s robustness and superiority, particularly in recognizing nuanced and ambiguous emotional expressions, which are often challenging for existing methods.
Discussion
The section discusses the evolution and challenges of Dynamic Facial Expression Recognition (DFER), emphasizing the transition from traditional vision-only approaches to more advanced vision-language (VL) models. While early DFER methods utilized Convolutional Neural Networks (CNNs) and Long Short-Term Memory (LSTM) networks to capture facial motion, they struggled with emotion-irrelevant movements and coarse labeling, which hindered the accurate recognition of subtle expressions. Recent VL models have attempted to incorporate semantic guidance through predefined prompts or free-form descriptions, yet they still face limitations, particularly in addressing noise from irrelevant facial movements and the flattening of textual representations, which leads to a loss of critical semantic granularity.
To tackle these issues, the authors propose the Granular Representation Alignment for Cross-modal Emotion recognition (GRACE) framework, which integrates multi-granular semantic cues from textual descriptions with motion-aware video representations. GRACE employs a novel approach that retains the internal structure of language while selectively attending to emotion-relevant video segments. By formulating cross-modal alignment as an Optimal Transport problem, the framework aims to minimize semantic transport costs, thereby filtering out irrelevant motions and enhancing the interpretability of emotion predictions. The results from extensive experiments on various datasets demonstrate that GRACE achieves state-of-the-art performance, highlighting the importance of preserving semantic granularity and employing effective motion dynamics in DFER.
Limitations
The limitations of the proposed GRACE framework highlight several areas for improvement in future research. Firstly, the framework’s performance is contingent upon the quality of visual and textual feature representations, which are derived from pretrained models like VideoMAE and VideoCLIP. The effectiveness of these features is limited by the representational capacity of the underlying networks, indicating a need for enhancements in foundational visual and language encoders to achieve better alignment accuracy.
Secondly, the method’s fixed-ratio approach for selecting salient features based on saliency scores may lead to the retention of noisy or non-informative regions, particularly in complex expressions. An adaptive or context-aware selection mechanism could address this limitation. Additionally, the token-level alignment relies on fine-tuning a pretrained multimodal model, which may not be optimized for the specific granularity and temporal sensitivity required for facial expression analysis. Developing more robust token-level alignment frameworks for spatiotemporal affective data is essential. Lastly, the current approach does not account for contextual information beyond facial expressions, suggesting that incorporating auxiliary cues such as scene context or speaker identity could enhance emotion recognition by providing richer semantic insights.