DOI: https://doi.org/10.1109/taffc.2026.3693316
تاريخ النشر: 2026-01-01
المؤلف: F. Xavier Gaya-Morey وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج
نظرة عامة
تقوم هذه الدراسة بإجراء تقييم شامل لـ 24 مجموعة بيانات مستخدمة على نطاق واسع في التعرف على تعبيرات الوجه (FER) لتقييم خصائصها وملاءمتها لتدريب نماذج التعلم العميق في الحوسبة العاطفية. تسلط الأبحاث الضوء على الدور الحاسم لجودة البيانات وتنوعها في أداء أنظمة FER. من خلال تنفيذ عملية تطبيع شاملة وإثراء مجموعات البيانات بتعليقات ديموغرافية تلقائية (العمر والجنس)، يقوم المؤلفون بتحليل عوامل مثل التحيزات الديموغرافية، وعدم توازن الفئات، وتنوع البيانات. يقدمون ثلاثة مقاييس جديدة – التشابه المحلي، والتشابه العالمي، والتشابه المقارن – لتقييم صعوبة مجموعة البيانات، وقدرة التعميم، وقابلية النقل عبر مجموعات البيانات.
تكشف النتائج أن مجموعات البيانات الكبيرة، مثل AffectNet و FER2013، تظهر عمومًا قدرة أفضل على التعميم على الرغم من التحديات مثل ضوضاء التسمية والتحيزات الديموغرافية، بينما توفر مجموعات البيانات الخاضعة للرقابة جودة أعلى في التسمية ولكن تفتقر إلى التنوع. مجموعات البيانات الأصغر، مثل JAFFE و FE-Test، تخاطر بالتكيف المفرط، وغالبًا ما تؤدي الصور المشتقة من الفيديو بشكل سيء بسبب عدم اتساق شدة التعبير. تقدم الدراسة توصيات قابلة للتنفيذ لأبحاث FER المستقبلية، مع التأكيد على أهمية مجموعات البيانات الكبيرة التي تحتوي على 500 عينة على الأقل، ومعالجة عدم توازن الفئات، وتجنب الاعتماد على إطارات الفيديو. يدعو المؤلفون إلى بناء مجموعات بيانات جديدة تلتقط تنوعًا واسعًا وتضم بيانات وصفية غنية لتعزيز أداء النموذج والعدالة، مما يساهم في إطار عمل قوي لتقييم مجموعات بيانات FER وتوجيه الأبحاث المستقبلية في هذا المجال.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على أهمية التعرف على تعبيرات الوجه (FER) في مجال الحوسبة العاطفية، مع التأكيد على دوره في تفسير المشاعر الإنسانية من خلال الإشارات الوجهية. على الرغم من أن تعبيرات الوجه ليست مرادفة للمشاعر، إلا أنها ضرورية للتواصل غير اللفظي والتفاعل الاجتماعي. تشير الورقة إلى العمل الأساسي لإيكمان حول ستة مشاعر أساسية – الغضب، السعادة، المفاجأة، الاشمئزاز، الحزن، والخوف – كعنصر محوري في أبحاث FER. من المتوقع أن ينمو سوق FER بشكل كبير، ليصل إلى 682.2 مليار دولار بحلول عام 2032، مدفوعًا بالتطبيقات في التشخيص الطبي، وتحليل سلوك الإنسان، والتفاعل بين الإنسان والكمبيوتر.
يناقش المؤلفون تطور منهجيات FER، مشيرين إلى الانتقال من تقنيات التعلم الآلي التقليدية المعتمدة على وحدات العمل (AUs) والميزات المصنوعة يدويًا إلى أساليب التعلم العميق الحديثة (DL)، التي تقدم دقة محسنة وقدرة على التعميم. يؤكدون على أهمية اختيار مجموعة البيانات في تدريب النماذج، حيث يتأثر الأداء بشكل كبير بخصائص مجموعة البيانات مثل الحجم، وظروف التسجيل، والديموغرافيات الخاصة بالمشاركين. تتناول الدراسة الفجوات الموجودة في مجموعات بيانات FER من خلال تجميع وتحليل 24 مجموعة بيانات، وتطبيعها، وإثرائها بتعليقات إضافية مثل العمر المقدر والجنس. يقدم المؤلفون ثلاثة مقاييس جديدة لتقييم مجموعة البيانات ويقارنون نماذج DL الحديثة عبر هذه المجموعات، مقدمين ما يدعون أنه التقييم الأكثر شمولاً لمجموعات بيانات FER حتى الآن، مع توفير جميع الموارد علنًا لضمان الشفافية وإمكانية التكرار.
الطرق
ت outlines قسم “الطرق” في الورقة البحثية تصميم التجربة والتقنيات التحليلية المستخدمة للتحقيق في سؤال البحث. استخدمت الدراسة نهجًا كميًا، مع دمج طرق إحصائية لتحليل البيانات التي تم جمعها من عينة سكانية محددة. تضمنت المنهجيات المحددة تجارب خاضعة للرقابة، واستطلاعات، أو دراسات رصدية، اعتمادًا على طبيعة البحث.
تم إجراء تحليل البيانات باستخدام برامج إحصائية مناسبة، مع التركيز على ضمان صحة وموثوقية النتائج. تم تعريف المقاييس والمتغيرات الرئيسية، وتم تفصيل طرق جمع البيانات بدقة لتسهيل إمكانية التكرار. يناقش القسم أيضًا أي قيود تم مواجهتها خلال عملية البحث وكيف تم التعامل معها، مما يضمن الشفافية في المنهجية. بشكل عام، كانت الطرق المستخدمة مصممة لتحقيق نتائج قوية وقابلة للتعميم ذات صلة بأهداف الدراسة.
النتائج
في قسم النتائج، يتناول المؤلفون بشكل منهجي الأسئلة البحثية الأولية والثانوية التي تم تحديدها في القسم الثالث. كل قسم فرعي مخصص لاستفسار بحثي معين، مما يوفر نهجًا منظمًا لتقديم النتائج. من المتوقع أن توضح النتائج تداعيات البحث وتساهم في الفهم العام للموضوع قيد التحقيق. سيتم تفصيل بيانات وتحليلات محددة ذات صلة بكل سؤال، مع تسليط الضوء على النتائج المهمة وملاءمتها للسياق البحثي الأوسع.
المناقشة
في مناقشة مجموعات بيانات التعرف على تعبيرات الوجه (FER)، تسلط الأبحاث الضوء على تحديد 28 مجموعة بيانات مستخدمة بشكل شائع، مع الإشارة بشكل خاص إلى نقص تمثيل كبار السن والأطفال. تختلف هذه المجموعات بشكل كبير في طرق الجمع، والديموغرافيات، وأنواع التعبيرات، وهو أمر حاسم لتطوير أنظمة FER فعالة. يؤكد المؤلفون على ضرورة اختيار وتنظيم مجموعات البيانات بعناية لضمان نتائج قوية وقابلة للتعميم في أبحاث FER. تقدم جدول ملخص (الجدول I) الخصائص الرئيسية لهذه المجموعات، موضحة تطورها من إعدادات المختبر الخاضعة للرقابة إلى مجموعات أكثر تنوعًا، “في البرية”.
تنتقد الورقة أيضًا المعايير الحالية في FER، مشيرة إلى قيودها، مثل الاعتماد على الدقة كمقياس للأداء وعدم الاتساق في إجراءات التحقق عبر الدراسات. يقترح المؤلفون الحاجة إلى معايير موحدة تعمل على تطبيع مجموعات البيانات لمقارنات عادلة. يقدمون ثلاثة مقاييس جديدة – التشابه المحلي، والتشابه العالمي، والتشابه المقارن – لتقييم ملاءمة مجموعات البيانات لتدريب نماذج التعلم العميق. تهدف هذه المقاييس إلى تقديم رؤى حول تحديات مجموعات البيانات، وقدرات التعميم، والازدواجية، مما يساهم في نهج أكثر منهجية لأبحاث FER.
DOI: https://doi.org/10.1109/taffc.2026.3693316
Publication Date: 2026-01-01
Author(s): F. Xavier Gaya-Morey et al.
Primary Topic: Emotion and Mood Recognition
Overview
This study conducts a thorough evaluation of 24 widely used Facial Expression Recognition (FER) datasets to assess their characteristics and suitability for training deep learning models in affective computing. The research highlights the critical role of dataset quality and diversity in the performance of FER systems. By implementing a comprehensive normalization process and enriching datasets with automatic demographic annotations (age and gender), the authors analyze factors such as demographic biases, class imbalances, and data variability. They introduce three novel metrics—Local, Global, and Paired Similarity—to quantitatively evaluate dataset difficulty, generalization capability, and cross-dataset transferability.
The findings reveal that large-scale datasets, such as AffectNet and FER2013, generally exhibit better generalization despite challenges like labeling noise and demographic biases, while controlled datasets provide higher annotation quality but lack variability. Smaller datasets, such as JAFFE and FE-Test, risk overfitting, and video-derived images often perform poorly due to inconsistent expression intensities. The study offers actionable recommendations for future FER research, emphasizing the importance of large-scale datasets with at least 500 samples, addressing class imbalances, and avoiding reliance on video frames. The authors advocate for the construction of new datasets that capture extensive variability and include rich metadata to enhance model performance and fairness, thereby contributing a robust framework for evaluating FER datasets and guiding future research in the field.
Introduction
The introduction of this research paper highlights the significance of Facial Expression Recognition (FER) within the realm of affective computing, emphasizing its role in interpreting human emotions through facial cues. While facial expressions are not synonymous with emotions, they are crucial for nonverbal communication and social interaction. The paper references Ekman’s foundational work on six basic emotions—anger, happiness, surprise, disgust, sadness, and fear—as a pivotal element in FER research. The market for FER is projected to grow significantly, reaching $682.2 billion by 2032, driven by applications in medical diagnostics, human behavior analysis, and human-computer interaction.
The authors discuss the evolution of FER methodologies, noting the transition from traditional machine learning techniques based on Action Units (AUs) and handcrafted features to modern Deep Learning (DL) approaches, which offer enhanced accuracy and generalization. They underscore the importance of dataset selection in training models, as performance is heavily influenced by dataset characteristics such as size, recording conditions, and participant demographics. The study addresses existing gaps in FER datasets by compiling and analyzing 24 datasets, normalizing them, and enriching them with additional annotations like estimated age and gender. The authors introduce three novel metrics for dataset assessment and benchmark state-of-the-art DL models across these datasets, presenting what they claim to be the most comprehensive evaluation of FER datasets to date, with all resources made publicly available for transparency and reproducibility.
Methods
The “Methods” section of the research paper outlines the experimental design and analytical techniques employed to investigate the research question. The study utilized a quantitative approach, incorporating statistical methods to analyze the data collected from a defined sample population. Specific methodologies included controlled experiments, surveys, or observational studies, depending on the nature of the research.
Data analysis was performed using appropriate statistical software, with emphasis on ensuring the validity and reliability of the results. Key metrics and variables were defined, and the methods for data collection were rigorously detailed to facilitate reproducibility. The section also discusses any limitations encountered during the research process and how they were addressed, ensuring transparency in the methodology. Overall, the methods employed were designed to yield robust and generalizable findings relevant to the study’s objectives.
Results
In the Results section, the authors systematically address the primary and secondary research questions established in Section III. Each subsection is dedicated to a particular research inquiry, providing a structured approach to presenting the findings. The results are expected to elucidate the implications of the research and contribute to the overall understanding of the topic under investigation. Specific data and analyses relevant to each question will be detailed, highlighting significant outcomes and their relevance to the broader research context.
Discussion
In the discussion of facial expression recognition (FER) datasets, the research highlights the identification of 28 commonly used datasets, particularly noting the underrepresentation of older adults and children. These datasets vary significantly in collection methods, demographics, and expression types, which is crucial for developing effective FER systems. The authors emphasize the necessity of careful dataset selection and curation to ensure robust and generalizable outcomes in FER research. A summary table (Table I) presents key characteristics of these datasets, illustrating their evolution from controlled laboratory settings to more diverse, “in the wild” collections.
The paper also critiques existing benchmarks in FER, pointing out their limitations, such as reliance on accuracy as a performance metric and inconsistencies in validation procedures across studies. The authors propose a need for standardized benchmarks that normalize datasets for fair comparisons. They introduce three new metrics—Local Similarity, Global Similarity, and Paired Similarity—to evaluate the datasets’ suitability for training deep learning models. These metrics aim to provide insights into the datasets’ challenges, generalization capabilities, and redundancy, ultimately contributing to a more systematic approach to FER research.