DOI: https://doi.org/10.1007/s10579-026-09941-9
تاريخ النشر: 2026-10-25
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج
نظرة عامة
تقدم هذه الورقة البحثية EGY-MER، أول مجموعة بيانات متعددة الوسائط مصممة خصيصًا للتعرف على المشاعر في اللغة العربية المصرية، مما يعالج فجوة كبيرة في الحوسبة العاطفية. تتكون مجموعة البيانات من عينات متزامنة من الكلام المنقول، والصوت، وإطارات الوجه، مع توضيح ستة مشاعر أساسية (السعادة، الحزن، الغضب، الاشمئزاز، الخوف، المفاجأة) والمشاعر المحايدة. تم جمعها من مجموعة متنوعة من البرامج الحوارية والدراما المصرية، وتحتوي مجموعة البيانات على 45 دقيقة من التسجيلات مع توزيع جنسي بنسبة 60% للمتحدثات و40% للمتحدثين. تم استخدام خط أنابيب MODALINK لجمع البيانات وتوضيحها، مما يضمن توافقًا متعدد الوسائط عالي الجودة.
تؤسس الدراسة نتائج أساسية باستخدام ثلاثة مشفرات مسبقة التدريب: AraBERTv2 للنص، Wav2Vec2-ER للكلام، وSwin Transformer لبيانات الرؤية. تم اقتراح بنية دمج متأخر محكومة لدمج هذه الوسائط، مما أدى إلى تحسين مقاييس الأداء، بما في ذلك دقة 54.12% ودرجة F1 مرجحة قدرها 0.519. تسلط هذه النتائج الضوء على فعالية الدمج عبر الوسائط مقارنة بالأساليب الأحادية، على الرغم من التحديات التي تطرحها اللهجة ذات الموارد المنخفضة. تشير النتائج إلى أن EGY-MER يمكن أن تسهل المزيد من البحث في التعرف على المشاعر للغات ذات الموارد المنخفضة ودمج الوسائط المتعددة، مما يساهم في تقدم الحوسبة العاطفية في السياقات العربية. تهدف الأعمال المستقبلية إلى معالجة عدم توازن الفئات واستكشاف تقنيات دمج متقدمة لتعزيز الأداء في مهام التعرف على المشاعر.
مقدمة
تؤكد مقدمة الورقة البحثية على أهمية اكتشاف المشاعر في تعزيز التفاعل بين الإنسان والكمبيوتر عبر تطبيقات متنوعة، بما في ذلك مراقبة الصحة، خدمة العملاء، الواقع الافتراضي، والتعلم الإلكتروني. على الرغم من التقدم في التعرف على المشاعر متعددة الوسائط (MER) للغات الأكثر شيوعًا، هناك نقص ملحوظ في الأبحاث التي تركز على اللهجات العربية، وخاصة العربية المصرية، بسبب التعقيدات اللغوية والندرة المحدودة لمجموعات البيانات متعددة الوسائط المعلّمة. العربية، التي يتحدث بها أكثر من 400 مليون شخص، تقدم تنوعًا لهجيًا كبيرًا، مما يعقد تطوير نماذج التعرف على المشاعر العالمية. تركز معظم الأبحاث الحالية على التقنيات الأحادية، التي تستخدم مصدر بيانات واحد، بينما تم استكشاف MER، الذي يجمع بين الإشارات الصوتية والبصرية والنصية، بشكل أقل على الرغم من إمكاناته لتحسين الدقة والموثوقية.
لمعالجة هذه الفجوة، يقدم المؤلفون مجموعة بيانات للتعرف على المشاعر متعددة الوسائط مصممة خصيصًا للعربية المصرية، تم إنشاؤها من خلال سير عمل جمع بيانات آلي يقلل من الجهد في توليد مجموعة البيانات. تلتقط هذه المجموعة ردود فعل عاطفية طبيعية عبر الوسائط الصوتية والنصية والبصرية مع معالجة قضايا حاسمة مثل تزامن الوسائط والمعالجة الخاصة باللهجات. تهدف الدراسة إلى تسهيل البحث في اكتشاف المشاعر متعددة الوسائط باللغة العربية ودعم تطوير نماذج التعرف على المشاعر ذات الصلة ثقافيًا. توضح الورقة نهج تطوير مجموعة البيانات، والخصائص الإحصائية، والتطبيقات المحتملة، مما يبرز ضرورة مجموعات البيانات الخاصة باكتشاف المشاعر ذات اللغة لتعزيز التنوع الثقافي واللغوي في أبحاث الذكاء الاصطناعي. كما يتم وصف تنظيم الورقة بإيجاز، مع تفاصيل الأقسام التالية التي تستعرض الأعمال ذات الصلة، وتقدم مجموعة البيانات والإطار، وتحدد إعداد التجارب، وتختتم بالمساهمات الرئيسية والاتجاهات البحثية المستقبلية.
الطرق
توضح قسم المنهجية عملية إنشاء مجموعة بيانات متعددة الوسائط آليًا من محتوى الفيديو باللغة العربية المصرية، باستخدام إطار عمل دمج متأخر محكوم يدمج ثلاثة فروع للتعرف على المشاعر. تستخدم الدراسة سير عمل MODALINK، الذي تم تحسينه لمعالجة القيود التي تم تحديدها خلال الاختبارات الأولية. يتكون هذا سير العمل المحسن من ستة وحدات رئيسية: اكتساب الفيديو والمعالجة المسبقة، استخراج الصوت وتحديد المتحدثين، استخراج تضمينات الوجه المتوازية مع المحاذاة الزمنية، محاذاة وتحقق المتحدثين البيومترية، استخراج متعدد الوسائط حسب القطاعات مع ضمان الجودة، وإخراج منظم حسب المتحدث مع توضيح البيانات الوصفية.
تم تجميع مجموعة البيانات من برامج حوارية مصرية معروفة، وبودكاست مرئي، ودراما، بما في ذلك عناوين مثل “معكم منى الشاذلي” و”صحبة السعادة”. يتم الحصول على المقاطع من مقاطع فيديو متاحة للجمهور على يوتيوب، كل منها بحد أقصى 30 دقيقة. من المهم أن الدراسة لم تنشئ أو تستخدم أي مواد جديدة، بل اعتمدت فقط على بيانات الوسائط من مصادر مفتوحة ومتاحة للجمهور.
النتائج
في قسم النتائج، تؤسس الدراسة نماذج أحادية الأساس للنص والصوت والفيديو لتقييم أدائها مقابل نموذج دمج متعدد الوسائط. تم تدريب كل نموذج أحادي باستخدام AdamW مع جدول زمني لمعدل التعلم الكوني، مع دمج تقنيات مثل تلطيف التسمية، وفقدان الوزن حسب الفئة، والتوقف المبكر لتقليل الإفراط في التكيف. تفوق النموذج النصي على الآخرين، محققًا دقة قدرها 49.5% ودرجة F1 مرجحة قدرها 0.49، بينما أظهر النموذج الصوتي أداءً معتدلاً، وكان أداء النموذج البصري الأضعف بسبب التحديات في التعرف على تعبيرات الوجه العفوية.
حقق نموذج الدمج المتأخر متعدد الوسائط، الذي يدمج الثلاثة مشفرات الأحادية في مساحة كامنة مشتركة، دقة تقييم قدرها 54.12% ودرجة F1 مرجحة قدرها 0.519، مما يمثل تحسينًا بنسبة 9.3% مقارنة بأفضل نموذج أحادي. ومع ذلك، تشير درجة F1 الكلية البالغة 0.38 إلى صعوبات مع فئات المشاعر الأقلية، مثل الخوف والمفاجأة، مما يبرز تأثير عدم توازن الفئات. تؤكد النتائج أن الدمج متعدد الوسائط يلتقط تمثيلات عاطفية أغنى من الأساليب الأحادية وحدها وتؤكد على إمكانيات مجموعة بيانات EGY-MER للتعلم عبر الوسائط في التعرف على المشاعر باللغة العربية المصرية. تؤكد هذه الدراسة على أهمية مجموعة البيانات في تعزيز البحث في المجالات ذات الموارد المنخفضة من الحوسبة العاطفية، على الرغم من التحديات التي تطرحها اللغة المنطوقة باللهجة.
المناقشة
يوفر قسم المناقشة في الورقة نظرة شاملة على مجموعات بيانات اكتشاف المشاعر متعددة الوسائط، مع تسليط الضوء على نقاط قوتها وقيودها. تُعتبر مجموعة بيانات IEMOCAP، التي طورتها جامعة جنوب كاليفورنيا، معروفة ببياناتها السمعية والبصرية الشاملة وتوضيحات المشاعر المفصلة، لكنها تتعرض للنقد بسبب اعتمادها على المشاعر الممثلة وقلة تنوع المتحدثين. بالمقابل، تقدم مجموعة بيانات CMU-MOSEI نطاقًا أكبر وتنوعًا، حيث تضم أكثر من 1,000 متحدث فريد ومجموعة متنوعة من المواضيع، على الرغم من أنها تتكون أساسًا من بيانات المونولوج، التي قد لا تعكس التفاعلات الواقعية. تتضمن مجموعة بيانات MELD، المشتقة من مسلسل *Friends* التلفزيوني، محادثات متعددة الأطراف وعددًا كبيرًا من المتحدثين، لكنها تواجه تحديات تتعلق بعدم توازن الفئات والخصوصية الثقافية.
تناقش القسم أيضًا مجموعات البيانات التي تهدف إلى التعرف على المشاعر متعددة اللغات والعربية، مثل مجموعات بيانات SEWA وSAMSEMO، التي تلتقط تعبيرات عاطفية عفوية عبر ثقافات مختلفة ولكنها تعاني من قيود في تمثيل اللغة وعدم توازن الفئات. تعالج مجموعة بيانات AVANEmo الفجوة في التعرف على المشاعر العربية من خلال توفير مقاطع عاطفية طبيعية، على الرغم من أنها تواجه أيضًا مشاكل في عدم توازن الفئات. تهدف مجموعة بيانات مشاعر العربية المصرية الجديدة (EAED) إلى سد الفجوة في الموارد للغة العربية المصرية، لكنها أيضًا تواجه صعوبات في تمثيل المشاعر وحجم مجموعة البيانات. بشكل عام، تؤكد المناقشة على الحاجة الملحة لمزيد من مجموعات البيانات المتوازنة والمتنوعة في مجال التعرف على المشاعر متعددة الوسائط، خاصة للغات واللهجات الممثلة بشكل ناقص.
القيود
تسلط الدراسة الضوء على عدة قيود كبيرة تتعلق بالبيانات والمنهجية المستخدمة في مهام التعرف على المشاعر. التحدي الرئيسي ينشأ من التباين الموجود في مقاطع الفيديو المستمدة من يوتيوب، التي تظهر عدم اتساق في جودة التسجيل، والإضاءة، وزوايا الكاميرا، والضوضاء الخلفية—عوامل يتم التحكم فيها عادة في البيئات المخبرية ولكنها تعكس السيناريوهات الواقعية. بالإضافة إلى ذلك، يتم التأكيد على الطبيعة الذاتية للتعرف على المشاعر من خلال مقاييس اتفاقية بين المعلقين، وتحديدًا κ لـ Cohen، الذي أسفر عن قيمة تقارب 0.60 للصوت، مما يشير إلى اتفاق معتدل لتوضيحات النص والفيديو.
علاوة على ذلك، فإن استخدام العربية المصرية، وهي لهجة ذات معيارية محدودة، يقدم تحديات لغوية فريدة لا تعالجها النماذج المدربة مسبقًا على العربية الفصحى الحديثة بشكل كافٍ. وهذا يشير إلى أن الفجوة في الأداء بين النموذج المقترح والدقة المثلى قد تنشأ ليس فقط من قيود النموذج ولكن أيضًا من الغموض الكامن في التعبير العاطفي البشري والإدراك. وبالتالي، تشير النتائج إلى أن كل من جودة البيانات والعوامل اللغوية تؤثر بشكل كبير على فعالية أنظمة التعرف على المشاعر.
DOI: https://doi.org/10.1007/s10579-026-09941-9
Publication Date: 2026-10-25
Author(s): Zhenyun Du et al.
Primary Topic: Emotion and Mood Recognition
Overview
This research paper presents EGY-MER, the first multimodal dataset specifically designed for emotion recognition in the Egyptian Arabic language, addressing a significant gap in affective computing. The dataset comprises synchronized samples of transcribed speech, audio, and facial frames, annotated with six basic emotions (Happiness, Sadness, Anger, Disgust, Fear, Surprise) and neutral emotion. Collected from a variety of Egyptian talk shows and dramas, the dataset includes 45 minutes of recordings with a gender distribution of 60% female and 40% male speakers. The MODALINK pipeline was employed for data collection and annotation, ensuring high-quality multimodal alignment.
The study establishes baseline results using three pretrained encoders: AraBERTv2 for text, Wav2Vec2-ER for speech, and a Swin Transformer for vision data. A gated late fusion architecture was proposed to integrate these modalities, leading to improved performance metrics, including an accuracy of 54.12% and a weighted F1 score of 0.519. These results highlight the effectiveness of cross-modal integration over unimodal approaches, despite the challenges posed by the low-resource dialect. The findings suggest that EGY-MER can facilitate further research in emotion recognition for low-resource languages and multimodal fusion, ultimately contributing to the advancement of affective computing in Arabic contexts. Future work aims to address class imbalance and explore advanced fusion techniques to enhance performance in emotional recognition tasks.
Introduction
The introduction of the research paper emphasizes the importance of emotion detection in enhancing human-computer interaction across various applications, including health monitoring, customer service, virtual reality, and e-learning. Despite advancements in multimodal emotion recognition (MER) for widely spoken languages, there is a notable lack of research focused on Arabic dialects, particularly Egyptian Arabic, due to linguistic complexities and the limited availability of annotated multimodal datasets. Arabic, spoken by over 400 million people, presents significant dialectal diversity, complicating the development of universal emotion recognition models. Most existing research has concentrated on unimodal techniques, which utilize a single data source, whereas MER, which combines audio, visual, and textual cues, has been underexplored despite its potential for improved accuracy and robustness.
To address this gap, the authors present a multimodal emotion recognition dataset specifically designed for Egyptian Arabic, created through an automated data-collecting workflow that minimizes effort in dataset generation. This dataset captures naturalistic emotional responses across audio, text, and visual modalities while addressing critical issues such as modality synchronization and dialect-specific processing. The study aims to facilitate research in Arabic multimodal emotion detection and to support the development of culturally relevant emotion recognition models. The paper outlines the dataset’s development approach, statistical characteristics, and potential applications, highlighting the necessity of language-specific emotion detection datasets to promote cultural and linguistic diversity in AI research. The organization of the paper is also briefly described, detailing the subsequent sections that review related work, introduce the dataset and framework, outline the experimental setup, and conclude with the main contributions and future research directions.
Methods
The methodology section outlines the process for generating an automated multimodal dataset from Egyptian Arabic video content, employing a gated late fusion framework that integrates three branches for emotion recognition. The study utilizes the MODALINK workflow, which has been enhanced to address limitations identified during preliminary testing. This upgraded workflow consists of six key modules: video acquisition and preprocessing, audio extraction and speaker diarization, parallel facial embedding extraction with temporal alignment, biometric face speaker alignment and verification, segment-wise multimodal extraction with quality assurance, and speaker-organized output with metadata annotation.
The dataset is compiled from well-known Egyptian talk shows, visual podcasts, and dramas, including titles such as “Ma’kom Mona Elshazli” and “Sahbet Alsaa’da.” The segments are sourced from publicly available YouTube videos, each with a maximum duration of 30 minutes. Importantly, the study did not create or utilize any new physical materials, relying solely on media data from open, publicly accessible sources.
Results
In the results section, the study establishes baseline unimodal models for text, audio, and video modalities to evaluate their performance against a multimodal fusion model. Each unimodal model was trained using AdamW with a cosine learning rate schedule, incorporating techniques such as label smoothing, class-weighted loss, and early stopping to mitigate overfitting. The textual model outperformed the others, achieving an accuracy of 49.5% and a weighted F1-score of 0.49, while the audio model showed moderate performance, and the visual model performed the weakest due to challenges in recognizing spontaneous facial expressions.
The multimodal late fusion model, which integrates the three unimodal encoders into a shared latent space, achieved an evaluation accuracy of 54.12% and a weighted F1-score of 0.519, marking a 9.3% improvement over the best unimodal model. However, the macro-F1 score of 0.38 indicates difficulties with minority emotion categories, such as fear and surprise, highlighting the impact of class imbalance. The results confirm that multimodal integration captures richer emotional representations than unimodal approaches alone and validate the EGY-MER dataset’s potential for cross-modal learning in Egyptian Arabic emotion recognition. This study emphasizes the dataset’s significance in advancing research in under-resourced areas of affective computing, despite the challenges posed by dialectal speech.
Discussion
The discussion section of the paper provides a comprehensive overview of various multimodal emotion detection datasets, highlighting their strengths and limitations. The IEMOCAP dataset, developed by the University of Southern California, is noted for its extensive audiovisual data and detailed emotion annotations, but it is criticized for its reliance on acted emotions and limited speaker diversity. In contrast, the CMU-MOSEI dataset offers a larger scale and diversity, featuring over 1,000 unique speakers and a variety of topics, though it primarily consists of monologue data, which may not reflect real-world interactions. The MELD dataset, derived from the television series *Friends*, includes multi-party conversations and a significant number of speakers, yet it faces challenges related to class imbalance and cultural specificity.
The section also discusses datasets aimed at multilingual and Arabic emotion recognition, such as the SEWA and SAMSEMO datasets, which capture spontaneous emotional expressions across different cultures but suffer from limitations in language representation and class imbalance. The AVANEmo dataset addresses the gap in Arabic emotion recognition by providing natural emotional clips, although it also faces class imbalance issues. The newly introduced Egyptian Arabic Emotion Dataset (EAED) aims to fill the resource gap for Egyptian Arabic, but it too struggles with emotion representation and dataset size. Overall, the discussion underscores the critical need for more balanced and diverse datasets in the field of multimodal emotion recognition, particularly for underrepresented languages and dialects.
Limitations
The research highlights several significant limitations related to the data and methodology used in emotion recognition tasks. The primary challenge arises from the variability inherent in YouTube-sourced videos, which exhibit inconsistencies in recording quality, lighting, camera angles, and background noise—factors that are typically controlled in laboratory environments but are reflective of real-world scenarios. Additionally, the subjective nature of emotion recognition is underscored by inter-annotator agreement metrics, specifically Cohen’s κ, which yielded a value of approximately 0.60 for audio, indicating moderate agreement for text and video annotations.
Moreover, the use of Egyptian Arabic, a dialect with limited standardization, introduces unique linguistic challenges that are not adequately addressed by models pretrained on Modern Standard Arabic. This suggests that the gap in performance between the proposed model and optimal accuracy may stem not only from model limitations but also from the inherent ambiguity in human emotional expression and perception. Thus, the findings indicate that both data quality and linguistic factors significantly impact the effectiveness of emotion recognition systems.