DOI: https://doi.org/10.1007/s10579-026-09932-w
تاريخ النشر: 2026-07-24
المؤلف: Jilamika Wongpithayadisai وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج
نظرة عامة
تقدم البحث THAI-SER، وهو أول مجموعة بيانات كبيرة لتمييز مشاعر الكلام التايلندي، تتكون من 41 ساعة و36 دقيقة من بيانات الصوت من 27,854 عبارة. تم إنشاء هذه المجموعة من التسجيلات التي تمت في بيئات متنوعة، بما في ذلك Zoom واثنين من إعدادات الاستوديو، مع جلسات مكتوبة وعفوية قدمها 200 ممثل محترف (112 إناث و88 ذكور، تتراوح أعمارهم بين 18 و55). تشمل المشاعر الممثلة في المجموعة الحيادية، والغضب، والسعادة، والحزن، والإحباط، مع تعليقات مستمدة من عدة معلقين من خلال نهج جمع الحشود، مما يضمن الموثوقية من خلال توافق الأغلبية وتقييمات موثوقية بين المعلقين.
تشير النتائج إلى أن THAI-SER يعمل كمعيار لتمييز مشاعر الكلام، حيث يظهر أداءً قويًا في تقييمات عبر المجموعات بينما يسلط الضوء على التحديات المستمرة في هذا المجال. تم وضع المجموعة كمورد حيوي لتعزيز البحث في الحوسبة العاطفية ومعالجة اللغة، مع توفرها بموجب ترخيص Creative Commons BY-SA 4.0 مما يسهل المزيد من الاستكشاف والتطبيق. كما أن الأكواد التجريبية المرتبطة متاحة أيضًا، مما يعزز الشفافية وقابلية التكرار في الدراسات المستقبلية.
مقدمة
تسلط مقدمة الورقة الضوء على الاهتمام المتزايد في تمييز مشاعر الكلام (SER)، والذي ينطوي على استنتاج مشاعر الإنسان من مدخلات الكلام. على عكس تعبيرات الوجه والنص، تواجه SER تحديات فريدة بسبب اعتمادها فقط على إشارات الكلام، مما يحد من التعرف على السياق العاطفي. يستشهد المؤلفون بتطبيقات مختلفة لـ SER، بما في ذلك تحسين تفاعلات العملاء في مراكز الاتصال، وتحسين وظائف الروبوتات المنزلية الذكية، وتخصيص تجارب التعلم عبر الإنترنت بناءً على مشاعر الطلاب. ومع ذلك، يشيرون إلى أن مجموعات بيانات SER الحالية تركز بشكل أساسي على اللغات الغربية، مما يقيد قابلية تطبيق SER في السياقات غير الغربية، وخاصة في آسيا، حيث تؤثر الاختلافات اللغوية والثقافية بشكل كبير على التعبير العاطفي.
لمعالجة هذه الفجوة، يقترح المؤلفون تطوير مجموعة بيانات SER تايلندية مخصصة، معترفين بالميزات الصوتية المميزة للغات النغمية مثل التايلندية. يؤكدون على الحاجة إلى مجموعة بيانات شاملة تشمل كل من الكلام الممثل والمستحث، حيث تركز مجموعات بيانات الكلام التايلندية الحالية بشكل أساسي على التعرف على الكلام بدلاً من اكتشاف المشاعر. تتكون مجموعة بيانات THAI-SER المقترحة من 41.6 ساعة من الكلام من 200 ممثل محترف، تم التعليق عليها من خلال جمع الحشود مع تدابير صارمة لمراقبة الجودة. كما توضح الورقة أهمية الحفاظ على جودة التسجيل المتسقة وتناقش مختلف الأساليب لتوضيح المشاعر، مما يضع في النهاية معيارًا لـ SER في اللغة التايلندية ويقيم تعميم النموذج عبر مجموعات بيانات مختلفة.
الطرق
توضح قسم “تصميم المجموعة ومنهجية الجمع” النهج المنهجي المتبع لجمع مجموعة بيانات THAI-SER. شملت عملية جمع البيانات عدة جلسات تسجيل، تم تصنيفها إلى تنسيقات مكتوبة (مجموعة ممثلة) وعفوية (مجموعة مستحثة). تم إجراء هذه الجلسات في بيئات متنوعة، بما في ذلك إعدادات الاستوديو المسيطر عليها والاجتماعات عبر الإنترنت، لضمان مجموعة متنوعة من التفاعلات. توضح المنهجية عملية توظيف المخرجين والممثلين، والبيئات المحددة المستخدمة للتسجيل، والأدوات المستخدمة لالتقاط الجلسات، وتنظيم كل من التنسيقات المكتوبة والعفوية.
بالإضافة إلى ذلك، يشير القسم إلى المناقشات القادمة حول الإعدادات التجريبية والنتائج، مما يوحي بأن المنهجية أساسية لفهم النتائج اللاحقة. التصميم الدقيق للمجموعة أمر حاسم لضمان موثوقية وصلاحية النتائج التجريبية التي سيتم تقديمها لاحقًا.
النتائج
تشير النتائج إلى أن الجلسات العفوية تظهر موثوقية أعلى بين المعلقين مقارنةً بالجسلات المكتوبة، مما يشير إلى أن المشاعر المستحثة بشكل طبيعي تسهل توافقًا أوضح بين المعلقين. ومع ذلك، فإن دقة التعرف للمعلقين البشريين أقل بالنسبة للعبارات العفوية مقارنةً بالمكتوبة. لا تعني هذه الفجوة أن الكلام العفوي أكثر صعوبة في التعرف عليه؛ بل يتأثر بتفاوت التعبيرية في شدة المشاعر المكتوبة، مع معدلات دقة تبلغ 0.690 للتعبيرات ذات الشدة المنخفضة و0.883 للتعبيرات ذات الشدة العالية.
تخلص الدراسة إلى أن تحديات التعرف على المشاعر في الكلام العفوي تقع بين تلك الخاصة بالتعبيرات المكتوبة ذات الشدة المنخفضة والعالية. تؤكد هذه النتائج على أهمية تضمين الكلام العفوي في مجموعات بيانات المشاعر، حيث يمثل أسلوب تمثيل مميز يتم التعليق عليه بشكل أكثر اتساقًا من الكلام المكتوب، الذي يمكن أن يظهر تباينًا كبيرًا بناءً على شدة المشاعر.
المناقشة
تمثل مجموعة بيانات THAI-SER المقترحة تقدمًا كبيرًا في تمييز مشاعر الكلام (SER) من خلال معالجة نقص الموارد المخصصة للغات جنوب شرق آسيا. تتكون هذه المجموعة الكبيرة من عينات الكلام الممثل والمستحث، المسجلة من 200 ممثل تايلندي أصلي عبر خمس فئات عاطفية: الحيادية، والغضب، والسعادة، والحزن، والإحباط. تم إجراء التسجيلات في بيئات استوديو مسيطر عليها ومن خلال منصات عبر الإنترنت مثل Zoom، مما يعكس ظروف صوتية متنوعة. تهدف مجموعة البيانات إلى تسهيل البحث في SER، خاصة في التطبيقات ذات الصلة بمراكز الاتصال، من خلال توفير مورد شامل يتضمن كل من التعبيرات العاطفية المكتوبة والعفوية.
بالإضافة إلى مجموعة البيانات، أنشأ المؤلفون نظام تقييم يستخدم التحقق المتقاطع k-fold لتقييم أداء النموذج تحت ظروف مختلفة، بما في ذلك أساليب التمثيل والعوامل الديموغرافية. تركز أسئلة البحث على موثوقية الإدراك العاطفي في الكلام التايلندي وتأثير أسلوب التمثيل على فعالية نموذج SER. تؤكد الدراسة على أهمية مراقبة جودة البيانات بدقة من خلال طرق جمع الحشود، مما يضمن أن التعليقات دقيقة وموثوقة. من خلال تنفيذ عملية تعليق منظمة وتدابير تقييم الجودة، يهدف المؤلفون إلى تعزيز فائدة مجموعة البيانات للبحوث والتطبيقات المستقبلية في SER.
DOI: https://doi.org/10.1007/s10579-026-09932-w
Publication Date: 2026-07-24
Author(s): Jilamika Wongpithayadisai et al.
Primary Topic: Emotion and Mood Recognition
Overview
The research introduces THAI-SER, the first substantial corpus for Thai speech emotion recognition, comprising 41 hours and 36 minutes of audio data from 27,854 utterances. This corpus was generated from recordings made in diverse environments, including Zoom and two studio setups, featuring both scripted and improvised sessions performed by 200 professional actors (112 females and 88 males, aged 18 to 55). The emotions represented in the corpus include neutral, angry, happy, sad, and frustrated, with annotations derived from multiple annotators through a crowdsourcing approach, ensuring reliability through majority agreement and inter-annotator reliability assessments.
The findings indicate that THAI-SER serves as a benchmark for speech emotion recognition, demonstrating robust performance in cross-corpus evaluations while highlighting ongoing challenges in the field. The corpus is positioned as a vital resource for advancing research in affective computing and language processing, with its availability under a Creative Commons BY-SA 4.0 license facilitating further exploration and application. The associated experimental codes are also accessible, promoting transparency and reproducibility in future studies.
Introduction
The introduction of the paper highlights the growing interest in Speech Emotion Recognition (SER), which involves inferring human emotions from speech inputs. Unlike facial expressions and text, SER faces unique challenges due to its reliance solely on speech signals, which limits the recognition of emotional context. The authors cite various applications of SER, including enhancing customer interactions in call centers, improving the functionality of intelligent household robots, and customizing online learning experiences based on student emotions. However, they note that existing SER datasets predominantly focus on Western languages, which restricts the applicability of SER in non-Western contexts, particularly in Asia, where linguistic and cultural differences significantly influence emotional expression.
To address this gap, the authors propose the development of a dedicated Thai SER corpus, acknowledging the distinct acoustic features of tonal languages like Thai. They emphasize the need for a comprehensive dataset that includes both acted and elicited speech, as current Thai speech corpora primarily cater to speech recognition rather than emotion detection. The proposed THAI-SER dataset comprises 41.6 hours of speech from 200 professional actors, annotated through crowdsourcing with stringent quality control measures. The paper also outlines the importance of maintaining consistent recording quality and discusses various approaches to emotion annotation, ultimately establishing a benchmark for SER in the Thai language and assessing model generalization across different datasets.
Methods
The section on “Corpus Design and Collection Methodology” outlines the systematic approach taken to gather the THAI-SER dataset. The data collection involved multiple recording sessions, which were categorized into scripted (acted subset) and improvised (elicited subset) formats. These sessions were conducted in various environments, including controlled studio settings and online meetings, to ensure a diverse range of interactions. The methodology details the recruitment process for directors and actors, the specific recording environments utilized, the tools employed for capturing the sessions, and the organization of both scripted and improvised formats.
Additionally, the section hints at forthcoming discussions on experimental setups and results, suggesting that the methodology is foundational for understanding the subsequent findings. The careful design of the corpus is critical for ensuring the reliability and validity of the experimental outcomes that will be presented later.
Results
The results indicate that improvised sessions exhibit higher inter-annotator reliability compared to scripted sessions, suggesting that naturally elicited emotions facilitate clearer consensus among annotators. However, the recognition accuracy for human annotators is lower for improvised utterances than for scripted ones. This discrepancy does not imply that improvised speech is inherently more challenging to recognize; rather, it is influenced by the varying expressiveness of scripted emotional intensities, with accuracy rates of 0.690 for low-intensity and 0.883 for high-intensity expressions.
The study concludes that the challenges of emotion recognition in improvised speech fall between those of low- and high-intensity scripted expressions. These findings underscore the significance of including improvised speech in emotion corpora, as it represents a distinct acting style that is more consistently annotated than scripted speech, which can exhibit considerable variability based on emotional intensity.
Discussion
The proposed THAI-SER dataset represents a significant advancement in speech emotion recognition (SER) by addressing the lack of resources tailored to Southeast Asian languages. This large-scale dataset comprises both acted and elicited speech samples, recorded from 200 Thai native actors across five emotional categories: neutral, angry, happy, sad, and frustration. The recordings were conducted in controlled studio environments and through online platforms like Zoom, reflecting diverse acoustic conditions. The dataset aims to facilitate research in SER, particularly in applications relevant to call centers, by providing a comprehensive resource that includes both scripted and improvised emotional expressions.
In addition to the dataset, the authors established a benchmarking scheme utilizing k-fold cross-validation to evaluate model performance under various conditions, including acting styles and demographic factors. The research questions focus on the reliability of emotional perception in Thai speech and the impact of acting style on SER model efficacy. The study emphasizes the importance of rigorous data quality control through crowdsourcing methods, ensuring that annotations are accurate and reliable. By implementing a structured annotation process and quality assessment measures, the authors aim to enhance the dataset’s utility for future SER research and applications.