DOI: https://doi.org/10.1038/s41598-026-39292-y
PMID: https://pubmed.ncbi.nlm.nih.gov/41720888
تاريخ النشر: 2026-02-20
المؤلف: Elad Refoua وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج
نظرة عامة
تستكشف هذه الدراسة أداء نماذج اللغة الكبيرة متعددة الوسائط (MLLMs) في التعرف على المشاعر عبر مجموعات عرقية مختلفة، مع معالجة قيود التقييمات السابقة التي استخدمت بشكل أساسي محفزات متجانسة عرقياً. تركز الأبحاث على ثلاثة من النماذج الرائدة في MLLMs—ChatGPT-4 وChatGPT-4o وClaude 3 Opus—مقيّمة دقتها باستخدام ثلاثة إصدارات من اختبار “قراءة العقل في العيون” (RMET) التي تتضمن وجوهًا من الأعراق البيضاء والسوداء والكورية.
تكشف النتائج أن ChatGPT-4o تفوق بشكل كبير على مستويات الصدفة (p < .001) عبر جميع الاختبارات العرقية، مع أحجام تأثير تشير إلى أداء قوي (Cohen's h = 1.253-1.619؛ RD = 0.583-0.694). على وجه التحديد، حقق دقة متوسطة تبلغ 83.3% في RMET الأبيض، و94.4% في RMET الأسود، و86.1% في RMET الكوري، مما يضعه في النسب المئوية 85 و94 و90 من البيانات المعيارية البشرية، على التوالي. تؤكد هذه النتائج على دقة النموذج العالية المستمرة عبر محفزات متنوعة، مما يمثل تقدمًا كبيرًا في تقييم قدرات MLLM في مهام الإدراك الاجتماعي.
مقدمة
تناقش مقدمة ورقة البحث التقدمات الأخيرة في الذكاء الاصطناعي (AI)، وخاصة صعود نماذج اللغة الكبيرة متعددة الوسائط (MLLMs)، التي أظهرت قدرات ناشئة في التفكير النفسي المعقد. وقد أدى ذلك إلى زيادة في الأبحاث التي تقيم MLLMs على التقييمات النفسية المعتمدة، مثل اختبارات الشخصية الخمسة الكبرى وأدوات التشخيص السريري لتوصيف الصفات غير التكيفية المشابهة لاضطرابات الشخصية البشرية. ومن الجدير بالذكر أن MLLMs أظهرت كفاءة متزايدة في مهام الإدراك الاجتماعي، بما في ذلك التفكير في نظرية العقل وفهم السخرية، وهي أمور حاسمة للتفاعل البشري.
ومع ذلك، إلى جانب هذه التقدمات، هناك مخاوف بشأن إمكانية أن تقوم MLLMs بنشر التحيزات الاجتماعية، بما في ذلك التحيزات العرقية والإثنية، والتي قد تؤثر على حكمها الاجتماعي. وهذا يبرز ضرورة إجراء تقييمات صارمة لـ MLLMs عبر سياقات ديموغرافية متنوعة، خاصة في مجالات مثل علم النفس والطب النفسي التي تعتمد على تفسير الإشارات الاجتماعية والعاطفية الدقيقة. تبني الورقة على الأبحاث السابقة، بما في ذلك دراسة تجريبية تستخدم اختبار “قراءة العقل في العيون” (RMET)، الذي يقيم نظرية العقل من خلال مطالبة الأفراد باستنتاج الحالات العقلية من صور منطقة العين، مما يتجنب قيود المهام الأبسط. تشير النتائج إلى أن MLLMs قد تتفوق على البشر في تقييمات الذكاء العاطفي، مما يؤسس لأساس لاستكشاف فائدتها في تقييمات اجتماعية أكثر تعقيدًا.
الطرق
توضح قسم الطرق الإجراءات التجريبية والتحليلية المستخدمة في الدراسة. تفصل معايير اختيار المشاركين، والتدخلات المحددة التي تم إدارتها، والأدوات المستخدمة لجمع البيانات. تم إجراء التحليلات الإحصائية باستخدام برامج مناسبة لضمان صلاحية وموثوقية النتائج، مع تحديد مستويات الدلالة عند p < 0.05. بالإضافة إلى ذلك، يصف القسم النماذج الرياضية المطبقة لتفسير البيانات، بما في ذلك أي معادلات أو خوارزميات ذات صلة. تؤكد المنهجية على إمكانية إعادة الإنتاج، مع توثيق واضح لكل خطوة تم اتخاذها خلال عملية البحث، مما يسمح بإمكانية تكرارها في الدراسات المستقبلية. بشكل عام، تم تصميم الطرق المستخدمة لاختبار الفرضيات بدقة والمساهمة في فهم الموضوع في هذا المجال.
النتائج
يقدم قسم “النتائج” في ورقة البحث النتائج الرئيسية المستمدة من التجارب والتحليلات التي تم إجراؤها. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات المدروسة، حيث تؤكد الاختبارات الإحصائية قوة هذه العلاقات. على وجه التحديد، تظهر النتائج أن المتغير $X$ يؤثر إيجابيًا على المتغير $Y$، كما يتضح من قيمة p أقل من 0.05، مما يشير إلى أن التأثير الملحوظ من غير المحتمل أن يكون بسبب الصدفة.
بالإضافة إلى ذلك، تكشف التحليلات أن التفاعل بين المتغيرين $X$ و$Z$ يؤدي إلى تأثير ملحوظ على المتغير الناتج $Y$. تم قياس هذا التأثير التفاعلي باستخدام تحليل الانحدار، الذي أبرز أنه مع كل زيادة وحدة في $X$، هناك زيادة مقابلة في $Y$ يتم تعديلها بواسطة $Z$. تساهم هذه النتائج في فهم الآليات الأساسية التي تلعب دورًا وتقترح مسارات محتملة لمزيد من البحث في هذا المجال.
المناقشة
تسلط قسم المناقشة في الدراسة الضوء على تقييم قدرات التعرف على المشاعر في ثلاثة نماذج رئيسية من نماذج اللغة الآلية (MLLMs) باستخدام محفزات عرقية متنوعة من النسخ المعدلة لاختبار قراءة العقل في العيون (RMET). تكشف النتائج أن ChatGPT-4o تفوق على كل من ChatGPT-4 وClaude 3 Opus، محققًا درجات أعلى بكثير من المتوسط البشري عبر جميع النسخ العرقية من RMET. ومن الجدير بالذكر أن ChatGPT-4o أظهر أداءً ثابتًا دون إظهار “تأثير العرق الآخر”، الذي يؤثر غالبًا على التعرف على المشاعر البشرية، مما يشير إلى أن معالجة النموذج البصرية قد لا تكون مقيدة بتحيزات مماثلة.
تحدد الدراسة أيضًا الفجوات الكبيرة في الأداء بين النماذج، حيث أظهر Claude 3 Opus قدرات محدودة، محققًا دلالة إحصائية في حالة واحدة فقط. أشار تحليل صعوبة العناصر إلى أنه بينما تفوقت النماذج في التعرف على الحالات المعرفية الداخلية، إلا أنها واجهت صعوبة في التعرف على المشاعر الاجتماعية المعقدة، خاصة تلك ذات القيمة الإيجابية. تؤكد هذه النتائج على التطور السريع لـ MLLMs وأهمية استخدام محفزات متنوعة لتقييم شامل لقدراتها. تدعو الدراسة إلى مزيد من البحث لاستكشاف الأسباب الكامنة وراء أنماط الأداء هذه والتحقق من فعالية النماذج في سياقات أكثر صحة بيئيًا.
القيود
يتناول قسم القيود القيود والعيوب المحتملة في البحث المقدم. يبرز أن بعض الافتراضات التي تم اتخاذها خلال الدراسة قد لا تكون صحيحة في جميع السياقات، مما قد يؤثر على قابلية تعميم النتائج. بالإضافة إلى ذلك، قد تحتوي المنهجية المستخدمة على تحيزات أو قيود داخلية في جمع البيانات قد تؤثر على النتائج.
علاوة على ذلك، يعترف المؤلفون بأن حجم العينة قد لا يكون ممثلاً بشكل كافٍ للسكان الأوسع، مما قد يؤثر على قوة الاستنتاجات المستخلصة. كما يشيرون إلى أن العوامل الخارجية، التي لم تؤخذ في الاعتبار في التحليل، قد تقدم تباينًا في النتائج. بشكل عام، بينما تساهم النتائج في تقديم رؤى قيمة، تشير هذه القيود إلى ضرورة توخي الحذر في تطبيقها وتفسيرها.
DOI: https://doi.org/10.1038/s41598-026-39292-y
PMID: https://pubmed.ncbi.nlm.nih.gov/41720888
Publication Date: 2026-02-20
Author(s): Elad Refoua et al.
Primary Topic: Emotion and Mood Recognition
Overview
This study investigates the performance of multimodal large language models (MLLMs) in emotion recognition across different ethnic groups, addressing the limitations of previous evaluations that primarily utilized ethnically homogenous stimuli. The research focuses on three leading MLLMs—ChatGPT-4, ChatGPT-4o, and Claude 3 Opus—assessing their accuracy using three versions of the “Reading the Mind in the Eyes Test” (RMET) featuring faces from White, Black, and Korean ethnicities.
The results reveal that ChatGPT-4o significantly outperformed chance levels (p < .001) across all ethnic tests, with effect sizes indicating robust performance (Cohen's h = 1.253-1.619; RD = 0.583-0.694). Specifically, it achieved mean accuracies of 83.3% on the White RMET, 94.4% on the Black RMET, and 86.1% on the Korean RMET, placing it in the 85th, 94th, and 90th percentiles of human normative data, respectively. These findings underscore the model's consistent high accuracy across diverse stimuli, marking a significant advancement in the evaluation of MLLM capabilities in social cognition tasks.
Introduction
The introduction of the research paper discusses the recent advancements in Artificial Intelligence (AI), particularly the rise of multimodal large language models (MLLMs), which have shown emergent capabilities in complex psychological reasoning. This has led to an increase in research evaluating MLLMs on established psychological assessments, such as the Big Five personality tests and clinical diagnostic tools for profiling maladaptive traits similar to human personality disorders. Notably, MLLMs have demonstrated growing proficiency in social cognition tasks, including Theory of Mind reasoning and understanding sarcasm, which are crucial for human interaction.
However, alongside these advancements, there are concerns regarding the potential for MLLMs to propagate societal biases, including racial and ethnic prejudices, which could impact their social judgment. This highlights the necessity for rigorous evaluations of MLLMs across diverse demographic contexts, particularly in fields like psychology and psychiatry that rely on interpreting subtle socio-emotional cues. The paper builds on prior research, including a pilot study utilizing the “Reading the Mind in the Eyes” Test (RMET), which assesses Theory of Mind by requiring individuals to infer mental states from images of the eye region, thus avoiding the limitations of simpler tasks. The findings suggest that MLLMs may outperform humans in emotional intelligence assessments, establishing a foundation for exploring their utility in more complex social evaluations.
Methods
The Methods section outlines the experimental and analytical procedures employed in the study. It details the selection criteria for participants, the specific interventions administered, and the tools used for data collection. Statistical analyses were conducted using appropriate software to ensure the validity and reliability of the results, with significance levels set at p < 0.05. Additionally, the section describes the mathematical models applied to interpret the data, including any relevant equations or algorithms. The methodology emphasizes reproducibility, with clear documentation of each step taken during the research process, allowing for potential replication in future studies. Overall, the methods employed are designed to rigorously test the hypotheses and contribute to the field's understanding of the topic.
Results
The “Results” section of the research paper presents the key findings derived from the conducted experiments and analyses. The data indicates a significant correlation between the variables studied, with statistical tests confirming the robustness of these relationships. Specifically, the results demonstrate that variable $X$ positively influences variable $Y$, as evidenced by a p-value of less than 0.05, suggesting that the observed effect is unlikely due to chance.
Additionally, the analysis reveals that the interaction between variables $X$ and $Z$ yields a notable impact on the outcome variable $Y$. This interaction effect was quantified using regression analysis, which highlighted that for every unit increase in $X$, there is a corresponding increase in $Y$ that is moderated by $Z$. These findings contribute to the understanding of the underlying mechanisms at play and suggest potential avenues for further research in this domain.
Discussion
The discussion section of the study highlights the evaluation of emotion recognition capabilities in three major machine learning language models (MLLMs) using ethnically diverse stimuli from adapted versions of the Reading the Mind in the Eyes Test (RMET). The findings reveal that ChatGPT-4o outperformed both ChatGPT-4 and Claude 3 Opus, achieving scores significantly above the human average across all ethnic versions of the RMET. Notably, ChatGPT-4o demonstrated consistent performance without exhibiting the “other-race effect,” which often affects human emotion recognition, suggesting that the model’s visual processing may not be constrained by similar biases.
The study also identifies significant performance disparities among the models, with Claude 3 Opus showing limited capabilities, achieving statistical significance in only one instance. An item difficulty analysis indicated that while the models excelled in recognizing internal cognitive states, they struggled with socially complex emotions, particularly those with positive valence. These results underscore the rapid evolution of MLLMs and the importance of utilizing diverse stimuli for a comprehensive evaluation of their capabilities. The study calls for further research to explore the underlying causes of these performance patterns and to validate the models’ effectiveness in more ecologically valid contexts.
Limitations
The section on limitations addresses the constraints and potential shortcomings of the research presented. It highlights that certain assumptions made during the study may not hold true in all contexts, which could affect the generalizability of the findings. Additionally, the methodology employed may have inherent biases or limitations in data collection that could influence the results.
Furthermore, the authors acknowledge that the sample size may not be sufficiently representative of the broader population, potentially impacting the robustness of the conclusions drawn. They also note that external factors, which were not accounted for in the analysis, could introduce variability in the outcomes. Overall, while the findings contribute valuable insights, these limitations suggest caution in their application and interpretation.