DOI: https://doi.org/10.1038/s41598-025-27837-6
PMID: https://pubmed.ncbi.nlm.nih.gov/41484164
تاريخ النشر: 2026-01-03
المؤلف: Tao Ning وآخرون
الموضوع الرئيسي: سمات الشخصية وعلم النفس
نظرة عامة
تقدم الدراسة نموذج الشبكة متعددة المقاييس DLF، المصمم لتحليل سمات الشخصية من خلال دمج الميزات البصرية والصوتية من بيانات الفيديو. غالبًا ما تفشل الطرق التقليدية في حساب استقرار وارتباط الميزات متعددة الوسائط أثناء الاستخراج والدمج، مما يعيق تعميم النموذج ودقة التعرف. للتغلب على هذه القيود، يقترح المؤلفون وحدة DWTC، التي تستخدم تحويل الموجة المنفصلة (DWT) لتفكيك إطارات الفيديو إلى تمثيلات متعددة المقاييس تلتقط المعلومات البصرية الهرمية، مثل تعبيرات الوجه وحركات الجسم، على مستويات مختلفة من التفاصيل. يتم استخدام شبكة عصبية تلافيفية (CNN) لاستخراج ميزات دلالية أعمق من هذه التمثيلات، مما يضمن استقرار وتمييز الميزات البصرية.
بالنسبة لمعالجة الصوت، يتم استخدام شبكة عصبية متعددة الطبقات (MLP)، تليها محاذاة تسلسل الميزات الكامنة (LMSA) لمعالجة التناقضات الزمانية والمكانية، مما يعزز تكامل الميزات والارتباطات بين الأنماط. يحدث الدمج النهائي على مستوى القرار. تشير النتائج التجريبية على مجموعة بيانات الانطباع الأول V1 إلى أن نموذج DLF يحقق دقة دمج متعددة الوسائط متوسطة مثيرة للإعجاب تبلغ 0.9177 في التعرف على سمات الشخصية الخمس الكبرى، متجاوزًا بشكل كبير النماذج الحالية. تسهم هذه البحث في تقديم رؤى قيمة حول العلاقة بين الخصائص السلوكية وسمات الشخصية في السياقات الرقمية، مع آثار على تقييم الصحة النفسية وأنظمة التوصية الشخصية.
طرق
في قسم الطرق، يوضح المؤلفون إعدادهم التجريبي والتحليل، مع التركيز على مجموعة بيانات ChaLearn First Impressions V1 لتقييم أداء نموذج الشبكة متعددة المقاييس DLF. يصفون مجموعات البيانات المستخدمة، والمنهجية الأساسية، وتفاصيل التنفيذ، بما في ذلك معالجة الميزات، وتكوينات المعلمات، ومقاييس التقييم، لضمان إمكانية إعادة الإنتاج. تقيم التجارب فعالية نموذج DLF من خلال المقارنات مع الطرق الأساسية ودراسات الإزالة، مما يبرز مزايا نهج MLP+LMSA المتسلسل في التعرف على الشخصية من خلال الصوت. يتفوق هذا الأسلوب المدمج بشكل كبير على النماذج الفردية من خلال الاستفادة من قدرة MLP على التقاط الميزات الصوتية غير الخطية وقدرة LMSA على حساب الاعتماد الزمني، مما يؤدي إلى تقليل متوسط الخطأ المطلق بحوالي 0.004.
علاوة على ذلك، يستكشف المؤلفون وحدة استخراج الميزات البصرية متعددة المقاييس DWTC، التي تظهر أداءً متفوقًا على الطرق التقليدية، حيث تحقق دقة متوسطة تبلغ 0.9177 وتقليل متوسط الخطأ المطلق إلى 0.1633. تلتقط طريقة DWTC بفعالية كل من ملامح الوجه العالمية والتعبيرات الدقيقة، متفوقة بشكل خاص في أبعاد الانبساط والود. تكشف تجارب تحسين المعلمات أن حجم النافذة $W=3$ وعدد الرؤوس $H=4$ هما الأمثل لنموذج LMSA، مما يوازن الحاجة إلى التقاط الارتباطات بين الإطارات مع تجنب المعلومات الزائدة. تعزز هذه التكوين أداء النموذج في مهام التعرف على الشخصية، مما يؤكد قوة المنهجيات المقترحة.
مناقشة
تستعرض قسم المناقشة في الورقة تطور التعرف على سمات الشخصية، مع تسليط الضوء على المساهمات الهامة من كل من علم النفس والتعلم العميق. وضعت الأطر النفسية المبكرة، مثل تصنيف ألبورت للسمات ونموذج آيزنك ثلاثي الأبعاد، الأساس لفهم الشخصية. في السنوات الأخيرة، ظهرت طرق التعلم العميق، مستفيدة من البيانات الصوتية والبصرية لتقييم الشخصية. من الجدير بالذكر أن طرقًا مثل إدراك الشخصية التلقائي القائم على النغمة (APP) وتحويلات الموجة المدمجة مع الشبكات العصبية التلافيفية (CNNs) أظهرت وعدًا في التنبؤ بدقة بسمات مثل الانبساط والضمير، على الرغم من أنها غالبًا ما تتجاهل أبعادًا أخرى مثل العصابية والود.
تنتقد الورقة النماذج الحالية بسبب اعتمادها على الميزات الثابتة والتعرف العاطفي قصير المدى، مما يحد من فعاليتها في التقاط الأنماط السلوكية طويلة المدى الضرورية لتحليل الشخصية. لمعالجة هذه القيود، يقترح المؤلفون محول متعدد المقاييس خفيف الوزن (LMSA) يعزز تكامل الميزات من خلال آلية انتباه متعددة الرؤوس، مما يسمح بتحليل أفضل للعلاقات الزمنية عبر الإطارات في بيانات الفيديو. تهدف هذه الطريقة المبتكرة إلى تحسين دقة التنبؤ بالتعرف على سمات الشخصية من خلال الاستفادة الفعالة من البيانات متعددة الوسائط، مما يعزز التعاون بين علوم الكمبيوتر وعلم النفس.
القيود
تسلط القيود المفروضة على الدراسة حول مجموعة بيانات الانطباعات الأولى V1 الضوء على قلقين رئيسيين. أولاً، تتميز مجموعة البيانات بشكل أساسي بتعبيرات الوجه الطبيعية والكلام من السكان العامين، مما يؤدي إلى تمثيل غير كافٍ للفئات الخاصة، مثل الأفراد الذين لديهم قيود في تعبيرات الوجه (مثل أولئك الذين يعانون من شلل الوجه) واضطرابات الكلام (مثل التلعثم أو الحبسة). يعيق هذا النقص في التنوع قدرة النموذج على التعميم بفعالية عبر مجموعات ديموغرافية مختلفة ويعقد تقييم كيفية تأثير هذه الفئات الخاصة على دقة التعرف.
ثانيًا، تقدم المنهجية المستخدمة لمعالجة مجموعات بيانات الفيديو قيودًا إضافية. قد يؤدي الاعتماد على “استخراج الميزات المحددة لنمط الفيديو من خلال فصل الصوت والصورة” إلى فقدان معلومات ديناميكية أساسية، مثل التغيرات الزمنية في التعبيرات الدقيقة وحركات الجسم، والتي تعتبر حاسمة للتعرف بدقة على سمات الشخصية. علاوة على ذلك، فإن القيود الحالية في الموارد التقنية والحسابية تعيق الاستخراج المباشر لميزات الفيديو، مما يحد من الاستخدام الكامل للمعلومات الزمانية والمكانية المتاحة في بيانات الفيديو. تشكل هذه العوامل مجتمعة تحديات للتطبيق العملي والتطوير المستقبلي للتكنولوجيا.
DOI: https://doi.org/10.1038/s41598-025-27837-6
PMID: https://pubmed.ncbi.nlm.nih.gov/41484164
Publication Date: 2026-01-03
Author(s): Tao Ning et al.
Primary Topic: Personality Traits and Psychology
Overview
The study introduces the DLF Multi-Scale Network Model, designed to analyze personality traits by integrating visual and audio features from video data. Traditional methods often fail to account for the stability and correlation of multimodal features during extraction and fusion, which hampers model generalization and recognition accuracy. To overcome these limitations, the authors propose the DWTC module, which utilizes Discrete Wavelet Transform (DWT) to decompose video frames into multi-scale representations that capture hierarchical visual information, such as facial expressions and body movements, at various levels of detail. A Convolutional Neural Network (CNN) is employed to extract deeper semantic features from these representations, ensuring the stability and discriminability of visual features.
For audio processing, a multilayer perceptron (MLP) is utilized, followed by latent feature sequence alignment (LMSA) to address spatio-temporal inconsistencies, thereby enhancing feature complementarity and inter-modal correlations. The final fusion occurs at the decision level. Experimental results on the First Impression V1 dataset indicate that the DLF model achieves an impressive average multimodal fusion accuracy of 0.9177 in recognizing Big Five personality traits, significantly surpassing existing models. This research contributes valuable insights into the relationship between behavioral characteristics and personality traits in digital contexts, with implications for mental health assessment and personalized recommendation systems.
Methods
In the Methods section, the authors detail their experimental setup and analysis, focusing on the ChaLearn First Impressions V1 dataset to evaluate the performance of the DLF multiscale network model. They describe the datasets used, the baseline methodology, and the implementation details, including feature preprocessing, parameter configurations, and evaluation metrics, to ensure reproducibility. The experiments assess the effectiveness of the DLF model through comparisons with baseline methods and ablation studies, highlighting the advantages of a cascaded MLP+LMSA approach for audio-modality personality recognition. This combined method significantly outperforms individual models by leveraging MLP’s ability to capture nonlinear acoustic features and LMSA’s capacity to account for temporal dependencies, resulting in a mean absolute error reduction of approximately 0.004.
Further, the authors explore the DWTC multi-scale visual feature extraction module, which demonstrates superior performance over traditional methods, achieving an average accuracy of 0.9177 and a reduced mean absolute error of 0.1633. The DWTC method effectively captures both global facial contours and microexpressions, particularly excelling in the Extraversion and Agreeableness dimensions. Parameter optimization experiments reveal that a window size of $W=3$ and a number of heads $H=4$ are optimal for the LMSA model, balancing the need for capturing inter-frame correlations while avoiding redundant information. This configuration enhances the model’s performance in personality recognition tasks, confirming the robustness of the proposed methodologies.
Discussion
The discussion section of the paper reviews the evolution of personality trait recognition, highlighting significant contributions from both psychology and deep learning. Early psychological frameworks, such as Allport’s classification of traits and Eysenck’s three-dimensional model, laid the groundwork for understanding personality. In recent years, deep learning approaches have emerged, leveraging audio and visual data for personality assessment. Notably, methods like the prosody-based automatic personality perception (APP) and wavelet transforms combined with convolutional neural networks (CNNs) have shown promise in accurately predicting traits like extraversion and conscientiousness, although they often overlook other dimensions such as neuroticism and agreeableness.
The paper critiques existing models for their reliance on static features and short-term emotional recognition, which limits their effectiveness in capturing long-term behavioral patterns essential for personality analysis. To address these limitations, the authors propose a Lightweight Multiscale Adapter (LMSA) that enhances feature integration through a multi-head attention mechanism, allowing for better temporal relationship analysis across frames in video data. This innovative approach aims to improve the predictive accuracy of personality trait recognition by effectively utilizing multimodal data, thus advancing the interdisciplinary collaboration between computer science and psychology.
Limitations
The limitations of the study on the First Impressions V1 dataset highlight two primary concerns. Firstly, the dataset predominantly features natural facial expressions and speech from the general population, resulting in inadequate representation of special populations, such as individuals with facial expression limitations (e.g., those with facial paralysis) and speech disorders (e.g., stuttering or aphasia). This lack of diversity hampers the model’s ability to generalize effectively across different demographic groups and complicates the assessment of how these special populations might influence recognition accuracy.
Secondly, the methodology employed for processing video datasets introduces additional constraints. The reliance on an “audio-visual separation video frame sampling modality-specific feature extraction” pipeline may result in the loss of essential dynamic information, such as temporal variations in micro-expressions and body movements, which are crucial for accurately recognizing personality traits. Furthermore, the current limitations in technical and computational resources hinder the direct extraction of video features, restricting the full utilization of the spatiotemporal information available in video data. These factors collectively pose challenges for the practical application and future development of the technology.