تقدم هذه الورقة البحثية نموذج دمج جديد للكشف الآلي عن الاكتئاب يدمج البيانات ثنائية النمط من الصوت والنص، معالجًا القيود التي تعاني منها طرق التشخيص التقليدية التي تعتمد غالبًا على التقييمات الذاتية. باستخدام نماذج مدربة مسبقًا Wav2Vec 2.0 للصوت وBERT للنص، تستخدم الدراسة طبقة تلافيف متعددة المقاييس وشبكة Bi-LSTM لدمج الميزات والتصنيف. يظهر النموذج تحسينات…

تقدم ورقة البحث طريقة MERC-PLTAF، التي تعزز التعرف على العواطف في المحادثات (ERC) من خلال استخدام نهج متعدد الوسائط يدمج ميزات النص والصوت. تعالج هذه الطريقة التحديات التي تطرحها حواجز اللغة وقيود الأنظمة ذات الوسائط الواحدة من خلال استخراج الميزات بشكل مُحسن واستراتيجية دمج متطورة. تظهر التحقق الواسع على مجموعات بيانات باللغة الإنجليزية والصينية أن…

تقدم ورقة البحث نموذجًا جديدًا للتعرف على عواطف الكلام (SER) الذي يستفيد من تقنيات التعلم العميق، مع التركيز بشكل خاص على طيف الكلام على مستوى النطق. يستخدم النموذج المقترح استراتيجية التجميع الهرمي المكاني (SPP) للتغلب على قيود الحجم النموذجية في مهام التعرف على الصور المعتمدة على الشبكات العصبية التلافيفية (CNN). من خلال استخراج كل من…