DOI: https://doi.org/10.55670/fpll.futech.5.1.7
تاريخ النشر: 2026-01-24
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: التعرف على العواطف والمزاج
نظرة عامة
تتناول هذه الدراسة قيود العلاجات التقليدية لاضطرابات القلق، التي غالبًا ما تعاني من مشكلات الوصول والتكلفة، بالإضافة إلى الاعتماد على التقييمات الذاتية. تقدم إطار عمل مدفوعًا بالتعرف على المشاعر متعدد الوسائط مصمم لإدارة القلق بشكل مخصص، يدمج البيانات من تخطيط الدماغ الكهربائي (EEG)، وتغير معدل ضربات القلب (HRV)، وتعبيرات الوجه، وميزات الكلام من خلال الانتباه عبر الوسائط. يقوم محرك اتخاذ القرار المعتمد على التعلم المعزز باختيار التدخلات بشكل ديناميكي – مثل تمارين التنفس، واليقظة، أو إعادة صياغة التفكير – وفقًا لاستجابات المستخدم. أظهرت النتائج التجريبية على مجموعات بيانات DEAP وWESAD فعالية الإطار، حيث حقق دقة بلغت 86.2% و84.7%، ودرجات منطقة تحت منحنى التشغيل (AUROC) بلغت 0.91 و0.89، على التوالي. ومن الجدير بالذكر أن الإطار أدى إلى تحسين يصل إلى 24% في درجات مقياس القلق الخاص بالحالة والسمات.
تؤكد النتائج على إمكانيات الإطار لإدارة القلق بشكل فعال، مع التأكيد على أهمية الانتباه عبر الوسائط، والتخصيص، وآليات التغذية الراجعة. كما تبرز الدراسة قابلية تفسير مساهمات الوسائط، مما يعزز صلة الإطار بالعلاج الرقمي السريري. تصميمه قابل للتكيف مع المنصات المحمولة والقابلة للارتداء، مما يضمن الكفاءة والخصوصية من خلال المستشعرات المدمجة والاستدلال على الحافة. تعتبر الاعتبارات الأخلاقية، بما في ذلك التعامل الشفاف مع البيانات والموافقة المستنيرة، ضرورية للتنفيذ المسؤول والتوسع. تضع الأبحاث أساسًا للتدخلات الرقمية للصحة النفسية القابلة للتوسع، القابلة للتفسير، والملائمة سريريًا، جاهزة للتطبيق في العالم الحقيقي.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على الانتشار الكبير لاضطرابات القلق، التي تؤثر على ما يقرب من 20% من السكان العالميين، وقيود العلاجات التقليدية مثل العلاج الدوائي والتدخلات السلوكية المعرفية، التي غالبًا ما تعيقها مشكلات الوصول والتكلفة والوصمة. استجابةً لذلك، ظهرت العلاجات الرقمية (DTx) كبدائل قابلة للتوسع تستخدم التكنولوجيا المحمولة والذكاء الاصطناعي (AI) للرعاية المستندة إلى الأدلة. ومع ذلك، تعتمد العلاجات الرقمية الحالية التي تركز على القلق بشكل أساسي على البيانات المبلغ عنها ذاتيًا والمقاييس الثابتة، مما يفشل في التقاط الطبيعة الديناميكية للحالات العاطفية بشكل كافٍ.
لمعالجة هذه الفجوة، تقترح الدراسة إطار عمل جديد يعيد تصور التعرف على المشاعر كمدخل ديناميكي للعلاجات الرقمية التكيفية. يدمج هذا الإطار آلية انتباه عبر الوسائط لدمج العواطف بشكل قوي مع محرك تعلم معزز يتعلم استراتيجيات التدخل المثلى بناءً على تغذية راجعة من المستخدم. تهدف الأبحاث إلى تطوير نموذج تعرف على المشاعر متعدد الوسائط يجمع بين البيانات الفسيولوجية والسلوكية، وتصميم محرك اتخاذ قرار قائم على التعلم المعزز للتدخلات المخصصة، وتقييم فعالية الإطار من خلال معايير كمية. من خلال تحويل التعرف على المشاعر متعدد الوسائط إلى إشارة تحكم تكيفية، تسعى الدراسة إلى تقدم مجال الحوسبة العاطفية وتوفير حل قابل للتوسع وأخلاقي لإدارة القلق من خلال التدخلات الرقمية الذكية.
الطرق
تدمج المنهجية المقترحة التعرف على المشاعر متعدد الوسائط مع محرك تدخل مخصص لإنشاء علاجات رقمية تكيفية لإدارة القلق. يقوم هذا النظام المغلق بجمع ومعالجة وتحليل الإشارات متعددة الوسائط بشكل مستمر لاستنتاج الحالات العاطفية للمستخدمين، والتي توجه اختيار التدخلات العلاجية المخصصة. يتكون الإطار من أربعة وحدات رئيسية: اكتساب البيانات متعددة الوسائط والمعالجة المسبقة، التعرف على المشاعر باستخدام التعلم العميق القائم على الانتباه عبر الوسائط، توليد التدخلات المدفوعة بالتعلم المعزز، والتغذية الراجعة التكيفية مع قابلية التفسير. يسهل هذا التصميم المعياري دورة تكرارية من استشعار العواطف، واتخاذ القرار، والتغذية الراجعة، مما يعزز التخصيص والصلابة، كما هو موضح في الهيكل العام.
استخدمت التجارب مجموعات بيانات معتمدة أخلاقيًا، DEAP وWESAD، والتي تتضمن بيانات موافقة مستنيرة من المشاركين وتلتزم بالإرشادات الأخلاقية. تحتوي مجموعة بيانات DEAP على بيانات EEG وHRV وبيانات الوجه والكلام من 32 مشاركًا تعرضوا لمقاطع فيديو موسيقية، بينما توفر WESAD بيانات مستشعرات قابلة للارتداء من 15 مشاركًا تحت ظروف عاطفية مختلفة. شملت المعالجة المسبقة تصفية الإشارات EEG باستخدام مرشحات تمرير النطاق، وتوحيد الدرجات باستخدام z-score، واستخراج ميزات HRV، ومحاذاة إطارات الوجه، وتحويل الكلام إلى طيف ميل. تم تقسيم جميع الوسائط إلى نوافذ متداخلة مدتها 5 ثوانٍ وتم تطبيعها من أجل الدمج متعدد الوسائط. تم تنفيذ الإطار في PyTorch وتم تدريبه على وحدة معالجة الرسومات NVIDIA A100، باستخدام محسن Adam مع إيقاف مبكر بناءً على خسارة التحقق. شملت مقاييس التقييم الدقة، ودرجة F1، وAUROC للتعرف على المشاعر، والحد من درجات مقياس القلق الخاص بالحالة والسمات (STAI) للنتائج العلاجية، مما يضمن تقييمًا شاملاً لأداء النموذج وصلاحيته البيئية.
المناقشة
تسلط قسم المناقشة في الورقة البحثية الضوء على تقاطع ثلاثة مجالات حاسمة في العلاجات الرقمية الموجهة للقلق: التعرف على المشاعر متعدد الوسائط (MER)، التدخلات الرقمية لإدارة القلق، والاستراتيجيات التكيفية المخصصة. بينما تم إحراز تقدم كبير في كل مجال، لا تزال القيود قائمة، مما يتطلب حلولًا متكاملة. لقد تحسن MER من خلال استخدام الإشارات الفسيولوجية، والإشارات البصرية، وميزات الصوت، ومع ذلك لا تزال هناك تحديات في الصلابة وقابلية التفسير، خاصة في البيئات الواقعية. تطورت العلاجات الرقمية من التطبيقات الثابتة إلى منصات أكثر تفاعلية، لكن العديد منها لا يزال يعتمد على البيانات أحادية الوسائط ويفتقر إلى المراقبة العاطفية في الوقت الحقيقي، مما يؤثر على التخصيص والامتثال. أظهرت الاستراتيجيات المخصصة وعدًا في تحسين نتائج العلاج لكنها غالبًا ما لا تتضمن بيانات عاطفية في الوقت الحقيقي، مما يثير مخاوف بشأن الثقة والتبني السريري.
يهدف الإطار المقترح إلى معالجة هذه النواقص من خلال دمج الكشف عن المشاعر القوي باستخدام مدخلات متعددة الوسائط (مثل EEG وHRV وتعبيرات الوجه والكلام) مع استراتيجيات التدخل التكيفية المستندة إلى الحالات العاطفية في الوقت الحقيقي. يعزز دمج الانتباه عبر الوسائط قدرة النظام على التقاط المعلومات التكميلية عبر الوسائط، مما يؤدي إلى تحسين دقة التعرف وفعالية العلاج. تظهر النتائج التجريبية مكاسب كبيرة في مقاييس الأداء، بما في ذلك دقة تبلغ 86.2% على مجموعة بيانات DEAP وتقليل بنسبة 24% في درجات القلق، مقارنة بالطرق العلاجية التقليدية. يركز تصميم الإطار على أهمية التعلم المستمر وقابلية التفسير، مما يضمن تطور النظام مع تفاعلات المستخدم مع الحفاظ على الشفافية والثقة السريرية. بشكل عام، تؤسس هذه الأبحاث مسارًا قابلًا للتوسع وفعالًا لنشر العلاجات الرقمية في إدارة القلق، مع آثار على التقدم المستقبلي في هذا المجال.
DOI: https://doi.org/10.55670/fpll.futech.5.1.7
Publication Date: 2026-01-24
Author(s): Zhenyun Du et al.
Primary Topic: Emotion and Mood Recognition
Overview
This study addresses the limitations of conventional treatments for anxiety disorders, which often suffer from accessibility and cost issues, as well as reliance on subjective assessments. It introduces a multimodal emotion recognition-driven framework designed for personalized anxiety management, integrating data from electroencephalography (EEG), heart rate variability (HRV), facial expressions, and speech features through cross-modal attention. A reinforcement learning-based decision engine dynamically selects interventions—such as breathing exercises, mindfulness, or cognitive reframing—tailored to user responses. Experimental results on the DEAP and WESAD datasets demonstrated the framework’s efficacy, achieving accuracies of 86.2% and 84.7%, and area under the receiver operating characteristic curve (AUROC) scores of 0.91 and 0.89, respectively. Notably, the framework resulted in up to a 24% improvement in State-Trait Anxiety Inventory scores.
The findings confirm the framework’s potential for effective anxiety management, emphasizing the importance of cross-modal attention, personalization, and feedback mechanisms. The study also highlights the interpretability of modality contributions, reinforcing the framework’s relevance in clinical digital therapeutics. Its design is adaptable for mobile and wearable platforms, ensuring efficiency and privacy through embedded sensors and edge inference. Ethical considerations, including transparent data handling and informed consent, are crucial for responsible implementation and scaling. The research lays a foundation for scalable, interpretable, and clinically relevant digital mental health interventions, poised for real-world application.
Introduction
The introduction of this research paper highlights the significant prevalence of anxiety disorders, affecting nearly 20% of the global population, and the limitations of traditional treatments such as pharmacological therapy and cognitive-behavioral interventions, which are often hindered by accessibility, cost, and stigma. In response, digital therapeutics (DTx) have emerged as scalable alternatives that utilize mobile technology and artificial intelligence (AI) for evidence-based care. However, existing anxiety-focused DTx primarily rely on self-reported data and static metrics, failing to adequately capture the dynamic nature of emotional states.
To address this gap, the study proposes a novel framework that reconceptualizes emotion recognition as a dynamic input for adaptive DTx. This framework integrates a cross-modal attention mechanism for robust affect fusion with a reinforcement-learning engine that learns optimal intervention strategies based on user feedback. The research aims to develop a multimodal emotion-recognition model that combines physiological and behavioral data, design a reinforcement-learning decision engine for personalized interventions, and evaluate the framework’s effectiveness through quantitative benchmarks. By transforming multimodal emotion recognition into an adaptive control signal, the study seeks to advance the field of affective computing and provide a scalable, ethical solution for anxiety management through intelligent digital interventions.
Methods
The proposed methodology integrates multimodal emotion recognition with a personalized intervention engine to create adaptive digital therapeutics for anxiety management. This closed-loop system continuously collects, processes, and analyzes multimodal signals to infer users’ emotional states, which guide the selection of tailored therapeutic interventions. The framework comprises four key modules: multimodal data acquisition and preprocessing, emotion recognition using crossmodal attention-based deep learning, reinforcement learning-driven intervention generation, and adaptive feedback with explainability. This modular design facilitates an iterative cycle of emotion sensing, decision-making, and feedback, enhancing personalization and robustness, as illustrated in the overall architecture.
The experiments utilized ethically approved datasets, DEAP and WESAD, which include informed-consent statements from participants and adhere to ethical guidelines. The DEAP dataset features EEG, HRV, facial, and speech data from 32 participants exposed to music video clips, while WESAD provides wearable sensor data from 15 participants under various emotional conditions. Preprocessing involved band-pass filtering EEG signals, z-score standardization, HRV feature extraction, facial frame alignment, and speech conversion to Mel-spectrograms. All modalities were segmented into overlapping 5-second windows and normalized for multimodal fusion. The framework was implemented in PyTorch and trained on an NVIDIA A100 GPU, employing the Adam optimizer with early stopping based on validation loss. Evaluation metrics included accuracy, F1-score, AUROC for emotion recognition, and reductions in State-Trait Anxiety Inventory (STAI) scores for therapeutic outcomes, ensuring a comprehensive assessment of model performance and ecological validity.
Discussion
The discussion section of the research paper highlights the intersection of three critical domains in anxiety-oriented digital therapeutics: multimodal emotion recognition (MER), digital interventions for anxiety management, and personalized adaptive strategies. While significant advancements have been made in each area, limitations persist, necessitating integrated solutions. MER has improved through the use of physiological signals, visual cues, and vocal features, yet challenges remain in robustness and explainability, particularly in real-world settings. Digital therapeutics have evolved from static applications to more interactive platforms, but many still rely on unimodal data and lack real-time emotional monitoring, which affects personalization and adherence. Personalized strategies have shown promise in improving treatment outcomes but often do not incorporate real-time emotional data, raising concerns about trust and clinical adoption.
The proposed framework aims to address these shortcomings by combining robust emotion detection using multimodal inputs (e.g., EEG, HRV, facial expressions, and speech) with adaptive intervention strategies informed by real-time emotional states. The integration of cross-modal attention enhances the system’s ability to capture complementary information across modalities, leading to improved recognition accuracy and therapeutic effectiveness. Experimental results demonstrate significant gains in performance metrics, including an accuracy of 86.2% on the DEAP dataset and a 24% reduction in anxiety scores, comparable to traditional therapeutic methods. The framework’s design emphasizes the importance of continuous learning and interpretability, ensuring that the system evolves with user interactions while maintaining transparency and clinical trust. Overall, this research establishes a scalable and effective pathway for deploying digital therapeutics in anxiety management, with implications for future advancements in the field.