الصيام الرقمي: إطار متعدد الوسائط مدفوع بالذكاء الاصطناعي للكشف السريع والمبكر عن السكتات الدماغية Digital fast: An ai-driven multimodal framework for rapid and early stroke screening

شارك:
المجلة: Journal of Computer Science and Cybernetics، المجلد: 42، العدد: 2
DOI: https://doi.org/10.15625/1813-9663/24199
تاريخ النشر: 2026-06-18
المؤلف: Ngoc-Khai Hoang وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية

نظرة عامة

تقدم هذه الدراسة إطار عمل للتعلم العميق متعدد الوسائط مصمم للتعرف المبكر على أعراض السكتة الدماغية في البيئات ما قبل المستشفى، باستخدام بيانات من تقييم F.A.S.T. يدمج الإطار المعلومات من تعبيرات الوجه، وإشارات الكلام، وحركات الجزء العلوي من الجسم لتحسين دقة التشخيص. يتم تحليل ديناميات الوجه باستخدام ميزات قائمة على المعالم مع بنية Transformer، بينما يتم معالجة الكلام إلى طيف ميل عبر Transformer طيف الصوت. يتم فحص حركات الجزء العلوي من الجسم باستخدام شبكة MLP-Mixer. تجمع آلية دمج قائمة على الانتباه هذه التمثيلات الخاصة بكل وسيلة، مما يمكّن من تعلم التفاعل عبر الوسائط بشكل فعال. تظهر النتائج التجريبية من مجموعة بيانات تحتوي على 222 فيديو أن النموذج يحقق دقة تبلغ 95.83% ودرجة F1 تبلغ 96.00%، مما يتيح الكشف الناجح عن جميع حالات السكتة الدماغية في مجموعة الاختبار.

النهج المقترح غير جراحي ومناسب للسيناريوهات ما قبل المستشفى، مما يبرز أهمية الكشف السريع ودعم القرار. يتفوق النموذج على الأسس أحادية الوسائط، محققًا توازنًا قويًا بين الحساسية والنوعية. من خلال الاستفادة من النماذج المدربة مسبقًا واستراتيجية دمج قائمة على الانتباه، يعزز الإطار الأداء مع الحفاظ على الاستقرار مع بيانات محدودة. على الرغم من أن الدراسة تعترف بالقيود المتعلقة بحجم مجموعة البيانات وتمثيلها، تؤكد النتائج على إمكانات التعلم العميق متعدد الوسائط للكشف المبكر عن السكتة الدماغية بشكل عملي. ستسعى الأبحاث المستقبلية إلى توسيع مجموعة البيانات مع تسجيلات مرضى السكتة الحقيقية وتقييم النظام على مجموعات بيانات مستقلة لتحسين التعميم والموثوقية.

مقدمة

تسلط مقدمة ورقة البحث الضوء على أهمية السكتة الدماغية، وخاصة السكتة الدماغية الإقفارية الحادة، كاضطراب وعائي دماغي رئيسي ناتج عن انسداد أو تمزق الأوعية الدموية في الدماغ. تم تحديدها كأحد الأسباب الرئيسية للإعاقة طويلة الأمد والوفيات على مستوى العالم، مع اقتراح الدراسات الوبائية أن حوالي واحد من كل أربعة أفراد سيعاني من سكتة دماغية في حياتهم. وهذا يبرز الحاجة الملحة للتدخلات السريعة والمناسبة، مؤكدًا أن الكشف المبكر أمر حيوي لتسهيل العلاج الفوري.

نقاش

تؤكد قسم النقاش في ورقة البحث على الحاجة الملحة لطرق الكشف الآلي عن السكتة الدماغية، خاصة للمستخدمين غير الخبراء، بسبب التحديات التي يواجهها المارة في التعرف على أعراض السكتة الدماغية المبكرة. يبرز المؤلفون الدور التحويلي للذكاء الاصطناعي (AI) في الرعاية الصحية، وخاصة من خلال أساليب التعلم متعدد الوسائط التي تدمج مصادر بيانات متنوعة، والتي أظهرت أداءً متفوقًا مقارنة بالنماذج أحادية الوسائط. على الرغم من التقدم في الذكاء الاصطناعي البيولوجي متعدد الوسائط، يشير المؤلفون إلى وجود فجوة كبيرة في تطبيق هذه التقنيات للكشف عن السكتة الدماغية في البيئات ما قبل المستشفى، مما يستلزم تطوير استراتيجيات نمذجة فعالة ومجموعات بيانات تعكس الظروف الواقعية.

تقدم الدراسة إطار عمل جديد للتعلم العميق متعدد الوسائط يستفيد من بيانات الوجه والكلام وحركة الجزء العلوي من الجسم التي تم جمعها خلال تقييم F.A.S.T. لتعزيز فحص السكتة الدماغية. تشمل المساهمات الرئيسية إنشاء مجموعة بيانات متعددة الوسائط تم جمعها ذاتيًا وتطوير إطار عمل قوي يدمج بين مشفرات خاصة بكل وسيلة مع آلية دمج قائمة على الانتباه. تظهر النتائج التجريبية أن النموذج المقترح يحقق حساسية تبلغ 1.0000 ونوعية عالية تبلغ 0.9167، متفوقًا على الأسس أحادية الوسائط ودمج الأزواج. ومع ذلك، يعترف المؤلفون بالقيود المتعلقة بحجم مجموعة البيانات الصغيرة والطبيعة المحاكية لأعراض السكتة الدماغية، مما يشير إلى أن العمل المستقبلي يجب أن يركز على توسيع مجموعة البيانات مع تسجيلات المرضى الحقيقية وتمثيل ديموغرافي متنوع لتحسين التعميم والقابلية السريرية.

Journal: Journal of Computer Science and Cybernetics, Volume: 42, Issue: 2
DOI: https://doi.org/10.15625/1813-9663/24199
Publication Date: 2026-06-18
Author(s): Ngoc-Khai Hoang et al.
Primary Topic: Artificial Intelligence in Healthcare

Overview

This study introduces a multimodal deep learning framework designed for the early identification of stroke symptoms in prehospital settings, utilizing data from the F.A.S.T. assessment. The framework integrates information from facial expressions, speech signals, and upper-body movements to improve diagnostic accuracy. Facial dynamics are analyzed using landmark-based features with a Transformer architecture, while speech is processed into mel spectrograms via an Audio Spectrogram Transformer. Upper-body movements are examined using an MLP-Mixer network. An attention-based fusion mechanism combines these modality-specific representations, enabling effective cross-modal interaction learning. Experimental results from a dataset of 222 videos demonstrate that the model achieves an accuracy of 95.83% and an F1-score of 96.00%, successfully detecting all stroke cases in the test set.

The proposed approach is non-invasive and suitable for prehospital scenarios, emphasizing the importance of rapid detection and decision support. The model outperforms unimodal baselines, achieving a strong balance between sensitivity and specificity. By leveraging pretrained models and an attention-based fusion strategy, the framework enhances performance while maintaining stability with limited data. Although the study acknowledges limitations regarding dataset size and representativeness, the findings affirm the potential of multimodal deep learning for practical early stroke screening. Future research will aim to expand the dataset with real stroke patient recordings and evaluate the system on independent datasets to improve generalization and reliability.

Introduction

The introduction of the research paper highlights the significance of stroke, specifically acute ischemic stroke, as a major cerebrovascular disorder resulting from either blocked or ruptured blood vessels in the brain. It is identified as a leading cause of long-term disability and mortality globally, with epidemiological studies suggesting that around one in four individuals will experience a stroke in their lifetime. This underscores the critical need for timely and appropriate interventions, emphasizing that early detection is vital for facilitating prompt treatment.

Discussion

The discussion section of the research paper emphasizes the critical need for automated stroke detection methods, particularly for non-expert users, due to the challenges faced by bystanders in recognizing early stroke symptoms. The authors highlight the transformative role of artificial intelligence (AI) in healthcare, particularly through multimodal learning approaches that integrate diverse data sources, which have shown superior performance compared to unimodal models. Despite advancements in multimodal biomedical AI, the authors note a significant gap in the application of these techniques for stroke detection in prehospital settings, necessitating the development of effective modeling strategies and datasets that reflect real-world conditions.

The study presents a novel multimodal deep learning framework that leverages facial, speech, and upper-body motion data collected during the F.A.S.T. assessment to enhance stroke screening. Key contributions include the creation of a self-collected multimodal dataset and the development of a robust framework that integrates various modality-specific encoders with an attention-based fusion mechanism. Experimental results demonstrate that the proposed model achieves a sensitivity of 1.0000 and a high specificity of 0.9167, outperforming unimodal and pairwise fusion baselines. However, the authors acknowledge limitations related to the small dataset size and the simulated nature of stroke symptoms, suggesting that future work should focus on expanding the dataset with real patient recordings and diverse demographic representation to improve generalization and clinical applicability.