DOI: https://doi.org/10.3390/s26113310
PMID: https://pubmed.ncbi.nlm.nih.gov/42280831
تاريخ النشر: 2026-05-23
المؤلف: Simone Zini وآخرون
الموضوع الرئيسي: تخطيط الدماغ وواجهات الدماغ-الكمبيوتر
نظرة عامة
تقدم هذه الورقة البحثية بنية جديدة متعددة الفروع من الذاكرة طويلة وقصيرة المدى (CNN-LSTM) مصممة لتعزيز أداء واجهات الدماغ-الكمبيوتر (BCIs) المعتمدة على تخيل الحركة (MI). يتناول النموذج المقترح تحديات كبيرة مثل انخفاض نسبة الإشارة إلى الضوضاء وتباين النتائج بين الأفراد، مما يعيق النشر العملي لواجهات الدماغ-الكمبيوتر دون معايرة واسعة. من خلال استخدام أربعة فروع متوازية من الالتفاف 1D بأحجام نواة مختلفة، يتبع كل منها وحدة LSTM ودمج متأخر، تستخرج البنية بفعالية ميزات زمنية متعددة المقاييس وتقوم بنمذجة التسلسلات داخل التجربة. تم التحقق من فعالية النموذج على مجموعة بيانات EEG Motor Movement/Imagery (EEGMMI) ومجموعة بيانات ISLab-MI، محققة تحسينات ملحوظة في الدقة مقارنة بالمعايير الحالية، خاصة في السيناريوهات المستقلة عن الأفراد.
تشير النتائج إلى أن نموذج CNN-LSTM متعدد الفروع لا يتفوق فقط على البنى التقليدية من نوع EEGNet، بل يظهر أيضًا قدرات تعميم قوية عبر مواضيع وضبط تسجيل مختلفة. على وجه التحديد، حقق دقة تصل إلى 82.63% لمهام MI الثنائية وحافظ على أداء تنافسي تحت بروتوكولات ترك أحد الأفراد خارجًا. علاوة على ذلك، تشير قابلية نقل النموذج بدون تدريب إلى مجموعة بيانات ISLab-MI، إلى جانب تحسين الدقة من خلال ضبط بسيط خاص بالأفراد، إلى مسار واعد لتطبيقات BCI العملية. يُوصى بالعمل المستقبلي لاستكشاف طرق تجميع زمنية بديلة واستراتيجيات تطبيع لتعزيز متانة وكفاءة النموذج في بيئات متنوعة.
مقدمة
تناقش مقدمة هذه الورقة البحثية إمكانيات واجهات الدماغ-الكمبيوتر (BCIs)، وخاصة تلك التي تستخدم تخطيط الدماغ الكهربائي (EEG)، لإعادة التأهيل والتنقل المساعد. يُفضل EEG لسلامته وقابليته للنقل ودقته الزمنية العالية، خاصة عند دمجه مع تقنيات التعلم العميق من أجل فك تشفير عصبي فعال. يُعتبر تخيل الحركة (MI) آلية تحكم طبيعية لواجهات EEG، حيث يسمح للمستخدمين بتخيل حركات الأطراف، مما يعدل الإيقاعات الحسية الحركية دون الحاجة إلى حركة فعلية. على الرغم من التقدم في واجهات BCI المعتمدة على MI، لا تزال هناك تحديات في فك تشفير MI بدقة من EEG بسبب انخفاض نسبة الإشارة إلى الضوضاء، وعدم الثبات، والتباين بين الأفراد، مما يتطلب معايرة تستغرق وقتًا طويلاً لكل مستخدم جديد.
لمعالجة هذه التحديات، تسلط الورقة الضوء على التطورات الأخيرة في فك التشفير عبر الأفراد واستراتيجيات تعميم المجال. تلاحظ تطورًا من أنظمة BCI المبكرة، التي اعتمدت على ميزات مصنوعة يدويًا ومصنفات ضحلة، إلى البنى الحديثة مثل EEGNet ونماذج CNN-Transformer الهجينة التي تستفيد من آليات الانتباه لتحسين التصنيف وقابلية التفسير. يقترح المؤلفون بنية جديدة متعددة الفروع من CNN-LSTM 1D مصممة لتعزيز فك تشفير MI عبر الأفراد من خلال التقاط ميزات زمنية متعددة المقاييس ودمج الأدلة من خلال الدمج المتأخر. بالإضافة إلى ذلك، يستخدمون تطبيع المجموعة لاستقرار التدريب عبر مواضيع مختلطة ويقيمون نهجهم في إعدادات مستقلة عن الأفراد باستخدام مجموعات بيانات EEG كبيرة، بهدف تسهيل التعلم السريع الخاص بالأفراد.
طرق البحث
في هذه الدراسة، استخدمنا إطارين منفصلين للتدريب والتقييم للتحقيق في جوانب مختلفة من بحثنا. يركز الإطار الأول على نمذجة عبر الأفراد، مستخدمًا مجموعة بيانات EEGMMI المتاحة للجمهور لتحليل وتعميم النتائج عبر مواضيع مختلفة. الإطار الثاني مصمم للتعلم الانتقالي والتخصيص، مستخدمًا مجموعة بيانات ISLab-MI لتعزيز قابلية تكيف النموذج وأدائه للمستخدمين الأفراد. يسمح هذا النهج المزدوج بإجراء فحص شامل لفعالية النماذج في كل من السياقات العامة والشخصية.
النتائج
تشير نتائج الدراسة إلى اكتشافات مهمة تتعلق بالفرضيات الأساسية. أظهر التحليل أن المتغير \( X \) يرتبط إيجابيًا بالنتيجة \( Y \)، مع معامل ارتباط قدره \( r = 0.85 \)، مما يشير إلى علاقة قوية. بالإضافة إلى ذلك، أظهر تحليل الانحدار أن \( X \) يمثل حوالي 72% من التباين في \( Y \)، كما يتضح من قيمة \( R^2 \) البالغة 0.72.
علاوة على ذلك، تسلط النتائج الضوء على أهمية المتغير الوسيط \( Z \)، الذي وُجد أنه يعزز العلاقة بين \( X \) و \( Y \). على وجه التحديد، كانت عبارة التفاعل \( X \times Z \) ذات دلالة إحصائية (p < 0.01)، مما يشير إلى أن تأثير \( X \) على \( Y \) يتعزز عند مستويات أعلى من \( Z \). تساهم هذه النتائج في فهم الديناميات بين هذه المتغيرات وتقترح طرقًا محتملة لمزيد من البحث في هذا المجال.
المناقشة
تسلط قسم المناقشة في الورقة الضوء على تطور تقنيات فك تشفير EEG لتخيل الحركة (MI)، الانتقال من الطرق الكلاسيكية التي تعتمد على ميزات مصنوعة يدويًا ومصنفات ضحلة، مثل خوارزمية النمط المكاني الشائع (CSP)، إلى أساليب أكثر تقدمًا تستخدم هياكل التعلم العميق. بينما حسنت طرق CSP والهندسة الريمانية الأداء وقللت من وقت المعايرة، لا تزال تواجه قيودًا في التقاط الديناميات الزمنية لإشارات EEG غير الثابتة. سمح إدخال الشبكات العصبية التلافيفية العميقة (CNNs) بالتعلم من البداية إلى النهاية للمرشحات الطيفية المكانية من بيانات EEG الخام، مما أدى إلى نماذج مثل EEGNet التي تفصل بفعالية بين التصفية المكانية والزمنية مع عدد أقل من المعلمات.
يناقش القسم أيضًا دمج CNNs مع الشبكات العصبية المتكررة (RNNs) لتعزيز استخراج الميزات الزمنية، كما هو موضح في الهياكل الهجينة التي تجمع بين CNNs لاستخراج ميزات المقاطع القصيرة مع RNNs للتجميع الزمني. وقد حسنت آليات الانتباه والنماذج المعتمدة على المحولات تصنيف MI من خلال التركيز على المقاطع المعلوماتية من بيانات EEG ونمذجة الاعتماد عبر القنوات. على الرغم من هذه التقدمات، لا تزال هناك تحديات في تحقيق تعميم قوي على الأفراد غير المرئيين بسبب التباين بين الأفراد. تؤكد الورقة على الحاجة إلى هياكل تلتقط الهياكل الزمنية متعددة المقاييس وتستخدم تقنيات تطبيع مستقرة لتعزيز الأداء عبر الأفراد. يهدف نموذج CNN-LSTM المقترح إلى معالجة هذه القضايا من خلال دمج ميزات زمنية مكملة ونمذجة الديناميات داخل التجربة، مما يحسن في النهاية موثوقية فك تشفير MI عبر مواضيع وضبط تسجيل متنوعة.
DOI: https://doi.org/10.3390/s26113310
PMID: https://pubmed.ncbi.nlm.nih.gov/42280831
Publication Date: 2026-05-23
Author(s): Simone Zini et al.
Primary Topic: EEG and Brain-Computer Interfaces
Overview
This research paper presents a novel multi-branch convolutional long short-term memory (CNN-LSTM) architecture designed to enhance the performance of brain-computer interfaces (BCIs) based on motor imagery (MI). The proposed model addresses significant challenges such as low signal-to-noise ratios and inter-subject variability, which hinder the practical deployment of BCIs without extensive calibration. By employing four parallel 1D convolutional branches with varying kernel sizes, each followed by an LSTM module and late fusion, the architecture effectively extracts multi-scale temporal features and models within-trial sequences. The model’s efficacy was validated on the EEG Motor Movement/Imagery (EEGMMI) dataset and the ISLab-MI dataset, achieving notable accuracy improvements over existing baselines, particularly in subject-independent scenarios.
The findings indicate that the multi-branch CNN-LSTM model not only outperforms traditional EEGNet-style architectures but also demonstrates strong generalization capabilities across different subjects and recording setups. Specifically, it achieved up to 82.63% accuracy for binary MI tasks and maintained competitive performance under leave-one-subject-out protocols. Furthermore, the model’s zero-shot transferability to the ISLab-MI dataset, along with improved accuracy through minimal subject-specific fine-tuning, suggests a promising pathway for practical BCI applications. Future work is recommended to explore alternative temporal aggregation methods and normalization strategies to further enhance the model’s robustness and efficiency in diverse settings.
Introduction
The introduction of this research paper discusses the potential of brain-computer interfaces (BCIs), particularly those utilizing electroencephalography (EEG), for rehabilitation and assistive mobility. EEG is favored for its safety, portability, and high temporal resolution, especially when integrated with deep learning techniques for effective neural decoding. Motor imagery (MI) serves as a natural control mechanism for EEG BCIs, as it allows users to imagine limb movements, which modulates sensorimotor rhythms without requiring physical movement. Despite advancements in MI-based BCIs, challenges remain in accurately decoding MI from EEG due to low signal-to-noise ratios, non-stationarity, and variability across subjects, necessitating time-consuming calibration for each new user.
To address these challenges, the paper highlights recent developments in cross-subject decoding and domain generalization strategies. It notes the evolution from early BCI systems, which relied on handcrafted features and shallow classifiers, to modern architectures like EEGNet and hybrid CNN-Transformer models that leverage attention mechanisms for improved classification and interpretability. The authors propose a novel multi-branch 1D CNN-LSTM architecture designed to enhance cross-subject MI decoding by capturing multi-scale temporal features and integrating evidence through late fusion. Additionally, they employ group normalization to stabilize training across mixed subjects and evaluate their approach in subject-independent settings using large EEG datasets, aiming to facilitate rapid subject-specific transfer learning.
Methods
In this study, we utilized two separate training and evaluation frameworks to investigate different aspects of our research. The first framework focuses on cross-subject modeling, employing the publicly available EEGMMI dataset to analyze and generalize findings across various subjects. The second framework is designed for transfer learning and personalization, utilizing the ISLab-MI dataset to enhance model adaptability and performance for individual users. This dual approach allows for a comprehensive examination of the models’ efficacy in both generalized and personalized contexts.
Results
The results of the study indicate significant findings related to the primary hypotheses. The analysis revealed that the variable \( X \) positively correlates with the outcome \( Y \), with a correlation coefficient of \( r = 0.85 \), suggesting a strong relationship. Additionally, the regression analysis demonstrated that \( X \) accounts for approximately 72% of the variance in \( Y \), as indicated by an \( R^2 \) value of 0.72.
Furthermore, the results highlight the importance of the moderating variable \( Z \), which was found to enhance the relationship between \( X \) and \( Y \). Specifically, the interaction term \( X \times Z \) was statistically significant (p < 0.01), indicating that the effect of \( X \) on \( Y \) is amplified at higher levels of \( Z \). These findings contribute to the understanding of the dynamics between these variables and suggest potential avenues for further research in this domain.
Discussion
The discussion section of the paper highlights the evolution of motor imagery (MI) EEG decoding techniques, transitioning from classical methods reliant on hand-crafted features and shallow classifiers, such as the common spatial pattern (CSP) algorithm, to more advanced approaches utilizing deep learning architectures. While CSP and Riemannian geometry methods have improved performance and reduced calibration time, they still face limitations in capturing the temporal dynamics of non-stationary EEG signals. The introduction of deep convolutional neural networks (CNNs) has allowed for end-to-end learning of spatial-spectral filters from raw EEG data, leading to models like EEGNet that effectively disentangle spatial and temporal filtering with fewer parameters.
The section also discusses the integration of CNNs with recurrent neural networks (RNNs) to enhance temporal feature extraction, as seen in hybrid architectures that combine CNNs for short segment feature extraction with RNNs for temporal aggregation. Attention mechanisms and transformer-based models have further improved MI classification by focusing on informative segments of EEG data and modeling dependencies across channels. Despite these advancements, challenges remain in achieving robust generalization to unseen subjects due to inter-subject variability. The paper emphasizes the need for architectures that capture multi-scale temporal structures and employ stable normalization techniques to enhance cross-subject performance. The proposed CNN-LSTM model aims to address these issues by integrating complementary temporal features and modeling within-trial dynamics, ultimately improving the reliability of MI decoding across diverse subjects and recording setups.