DOI: https://doi.org/10.1038/s41598-024-84883-2
PMID: https://pubmed.ncbi.nlm.nih.gov/39779796
تاريخ النشر: 2025-01-08
المؤلف: R. Shelishiyah وآخرون
الموضوع الرئيسي: تخطيط الدماغ وواجهات الدماغ-الكمبيوتر
نظرة عامة
تقدم ورقة البحث واجهة حاسوبية عصبية هجينة (BCI) تدمج تخطيط الدماغ الكهربائي (EEG) وطيف الأشعة تحت الحمراء القريبة الوظيفية (fNIRS) لتعزيز تصنيف الحركات الحركية متعددة الفئات. تتناول الدراسة بشكل خاص التحديات المتعلقة بتصنيف الأنشطة الحركية المتعارضة والمتطابقة باستخدام تقنيات التعلم العميق، وخاصة الشبكات العصبية التلافيفية (CNN) وشبكات الذاكرة الطويلة القصيرة ثنائية الاتجاه (Bi-LSTM). تم تقييم النماذج على مهمة تنفيذ حركية من أربع فئات (اليد اليمنى، اليد اليسرى، الذراع اليمنى، الذراع اليسرى) باستخدام مجموعة بيانات CORE، محققة معدلات دقة مثيرة للإعجاب بلغت 98.3% لنموذج CNN و99% لنموذج CNN الهجين.
تشير النتائج إلى أن نموذج CNN الهجين، الذي يتضمن طبقتين من CNN وطبقتين من Bi-LSTM، يتفوق على نماذج CNN المستقلة من خلال التقاط الأنماط المكانية والزمنية في البيانات بشكل فعال. بالإضافة إلى ذلك، ساعد استخدام الحشو الصفري مع وحدة تنشيط خطية أسية (ELU) والتجميع الأقصى في تسهيل التعميم السلس والتقارب الأسرع للنموذج. أظهر نموذج CNN الهجين دقة تصنيف بلغت 99% مع الحد الأدنى من المعالجة المسبقة، مما يبرز إمكانيته في تحسين تطبيقات BCI في تصنيف الحركات الحركية. كانت مقاييس الأداء، بما في ذلك الدقة، ودرجة F1، والدقة، والاسترجاع، وAUC، مرتفعة باستمرار عبر كلا النموذجين، مما يبرز فعالية النهج المقترح.
الطرق
توضح قسم المنهجية النهج المنهجي المستخدم في البحث لتحقيق أهداف الدراسة. تتفصل في التصميم التجريبي، بما في ذلك اختيار المشاركين، وتقنيات جمع البيانات، والأساليب التحليلية المستخدمة. استخدمت الدراسة نهجًا كميًا، مستفيدة من الأدوات الإحصائية لتحليل البيانات واستخلاص استنتاجات ذات مغزى.
تشير النتائج الرئيسية من المنهجية إلى أن الطرق المختارة كانت فعالة في التقاط المتغيرات ذات الصلة وضمان موثوقية النتائج. ساعد استخدام مجموعات التحكم والتوزيع العشوائي في تقليل التحيزات، مما عزز صلاحية النتائج. بشكل عام، أسست الإطار المنهجي قاعدة قوية للتحليل والتفسير اللاحقين للبيانات.
النتائج
تشير نتائج الدراسة إلى أن نموذج CNN الهجين، الذي يدمج طبقات CNN وBi-LSTM، يتفوق بشكل كبير على الهياكل التقليدية لـ CNN وطرق التعلم الآلي الأخرى مثل LDA وSVM في تصنيف المهام الحركية من بيانات EEG وfNIRS. كانت مجموعة البيانات، المشتقة من مجموعة بيانات CORE، تتضمن تسجيلات متزامنة خلال مهام حركية متنوعة، مع ميزات fNIRS تعتمد على التغيرات في كثافات الأكسجين ($HbO$) والدم غير المؤكسد ($HbR$). ومن الجدير بالذكر أن نموذج CNN الهجين حقق دقة بلغت 99% مع خسارة قدرها 0.045، مما يظهر أداءً محسنًا مقارنة بنموذج CNN أبسط مكون من 5 طبقات، والذي سجل دقة بلغت 98%.
تسلط الدراسة الضوء على أهمية تقنيات معالجة البيانات، مثل حجب الصفر وإنشاء التكرار، التي خففت من المشكلات المتعلقة بالتحيز المنخفض وحسنت التعميم عبر العصور. ساعد استخدام دالة تنشيط ELU في تحقيق تقارب أسرع مقارنةً بـ ReLU، خاصة بسبب انتشار القيم السلبية في بيانات الإدخال. كشفت تحليل مصفوفة الالتباس عن تقليل في التصنيفات الخاطئة، خاصة للفئات التي تتوافق مع حركات اليد اليمنى والذراع اليمنى، مما يبرز فعالية النموذج في التمييز بين الحركات المتعارضة والمتطابقة. بشكل عام، تشير النتائج إلى أن نموذج CNN الهجين بارع في استخراج الميزات الزمانية المكانية، مما يعزز دقة تصنيف الحركات الحركية في بيانات التصوير العصبي.
المناقشة
في هذا القسم، يصف المؤلفون منهجيتهم لتصنيف المهام الحركية باستخدام مجموعة بيانات تتكون من تسجيلات EEG وfNIRS المتزامنة من 15 موضوعًا صحيًا من الذكور. تشمل مجموعة البيانات أربع مهام للأطراف العلوية، مع تطبيق تقنيات زيادة البيانات لتعزيز مجموعة البيانات المحدودة. بشكل محدد، تم استخدام تقنيات تقسيم الوقت والتداخل، إلى جانب تصفية بيانات EEG في نطاقات الميو (8-13 هرتز) والبيتا (13-30 هرتز) لتحسين جودة الإشارة. تم معالجة بيانات fNIRS باستخدام قانون بير-لامبرت المعدل لاشتقاق التغيرات في الكثافة الضوئية، والتي تم تصفيتها بعد ذلك لاستخراج إشارات التصور والتنفيذ الحركي ذات الصلة.
استخدم استخراج الميزات مقاييس إحصائية شائعة وتقنيات تصفية مكانية، وخاصة خوارزمية النمط المكاني الشائع (CSP)، التي تم تعديلها للتصنيف متعدد الفئات عن طريق تحويل الفئات الأربع إلى مشكلات ثنائية الفئة. قام المؤلفون أيضًا بتحسين CSP باستخدام طريقة Thin-ICA لاستخراج المكونات المستقلة من بيانات EEG، مما يسهل استخراج الميزات بشكل أفضل للمهام الحركية. يجمع النموذج الهجين المطور بين الشبكات العصبية التلافيفية (CNN) وشبكات الذاكرة الطويلة القصيرة ثنائية الاتجاه (Bi-LSTM)، مما يلتقط بشكل فعال الميزات المكانية والزمنية. حقق النموذج دقة تصنيف بلغت 99%، مما يظهر أداءً متفوقًا مقارنةً بنماذج CNN التقليدية، خاصة عند استخدام الحشو الصفري ودوال التنشيط المحددة. تشير النتائج إلى أن النهج الهجين يحسن بشكل كبير تصنيف المهام الحركية المعقدة مع الحد الأدنى من المعالجة المسبقة.
DOI: https://doi.org/10.1038/s41598-024-84883-2
PMID: https://pubmed.ncbi.nlm.nih.gov/39779796
Publication Date: 2025-01-08
Author(s): R. Shelishiyah et al.
Primary Topic: EEG and Brain-Computer Interfaces
Overview
The research paper presents a Hybrid-Brain Computer Interface (BCI) that integrates Electroencephalogram (EEG) and functional Near Infra-red Spectroscopy (fNIRS) to enhance the classification of multi-class motor movements. The study specifically addresses the challenges of classifying contralateral and ipsilateral motor activities using deep learning techniques, particularly Convolutional Neural Networks (CNN) and Bidirectional Long Short-Term Memory (Bi-LSTM) networks. The models were evaluated on a four-class motor execution task (Right Hand, Left Hand, Right Arm, Left Arm) using the CORE dataset, achieving impressive accuracy rates of 98.3% for the CNN and 99% for the Hybrid CNN model.
The findings indicate that the Hybrid CNN model, which incorporates two CNN layers and two Bi-LSTM layers, outperforms standalone CNN models by effectively capturing both spatial and temporal patterns in the data. Additionally, the use of zero padding with Exponential Linear Unit (ELU) activation and max pooling facilitated smoother generalization and faster convergence of the model. The Hybrid CNN model demonstrated a classification accuracy of 99% with minimal preprocessing, highlighting its potential for improving BCI applications in motor movement classification. Performance metrics, including accuracy, F1-score, precision, recall, and AUC, were consistently high across both models, underscoring the effectiveness of the proposed approach.
Methods
The methodology section outlines the systematic approach employed in the research to address the study’s objectives. It details the experimental design, including the selection of participants, data collection techniques, and analytical methods utilized. The study employed a quantitative approach, utilizing statistical tools to analyze the data and draw meaningful conclusions.
Key findings from the methodology indicate that the chosen methods were effective in capturing the relevant variables and ensuring the reliability of the results. The use of control groups and randomization helped mitigate biases, enhancing the validity of the findings. Overall, the methodological framework established a robust basis for the subsequent analysis and interpretation of the data.
Results
The results of the study indicate that the Hybrid CNN model, which integrates CNN and Bi-LSTM layers, significantly outperforms traditional CNN architectures and other machine learning methods such as LDA and SVM in classifying motor tasks from EEG and fNIRS data. The dataset, derived from the CORE dataset, involved simultaneous recordings during various motor tasks, with fNIRS features based on changes in optical densities of oxygenated ($HbO$) and deoxygenated ($HbR$) blood. Notably, the Hybrid CNN achieved an accuracy of 99% with a loss of 0.045, demonstrating improved performance over a simpler 5-layer CNN model, which recorded an accuracy of 98%.
The study highlights the importance of data preprocessing techniques, such as zero masking and redundancy creation, which mitigated issues related to underfitting and improved generalization across epochs. The use of ELU activation function facilitated faster convergence compared to ReLU, particularly due to the prevalence of negative values in the input data. The confusion matrix analysis revealed a reduction in misclassifications, especially for classes corresponding to right hand and right arm movements, underscoring the model’s effectiveness in distinguishing between contralateral and ipsilateral movements. Overall, the findings suggest that the Hybrid CNN model is adept at extracting spatio-temporal features, thereby enhancing the classification accuracy of motor movements in neuroimaging data.
Discussion
In this section, the authors describe their methodology for classifying motor tasks using a dataset comprising simultaneous EEG and fNIRS recordings from 15 healthy male subjects. The dataset includes four upper limb tasks, with data augmentation techniques applied to enhance the limited dataset. Specifically, time-slicing and overlapping methods were employed, along with filtering EEG data in the mu (8-13 Hz) and beta (13-30 Hz) bands to improve signal quality. The fNIRS data was processed using the Modified Beer-Lambert Law to derive changes in optical density, which were then filtered to extract relevant motor imagery and execution signals.
Feature extraction utilized common statistical measures and spatial filtering techniques, specifically the Common Spatial Pattern (CSP) algorithm, which was adapted for multi-class classification by transforming the four classes into two-class problems. The authors further enhanced CSP with the Thin-ICA method to extract independent components from EEG data, facilitating better feature extraction for motor tasks. The hybrid model developed combines Convolutional Neural Networks (CNN) and Bidirectional Long Short-Term Memory (Bi-LSTM) networks, effectively capturing both spatial and temporal features. The model achieved a classification accuracy of 99%, demonstrating superior performance compared to traditional CNN models, particularly when employing zero padding and specific activation functions. The results indicate that the hybrid approach significantly improves the classification of complex motor tasks with minimal preprocessing.