تعلم تمثيل EEG متعدد المجالات مع رسم خرائط عمودية ودمج قائم على الانتباه لتصنيف الحمل المعرفي Multidomain EEG Representation Learning With Orthogonal Mapping and Attention-Based Fusion for Cognitive Load Classification

شارك:
المجلة: IEEE Transactions on Human-Machine Systems، المجلد: 56، العدد: 2
DOI: https://doi.org/10.1109/thms.2026.3651706
تاريخ النشر: 2026-01-29
المؤلف: Prithila Angkan وآخرون
الموضوع الرئيسي: تخطيط الدماغ وواجهات الدماغ-الكمبيوتر

نظرة عامة

تقدم هذه البحث نهجًا جديدًا لتعلم التمثيل متعدد المجالات لتصنيف الحمل المعرفي باستخدام إشارات تخطيط الدماغ الكهربائي (EEG). تقوم الطريقة المقترحة بمعالجة بيانات EEG الخام من خلال مشفر تلافيفي لاستخراج تمثيلات المجال الزمني، تليها حساب كثافة الطيف الترددي (PSD) عبر خمسة نطاقات ترددية EEG لإنشاء خرائط طبوغرافية متعددة الطيف. ثم يتم تحليل هذه الخرائط بواسطة مشفر منفصل لاشتقاق تمثيلات المجال الترددي. يتم استخدام وحدة انتباه متعددة المجالات لمحاذاة هذه التضمينات الخاصة بالمجالات في مساحة مشتركة، مما يعزز قدرة النموذج على تمييز العلاقات المهمة بين المجالات. بالإضافة إلى ذلك، يتم دمج قيد الإسقاط العمودي أثناء التدريب لتحسين المسافات بين الفئات والتجمع داخل الفئة، مما يسهل التمييز الأفضل بين حالات الحمل المعرفي.

تم التحقق من فعالية هذا النهج من خلال تجارب واسعة على مجموعات بيانات CL-Drive وCLARE، مما يظهر أداءً متفوقًا مقارنةً بالطرق التقليدية أحادية المجال وحلول أخرى متطورة. تتضمن الدراسة تحليلات إلغاء وتحليلات حساسية، تكشف أن نطاقات التردد ثيتا وألفا تؤثر بشكل كبير على تصنيف الحمل المعرفي. بينما تظهر الطريقة نتائج واعدة، فإنها تسلط الضوء أيضًا على تعقيد دمج كل من معلومات المجال الزمني والمجال الترددي، مما يشير إلى أن العمل المستقبلي يمكن أن يركز على تطوير آليات انتباه مكاني زمني خفيفة الوزن وتحسين قيد العمودية لأداء أفضل عبر مهام EEG متنوعة.

مقدمة

تناقش مقدمة هذه الورقة البحثية تطبيق تخطيط الدماغ الكهربائي (EEG) كطريقة غير جراحية لقياس النشاط الكهربائي للدماغ، مع التأكيد على أهميتها في تقييم الحمل المعرفي والعواطف. الحمل المعرفي، الذي يُعرف بأنه الجهد العقلي المطلوب لأداء المهام، يؤثر بشكل كبير على مختلف الأنشطة، بما في ذلك القيادة، حيث يمكن أن يؤدي زيادة الحمل المعرفي إلى تدهور الأداء وزيادة خطر الحوادث. لقد برز EEG كطريقة بارزة لتقييم الحمل المعرفي نظرًا لدقتها الزمنية العالية وقدرتها على التقاط التغيرات الدقيقة في نشاط الدماغ، خاصة في مناطق مثل القشرة الجبهية.

يقترح المؤلفون إطار عمل جديد لتعلم التمثيل متعدد المجالات يدمج كل من بيانات EEG في المجال الزمني والمجال الترددي لتعزيز تصنيف الحمل المعرفي. يستخدم هذا النهج بيانات سلسلة زمنية خام من EEG وخرائط طبوغرافية متعددة الطيف، مع استخدام استراتيجية رسم بياني عمودي لضمان أن الميزات من مجالات مختلفة تكمل بعضها البعض ولا تتكرر. بالإضافة إلى ذلك، يتم دمج آلية انتباه لتسليط الضوء على الميزات ذات الصلة، مما يحسن من تعميم النموذج وأداء التصنيف. تظهر الطريقة المقترحة نتائج متطورة على مجموعتين من بيانات الحمل المعرفي المعتمدة على EEG، CLARE وCL-Drive، مما يبرز فعالية دمج المعلومات متعددة المجالات لاكتشاف الحمل المعرفي.

النتائج

في قسم “النتائج”، يقوم المؤلفون بتقييم طريقتهم المقترحة لتصنيف الحمل المعرفي بناءً على بيانات EEG باستخدام مجموعات بيانات CL-Drive وCLARE. يبدأون بمقارنة أداء نموذجهم مع الحلول المتطورة الموجودة، مع تسليط الضوء على فعاليته في تصنيف الحمل المعرفي. يتم اختبار قوة النموذج بشكل أكبر ضد الضوضاء في كلا المجموعتين، مما يضمن موثوقيته تحت ظروف متغيرة.

بالإضافة إلى ذلك، يقوم المؤلفون بإجراء دراسات إلغاء وتحليلات حساسية للتحقيق في تأثير المكونات والمعلمات المختلفة ضمن إطار عملهم. يتم تقديم النتائج بشكل كمي، مع دقة عددية ودرجات F1 مصحوبة بانحرافات معيارية، والتي يتم الإشارة إليها بين قوسين. في جميع الجداول، يتم التأكيد على أعلى مقاييس الأداء بالخط العريض لتسهيل المقارنة.

المناقشة

في قسم المناقشة من الورقة البحثية، يسلط المؤلفون الضوء على الاهتمام المتزايد في تصنيف مستويات الحمل المعرفي باستخدام بيانات EEG، مشيرين إلى قيد كبير بسبب ندرة مجموعات البيانات المتاحة للجمهور. يحددون CLARE وCL-Drive كمجموعات البيانات الرئيسية التي توفر قياسات الحمل المعرفي جنبًا إلى جنب مع إشارات EEG. تكشف مراجعة الأدبيات الحالية عن منهجيات متنوعة تم استخدامها لتصنيف الحمل المعرفي، بما في ذلك استخدام الشبكات العصبية الاصطناعية (ANNs)، وآلات الدعم الناقل (SVM)، وتقنيات التعلم العميق. من الجدير بالذكر أن الدراسات قد أدت إلى مستويات متعددة من الحمل المعرفي من خلال المهام الحسابية والأنشطة المتعلقة بالقيادة، مستخدمةً طرق استخراج ميزات مختلفة مثل انتروبيا معاملات الموجات وPSD.

بالإضافة إلى ذلك، يناقش المؤلفون تصنيف العواطف من EEG، مع التأكيد على توفر العديد من مجموعات البيانات مثل SEED وDEAP، التي سهلت تطوير نماذج متنوعة من التعلم الآلي والتعلم العميق للاعتراف بالعواطف. يصفون عدة نهج مبتكرة، بما في ذلك استخدام تحويلات الموجات المنفصلة، والشبكات التلافيفية الرسومية، وأطر التعلم الذاتي التي تعزز أداء التصنيف من خلال الاستفادة من كل من البيانات المعلّمة وغير المعلّمة. تؤكد النتائج على إمكانية النقل بين المجالات بين الحمل المعرفي والعواطف، مما يشير إلى أن التقدم في تصنيف العواطف يمكن أن يوجه منهجيات تقييم الحمل المعرفي. بشكل عام، يبرز القسم الحاجة إلى تحسين مجموعات البيانات والمنهجيات لتعزيز دقة وقابلية تطبيق تصنيف الحمل المعرفي والعواطف المعتمد على EEG.

Journal: IEEE Transactions on Human-Machine Systems, Volume: 56, Issue: 2
DOI: https://doi.org/10.1109/thms.2026.3651706
Publication Date: 2026-01-29
Author(s): Prithila Angkan et al.
Primary Topic: EEG and Brain-Computer Interfaces

Overview

This research presents a novel multi-domain representation learning approach for classifying cognitive load using Electroencephalogram (EEG) signals. The proposed method processes raw EEG data through a convolutional encoder to extract time domain representations, followed by the computation of Power Spectral Density (PSD) across five EEG frequency bands to create multi-spectral topography maps. These maps are then analyzed by a separate encoder to derive frequency domain representations. A multi-domain attention module is employed to align these domain-specific embeddings into a shared space, enhancing the model’s ability to discern important inter-domain relationships. Additionally, an orthogonal projection constraint is integrated during training to improve interclass distances and intra-class clustering, thereby facilitating better differentiation of cognitive states.

The effectiveness of this approach is validated through extensive experiments on the CL-Drive and CLARE datasets, demonstrating superior performance compared to traditional single-domain methods and other state-of-the-art solutions. The study includes ablation and sensitivity analyses, revealing that the Theta and Alpha frequency bands significantly influence cognitive load classification. While the method shows promising results, it also highlights the complexity of integrating both time and frequency domain information, suggesting future work could focus on developing lightweight spatial-temporal attention mechanisms and optimizing the orthogonality constraint for improved performance across diverse EEG tasks.

Introduction

The introduction of this research paper discusses the application of electroencephalography (EEG) as a non-invasive technique for measuring brain electrical activity, emphasizing its relevance in assessing cognitive load and emotions. Cognitive load, defined as the mental effort required for task performance, significantly influences various activities, including driving, where increased cognitive load can impair performance and elevate accident risk. EEG has emerged as a prominent method for evaluating cognitive load due to its high temporal resolution and ability to capture subtle brain activity changes, particularly in regions such as the prefrontal cortex.

The authors propose a novel multi-domain representation learning framework that integrates both time-domain and frequency-domain EEG data to enhance cognitive load classification. This approach utilizes raw EEG time-series data and multi-spectral topography maps, employing an orthogonal mapping strategy to ensure that features from different domains are complementary and non-redundant. Additionally, an attention mechanism is incorporated to emphasize relevant features, improving the model’s generalization and classification performance. The proposed method demonstrates state-of-the-art results on two public EEG-based cognitive load datasets, CLARE and CL-Drive, highlighting the effectiveness of combining multi-domain information for cognitive load detection.

Results

In the “Results” section, the authors evaluate their proposed method for classifying cognitive load based on EEG data using the CL-Drive and CLARE datasets. They begin by comparing their model’s performance to existing state-of-the-art solutions, highlighting its efficacy in cognitive load classification. The robustness of the model is further tested against noise in both datasets, ensuring its reliability under varying conditions.

Additionally, the authors conduct ablation studies and sensitivity analyses to investigate the impact of different components and parameters within their framework. The findings are quantitatively presented, with numerical accuracy and F1 scores accompanied by standard deviations, which are indicated in parentheses. In all tables, the highest performance metrics are emphasized in bold to facilitate comparison.

Discussion

In the discussion section of the research paper, the authors highlight the growing interest in classifying cognitive load levels using EEG data, noting a significant limitation due to the scarcity of publicly available datasets. They identify CLARE and CL-Drive as the primary datasets that provide cognitive load measurements alongside EEG signals. The review of existing literature reveals various methodologies employed for cognitive load classification, including the use of artificial neural networks (ANNs), support vector machines (SVM), and deep learning techniques. Notably, studies have induced multiple cognitive load levels through arithmetic tasks and driving-related activities, employing different feature extraction methods such as wavelet coefficient entropy and power spectral density (PSD).

Additionally, the authors discuss the classification of affect from EEG, emphasizing the availability of numerous datasets like SEED and DEAP, which have facilitated the development of various machine learning and deep learning models for emotion recognition. They describe several innovative approaches, including the use of discrete wavelet transforms, graph convolutional networks, and self-supervised learning frameworks that enhance the classification performance by leveraging both labeled and unlabeled data. The findings underscore the potential for cross-domain transferability between cognitive load and affect, suggesting that advancements in emotion classification could inform cognitive load assessment methodologies. Overall, the section emphasizes the need for improved datasets and methodologies to enhance the accuracy and applicability of EEG-based cognitive load and affect classification.