DOI: https://doi.org/10.3389/fnhum.2025.1542774
PMID: https://pubmed.ncbi.nlm.nih.gov/40110537
تاريخ النشر: 2025-03-05
المؤلف: Yueying Zhou وآخرون
الموضوع الرئيسي: تخطيط الدماغ وواجهات الدماغ-الكمبيوتر
نظرة عامة
تبحث ورقة البحث في التعرف على الحمل المعرفي (CLR) باستخدام إشارات EEG، مع معالجة القيود في النماذج الحالية التي تعتمد غالبًا على مهام معرفية بسيطة. لمحاكاة بيئات التشغيل الواقعية بشكل أفضل، شملت الدراسة ستة وثلاثين مشاركًا يؤدون مهام طيران محاكاة بمستويات مختلفة من الحمل المعرفي (منخفض، متوسط، وعالي). تم جمع بيانات EEG عبر ثلاث جلسات، جنبًا إلى جنب مع تقييمات ذاتية ومقاييس أداء موضوعية. استخدمت التحليل عدة نماذج من الشبكات العصبية التلافيفية العميقة (CNN) لتصنيف مستويات الحمل المعرفي بناءً على بيانات EEG الخام. كشفت النتائج الرئيسية عن اختلافات كبيرة بين بيانات EEG في حالة الراحة وبعد التعب، حيث تفوقت نماذج CNN السطحية على الهياكل الأكثر تعقيدًا. بالإضافة إلى ذلك، لاحظت الدراسة تراجعًا في أداء CLR مع تقدم المهام، مما يبرز أهمية الديناميات الزمنية في تقييم الحمل المعرفي.
تؤكد الخاتمة على تركيز الدراسة على تقييم الحمل المعرفي في المهام التشغيلية المعقدة من خلال بيانات EEG والسلوك. أشارت النتائج إلى أن الحمل المعرفي المطول زاد من الحساسية لحالات الحمل العالي، مع أنماط سلوكية وتنشيط دماغي مميزة تم ملاحظتها. من الجدير بالذكر أن تنشيط EEG عالي التردد كان أقوى خلال ظروف الحمل العالي. أكدت نتائج التصنيف على فعالية نماذج CNN السطحية في مهام فك الشفرات داخل الموضوع. كما أشارت النتائج إلى تأثير العوامل الزمنية على حالات الحمل المعرفي، كما يتضح من تراجع أداء التعرف مع مرور الوقت. تدعو الدراسة إلى مزيد من البحث لاستكشاف فك الشفرات عبر الجلسات وعبر الأفراد باستخدام نماذج CNN العميقة، بهدف تحسين دقة وموثوقية تقييمات الحمل المعرفي في المهام المحاكاة المعقدة.
مقدمة
تؤكد مقدمة ورقة البحث هذه على أهمية التعرف على الحمل المعرفي في واجهات الدماغ-الكمبيوتر السلبية (BCI) ودورها في تعزيز التفاعل بين الإنسان والكمبيوتر. يُعرف الحمل المعرفي بأنه الموارد العقلية المستهلكة أثناء المهام، ويؤثر بشكل مباشر على كفاءة المهمة ودقتها وسلامتها. يمكن أن يؤدي الحمل المعرفي المفرط إلى مشاكل صحية وزيادة خطر حوادث العوامل البشرية، خاصة في البيئات ذات المخاطر العالية مثل الطيران. تهدف الدراسة إلى معالجة الفجوة في التعرف على الحمل المعرفي أثناء المهام المعقدة، تحديدًا من خلال مهام الطيران المحاكاة، باستخدام إشارات تخطيط الدماغ (EEG) لدقتها الزمنية العالية وفعاليتها من حيث التكلفة.
تشمل الدراسة مشاركين يؤدون مهام من بطارية المهام متعددة السمات (MATB) لاستنباط مستويات مختلفة من الحمل المعرفي. تتضمن المنهجية جمع بيانات EEG، والمعالجة المسبقة، وتطبيق تقنيات التعلم الآلي، وخاصة الشبكات العصبية التلافيفية (CNNs)، لفك شفرات حالات الحمل المعرفي. تشير النتائج الملحوظة إلى أنماط EEG مميزة بين حالات الراحة والتعب، حيث أظهرت نماذج CNN السطحية أداء تصنيفي متفوق. تسهم الدراسة في المجال من خلال استكشاف المهام المعرفية المعقدة، ودمج مصادر بيانات متنوعة لتحليل شامل، وتعزيز طرق التعرف على الحمل المعرفي، مما يوفر في النهاية رؤى لتحسين أداء المشغل وسلامته في البيئات المت demanding.
الطرق
في قسم الطرق، يوضح المؤلفون التصميم التجريبي، الذي شمل تجنيد المشاركين للمشاركة في نموذج مثير للحمل. استخدمت الدراسة تخطيط الدماغ (EEG) لجمع البيانات والمعالجة المسبقة، مع التركيز على تحديد الحمل المعرفي من خلال كل من المصنفات التقليدية ونماذج الشبكات العصبية التلافيفية المتقدمة (CNN).
يشمل قسم النتائج التجريبية تحليلًا ذاتيًا باستخدام مقياس مؤشر الحمل الوظيفي لوكالة ناسا (TLX)، جنبًا إلى جنب مع تحليل موضوعي لبيانات السلوك المتعلقة بالتشغيل. بالإضافة إلى ذلك، يقدم نتائج التعرف على الحمل EEG عبر مصنفات مختلفة وست مهام للتعرف على الحمل المعرفي (CLR)، مما يبرز فعالية المنهجيات المستخدمة في تقييم الحمل المعرفي.
النتائج
في قسم النتائج من الدراسة، تم تحليل المقاييس الموضوعية بعد الانتهاء من مجموعات متعددة من مهام بطارية المهام متعددة السمات (MATB) من قبل المشاركين. تم تقييم ثلاثة مقاييس رئيسية: زمن الاستجابة في مهمة مراقبة النظام، وخطأ التتبع في مهمة التتبع، والانحراف المعياري لمستويات الوقود في مهمة إدارة الموارد. أشارت النتائج إلى أن أوقات الاستجابة كانت مختلفة بشكل كبير بين حالات الحمل المعرفي المنخفض والعالي (p < 0.05)، بينما زادت أخطاء التتبع مع صعوبة المهمة، مما يظهر اتجاهًا واضحًا في تراجع الأداء مع زيادة الحمل المعرفي. من الجدير بالذكر أن الانحراف المعياري لمستويات الوقود كان ذا دلالة إحصائية في مجموعات معينة، مما يدعم فعالية المهام في استنباط أحمال معرفية متنوعة. بالإضافة إلى ذلك، كشفت نتائج التصنيف أن نماذج الشبكات العصبية التلافيفية (CNN) تفوقت على الطرق التقليدية لقياس كثافة الطاقة الطيفية (PSD) المدمجة مع طرق آلة الدعم الناقل (SVM) عبر مهام مختلفة. حقق نموذج CNN السطحي أعلى دقة في معظم المهام، مع أداء ملحوظ بنسبة 91.3% في المهمة 1 و83% في المهمة 3. في المقابل، كانت طريقة PSD التقليدية + SVM consistently yield lower accuracies, particularly in task 6, where all models exhibited diminished performance. بشكل عام، تؤكد النتائج على القدرات الفائقة لفك الشفرات لنماذج CNN مقارنة بالطرق التقليدية، خاصة مع انخفاض تعقيد هيكل CNN.
المناقشة
في هذه الدراسة، شارك 36 طالبًا أعسر من جامعة نانجينغ للطيران والفضاء في تقييم الحمل المعرفي باستخدام مهمة MATB II، التي تحاكي عمليات الطيار المختلفة. تتكون المهمة من ثلاثة مكونات: مراقبة النظام، تتبع الهدف، وإدارة موارد الوقود، كل منها مصمم لاستنباط أحمال معرفية مختلفة (منخفضة، متوسطة، وعالية). خضع المشاركون لتجربة تمهيدية وتم مراقبتهم من حيث الحمل الذاتي باستخدام مقياس NASA-TLX، الذي أشار إلى زيادات كبيرة في الحمل المدرك مع صعوبة المهمة (p < 0.05). تم جمع بيانات EEG لتحليل أنماط تنشيط الدماغ عبر حالات معرفية مختلفة، مما يكشف عن اختلافات كبيرة في كثافة الطاقة الطيفية (PSD) عبر نطاقات التردد، خاصة في نطاقات β وα، والتي ترتبط بتغيرات الحمل المعرفي. استخدمت الدراسة نماذج تعلم آلي متنوعة، بما في ذلك الشبكات العصبية التلافيفية السطحية والعميقة (CNNs)، لتصنيف حالات الحمل المعرفي بناءً على بيانات EEG. أشارت النتائج إلى أن نماذج CNN السطحية تفوقت على غيرها في التعرف على الحمل المعرفي داخل الموضوعات، على الرغم من أن الأداء تراجع مع مرور الوقت، مما يشير إلى تأثيرات التعب. توضح تقنيات تصور الميزات، مثل التوزيع الزمني الجارّي (t-SNE)، التحديات في التمييز بين حالات الحمل المعرفي، خاصة في ظروف الحمل العالي. بشكل عام، تؤكد النتائج على تأثير الحمل المعرفي على نشاط الدماغ وتبرز الحاجة إلى مزيد من البحث في التغيرات الزمنية والاختلافات الفردية في تقييم الحمل المعرفي، مما يضع أساسًا للدراسات المستقبلية في هذا المجال.
القيود
تسلط قيود هذه الدراسة الضوء على عدة مجالات حيوية للتحسين في فهم الحمل المعرفي من خلال تحليل EEG. أولاً، قد يحد الإطار الزمني المحدود للدراسة من الرؤى حول الديناميات الزمنية لتغيرات الحمل المعرفي. بالإضافة إلى ذلك، كانت أداء فك الشفرات عبر الزمن أدنى من أداء التصاميم داخل الموضوع، مما يشير إلى تحديات في التقاط أنماط EEG المتطورة مع مرور الوقت.
يجب أن تعطي الأبحاث المستقبلية الأولوية لتطوير نماذج التعلم العميق المتقدمة المصممة خصيصًا لفك شفرات الحمل المعرفي، والتي يمكن أن تحسن أداء التعرف من خلال الاستفادة من أنماط تنشيط الدماغ عبر نطاقات التردد المختلفة وحالات الحمل المعرفي. من الجدير بالذكر أن دمج نماذج مثل الشبكات العصبية التلافيفية (CNNs) مع آليات الانتباه الذاتي قد يعزز من قابلية تفسير الأنماط الزمانية المكانية المتعلمة. علاوة على ذلك، يمكن أن تستكشف خوارزميات التعلم الانتقالي المتطورة معالجة التباين عبر الموضوعات والأوقات، مما يزيد من قوة نماذج فك الشفرات. أظهرت الجهود السابقة، مثل نموذج التكيف المشترك للثنائي (BCJDA)، وعدًا في محاذاة الميزات عبر موضوعات وجلسات مختلفة، مما يشير إلى مسار للتحقيقات المستقبلية لتحسين التعرف على الحمل المعرفي والتعميم.
DOI: https://doi.org/10.3389/fnhum.2025.1542774
PMID: https://pubmed.ncbi.nlm.nih.gov/40110537
Publication Date: 2025-03-05
Author(s): Yueying Zhou et al.
Primary Topic: EEG and Brain-Computer Interfaces
Overview
The research paper investigates cognitive load recognition (CLR) using EEG signals, addressing limitations in existing paradigms that often rely on simplistic cognitive tasks. To better simulate real-world operational environments, the study involved thirty-six participants performing simulated flight missions with varying cognitive load levels (low, medium, and high). EEG data were collected across three sessions, alongside subjective ratings and objective performance metrics. The analysis employed several deep convolutional neural network (CNN) models to classify cognitive load levels based on raw EEG data. Key findings revealed significant differences between resting-state and post-fatigue EEG data, with shallow CNN models outperforming more complex architectures. Additionally, the study noted a decline in CLR performance as missions progressed, highlighting the importance of temporal dynamics in cognitive load assessment.
The conclusion emphasizes the study’s focus on evaluating cognitive load in complex operational tasks through EEG and behavioral data. Results indicated that prolonged cognitive load heightened sensitivity to high-load states, with distinct behavioral and brain activation patterns observed. Notably, high-frequency EEG activation was stronger during high-load conditions. The classification results underscored the effectiveness of shallow CNN models for within-subject decoding tasks. The findings also pointed to the influence of temporal factors on cognitive load states, as evidenced by a decline in recognition performance over time. The study calls for further research to explore cross-session and cross-individual decoding using deep CNN models, aiming to improve the accuracy and reliability of cognitive load evaluations in intricate simulated tasks.
Introduction
The introduction of this research paper emphasizes the significance of cognitive load recognition in passive brain-computer interfaces (BCI) and its role in enhancing human-computer interaction. Cognitive load, defined as the mental resources consumed during tasks, directly influences task efficiency, accuracy, and safety. Excessive cognitive load can lead to health issues and increase the risk of human factor accidents, particularly in high-stakes environments like aviation. The study aims to address the gap in recognizing cognitive load during complex tasks, specifically through simulated flight missions, utilizing electroencephalogram (EEG) signals for their high temporal resolution and cost-effectiveness.
The research involves participants performing tasks from the Multi-Attribute Task Battery (MATB) to elicit varying levels of cognitive load. The methodology includes EEG data acquisition, preprocessing, and the application of machine learning techniques, particularly convolutional neural networks (CNNs), to decode cognitive load states. Notable findings indicate distinct EEG patterns between resting states and fatigue, with shallow CNN models demonstrating superior classification performance. The study contributes to the field by exploring complex cognitive tasks, integrating diverse data sources for a comprehensive analysis, and enhancing methods for cognitive load recognition, ultimately providing insights for improving operator performance and safety in demanding environments.
Methods
In the Methods section, the authors detail the experimental design, which involved recruiting subjects to participate in a load-evoked paradigm. The study employed electroencephalography (EEG) for data acquisition and preprocessing, focusing on identifying cognitive load through both traditional classifiers and advanced convolutional neural network (CNN) models.
The Experimental Results section encompasses a subjective analysis utilizing the NASA Task Load Index (TLX) scale, alongside an objective analysis of operate-related behavior data. Additionally, it presents EEG load recognition outcomes across various classifiers and six cognitive load recognition (CLR) tasks, highlighting the effectiveness of the employed methodologies in assessing cognitive load.
Results
In the results section of the study, objective metrics were analyzed following the completion of multiple sets of Multi-Attribute Task Battery (MATB) tasks by participants. Three key metrics were assessed: response time in the system monitoring task, tracking error in the tracking task, and the standard deviation of fuel levels in the resource management task. The findings indicated that response times were significantly different between low and high cognitive load states (p < 0.05), while tracking errors increased with task difficulty, demonstrating a clear trend of declining performance as cognitive load increased. Notably, the standard deviation of fuel levels was statistically significant in certain groups, further supporting the effectiveness of the tasks in eliciting varying cognitive loads. Additionally, the classification results revealed that convolutional neural network (CNN) models outperformed traditional power spectral density (PSD) combined with support vector machine (SVM) methods across various tasks. The shallow CNN model achieved the highest accuracy in most tasks, with notable performances of 91.3% in task 1 and 83% in task 3. In contrast, the traditional PSD + SVM method consistently yielded lower accuracies, particularly in task 6, where all models exhibited diminished performance. Overall, the results underscore the superior decoding capabilities of CNN models compared to traditional methods, particularly as the complexity of the CNN architecture decreased.
Discussion
In this study, 36 right-handed college students from Nanjing University of Aeronautics and Astronautics participated in a cognitive load assessment using the MATB II task, which simulates various pilot operations. The task comprised three components: system monitoring, target tracking, and fuel resource management, each designed to elicit different cognitive loads (low, medium, and high). Participants underwent a pre-experiment familiarization and were monitored for subjective workload using the NASA-TLX scale, which indicated significant increases in perceived workload with task difficulty (p < 0.05). EEG data were collected to analyze brain activation patterns across different cognitive states, revealing significant differences in power spectral density (PSD) across frequency bands, particularly in the β and α bands, which correlate with cognitive load changes. The study employed various machine learning models, including shallow and deep convolutional neural networks (CNNs), to classify cognitive load states based on EEG data. Results indicated that shallow CNN models outperformed others in recognizing cognitive load within subjects, although performance declined over time, suggesting fatigue effects. Feature visualization techniques, such as t-distributed Stochastic Neighbor Embedding (t-SNE), illustrated the challenges in distinguishing between cognitive load states, particularly in high-load conditions. Overall, the findings underscore the impact of cognitive load on brain activity and highlight the need for further research into time variability and individual differences in cognitive load assessment, establishing a foundation for future studies in this domain.
Limitations
The limitations of this study highlight several critical areas for improvement in understanding cognitive load through EEG analysis. Firstly, the restricted time frame of the study may limit insights into the temporal dynamics of cognitive load changes. Additionally, the cross-time decoding performance was inferior to that of within-subject designs, indicating challenges in capturing the evolving EEG patterns over time.
Future research should prioritize the development of advanced deep learning models specifically designed for cognitive load decoding, which could improve recognition performance by leveraging brain activation patterns across various frequency bands and cognitive states. Notably, integrating models such as convolutional neural networks (CNNs) with self-attention mechanisms may enhance the interpretability of learned spatiotemporal patterns. Furthermore, exploring sophisticated transfer learning algorithms could address the variability across subjects and time, thereby increasing the robustness of decoding models. Previous efforts, such as the bi-classifier joint domain adaptation (BCJDA) model, have shown promise in aligning features across different subjects and sessions, suggesting a pathway for future investigations to refine cognitive load recognition and generalization.