DOI: https://doi.org/10.3390/app16020661
تاريخ النشر: 2026-01-08
المؤلف: Hossein Ahmadi وآخرون
الموضوع الرئيسي: تخطيط الدماغ وواجهات الدماغ-الكمبيوتر
نظرة عامة
تبحث هذه الدراسة في فائدة تشخيصات المستوى التمثيلي الدلالية في تخطيط الدماغ الكهربائي (EEG) لكشف الهياكل المعرفية التي قد تتجاهلها مقاييس الدقة التقليدية، لا سيما في سياق الإدراك مقابل الخيال. باستخدام مشفر مستقل عن المهام يحافظ على طوبولوجيا فروة الرأس والاعتماد الزمني، تحلل الدراسة بيانات EEG متعددة الأنماط (بما في ذلك المحفزات التصويرية، والأورثوغرافية، والسمعية) من مجموعة صغيرة من المشاركين. يقدم المؤلفون مؤشر الحساسية الدلالية (SSI) والتداخل عبر الأنماط (CMO) لاستكشاف الفضاء الكامن، ويجدون أنه بينما تكون الارتباطات بين القدرة على تخيل الصور المبلغ عنها ذاتيًا (عبر استبيان حيوية الصور البصرية ومقياس تخيل الصوت من باكنيل) والدقة ضعيفة، تكشف التشخيصات الدلالية عن أنماط هندسية مميزة. ومن الجدير بالذكر أن الخيال يبدو أنه يستخدم مجموعة أكثر تماسكًا وغير زائدة من الميزات مقارنة بالإدراك، مما يشير إلى تنظيم معرفي أغنى.
تشير النتائج إلى أن مقاييس الدقة التقليدية قد لا تمثل العمليات المعرفية بشكل كافٍ في فك تشفير EEG، مما يدعو إلى التحول نحو تقييم كيفية تفاعل الإدراك مع الفضاءات الكامنة. تسلط الدراسة الضوء على أهمية التماسك الدلالي والازدواجية كأبعاد حاسمة لتفسير بيانات EEG. ومع ذلك، يعترف المؤلفون بالقيود بسبب حجم العينة الصغيرة (n = 13) والطبيعة الذاتية لحيوية الصور المبلغ عنها ذاتيًا. يقترحون أن الأبحاث المستقبلية يجب أن توسع مجموعة المشاركين، وتدمج مقاييس سلوكية محددة للمهام، وتعزز موثوقية SSI، بينما تدمج أيضًا تنظيمًا واعيًا للهندسة لتسهيل تعلم الخصائص المرغوبة مثل التماسك الكامن والاتساق عبر الأنماط.
مقدمة
تناقش مقدمة هذه الورقة البحثية التحديات والتقدم في أنظمة واجهة الدماغ-الحاسوب (BCI)، مع التركيز بشكل خاص على فك تشفير الخيال والإدراك من إشارات تخطيط الدماغ الكهربائي (EEG). بينما يُفضل EEG لدقته الزمنية وسلامته، فإن التوقيعات العصبية المتداخلة للخيال والإدراك تعقد تمييزهما. غالبًا ما تفشل الطرق التقليدية وطرق التعلم الآلي في التعميم عبر المهام والمواضيع بسبب اعتمادها على إحصائيات الإشارة منخفضة المستوى وميزات مصنوعة يدويًا. وهذا يؤدي إلى محدودية القابلية للتفسير والموثوقية في فك تشفير الحالات المعرفية.
يقترح المؤلفون إطارًا جديدًا لاستخراج الميزات الدلالية يهدف إلى إنشاء تجسيدات مستقلة عن المهام لبيانات EEG، مع الحفاظ على التنظيم المكاني أثناء التقاط المحتوى المعرفي عالي المستوى. يسعى هذا النهج إلى معالجة فجوتين حرجتين: (G1) الحاجة إلى دليل على أن التمثيلات المتوافقة دلاليًا يمكن أن تدعم فك التشفير المستقل عن الموضوع عبر الأنماط، و(G2) استكشاف العلاقات المستقرة بين الدماغ والسلوك مع حيوية الصور كما تم قياسها بواسطة استبيان حيوية الصور البصرية (VVIQ) ومقياس تخيل الصوت من باكنيل (BAIS). تهدف الدراسة إلى إثبات أن هذه التمثيلات الدلالية تعزز أداء فك التشفير وتكشف عن ارتباطات ذات مغزى مع الاختلافات الفردية في حيوية الصور، مما يسهم في تصميم أنظمة BCI أكثر فعالية وتخصيصًا.
الطرق
في هذا القسم، يحدد المؤلفون منهجيتهم، بدءًا من وصف مجموعة البيانات وهيكل التجارب، تليها خطوات المعالجة المسبقة المطبقة على بيانات EEG المقدمة من القائمين. يقدمون نهج تعلم الميزات الدلالية غير الخاضعة للإشراف باستخدام مشفر مزدوج هرمي، والذي يتم دمجه بعد ذلك مع رؤوس فك تشفير خاضعة للإشراف لتمييز بين الخيال والإدراك.
تم تعريف بروتوكول التقييم بوضوح، جنبًا إلى جنب مع تشخيصات الهندسة الكامنة المستخدمة في التحليل. بالإضافة إلى ذلك، يقوم المؤلفون بإجراء تحليل ارتباط واعٍ بالسمات باستخدام استبيان حيوية الصور البصرية (VVIQ) ومقياس الوعي الجسدي في الصور (BAIS). تم تفصيل الإجراءات الإحصائية، culminating في تحليل مختلط التأثيرات للمتغير Keep_Ratio، وهو أمر أساسي لفهم تأثيرات التلاعبات التجريبية على استجابات المشاركين.
النتائج
في هذا القسم، تُعرض النتائج في ثلاث مراحل متميزة. في البداية، تؤكد الدراسة أن المشفر-المفكك غير الخاضع للإشراف يتعلم بشكل فعال فضاءً كامنًا مستقرًا، معيدًا بناء بيانات EEG بنجاح ضمن هامش خطأ محدد مسبقًا، باستخدام مستخرج الميزات الدلالية الذي تم إنشاؤه سابقًا. بعد ذلك، يتم تقييم التمثيلات الكامنة في مهام فك التشفير الخاضعة للإشراف المختلفة لتقييم أدائها. أخيرًا، يتم تحليل العلاقة بين الميزات الدلالية المتعلمة ونتائج المهام الخاضعة للإشراف بالنسبة لاستبيان حيوية الصور البصرية (VVIQ) ومقياس صورة الجسم (BAIS). تم تنفيذ النماذج باستخدام PyTorch 2.0+ وPython 3.11 على جهاز NVIDIA RTX 4090 واحد مع CUDA 12.0.
المناقشة
في هذه الدراسة، بحثنا في فائدة تشخيصات المستوى التمثيلي الدلالية في كشف الهياكل الخاصة بالموضوع التي غالبًا ما تخفيها المقاييس التقليدية، مثل الدقة، في مهام واجهة الدماغ-الحاسوب (BCI) المعتمدة على EEG. تشير نتائجنا إلى أنه بينما يحقق النموذج المقترح أداءً عاليًا في فك التشفير مع ترك موضوع واحد خارجًا (LOSO) عبر أنماط مختلفة (تصويرية، وأورثوغرافية، وسمعية)، فإن الارتباط بين دقة فك التشفير وسمات تخيل الصور المبلغ عنها ذاتيًا (VVIQ وBAIS) ضعيف وغير متسق. وهذا يشير إلى عدم تطابق في القياس، حيث تعكس الدقة تمييزًا محددًا في ظل ظروف خاضعة للتحكم، بينما تلتقط التقارير الذاتية قدرات تخيل أوسع وغير مرتبطة بالسياق.
علاوة على ذلك، كشفت تحليلاتنا للهندسة الكامنة من خلال التخفيف الواعي بالارتباط عن تباين كبير بين الأفراد في احتفاظ الميزات، مما يشير إلى أن الاختلافات في الخيال والإدراك يمكن أن تظهر على مستويات مختلفة من حساسية العتبة. أبرزت مقاييس مؤشر الحساسية الدلالية (SSI) والتداخل عبر الأنماط (CMO) الطبيعة المنظمة للفضاء الكامن، مما يشير إلى وجود جوهر دلالي غير مرتبط بالنمط. تؤكد هذه النتائج على أهمية الانتقال من مجرد دقة التصنيف لفهم كيفية تمثيل العمليات المعرفية في الفضاءات الكامنة، مما يوفر رؤى قيمة لجهود فك تشفير EEG المستقبلية وتصميم النماذج.
القيود
تُعزى قيود الدراسة بشكل أساسي إلى حجم المجموعة المتواضع وتوافر الاستبيانات المحدود، مما يقلل معًا من دقة الارتباطات وإمكانية النمذجة الهرمية الأكثر تعقيدًا. إن ندرة مجموعات بيانات EEG العامة التي تتضمن استبيانات تخيل ذاتية التقرير تعيق أيضًا التحقق الخارجي من تحليل ارتباط السمات، مما يدفع المؤلفين إلى وصف نتائجهم من VVIQ/BAIS بأنها استكشافية. يؤكدون على ضرورة التكرار في مجموعات مستقلة كاتجاه مستقبلي حاسم.
بالإضافة إلى ذلك، تم تأطير الدراسة كإطار تقييم غير متصل، مع وجود المشفر مدرب مسبقًا ومجمدًا للاستدلال عبر الإنترنت، مما يتطلب الحد الأدنى من الحمل الحسابي. يتماشى نظام النوافذ الثابت (نوافذ مدتها ثانية واحدة مع تداخل 50%) مع تكوين المستخرج الدلالي، ومع ذلك يُوصى بإجراء تحليل حساسية على طول النافذة والتداخل، بالإضافة إلى فحص استقرار SSI وCMO عبر مقاييس زمنية مختلفة. إن الاعتماد على الاستبيانات المبلغ عنها ذاتيًا دون مقاييس موضوعية مصاحبة يشير إلى أن الأبحاث المستقبلية يجب أن تدمج مهام تخيل سلوكية لتعزيز صلاحية البناء. يشير تحليل الفضاء الكامن إلى إمكانية فصل هوية الموضوع عن العوامل الدلالية، مما قد يحسن من الموثوقية في التطبيقات عبر الجلسات أو المواقع. قد يؤدي توسيع الإطار ليشمل فك تشفير دلالي متعدد الفئات عبر مفاهيم وأنماط مختلفة، بالإضافة إلى دمج آليات الانتباه الزمنية الترددية القائمة على الموجات، إلى توضيح الهيكل الدلالي متعدد المقاييس والديناميات الزمنية في بيانات EEG بشكل أكبر.
DOI: https://doi.org/10.3390/app16020661
Publication Date: 2026-01-08
Author(s): Hossein Ahmadi et al.
Primary Topic: EEG and Brain-Computer Interfaces
Overview
This research investigates the utility of representation-level, semantic diagnostics in electroencephalography (EEG) to reveal cognitive structures that conventional accuracy metrics may overlook, particularly in the context of perception versus imagination. Employing a task-independent encoder that maintains scalp topology and temporal dependencies, the study analyzes multi-modal EEG data (including pictorial, orthographic, and auditory stimuli) from a small cohort of participants. The authors introduce the Semantic Sensitivity Index (SSI) and cross-modal overlap (CMO) to explore the latent space, finding that while correlations between self-reported imagery ability (via the Vividness of Visual Imagery Questionnaire and Bucknell Auditory Imagery Scale) and accuracy are weak, the semantic diagnostics uncover distinct geometrical patterns. Notably, imagination appears to utilize a more compact and non-redundant subset of features compared to perception, indicating a richer cognitive organization.
The findings suggest that traditional accuracy metrics may inadequately represent cognitive processes in EEG decoding, advocating for a shift towards evaluating how cognition interacts with latent spaces. The study highlights the importance of semantic compactness and redundancy as critical dimensions for interpreting EEG data. However, the authors acknowledge limitations due to the small sample size (n = 13) and the subjective nature of self-reported imagery vividness. They propose that future research should expand the participant pool, incorporate task-specific behavioral measures, and enhance the reliability of the SSI, while also integrating geometry-aware regularization to facilitate the learning of desirable properties such as latent compactness and cross-modal consistency.
Introduction
The introduction of this research paper discusses the challenges and advancements in brain-computer interface (BCI) systems, particularly focusing on the decoding of imagination and perception from electroencephalography (EEG) signals. While EEG is favored for its temporal resolution and safety, the overlapping neural signatures of imagination and perception complicate their differentiation. Traditional methods and machine learning approaches often fail to generalize across tasks and subjects due to their reliance on low-level signal statistics and handcrafted features. This results in limited interpretability and robustness in decoding cognitive states.
The authors propose a novel framework for semantic feature extraction that aims to create task-independent embeddings of EEG data, preserving spatial organization while capturing high-level cognitive content. This approach seeks to address two critical gaps: (G1) the need for evidence that semantically aligned representations can support subject-independent decoding across modalities, and (G2) the exploration of stable brain-behavior relationships with imagery vividness as measured by the Vividness of Visual Imagery Questionnaire (VVIQ) and the Bucknell Auditory Imagery Scale (BAIS). The study aims to demonstrate that these semantic representations enhance decoding performance and reveal meaningful associations with individual differences in imagery vividness, thereby contributing to the design of more effective and personalized BCI systems.
Methods
In this section, the authors outline their methodology, beginning with a description of the dataset and trial structure, followed by the preprocessing steps applied to the EEG data provided by curators. They introduce an unsupervised semantic feature learning approach utilizing a hierarchical dual AutoEncoder, which is subsequently integrated with supervised decoding heads to differentiate between imagination and perception.
The evaluation protocol is clearly defined, alongside the latent geometry diagnostics employed in the analysis. Additionally, the authors conduct a trait-aware correlation analysis using the Vividness of Visual Imagery Questionnaire (VVIQ) and the Body Awareness in the Imagery Scale (BAIS). The statistical procedures are detailed, culminating in a mixed-effects analysis of the variable Keep_Ratio, which is essential for understanding the effects of the experimental manipulations on the participants’ responses.
Results
In this section, the results are presented in three distinct phases. Initially, the study confirms that the unsupervised encoder-decoder effectively learns a stable latent space, successfully reconstructing EEG data within a predetermined error margin, utilizing the previously established semantic feature extractor. Following this, the latent representations are assessed in various supervised decoding tasks to evaluate their performance. Lastly, the relationship between the learned semantic features and the outcomes of the supervised tasks is analyzed in relation to the Vividness of Visual Imagery Questionnaire (VVIQ) and the Body Image Scale (BAIS). The models were implemented using PyTorch 2.0+ and Python 3.11 on a single NVIDIA RTX 4090 with CUDA 12.0.
Discussion
In this study, we investigated the utility of representation-level semantic diagnostics in revealing subject-specific structures that conventional metrics, such as accuracy, often obscure in EEG-based brain-computer interface (BCI) tasks. Our findings indicate that while the proposed model achieves high leave-one-subject-out (LOSO) decoding performance across various modalities (pictorial, orthographic, and auditory), the correlation between decoding accuracy and self-reported imagery traits (VVIQ and BAIS) is weak and inconsistent. This suggests a measurement mismatch, where accuracy reflects specific discriminability under controlled conditions, while self-reports capture broader, context-free imagery abilities.
Furthermore, our analysis of latent geometry through correlation-aware sparsification revealed significant inter-individual variability in the retention of features, indicating that differences in imagination and perception can manifest at varying levels of threshold sensitivity. The Semantic Sensitivity Index (SSI) and Cross-Modal Overlap (CMO) metrics highlighted the structured nature of the latent space, suggesting a modality-invariant semantic core. These results emphasize the importance of moving beyond mere classification accuracy to understand how cognitive processes are represented in latent spaces, thereby providing valuable insights for future EEG decoding efforts and model design.
Limitations
The limitations of the study are primarily attributed to the modest cohort size and the restricted availability of questionnaires, which together diminish the precision of correlations and the potential for more complex hierarchical modeling. The scarcity of public EEG datasets that include self-report imagery questionnaires further hampers external validation of the trait-linkage analysis, leading the authors to characterize their findings from the VVIQ/BAIS as exploratory. They emphasize the necessity for replication in independent cohorts as a critical future direction.
Additionally, the study is framed as an offline evaluation framework, with the encoder pretrained and frozen for online inference, which involves minimal computational overhead. The fixed windowing scheme (1-second windows with 50% overlap) aligns with the semantic extractor configuration, yet a sensitivity analysis on window length and overlap, along with an examination of the stability of SSI and CMO across different temporal scales, is recommended. The reliance on self-reported questionnaires without accompanying objective measures suggests that future research should integrate behavioral imagery tasks to enhance construct validity. The latent space analysis indicates potential for disentangling subject identity from semantic factors, which could improve robustness in cross-session or cross-site applications. Expanding the framework to encompass multiclass semantic decoding across various concepts and modalities, as well as incorporating wavelet-based time-frequency attention mechanisms, could further elucidate the multiscale semantic structure and temporal dynamics in EEG data.