DOI: https://doi.org/10.3389/fnhum.2026.1807535
PMID: https://pubmed.ncbi.nlm.nih.gov/42253796
تاريخ النشر: 2026-05-21
المؤلف: Simon Kojima وآخرون
الموضوع الرئيسي: تخطيط الدماغ وواجهات الدماغ-الكمبيوتر
نظرة عامة
الـ ASME-speller هو واجهة دماغ-كمبيوتر سمعية جديدة تتكون من 30 فئة، مصممة لتسهيل التواصل البديهي بدون رؤية من خلال الاستفادة من فصل التدفقات السمعية إلى جانب تخطيط لوحة المفاتيح QWERTY. يقدم النظام ثلاث تدفقات سمعية متميزة—ترددات منخفضة، ومتوسطة، وعالية—تتوافق مع الصفوف السفلية، والمتوسطة، والعلوية من لوحة المفاتيح، على التوالي. يركز المستخدمون على التدفق الذي يحتوي على حرفهم المستهدف، مما يسمح لهم بالاهتمام الانتقائي بالحرف المطلوب ضمن تلك التدفق السمعي. لا يبسط هذا التصميم تجربة المستخدم فحسب، بل يعزز أيضًا كفاءة اختيار الحروف من خلال رسم خرائط بديهية للتدفقات السمعية إلى تخطيط QWERTY.
في تجارب شملت عشرة مشاركين أصحاء، حقق الـ ASME-speller دقة تصنيف متوسطة قدرها 0.76 ومعدل نقل معلومات (ITR) قدره 2.16 بت/دقيقة. باستثناء مشارك واحد لديه آثار EEG مفرطة، تحسنت هذه المقاييس إلى 0.84 و2.40 بت/دقيقة. أشارت التحليلات اللاحقة إلى أن تحليل التمييز الخطي (LDA) المدمج مع التوقف الديناميكي قدم أفضل أداء، محققًا دقة قدرها 0.80 ومعدل نقل معلومات قدره 4.76 بت/دقيقة. من الجدير بالذكر أن أفضل المشاركين أداءً حقق دقة قدرها 1.0 ومعدل نقل معلومات قدره 14.44 بت/دقيقة باستخدام نموذج تعلم عميق (EEGNet4,2). بشكل عام، يظهر الـ ASME-speller أداءً مقاربًا لواجهات BCI السمعية الحالية بينما يتطلب فقط سماعات رأس قياسية، مما يبرز إمكانياته للتطبيقات العملية في التواصل.
مقدمة
تناقش مقدمة هذه الورقة البحثية أهمية واجهات الدماغ-الكمبيوتر (BCIs) في تسهيل التواصل المباشر بين الدماغ وأجهزة الكمبيوتر، لا سيما للأفراد الذين يعانون من اضطرابات عصبية شديدة مثل التصلب الجانبي الضموري (ALS) ومتلازمة الاحتجاز (LIS). تبرز الورقة هيمنة تخطيط الدماغ الكهربائي (EEG) في تطبيقات BCI بسبب دقتها الزمنية العالية وقابليتها للنقل. من الجدير بالذكر أن الاستطلاعات تشير إلى أن أكثر من 90% من المرضى الذين يعانون من LIS يعطون الأولوية لقدرات التواصل المباشر في أنظمة BCI، مما أدى إلى تطوير تطبيقات مختلفة للـ BCI speller، بما في ذلك الـ P300 speller المعروف وأنظمة أخرى تعتمد على إمكانيات الاستجابة البصرية الثابتة (SSVEP) وإمكانيات الاستجابة البصرية المعدلة بالشفرة (c-VEP). ومع ذلك، فإن التحديات التي يواجهها المرضى في التحكم في النظر تجعل الأنظمة المعتمدة على الرؤية أقل فعالية، مما يدفع لاستكشاف الـ BCI spellers السمعية.
تستعرض الورقة عدة BCI spellers سمعية، متتبعة تطورها من الأنظمة المبكرة المستوحاة من النظائر البصرية إلى الابتكارات الأكثر حداثة التي تستخدم المحفزات السمعية لاختيار الحروف. بينما أظهرت الأنظمة الهجينة التي تجمع بين المحفزات السمعية والبصرية أداءً محسناً، تظل الأنظمة السمعية البحتة ضرورية للمستخدمين ذوي الإعاقات البصرية وأولئك الذين يحتاجون إلى تكنولوجيا متاحة. على الرغم من التقدم، غالبًا ما تواجه الـ BCI spellers السمعية الحالية قيودًا، مثل الحاجة إلى خطوات اختيار متعددة أو خرائط سمعية معقدة. تهدف مقدمة الـ ASME-speller إلى معالجة هذه التحديات من خلال الاستفادة من فصل التدفقات السمعية، مما قد يعزز قابلية الاستخدام والفعالية لمجموعة أوسع من المستخدمين.
الطرق
في هذه الدراسة، تضمنت التصميم التجريبي جلسة قياس EEG واحدة لكل مشارك، تتكون من تسع جولات. كانت الجولات الست الأولى غير متصلة، تهدف إلى تدريب نموذج تصنيف، بينما كانت الجولات الثلاث الأخيرة متصلة، مما يسمح بالتحليل والتغذية الراجعة في الوقت الفعلي بناءً على الإشارات المسجلة. تضمنت كل تجربة، التي تم تعريفها على أنها عملية الحفاظ على الانتباه الانتقائي لحرف مستهدف وسط محفزات متعددة، خمس تجارب لكل جولة. في المرحلة غير المتصلة، تم إجراء 30 تجربة مع تقديم كل حرف مرة واحدة كهدف، بينما تضمنت المرحلة المتصلة 15 تجربة تختبر 15 حرفًا مستهدفًا، مع تشغيل نظام التصنيف على أساس قرار من 30 فئة طوال الوقت.
تضمنت كل تجربة تقديم 450 محفزًا على مدى حوالي 90 ثانية، مع تزامن بدء المحفز (SOA) قدره 0.2 ثانية. تم تقديم المحفزات السمعية من خلال سماعات الرأس، منظمة في تدفقات منخفضة ومتوسطة وعالية التردد تتوافق مع تخطيط لوحة المفاتيح QWERTY. تم توجيه المشاركين للتركيز على التدفق السمعي للحرف المستهدف، وتم تقديم التغذية الراجعة في نهاية كل تجربة متصلة، مع عرض كل من الحرف المستهدف وتوقع نظام BCI. بالإضافة إلى ذلك، تم أخذ تسجيلات EEG في حالة الراحة قبل وبعد مهمة الـ ASME-speller، جنبًا إلى جنب مع جولتين من مهمة سمعية غير عادية لتقييم الاستجابات الانتباهية للمحفزات المستهدفة.
النتائج
أشارت نتائج تحليل ERP إلى وجود مكونات رئيسية في كل من الجولات غير المتصلة والمتصلة، كما هو موضح في الشكلين 3A و3B. تم تحديد مكون P300 حول 0.5-0.8 ثانية، بينما تجلى مكون N2 كانحراف سلبي بشكل رئيسي فوق المناطق الجبهية بين 0.3-0.5 ثانية. بالإضافة إلى ذلك، لوحظ مكون سلبي متأخر، N700، حول 0.9-1.0 ثانية. أظهرت هذه المكونات قيم $r^2$ الموقعة الكبيرة، مما يدل على أهميتها لأداء التصنيف. من الجدير بالذكر أنه بينما كانت الأنماط الزمنية لدورات زمنية ERP متشابهة عبر الظروف، كانت السعات وقيم $r^2$ الموقعة عمومًا أكبر في الجولات المتصلة. كما لوحظت أنماط تشبه الموجات الجيبية استجابةً للمحفزات غير المستهدفة، متزامنة مع تزامن بدء المحفز (SOA) قدره 0.2 ثانية، مما يتماشى مع الأبحاث السابقة.
في التجربة المتصلة، كشفت نتائج التصنيف الملخصة في الجدول 2 أن مشاركين اثنين حققا دقة مثالية (1.0)، بينما حصل خمسة على درجات بين 0.8 و0.95، واثنان حصلوا على درجات بين 0.6 و0.7. كان لدى مشارك واحد (الموضوع 10) دقة تصنيف قدرها 0.0 بسبب الفشل عبر جميع التجارب. كانت دقة التصنيف المتوسطة لجميع المشاركين 0.76 ± 0.28، والتي تحسنت إلى 0.84 ± 0.13 عند استبعاد الموضوع 10. أظهر مصفوفة الالتباس في الشكل 4 أن المصنف ميز بفعالية الحروف المستهدفة، كما يتضح من هيمنة العناصر القطرية. فيما يتعلق بمعدل نقل المعلومات (ITR)، حقق مشاركان 3.24 بت/دقيقة، بينما تراوحت درجات خمسة آخرين بين 2.0 و3.0 بت/دقيقة، مما أدى إلى معدل نقل معلومات متوسط عام قدره 2.16 ± 0.93 بت/دقيقة، والذي زاد إلى 2.40 ± 0.63 بت/دقيقة عند استبعاد الموضوع 10.
المناقشة
يستخدم نموذج ASME (فصل التدفق السمعي متعدد الفئات ERP)، الذي طوره كانوه وآخرون (2010)، فصل التدفقات السمعية لإنشاء واجهة دماغ-كمبيوتر سمعية (BCI) تسمح للمستخدمين بتوجيه انتباههم إلى تدفقات ومحفزات سمعية محددة. يمكّن هذا النموذج التصنيف متعدد الفئات باستخدام قناة صوتية واحدة فقط، مع أنظمة مقترحة لفئتين وثلاث وأربع فئات. الـ ASME-speller، وهو تطبيق لهذا النموذج، يربط الحروف من تخطيط لوحة المفاتيح QWERTY بثلاث تدفقات سمعية تتوافق مع نطاقات التردد العالية والمتوسطة والمنخفضة. يمكن للمستخدمين اختيار الحروف من خلال تحديد الصف الخاص بالحرف المقصود أولاً ثم التركيز على المحفز السمعي المحدد المرتبط بذلك الحرف، مما يستحث إمكانيات مرتبطة بالحدث (ERPs) مثل P300.
في دراسة تجريبية، أظهر الـ ASME-speller دقة اختيار الحروف قدرها 0.73 ومعدل نقل معلومات (ITR) قدره 3.78 بت/دقيقة باستخدام 15 حرفًا، مما يدل على إمكانياته للتطبيقات العملية. ومع ذلك، كانت النظام الأولي محدودًا بعدد أقل من الفئات مما هو مطلوب للأبجدية الكاملة. توسع الدراسة الحالية الـ ASME-speller إلى نظام من 30 فئة، مما يسمح بإدخال جميع حروف الأبجدية وبعض الرموز. أكدت التجارب المتصلة مع المشاركين الأصحاء جدواه، محققة دقة تصنيف ومعدل نقل معلومات مقارنة بأنظمة الـ speller السمعية الحالية. استكشفت الدراسة أيضًا معلمات معالجة مسبقة مختلفة وأنابيب تصنيف لتحسين الأداء، محددة التكوينات التي أسفرت عن نتائج قوية عبر المشاركين.
القيود
تسلط قيود الـ ASME-speller، بينما تظهر دقة تصنيف واعدة ومعدل نقل معلومات (ITR)، الضوء على عدة مجالات للبحث المستقبلي. كانت مجموعة المشاركين في الدراسة الحالية محدودة بالأشخاص الأصحاء والشباب الناطقين باللغة اليابانية، مما يستدعي تضمين ديموغرافي أوسع، لا سيما كبار السن والأفراد الذين يعانون من اضطرابات عصبية، لتقييم قابلية تعميم النظام وفائدته العملية كأداة تواصل مساعدة. بالإضافة إلى ذلك، فإن الاعتماد على إعداد EEG مكون من 64 قناة يطرح تحديات للتطبيق في العالم الحقيقي، مما يستدعي استكشاف فعالية أنظمة EEG الأكثر قابلية للنقل مع عدد أقل من القنوات.
علاوة على ذلك، يثير استخدام الدراسة لـ 30 محفز صوتي تساؤلات حول اتساق استجابات إمكانيات مرتبطة بالحدث (ERP)، مما يشير إلى أن العمل المستقبلي يجب أن يركز على تطوير مجموعة محفزات تستحث ERPs موحدة عبر جميع الحروف. كما أنه من الضروري استكشاف أنابيب تصنيف وتكوينات معالجة مسبقة مختلفة لتحسين أداء النظام. يجب تحسين تقييم استراتيجيات التوقف المبكر ليعكس ظروف التدريب الواقعية، ويتطلب الافتراض بأن استجابات ERP مماثلة يمكن أن تُستحث لجميع المحفزات المستهدفة تحقيقًا منهجيًا. أخيرًا، بينما تم الإشارة إلى عبء العمل المعرفي المرتبط بـ BCIs السمعية، فإن التقييم الشامل لقابلية الاستخدام والعبء المعرفي باستخدام مقاييس موحدة، جنبًا إلى جنب مع ضبط المعلمات الخاصة بالمشاركين، أمر ضروري لتعزيز قوة الـ ASME-speller وقابليته للتطبيق في الإعدادات العملية.
DOI: https://doi.org/10.3389/fnhum.2026.1807535
PMID: https://pubmed.ncbi.nlm.nih.gov/42253796
Publication Date: 2026-05-21
Author(s): Simon Kojima et al.
Primary Topic: EEG and Brain-Computer Interfaces
Overview
The ASME-speller is a novel 30-class auditory brain-computer interface (BCI) designed to facilitate intuitive, vision-free communication by leveraging auditory stream segregation alongside a QWERTY keyboard layout. The system presents three distinct auditory streams—low, middle, and high frequencies—corresponding to the bottom, middle, and top rows of the keyboard, respectively. Users focus on the stream that contains their target letter, allowing them to selectively attend to the desired letter within that auditory stream. This design not only simplifies the user experience but also enhances the efficiency of letter selection through intuitive mapping of auditory streams to the QWERTY layout.
In experiments involving ten healthy participants, the ASME-speller achieved an average classification accuracy of 0.76 and an information transfer rate (ITR) of 2.16 bits/min. Excluding one participant with excessive EEG artifacts, these metrics improved to 0.84 and 2.40 bits/min. Post-hoc analyses indicated that a linear discriminant analysis (LDA) combined with dynamic stopping provided the most robust performance, achieving an accuracy of 0.80 and an ITR of 4.76 bits/min. Notably, the best-performing participant reached an accuracy of 1.0 and an ITR of 14.44 bits/min using a deep learning model (EEGNet4,2). Overall, the ASME-speller demonstrates comparable performance to existing auditory BCI spellers while requiring only standard headphones, underscoring its potential for practical applications in communication.
Introduction
The introduction of this research paper discusses the significance of brain-computer interfaces (BCIs) in facilitating direct communication between the brain and computers, particularly for individuals with severe neurological disorders such as amyotrophic lateral sclerosis (ALS) and locked-in syndrome (LIS). The paper highlights the predominance of electroencephalography (EEG) in BCI applications due to its high temporal resolution and portability. Notably, surveys indicate that over 90% of patients with LIS prioritize direct communication capabilities in BCI systems, leading to the development of various BCI speller applications, including the well-known P300 speller and other systems based on steady-state visual evoked potentials (SSVEP) and code-modulated visual evoked potentials (c-VEP). However, the challenges faced by patients in gaze control render vision-based systems less effective, prompting the exploration of auditory BCI spellers.
The paper reviews several auditory BCI spellers, tracing their evolution from early systems inspired by visual counterparts to more recent innovations that utilize auditory stimuli for letter selection. While hybrid systems combining auditory and visual stimuli have shown improved performance, purely auditory systems remain crucial for users with visual impairments and those requiring accessible technology. Despite advancements, existing auditory BCI spellers often face limitations, such as requiring multiple selection steps or complex auditory mappings. The introduction of the ASME-speller aims to address these challenges by leveraging auditory stream segregation, potentially enhancing usability and effectiveness for a broader range of users.
Methods
In this study, the experimental design involved a single EEG measurement session for each participant, comprising nine runs. The first six runs were offline, aimed at training a classification model, while the last three runs were online, allowing for real-time analysis and feedback based on the recorded signals. Each trial, defined as the process of maintaining selective attention to a target letter amidst multiple stimuli, consisted of five trials per run. In the offline phase, 30 trials were conducted with each letter presented once as a target, while the online phase included 15 trials testing 15 target letters, with the classification system operating on a 30-class decision basis throughout.
Each trial involved the presentation of 450 stimuli over approximately 90 seconds, with a stimulus onset asynchrony (SOA) of 0.2 seconds. The auditory stimuli were delivered through headphones, organized into low-, middle-, and high-frequency streams corresponding to the QWERTY keyboard layout. Participants were instructed to focus on the auditory stream of the target letter, and feedback was provided at the end of each online trial, displaying both the target letter and the BCI system’s prediction. Additionally, resting-state EEG recordings were taken before and after the ASME-speller task, alongside two runs of an auditory oddball task to assess attentional responses to target stimuli.
Results
The results of the ERP analysis indicated the presence of key components in both offline and online runs, as illustrated in Figures 3A and 3B. The P300 component was identified around 0.5-0.8 seconds, while the N2 component manifested as a negative deflection predominantly over frontal areas between 0.3-0.5 seconds. Additionally, a late negative component, N700, was observed around 0.9-1.0 seconds. These components exhibited significant signed $r^2$ values, indicating their relevance to classification performance. Notably, while the temporal patterns of ERP time courses were similar across conditions, the amplitudes and signed $r^2$ values were generally greater in the online runs. Sinusoidal wave-like patterns in response to non-target stimuli, synchronized with the stimulus onset asynchrony (SOA) of 0.2 seconds, were also observed, aligning with previous research.
In the online experiment, classification results summarized in Table 2 revealed that two participants achieved perfect accuracy (1.0), while five scored between 0.8 and 0.95, and two scored between 0.6 and 0.7. One participant (subject 10) had a classification accuracy of 0.0 due to failure across all trials. The mean classification accuracy for all participants was 0.76 ± 0.28, which improved to 0.84 ± 0.13 when excluding subject 10. The confusion matrix in Figure 4 demonstrated that the classifier effectively distinguished target letters, as indicated by the predominance of diagonal elements. Regarding information transfer rate (ITR), two participants achieved 3.24 bits/min, while five others ranged from 2.0 to 3.0 bits/min, resulting in an overall mean ITR of 2.16 ± 0.93 bits/min, which increased to 2.40 ± 0.63 bits/min when excluding subject 10.
Discussion
The ASME (Auditory Stream Segregation Multiclass ERP) paradigm, developed by Kanoh et al. (2010), utilizes auditory stream segregation to create an auditory brain-computer interface (BCI) that allows users to direct their attention to specific auditory streams and stimuli. This paradigm enables multiclass classification using only a single audio channel, with systems proposed for two, three, and four classes. The ASME-speller, an application of this paradigm, maps letters from the QWERTY keyboard layout onto three auditory streams corresponding to high, middle, and low frequency bands. Users can select letters by first identifying the row of the intended letter and then focusing on the specific auditory stimulus associated with that letter, eliciting event-related potentials (ERPs) such as the P300.
In a pilot study, the ASME-speller demonstrated a letter selection accuracy of 0.73 and an information transfer rate (ITR) of 3.78 bits/min using 15 letters, indicating its potential for practical applications. However, the initial system was limited to fewer classes than required for the full alphabet. The current study expands the ASME-speller to a 30-class system, allowing input of all alphabet letters and some symbols. Online experiments with healthy participants confirmed its feasibility, achieving classification accuracy and ITR comparable to existing auditory speller systems. The study also explored various preprocessing parameters and classification pipelines to optimize performance, identifying configurations that yielded robust results across participants.
Limitations
The limitations of the ASME-speller, while demonstrating promising classification accuracy and information transfer rate (ITR), highlight several areas for future research. The current study’s participant pool was limited to healthy, young, Japanese-speaking adults, necessitating broader demographic inclusion, particularly older adults and individuals with neurological disorders, to evaluate the system’s generalizability and practical utility as an assistive communication tool. Additionally, the reliance on a 64-channel EEG setup poses challenges for real-world application, prompting the need to explore the efficacy of more portable EEG systems with fewer channels.
Moreover, the study’s use of 30 voice stimuli raises questions about the consistency of event-related potential (ERP) responses, suggesting that future work should focus on developing a stimulus set that elicits uniform ERPs across all letters. The exploration of various classification pipelines and preprocessing configurations is also warranted to optimize system performance. The evaluation of early stopping strategies should be refined to reflect realistic training conditions, and the assumption that similar ERP responses can be elicited for all target stimuli requires systematic investigation. Lastly, while the cognitive workload associated with auditory BCIs was noted, a thorough assessment of usability and cognitive load using standardized measures, alongside participant-specific parameter tuning, is essential for enhancing the ASME-speller’s robustness and applicability in practical settings.
