DOI: https://doi.org/10.1162/imag.a.1227
PMID: https://pubmed.ncbi.nlm.nih.gov/42112161
تاريخ النشر: 2026-01-01
المؤلف: Corentin Puffay وآخرون
الموضوع الرئيسي: علم الأعصاب للغة ثنائية اللغة
نظرة عامة
تستكشف هذه الدراسة التفاعل بين الانتباه السمعي وتتبع السياق في بيئات متعددة المتحدثين باستخدام بيانات تخطيط الدماغ الكهربائي (ECoG) وتخطيط الدماغ الكهربائي الستيريو (sEEG) من ثلاثة مرضى صرع. تستخدم الدراسة نموذج “حفلة الكوكتيل” لتحليل كيفية قدرة نماذج اللغة الكبيرة (LLMs) على توقع استجابات الدماغ لكل من تدفقات الكلام التي تم الانتباه إليها وتلك التي لم يتم الانتباه إليها. تشير النتائج إلى أن تضمينات LLM تتنبأ بفعالية بنشاط الدماغ المرتبط بالكلام الذي تم الانتباه إليه، بينما تكشف أيضًا أن الميزات السياقية من الكلام غير المنتبه تساهم في هذه التوقعات.
من الجدير بالذكر أن النتائج تظهر أن الدماغ يتتبع السياق قصير المدى في تدفق الكلام غير المنتبه مقارنةً بالكلام الذي تم الانتباه إليه، مما يشير إلى أن الانتباه السمعي يعدل معالجة تدفقات الكلام المتعددة بشكل متوازي. تسلط هذه الدراسة الضوء على إمكانيات LLMs كأدوات لاستكشاف ترميز اللغة العصبية في بيئات سمعية معقدة، مما يوفر رؤى حول كيفية تنقل الدماغ وتفسير المدخلات الكلامية المتداخلة.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على تقاطع نماذج اللغة الكبيرة (LLMs) وعلم الأعصاب، لا سيما في فهم معالجة اللغة في الدماغ البشري. أشارت الدراسات السابقة إلى وجود أوجه تشابه بين LLMs والاستجابات العصبية، وغالبًا ما تستخدم نماذج الانحدار الخطي لربط تمثيلات الكلمات التي تولدها LLMs بالنشاط العصبي الفعلي. ومع ذلك، قد تتأثر العلاقات الخطية الملاحظة بعوامل مختلفة لا تزال غير مستكشفة بشكل كافٍ. لمعالجة ذلك، استخدم الباحثون مجموعات بيانات محكومة لتفكيك تمثيلات الكلمات إلى ميزات لغوية متميزة، مثل المكونات المعجمية والنحوية، مع الاعتراف أيضًا بحدود المنهجيات الحالية، لا سيما في بيئات متعددة المتحدثين حيث يلعب الانتباه دورًا حاسمًا في معالجة الكلام.
تهدف الدراسة إلى التحقيق في كيفية تأثير الانتباه على تتبع السياق في سيناريو متعدد المتحدثين باستخدام تضمينات LLM للتنبؤ باستجابات الدماغ التي تم التقاطها عبر تخطيط الدماغ الكهربائي (ECoG) وتخطيط الدماغ الكهربائي الستيريو (sEEG). تشير النتائج الأولية إلى أن طبقات LLM التي ترمز إلى المعلومات اللغوية توفر توقعات أفضل للكلام الذي تم الانتباه إليه مقارنةً بالكلام غير المنتبه، مما يشير إلى وجود حد محتمل في معالجة اللغة بالنسبة للأخير. علاوة على ذلك، تظهر الأبحاث أن المعلومات السياقية تعزز بشكل كبير دقة التنبؤ في طبقات LLM الأعمق، مما يكشف أن الدماغ يتتبع السياق قصير المدى من الكلام غير المنتبه مقارنةً بالكلام الذي تم الانتباه إليه. تؤكد هذه الدراسة على أهمية الانتباه في ترميز اللغة السياقية ومزايا استخدام ECoG وsEEG لقياسات نسبة الإشارة إلى الضوضاء الأعلى في البيئات السمعية المعقدة.
الطرق
تحدد قسم “الطرق” تصميم التجربة والمواد المستخدمة في الدراسة. يوضح معايير اختيار المشاركين، والإجراءات المحددة المتبعة أثناء جمع البيانات، والتقنيات التحليلية المستخدمة لتفسير النتائج. من المحتمل أن تتضمن الدراسة قياسات كمية، تم تحليلها باستخدام برامج إحصائية لضمان صحة وموثوقية النتائج.
بالإضافة إلى ذلك، قد يصف القسم المواد المستخدمة، بما في ذلك أي أدوات أو مواد كيميائية أو تقنيات كانت جزءًا لا يتجزأ من البحث. تم تصميم المنهجية لمعالجة أسئلة البحث بفعالية مع الالتزام بالمعايير الأخلاقية، مما يضمن أن النتائج قوية وقابلة للتكرار. بشكل عام، تعتبر الطرق المستخدمة ضرورية لتأسيس مصداقية استنتاجات الدراسة.
النتائج
في هذه الدراسة، بحث الباحثون كيفية تمثيل السياق اللغوي في الدماغ البشري أثناء الاستماع الطبيعي والانتباه الانتقائي من خلال تحليل التسجيلات داخل الجمجمة من ثلاثة مرضى صرع شاركوا في مهمة انتباه سمعي ثنائي المتحدثين. استمع المشاركون إلى محادثات متداخلة بينما تم تسجيل استجاباتهم العصبية باستخدام أقطاب كهربائية sEEG وECoG المزروعة في نصف الكرة الأيسر. كانت نشاطات غاما العالية (70-150 هرتز) بمثابة مؤشر على الانخراط العصبي المحلي، وتم توليد تضمينات الكلمات من نصوص الكلام التي تم الانتباه إليها وتلك التي لم يتم الانتباه إليها باستخدام نموذج اللغة الكبيرة Mistral-7B. تم استخدام الانحدار Ridge لتقييم القوة التنبؤية لهذه التضمينات على الاستجابات العصبية عبر طبقات النموذج المختلفة والفترات الزمنية.
كشفت النتائج عن ثلاث رؤى مهمة: (1) يعزز الانتباه درجات التنبؤ في الدماغ المستمدة من تضمينات LLM، (2) يتأثر هذا التعزيز بشكل أساسي بالمعلومات السياقية، و(3) يكون طول السياق المشفر أقصر بالنسبة للكلام غير المنتبه مقارنةً بالكلام الذي تم الانتباه إليه. تؤكد هذه النتائج مجتمعة على دور تعديل الانتباه في معالجة السياق اللغوي داخل الدماغ.
المناقشة
في هذه الدراسة، بحثنا كيف تتنبأ الميزات اللغوية السياقية من نموذج اللغة الكبير (LLM) Mistral-7B باستجابات الدماغ للكلام في بيئة متعددة المتحدثين، مع التركيز على تأثيرات الانتباه على الترميز السياقي. أظهرت نتيجتنا الأولى أن درجات التنبؤ في الدماغ كانت أعلى بشكل ملحوظ للكلام الذي تم الانتباه إليه مقارنةً بالكلام غير المنتبه عبر طبقات النموذج المختلفة، مما يشير إلى أن الانتباه يعزز المعلومات السياقية المشفرة في الدماغ. على وجه التحديد، زادت درجات التنبؤ من الطبقات المبكرة إلى الطبقات اللاحقة، مما يشير إلى أن الطبقات الأعمق تلتقط معلومات سياقية أكثر صلة. ومع ذلك، لوحظ استقرار في الأداء، ربما بسبب الطبيعة التوليدية لـ Mistral-7B، والتي قد تتضمن معلومات زائدة في الطبقات اللاحقة.
كشفت التحليلات الإضافية أن قدرة النموذج على التنبؤ باستجابات الدماغ كانت مشروطة بالسياق المقدم. عندما تم إدخال الرمز الحالي فقط إلى النموذج، لم يكن هناك زيادة ملحوظة في درجات التنبؤ عبر الطبقات، مما يبرز أهمية المعلومات السياقية. بالإضافة إلى ذلك، قمنا بتوصيف طول السياق الذي يمكن أن يستخدمه النموذج بفعالية، حيث وجدنا أنه بينما استفادت السياقات التي تم الانتباه إليها من أطوال أطول، فإن السياقات غير المنتبه توقفت في وقت أبكر، مما يشير إلى طول سياق فعال أقصر للكلام غير المنتبه. تسهم هذه النتائج في فهمنا للانتباه السمعي ومعالجة السياق، مما يشير إلى أن بعض المعلومات اللغوية من الكلام غير المنتبه لا تزال تتم معالجتها، وإن كان ذلك بشكل أقل فعالية من الكلام الذي تم الانتباه إليه. بشكل عام، تسلط هذه الدراسة الضوء على إمكانيات الميزات التي تولدها LLM في توضيح الآليات العصبية الكامنة وراء فهم الكلام في البيئات السمعية المعقدة.
DOI: https://doi.org/10.1162/imag.a.1227
PMID: https://pubmed.ncbi.nlm.nih.gov/42112161
Publication Date: 2026-01-01
Author(s): Corentin Puffay et al.
Primary Topic: Neurobiology of Language and Bilingualism
Overview
This research investigates the interplay between auditory attention and context tracking in multi-talker environments using electrocorticography (ECoG) and stereoelectroencephalography (sEEG) data from three epilepsy patients. The study employs a “cocktail party” paradigm to analyze how large language models (LLMs) can predict brain responses to both attended and unattended speech streams. The findings indicate that LLM embeddings effectively predict brain activity corresponding to the attended speech, while also revealing that contextual features from the unattended speech contribute to these predictions.
Notably, the results demonstrate that the brain tracks shorter-range context in the unattended speech stream compared to the attended one, suggesting that auditory attention modulates the processing of multiple speech streams in parallel. This research highlights the potential of LLMs as tools for exploring neural language encoding in complex auditory environments, providing insights into how the brain navigates and interprets overlapping speech inputs.
Introduction
The introduction of this research paper highlights the intersection of Large Language Models (LLMs) and neuroscience, particularly in understanding language processing in the human brain. Previous studies have indicated parallels between LLMs and neural responses, often utilizing linear regression models to correlate LLM-generated word representations with actual neural activity. However, the linear relationships observed may be influenced by various factors that remain inadequately explored. To address this, researchers have employed controlled datasets to dissect word representations into distinct linguistic features, such as lexical and syntactic components, while also acknowledging the limitations of existing methodologies, particularly in multi-talker environments where attention plays a critical role in speech processing.
The study aims to investigate how attention influences context tracking in a multi-talker scenario using LLM embeddings to predict brain responses captured via electrocorticography (ECoG) and stereoelectroencephalography (sEEG). Initial findings suggest that LLM layers encoding linguistic information provide better predictions for attended speech compared to unattended speech, indicating a potential limitation in linguistic processing for the latter. Furthermore, the research demonstrates that contextual information significantly enhances predictive accuracy in deeper LLM layers, revealing that the brain tracks shorter-range context from unattended speech compared to attended speech. This work underscores the importance of attention in contextual language encoding and the advantages of using ECoG and sEEG for higher signal-to-noise ratio measurements in complex auditory environments.
Methods
The “Methods” section outlines the experimental design and materials utilized in the study. It details the selection criteria for participants, the specific procedures followed during data collection, and the analytical techniques employed to interpret the results. The study likely involved quantitative measurements, which were analyzed using statistical software to ensure the validity and reliability of the findings.
Additionally, the section may describe the materials used, including any instruments, reagents, or technologies that were integral to the research. The methodology is designed to address the research questions effectively while adhering to ethical standards, ensuring that the results are both robust and reproducible. Overall, the methods employed are crucial for establishing the credibility of the study’s conclusions.
Results
In this study, the researchers investigated how linguistic context is represented in the human brain during naturalistic listening and selective attention by analyzing intracranial recordings from three epilepsy patients engaged in a dual-speaker auditory attention task. Participants listened to overlapping conversations while their neural responses were recorded using sEEG and ECoG electrodes implanted in the left hemisphere. High gamma (70-150 Hz) neural activity served as a proxy for local neural engagement, and word embeddings were generated from attended and unattended speech transcripts using the Mistral-7B large language model (LLM). Ridge regression was employed to assess the predictive power of these embeddings on neural responses across various model layers and temporal lags.
The findings revealed three significant insights: (1) attention enhances the brain’s prediction scores derived from LLM embeddings, (2) this enhancement is predominantly influenced by contextual information, and (3) the length of encoded context is shorter for unattended speech compared to attended speech. Collectively, these results underscore the role of attentional modulation in the processing of linguistic context within the brain.
Discussion
In this study, we investigated how contextual linguistic features from the large language model (LLM) Mistral-7B predict brain responses to speech in a multi-talker environment, focusing on the effects of attention on contextual encoding. Our first result demonstrated that brain prediction scores were significantly higher for attended speech compared to unattended speech across various layers of the model, indicating that attention enhances the contextual information encoded in the brain. Specifically, the prediction scores increased from earlier to later layers, suggesting that deeper layers capture more relevant contextual information. However, a plateau in performance was observed, potentially due to the generative nature of Mistral-7B, which may incorporate extraneous information in later layers.
Further analysis revealed that the model’s ability to predict brain responses was contingent on the context provided. When only the current token was fed to the model, there was no significant increase in prediction scores across layers, underscoring the importance of contextual information. Additionally, we characterized the length of context that the model could effectively utilize, finding that while attended contexts benefited from longer lengths, unattended contexts plateaued earlier, suggesting a shorter effective context length for unattended speech. These findings contribute to our understanding of auditory attention and contextual processing, indicating that some linguistic information from unattended speech is still processed, albeit less effectively than attended speech. Overall, this research highlights the potential of LLM-generated features in elucidating the neural mechanisms underlying speech comprehension in complex auditory environments.