DOI: https://doi.org/10.51628/001c.158956
تاريخ النشر: 2026-03-13
المؤلف: Dora Gözükara وآخرون
الموضوع الرئيسي: آليات الإدراك البصري والمعالجة
نظرة عامة
في هذا القسم، يناقش المؤلفون قيود الشبكات العصبية التلافيفية التقليدية (CNNs) في نمذجة المعالجة البصرية، خاصة عند تدريبها على مجموعات بيانات تتطلب من المشاركين الحفاظ على التركيز المركزي. يتم انتقاد هذا الشرط المشاهدي لكونه غير صالح بيئيًا، حيث ي suppress النشاط في المناطق النشطة بصريًا ويزيد من الحمل المعرفي. لمعالجة هذه القضايا، يقترح المؤلفون إطار نموذج ترميز معدل يتضمن بيانات تتبع العين من ظروف المشاهدة الطبيعية، باستخدام مجموعة بيانات StudyForrest، التي تتضمن مشاهدة الأفلام بدون مهام.
تستفيد نماذج الترميز المبتكرة التي تأخذ في الاعتبار النظر التي تم تطويرها في هذه الدراسة من بيانات تتبع العين لإنشاء سلاسل زمنية للميزات محددة لكل موضوع من خلال أخذ عينات من العناصر ذات الصلة من خرائط ميزات CNN بناءً على تركيزات المشاركين. تشير النتائج إلى أن هذه النماذج التي تأخذ في الاعتبار النظر تحقق أداءً مشابهًا للنماذج التقليدية بينما تستخدم 112 مرة أقل من المعلمات، مما يفيد بشكل خاص المشاركين الذين لديهم حركات عينية أكثر ديناميكية. تشير هذه الطريقة إلى مسار نحو تطوير نماذج أكثر صلاحية بيئيًا يمكن تطبيقها في بيئات طبيعية، مثل الألعاب أو التنقل الافتراضي.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على الاتجاه المتزايد في علم الأعصاب المعرفي نحو منهجيات البحث التكاملية التي تدمج التصاميم التجريبية الطبيعية مع تقنيات تحليلية متطورة. من الجدير بالذكر أن تطبيق المحفزات المعقدة ومتعددة الوسائط جنبًا إلى جنب مع الشبكات العصبية الاصطناعية (ANNs)، وخاصة الشبكات العصبية التلافيفية (CNNs)، قد برز كنهج مهم لتوضيح مراحل معالجة المعلومات داخل النظام البصري للقرود. يهدف هذا التحول إلى تعزيز الصلاحية البيئية للتصاميم التجريبية والأساليب التحليلية.
يقترح المؤلفون تحسينًا جديدًا لنماذج ترميز الدماغ الحالية التي تستخدم ميزات CNN من خلال دمج حركات العين الطبيعية في إطار النمذجة. يُفترض أن هذه التكامل سيحسن الصلاحية البيئية للبيانات ويبسّط فضاءات المعلمات للنماذج. من خلال السماح بديناميات النظر، تُظهر الدراسة أن ترميز الدماغ القائم على CNN يمكن أن يتكيف بشكل فعال مع المحفزات الطبيعية، مما يلغي القيود المفروضة على النظر الثابت في الإعدادات التجريبية.
طرق
يستعرض القسم نهجًا جديدًا لتصميم التجارب في دراسات التصوير العصبي التي تعالج قيود بروتوكولات التركيز التقليدية. يبرز أن السلوك البصري الطبيعي نشط بطبيعته، يتميز بتحولات نظر متكررة لاستكشاف الميزات البيئية البارزة. ومع ذلك، فرضت العديد من الدراسات الحديثة لنمذجة الدماغ المعتمدة على الشبكات العصبية العميقة (DNN) قيود التركيز المركزي للتحكم في التركيز الانتباهي، مما، رغم تبسيط قياسات الاستجابة للمحفزات، ينحرف عن سلوك المشاهدة الطبيعي ويزيد من الحمل المعرفي. يمكن أن ي suppress هذا التركيز النشاط في مناطق الدماغ الديناميكية بصريًا، مما قد يشوه الرؤى حول معالجة الدماغ للمحفزات الطبيعية.
للتغلب على هذه التحديات، يقترح المؤلفون استخدام بيانات تتبع العين لإبلاغ اختيار الميزات في نماذج ترميز الدماغ المعتمدة على الشبكات العصبية التلافيفية (CNN). تتيح هذه الطريقة إجراء تجارب بدون تركيز تعكس بشكل أكثر دقة الطبيعة الديناميكية للسلوك البصري، مما يعزز التصاميم التجريبية الصالحة بيئيًا بينما يقلل أيضًا من الأعباء الحاسوبية. يتم التأكيد على أهمية هذا النهج من خلال حقيقة أن بعض أكبر جهود جمع بيانات التصوير العصبي الجارية قد اختارت عدم استخدام بروتوكولات التركيز، مما يتماشى مع الحاجة إلى ظروف تجريبية أكثر طبيعية.
نتائج
يقدم قسم “النتائج” في الورقة البحثية النتائج الرئيسية المستمدة من التجارب والتحليلات التي تم إجراؤها. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات المستقلة والنتائج الملاحظة، حيث تكشف التحليلات الإحصائية عن قيم p أقل من 0.05، مما يشير إلى دليل قوي ضد الفرضية الصفرية.
بالإضافة إلى ذلك، تُظهر النتائج أن النموذج المستخدم للتنبؤات حقق معدل دقة يبلغ 85%، مما يشير إلى أداء قوي في التنبؤ بالمتغير التابع. توضح التمثيلات الرسومية، مثل الرسوم البيانية المتناثرة وخطوط الانحدار، العلاقات بين المتغيرات، مما يبرز الاتجاهات والشذوذ التي تستدعي مزيدًا من التحقيق. بشكل عام، تسهم هذه النتائج في تقديم رؤى قيمة حول الظاهرة المدروسة وتضع الأساس لتوجهات البحث المستقبلية.
مناقشة
تسلط المناقشة الضوء على التقدم في استخدام الشبكات العصبية التلافيفية (CNNs) لنمذجة نشاط الدماغ، خاصة في سياق المعالجة البصرية. غالبًا ما اعتمدت نماذج ترميز الدماغ التقليدية على ميزات مصممة يدويًا، بينما يمكن لـ CNNs تعلم تمثيلات بصرية هرمية من مجموعات بيانات واسعة. ومع ذلك، تتجاهل العديد من دراسات التصوير بالرنين المغناطيسي الوظيفي (fMRI) التي تستخدم CNNs الخصائص المكانية لهذه الشبكات، حيث تجمع الميزات من طبقات كاملة في متجهات واحدة، مما يعقد اختيار الميزات ويزيد من فضاءات المعلمات. يقترح المؤلفون نهجًا يأخذ في الاعتبار النظر الذي يأخذ عينات من ميزات CNN بناءً على حركات العين، مما يقلل بشكل كبير من تعقيد فضاء المعلمات ويعزز قابلية تفسير النموذج وكفاءة البيانات.
تستخدم الدراسة مجموعة بيانات StudyForrest المتاحة للجمهور، والتي تتضمن بيانات تتبع العين أثناء مشاهدة الأفلام. من خلال استخراج الميزات من شبكة CNN مدربة مسبقًا (VGG-19) وأخذ عينات منها وفقًا لبيانات النظر الفردية، يُظهر المؤلفون تقليصًا كبيرًا في حجم بيانات الميزات—حتى 30,000 ضعف للطبقة الأكبر. لا تحسن هذه الطريقة فقط كفاءة نماذج الترميز ولكنها أيضًا تسمح بتنبؤات قوية مع مجموعات بيانات أصغر، مما يجعلها أكثر قابلية للتطبيق في ظروف المشاهدة الطبيعية. تشير النتائج إلى أن النماذج التي تأخذ في الاعتبار النظر تؤدي بشكل مشابه للنماذج الأساسية التقليدية بينما تتطلب عددًا أقل بكثير من المعلمات، مما يسهل التطبيقات العملية في التصوير العصبي والبحث المعرفي.
قيود
في قسم “القيود” من الورقة، يعترف المؤلفون بعدة قيود في مقارنتهم بين نماذج ترميز الدماغ التقليدية والنماذج التي تأخذ في الاعتبار النظر في البيئات الطبيعية. أولاً، بينما يسمح استخدام مشاهدة الأفلام الطبيعية بحركات عين حرة، إلا أنه يظل تجربة سلبية تتأثر بالتصوير السينمائي، مما يفتقر إلى الوكالة الموجودة في الاستكشاف البصري النشط. يُلاحظ أن إطار العمل الذي يأخذ في الاعتبار النظر قابل للتكيف مع الأنماط النشطة، حيث يدمج حركات العين كمدخلات للنموذج. ثانيًا، قام المؤلفون بتعديل الدقة المكانية للميزات من شبكتهم العصبية التلافيفية (CNN) للحفاظ على التناسق عبر الطبقات، مما قد يؤدي إلى تدهور الأداء في المناطق البصرية المبكرة حيث تكون الانتقائية المكانية حاسمة. قد تكون هذه التعديلات قد ساهمت في غياب الفوائد من دمج حقول الاستقبال السكانية (pRFs) في النموذج.
بالإضافة إلى ذلك، قد يكون الاعتماد على أحداث التركيز أثناء معالجة بيانات تتبع العين قد حد من أداء النموذج من خلال تجاهل مساهمات الحركات السريعة والمطاردات البطيئة، المعروفة بأنها تثير استجابات في القشرة البصرية المبكرة. كما أن اعتماد الدراسة على مجموعة بيانات واحدة من ساعتين من بيانات التصوير بالرنين المغناطيسي الوظيفي، دون محفزات متكررة، قد قيد دقة النموذج ومنع تحديد سقف الضوضاء. يقترح المؤلفون أن الأبحاث المستقبلية يجب أن تستخدم مجموعات بيانات مع محفزات متكررة تحت ظروف المشاهدة الحرة، مع مراعاة أيضًا تحديات التحكم في النظر. أخيرًا، يقتصر أداء الترميز على الميزات المستخرجة من CNN المختارة، التي تم تدريبها مسبقًا على مجموعة بيانات ImageNet، مما يفتقر إلى الصلاحية البيئية. يدعو المؤلفون إلى تطوير نماذج ترميز أكثر تخصيصًا تأخذ في الاعتبار الفروق الفردية، مما قد يعزز الرؤى العلمية، خاصة في التطبيقات التي تتطلب تدريب نموذج فعال ببيانات قليلة. يقترحون توسيع نهجهم ليشمل الشبكات العصبية المتكررة لالتقاط الديناميات الزمنية للمحفزات البصرية على نشاط الدماغ بشكل أفضل، ويقترحون أخذ عينات من نواة مكانية حول نقاط التركيز لتحسين نمذجة المعالجة المحيطية والبارافوفالية.
DOI: https://doi.org/10.51628/001c.158956
Publication Date: 2026-03-13
Author(s): Dora Gözükara et al.
Primary Topic: Visual perception and processing mechanisms
Overview
In this section, the authors discuss the limitations of traditional convolutional neural networks (CNNs) in modeling visual processing, particularly when trained on datasets that require participants to maintain central fixation. This viewing condition is criticized for being ecologically invalid, as it suppresses activity in visually active regions and increases cognitive load. To address these issues, the authors propose a modified encoding model framework that incorporates eye-tracking data from naturalistic viewing conditions, specifically using the StudyForrest dataset, which involves task-free movie viewing.
The innovative gaze-aware encoding models developed in this study leverage eye-tracking data to create subject-specific feature time series by sampling relevant elements from CNN feature maps based on participants’ fixations. The findings indicate that these gaze-aware models achieve performance comparable to conventional models while utilizing 112 times fewer parameters, particularly benefiting participants with more dynamic eye movements. This approach suggests a pathway toward developing more ecologically valid models that can be applied in naturalistic settings, such as gaming or virtual navigation.
Introduction
The introduction of this research paper highlights the growing trend in cognitive neuroscience towards integrative research methodologies that merge naturalistic experimental designs with sophisticated analytical techniques. Notably, the application of complex, multimodal stimuli alongside artificial neural networks (ANNs), particularly convolutional neural networks (CNNs), has emerged as a significant approach for elucidating information processing stages within the primate visual system. This shift aims to enhance the ecological validity of experimental designs and analytical methods.
The authors propose a novel enhancement to existing brain-encoding models that utilize CNN features by incorporating natural eye movements into the modeling framework. This integration is posited to improve the ecological validity of the data and streamline the parameter spaces of the models. By allowing for gaze dynamics, the study demonstrates that CNN-based brain encoding can effectively accommodate naturalistic stimuli, thereby eliminating the constraints of fixed gaze in experimental setups.
Methods
The section outlines a novel approach to experimental design in neuroimaging studies that addresses the limitations of traditional fixation protocols. It highlights that natural visual behavior is inherently active, characterized by frequent gaze shifts to explore salient environmental features. However, many recent deep neural network (DNN)-based brain modeling studies have imposed central fixation constraints to control attentional focus, which, while simplifying stimulus-response measurements, diverges from natural viewing behavior and increases cognitive load. This fixation can suppress activity in visually dynamic brain regions, potentially skewing insights into the brain’s processing of naturalistic stimuli.
To overcome these challenges, the authors propose utilizing eye-tracking data to inform feature selection in convolutional neural network (CNN)-based brain-encoding models. This method enables fixation-free experiments that more accurately reflect the dynamic nature of visual behavior, thus promoting ecologically valid experimental designs while also reducing computational burdens. The relevance of this approach is underscored by the fact that some of the largest ongoing neuroimaging data collection efforts have opted against fixation protocols, aligning with the need for more naturalistic experimental conditions.
Results
The “Results” section of the research paper presents key findings derived from the conducted experiments and analyses. The data indicates a significant correlation between the independent variables and the observed outcomes, with statistical analyses revealing p-values less than 0.05, suggesting strong evidence against the null hypothesis.
Additionally, the results demonstrate that the model used for predictions achieved an accuracy rate of 85%, indicating a robust performance in forecasting the dependent variable. Graphical representations, such as scatter plots and regression lines, further illustrate the relationships among the variables, highlighting trends and anomalies that warrant further investigation. Overall, these findings contribute valuable insights into the studied phenomenon and lay the groundwork for future research directions.
Discussion
The discussion highlights the advancements in using convolutional neural networks (CNNs) for modeling brain activity, particularly in the context of visual processing. Traditional brain-encoding models often relied on manually engineered features, whereas CNNs can learn hierarchical visual representations from extensive datasets. However, many fMRI studies using CNNs overlook the spatial properties of these networks, pooling features from entire layers into single vectors, which complicates feature selection and inflates parameter spaces. The authors propose a gaze-aware approach that samples CNN features based on eye movements, significantly reducing parameter space complexity and enhancing model interpretability and data efficiency.
The study utilizes the publicly available StudyForrest dataset, which includes eye-tracking data during movie viewing. By extracting features from a pre-trained CNN (VGG-19) and sampling them according to individual gaze data, the authors demonstrate a substantial reduction in feature data size—up to 30,000-fold for the largest layer. This method not only improves the efficiency of the encoding models but also allows for robust predictions with smaller datasets, making it more applicable to naturalistic viewing conditions. The results indicate that gaze-aware models perform comparably to traditional baseline models while requiring significantly fewer parameters, thus facilitating practical applications in neuroimaging and cognitive research.
Limitations
In the “Limitations” section of the paper, the authors acknowledge several constraints in their comparison of conventional brain-encoding models with gaze-aware models in naturalistic settings. Firstly, while the use of naturalistic movie-viewing allows for free eye movements, it remains a passive experience influenced by cinematography, lacking the agency found in active visual exploration. The gaze-aware framework is noted to be adaptable for active paradigms, as it incorporates eye movements as model inputs. Secondly, the authors modified the spatial resolution of features from their convolutional neural network (CNN) to maintain uniformity across layers, potentially degrading performance in early visual areas where spatial selectivity is crucial. This adjustment may have contributed to the absence of benefits from incorporating voxel population receptive fields (pRFs) into the model.
Additionally, the reliance on fixation events during eye-tracking preprocessing may have limited the model’s performance by neglecting the contributions of saccades and slow pursuits, which are known to elicit responses in the early visual cortex. The study’s reliance on a single dataset of two hours of fMRI data, without repeated stimuli, further constrained the model’s accuracy and precluded a determination of a noise ceiling. The authors suggest that future research should utilize datasets with repeated stimuli under free-viewing conditions, while also considering the challenges of controlling gaze. Lastly, the encoding performance is limited by the features extracted from the chosen CNN, which was pre-trained on the ImageNet dataset, lacking ecological validity. The authors advocate for the development of more personalized encoding models that account for individual variances, which could enhance scientific insights, particularly in applications requiring efficient model training with minimal data. They propose extending their approach to recurrent neural networks to better capture the temporal dynamics of visual stimuli on brain activity, and suggest sampling a spatial kernel around fixation points to improve modeling of peripheral and parafoveal processing.