DOI: https://doi.org/10.31449/inf.v50i5.12777
تاريخ النشر: 2026-02-02
المؤلف: Mengzhu Yu
الموضوع الرئيسي: البحث في اضطراب طيف التوحد
نظرة عامة
تقدم البحث إطار عمل هجين جديد يجمع بين CNN و Transformer يهدف إلى تعزيز تشخيص اضطراب طيف التوحد (ASD) باستخدام بيانات التصوير بالرنين المغناطيسي الوظيفي في حالة الراحة (fMRI). تتطلب تعقيدات وتنوع تشخيص ASD، الذي يعتمد تقليديًا على التقييمات السلوكية الذاتية، وجود علامات حيوية موضوعية، وهو ما يسعى هذا النموذج لتقديمه. يستخدم الهيكل المقترح وحدة تلافيفية من طبقتين لاستخراج الميزات المكانية الزمنية المحلية، تليها مشفر Transformer من أربع طبقات يستخدم آلية الانتباه الذاتي متعدد الرؤوس (MHSA) لالتقاط الاعتمادات بعيدة المدى. تم تقييم النموذج على مجموعة بيانات ABIDE-I (N=1,035) من خلال التحقق المتقاطع الصارم من 10 طيات، حيث حقق دقة بنسبة 77.85%، وحساسية بنسبة 76.52%، وخصوصية بنسبة 78.90%، ودرجة F1 بنسبة 77.71%، متفوقًا على التقنيات الحالية وCNNs المدربة مسبقًا مع نتائج ذات دلالة إحصائية (p<0.05). تؤكد النتائج على أهمية دمج تعلم الميزات المحلية مع نمذجة السياق العالمي، كما يتضح من دراسات الإزالة التي أبرزت الدور الحاسم لمشفّر Transformer والاتصالات المتبقية في تعزيز الأداء. على الرغم من التحديات المتعلقة بتنوع الماسحات التي تؤثر على التقييمات المحددة للموقع، تشير الأداء القوي للنموذج إلى إمكانات كبيرة للهياكل الهجينة في التعلم العميق في تشخيصات التصوير العصبي. لا يساهم هذا العمل فقط في تقدم تشخيص التوحد القائم على fMRI، بل يعمل أيضًا كمرجع أساسي للبحوث المستقبلية التي تستكشف نماذج قائمة على Transformer في علوم الأعصاب الحاسوبية.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التحديات في تشخيص الاضطرابات النمائية العصبية، وخاصة اضطراب طيف التوحد (ASD)، بسبب الطبيعة الذاتية للتقييمات النفسية وغياب علامات بيولوجية متسقة. تؤكد الورقة على أهمية التشخيص المبكر، مشيرة إلى أن ASD يؤثر على حوالي 1 من كل 100 طفل على مستوى العالم، مع تفاوتات ديموغرافية كبيرة في معدلات التشخيص، خاصة بين الجنسين. يتم مناقشة التقدمات الأخيرة في طرق التشخيص، بما في ذلك الملاحظات السلوكية المنظمة وتقنيات التعلم الآلي المطبقة على بيانات التصوير العصبي. من الجدير بالذكر أن استخدام التصوير بالرنين المغناطيسي الوظيفي في حالة الراحة (rs-fMRI) قد اكتسب زخمًا، حيث استغلت دراسات مختلفة مجموعات بيانات كبيرة مثل تبادل بيانات تصوير دماغ التوحد (ABIDE) لتطوير نماذج تصنيف تميز بين الأفراد المصابين بالتوحد والأفراد النمطيين.
تقترح الورقة هيكلًا هجينًا جديدًا يجمع بين الشبكات العصبية التلافيفية (CNNs) ونماذج Transformer لتعزيز دقة التصنيف لـ ASD من بيانات rs-fMRI. يهدف هذا النهج إلى الاستفادة من نقاط القوة في كل من التقنيتين: CNNs لاستخراج الميزات المحلية وTransformers لالتقاط الاعتمادات بعيدة المدى. يتم تنظيم البحث حول أسئلة وفرضيات محددة تتعلق بأداء النموذج مقارنة بالطرق الحالية، ومساهمات مكوناته المعمارية، وقابليته للتعميم عبر مواقع اكتساب البيانات المتنوعة. يتوقع المؤلفون أن يتفوق نموذجهم الهجين على المعايير الحالية، مما يوفر أداة أكثر قوة ودقة لتصنيف ASD.
طرق
في هذا القسم، يصف المؤلفون شبكة تحويل تلافيفية مصممة لتصنيف بيانات fMRI في حالة الراحة، تهدف إلى توفير أداة غير لفظية موضوعية لتحليل التوحد. الإطار المقترح، الموضح في الشكل 1، يعالج سلاسل زمنية fMRI الخام مباشرة، مما يلغي الحاجة إلى هندسة الميزات اليدوية. يتكون النموذج من ثلاثة مكونات رئيسية: وحدة تلافيفية تلتقط الأنماط المكانية الزمنية المحلية من خلال تلافيف زمنية أحادية الأبعاد تليها تلافيف مكانية عميقة، ومشفّر Transformer يستخدم آلية الانتباه الذاتي متعدد الرؤوس (MHSA) لوزن الميزات المهمة، ومصنف متصل بالكامل ينتج النتيجة التشخيصية النهائية. يسمح هذا الهيكل بترميز كل من التغيرات الزمنية في إشارات مستوى الأكسجين في الدم (BOLD) والتفاعلات الوظيفية بين مناطق الدماغ.
يظهر النموذج دقة ملحوظة تبلغ 77.85%، متجاوزًا العديد من الطرق الحديثة. على سبيل المثال، حققت الطرق السابقة مثل المشفر التلقائي العميق تليها شبكة عصبية بواسطة Heinsfeld وآخرون دقة تبلغ 70.0%، بينما وصلت ASD-DiagNet لـ Eslami وآخرون إلى 70.3%. يجادل المؤلفون بأن استخراج الميزات الهرمي لوحدتهم التلافيفية وقدرة مشفر Transformer على نمذجة الاعتمادات الزمنية بعيدة المدى توفر ميزة كبيرة على هذه الطرق. بالإضافة إلى ذلك، يتفوق النموذج على SSDAE+MLP لـ Liu وآخرون، الذي حقق دقة تبلغ 75.2%، بنسبة 2.65%، مما يبرز فعالية مشفر Transformer في التقاط السياق الزمني الشامل لبيانات fMRI.
نتائج
في هذا القسم، يتم تقديم نتائج دراسة تستخدم نموذج هجين من CNN-Transformer لتشخيص التوحد من بيانات fMRI. تم تدريب النموذج على مجموعة بيانات ABIDE-I باستخدام وحدة معالجة الرسوميات NVIDIA RTX 2080 Ti، مع حد أقصى يبلغ 150 دورة وموحد AdamW. شمل عملية التدريب جدول زمني لمعدل التعلم بتقنية التخفيف الكوني، وإيقاف مبكر لمنع الإفراط في التكيف، وبذور عشوائية ثابتة لضمان القابلية للتكرار. حقق النموذج دقة تبلغ 77.85%، مع قيم حساسية وخصوصية ودرجة F1 تبلغ 76.52% و78.90% و77.71% على التوالي، متفوقًا على التقنيات المعتمدة وأظهر دلالة إحصائية من خلال اختبار ويلكوكسون الموقّع المقترن.
استكشفت الدراسة أيضًا تأثير المعلمات الفائقة، مثل عدد طبقات Transformer ورؤوس الانتباه، على أداء النموذج. وُجد أن التكوين الأمثل هو Transformer مكون من 7 طبقات مع أربعة رؤوس انتباه، والذي التقط بشكل فعال الديناميات الزمنية المعقدة لبيانات fMRI مع تجنب الإفراط في التكيف. كشفت تحليلات القابلية للتفسير أن توقعات النموذج تتماشى مع الشبكات العصبية المعروفة المرتبطة بالتوحد، مما يعزز الثقة السريرية. على الرغم من النتائج الواعدة، تعترف الدراسة بالقيود المتعلقة بالتباينات المحددة للموقع في اكتساب البيانات وتؤكد على الحاجة إلى مزيد من البحث للتحقق من صحة النموذج عبر مجموعات بيانات متنوعة وتعزيز قابليته للتفسير في السياقات السريرية.
مناقشة
تقدم الدراسة إطار عمل هجين جديد من CNN-Transformer يهدف إلى أتمتة تشخيص اضطراب طيف التوحد (ASD) باستخدام بيانات fMRI في حالة الراحة من مجموعة بيانات ABIDE-I. تتكون هذه المجموعة من 1,112 مسحًا من أفراد مصابين بـ ASD وأفراد متطورين بشكل نمطي، تمت معالجتها من خلال خط أنابيب شامل يتضمن خطوات معالجة مسبقة متنوعة. يظهر النموذج المقترح أداءً متقدمًا، متجاوزًا النماذج العميقة المعتمدة وCNNs المدربة مسبقًا، ويرجع ذلك أساسًا إلى تآزر هيكله الذي يعالج بشكل فعال التحديات الفريدة لتحليل fMRI.
تعتبر المساهمة الرئيسية لهذا العمل هي دمج هيكل Transformer، الذي يقدم مزايا كبيرة على الشبكات العصبية التكرارية التقليدية (RNNs) وCNNs القياسية. يسمح آلية الانتباه الذاتي لـ Transformer بوجود مجال استقبال عالمي، مما يمكّن النموذج من التقاط حالات الدماغ غير المحلية التي تعتبر حاسمة لتشخيص ASD. يتناقض هذا مع RNNs، التي تواجه صعوبة في الاعتمادات بعيدة المدى بسبب طبيعتها المعالجة التسلسلية. يجمع الهيكل الهجين بين نقاط القوة لـ CNNs لاستخراج الميزات المحلية مع قدرة Transformer على نمذجة الديناميات الزمنية العالمية، مما ينتج عنه أداة تشخيصية قوية. تؤكد النتائج على أهمية هذا النهج التآزري، مما يضع معيارًا جديدًا لتشخيص ASD القائم على fMRI ويبرز إمكانات الهياكل الهجينة في التعلم العميق في علوم الأعصاب الحاسوبية.
القيود
تسلط قسم القيود الضوء على تباين الأداء الكبير في التعلم الآلي القائم على التصوير العصبي عبر مواقع التصوير المختلفة، مع دقة تتراوح من 63.55% في Trinity إلى 96.42% في NYU. يُعزى هذا التباين إلى تحيز المواقع المتعددة، الذي ينشأ من اختلافات في أنواع الماسحات، وبروتوكولات الاكتساب، ولفائف الرأس، وخصائص المشاركين. تقدم هذه التحيزات تباينًا غير بيولوجي يعقد قدرة النموذج على تعميم ميزات اضطراب طيف التوحد (ASD). على الرغم من أن الهيكل الهجين المستخدم يظهر أداءً قويًا بشكل عام، فمن الواضح أن التحسينات المعمارية وحدها لا يمكن أن تخفف تمامًا من التحديات التي تطرحها التباينات المحددة للموقع في البيانات.
تشير النتائج إلى وجود ارتباط قوي بين أداء النموذج وحجم العينة المحدد للموقع، مما يشير إلى أن مجموعات البيانات الأكبر تمكّن من تعلم أفضل للميزات ذات الصلة مع تقليل الضوضاء المحددة للموقع. لمعالجة هذه القيود، يجب أن تتضمن الأبحاث المستقبلية تقنيات التوافق الإحصائي والقائم على التعلم العميق، مثل ComBat، التي تقوم بتوحيد المتوسط والانحراف المعياري عبر المواقع للقضاء على التحيزات المحددة للماسحات مع الحفاظ على التباين البيولوجي. بالإضافة إلى ذلك، سيتم تقييم القابلية السريرية للنموذج من خلال التحقق الخارجي على مستودع ABIDE-II والدراسات السريرية المستقبلية، جنبًا إلى جنب مع استكشاف تقنيات التكيف مع المجال لتعزيز القوة عبر مجموعات بيانات متنوعة.
DOI: https://doi.org/10.31449/inf.v50i5.12777
Publication Date: 2026-02-02
Author(s): Mengzhu Yu
Primary Topic: Autism Spectrum Disorder Research
Overview
The research presents a novel CNN-Transformer hybrid framework aimed at enhancing the diagnosis of Autism Spectrum Disorder (ASD) using resting-state functional MRI (fMRI) data. The complexity and heterogeneity of ASD diagnosis, traditionally reliant on subjective behavioral assessments, necessitate objective biomarkers, which this model seeks to provide. The proposed architecture employs a two-layer convolutional module for localized spatiotemporal feature extraction, followed by a four-layer Transformer encoder utilizing a Multi-Head Self-Attention (MHSA) mechanism to capture long-range dependencies. Evaluated on the ABIDE-I dataset (N=1,035) through rigorous 10-fold cross-validation, the model achieved an accuracy of 77.85%, sensitivity of 76.52%, specificity of 78.90%, and an F1-score of 77.71%, outperforming existing techniques and pre-trained CNNs with statistically significant results (p<0.05). The findings underscore the importance of integrating local feature learning with global contextual modeling, as demonstrated by ablation studies that highlighted the critical role of the Transformer encoder and residual connections in enhancing performance. Despite challenges related to scanner heterogeneity affecting site-specific evaluations, the model's robust performance suggests significant potential for hybrid deep learning architectures in neuroimaging diagnostics. This work not only advances fMRI-based autism diagnosis but also serves as a foundational reference for future research exploring Transformer-based models in computational neuroscience.
Introduction
The introduction of this research paper highlights the challenges in diagnosing neurodevelopmental disorders, particularly autism spectrum disorder (ASD), due to the subjective nature of psychiatric assessments and the absence of consistent biological markers. The paper emphasizes the importance of early diagnosis, noting that ASD affects approximately 1 in 100 children globally, with significant demographic disparities in diagnosis rates, particularly between genders. Recent advancements in diagnostic methods, including structured behavioral observations and machine learning techniques applied to neuroimaging data, are discussed. Notably, the use of resting-state functional magnetic resonance imaging (rs-fMRI) has gained traction, with various studies leveraging large datasets like the Autism Brain Imaging Data Exchange (ABIDE) to develop classification models that differentiate between autistic and neurotypical individuals.
The paper proposes a novel hybrid architecture that combines convolutional neural networks (CNNs) and Transformer models to enhance the classification accuracy of ASD from rs-fMRI data. This approach aims to leverage the strengths of both technologies: CNNs for local feature extraction and Transformers for capturing long-range dependencies. The research is structured around specific questions and hypotheses regarding the model’s performance compared to existing methods, the contributions of its architectural components, and its generalizability across diverse data acquisition sites. The authors anticipate that their hybrid model will outperform state-of-the-art benchmarks, providing a more robust and accurate tool for ASD classification.
Methods
In this section, the authors describe a convolutional transformer network designed for classifying resting-state fMRI data, aimed at providing an objective nonverbal tool for autism analysis. The proposed framework, illustrated in Fig. 1, processes raw fMRI time series directly, eliminating the need for manual feature engineering. The model comprises three key components: a convolutional module that captures local spatiotemporal patterns through a one-dimensional temporal convolution followed by a depth-wise spatial convolution, a Transformer encoder utilizing a multi-head self-attention (MHSA) mechanism to weigh significant features, and a fully connected classifier that produces the final diagnostic outcome. This architecture allows for the encoding of both temporal changes in blood-oxygen-level-dependent (BOLD) signals and functional interactions between brain regions.
The model demonstrates a notable accuracy of 77.85%, surpassing several state-of-the-art methods. For instance, previous approaches such as the deep autoencoder followed by a neural network by Heinsfeld et al. achieved 70.0% accuracy, while Eslami et al.’s ASD-DiagNet reached 70.3%. The authors argue that their convolutional module’s hierarchical feature extraction and the Transformer encoder’s ability to model long-range temporal dependencies provide a significant advantage over these methods. Additionally, the model outperforms Liu et al.’s SSDAE+MLP, which achieved 75.2% accuracy, by 2.65%, highlighting the effectiveness of the Transformer encoder in capturing the comprehensive temporal context of fMRI data.
Results
In this section, the results of a study utilizing a CNN-Transformer hybrid model for autism diagnosis from fMRI data are presented. The model was trained on the ABIDE-I dataset using an NVIDIA RTX 2080 Ti GPU, with a maximum of 150 epochs and the AdamW optimizer. The training process included a cosine annealing learning rate schedule, early stopping to prevent overfitting, and a fixed random seed for reproducibility. The model achieved an accuracy of 77.85%, with sensitivity, specificity, and F1-score values of 76.52%, 78.90%, and 77.71%, respectively, outperforming established techniques and demonstrating statistical significance through the paired Wilcoxon Signed-Rank Test.
The study also explored the impact of hyperparameters, such as the number of Transformer layers and attention heads, on model performance. The optimal configuration was found to be a 7-layer Transformer with four attention heads, which effectively captured the complex temporal dynamics of fMRI data while avoiding overfitting. Interpretability analyses revealed that the model’s predictions aligned with known neurobiological networks associated with autism, enhancing clinical trustworthiness. Despite promising results, the study acknowledges limitations related to site-specific variations in data acquisition and emphasizes the need for further research to validate the model across diverse datasets and enhance its interpretability in clinical contexts.
Discussion
The study presents a novel CNN-Transformer hybrid framework aimed at automating the diagnosis of Autism Spectrum Disorder (ASD) using resting-state fMRI data from the ABIDE-I dataset. This dataset comprises 1,112 scans from individuals with ASD and typically developing controls, processed through a comprehensive pipeline that includes various preprocessing steps. The proposed model demonstrates state-of-the-art performance, surpassing established deep learning models and pre-trained CNNs, primarily due to its architectural synergy that effectively addresses the unique challenges of fMRI analysis.
A key contribution of this work is the integration of the Transformer architecture, which offers significant advantages over traditional Recurrent Neural Networks (RNNs) and standard CNNs. The self-attention mechanism of the Transformer allows for a global receptive field, enabling the model to capture non-local brain states critical for ASD diagnosis. This contrasts with RNNs, which struggle with long-range dependencies due to their sequential processing nature. The hybrid architecture combines the strengths of CNNs for local feature extraction with the Transformer’s ability to model global temporal dynamics, resulting in a powerful diagnostic tool. The findings underscore the importance of this synergistic approach, setting a new benchmark for fMRI-based ASD diagnosis and highlighting the potential of hybrid deep learning architectures in computational neuroscience.
Limitations
The section on limitations highlights significant performance variability in neuroimaging-based machine learning across different imaging sites, with accuracy ranging from 63.55% at Trinity to 96.42% at NYU. This variability is attributed to multi-site bias, which stems from differences in scanner types, acquisition protocols, head coils, and participant demographics. Such biases introduce non-biological variance that complicates the model’s ability to generalize features of Autism Spectrum Disorder (ASD). Although the hybrid architecture employed shows robust aggregate performance, it is evident that architectural improvements alone cannot fully mitigate the challenges posed by site-specific data discrepancies.
The findings indicate a strong correlation between model performance and site-specific sample size, suggesting that larger datasets enable better learning of relevant features while minimizing site-specific noise. To address these limitations, future research should incorporate statistical and deep learning-based harmonization techniques, such as ComBat, which standardizes mean and variance across sites to eliminate scanner-specific biases while maintaining biological variability. Additionally, the clinical applicability of the model will be evaluated through external validation on the ABIDE-II repository and prospective clinical studies, alongside the exploration of domain adaptation techniques to enhance robustness across diverse datasets.