إطار CNN مزدوج الهيكل مع دمج انتباه متقاطع محكم وخسارة بؤرية مختلطة لتصنيف قوي وقابل للتفسير لأورام الدماغ A Dual-Backbone CNN Framework with Gated Cross-Attention Fusion and Mixup Focal Loss for Robust and Explainable Classification of Brain Tumors

شارك:
المجلة: Journal of Innovative Image Processing، المجلد: 8، العدد: 2
DOI: https://doi.org/10.36548/jiip.2026.2.014
تاريخ النشر: 2026-05-22
المؤلف: CMAK Zeelan Basha وآخرون
الموضوع الرئيسي: كشف وتصنيف أورام الدماغ

نظرة عامة

تقدم البحث إطار عمل جديد لتشخيص وتصنيف أورام الدماغ من صور الرنين المغناطيسي، مع معالجة التحديات مثل تنوع نوع الورم، وانخفاض التباين، وعدم توازن الفئات. يستخدم النموذج المقترح بنية شبكة عصبية تلافيفية ذات عمودين، مدمجًا EfficientNetV2-S و ConvNeXt-Tiny لاستخراج الميزات متعددة المقاييس. تسهل وحدة دمج الانتباه المتقاطع الموجه التفاعل التكيفي بين تمثيلات الميزات، بينما تعزز تقنيات مثل تنظيم Mixup، وفقدان التركيز، وتنعيم التسميات المتانة وتدير عدم توازن الفئات. يستخدم النموذج نهج التعلم الانتقالي على مرحلتين، مدعومًا بتثبيت المتوسط المتحرك الأسي.

تظهر النتائج التجريبية فعالية النموذج، حيث تحقق دقة تصنيف تبلغ 95.73%، ودرجة F1 ماكرو تبلغ 95.7%، ومتوسط ROC-AUC ماكرو يبلغ 0.9967 على مجموعة بيانات تتكون من 7,023 صورة رنين مغناطيسي. تؤكد التحليلات المقارنة والتحليلية فعالية استراتيجيات الدمج والتدريب. بالإضافة إلى ذلك، تؤكد تصورات Grad-CAM أن النموذج يركز بفعالية على المناطق المتعلقة بالورم، مما يشير إلى قابلية تفسير جيدة. بينما النتائج واعدة لأنظمة دعم القرار السريري، هناك حاجة إلى مزيد من التحقق باستخدام مجموعات بيانات متعددة المراكز لتأسيس قابلية تطبيق النموذج في البيئات السريرية.

مقدمة

تسلط مقدمة هذه الورقة البحثية الضوء على التقدم في الذكاء الاصطناعي لتصوير الأعصاب السريري، لا سيما في تشخيص أورام الدماغ، التي تعد معقدة وتشكل مخاطر جراحية كبيرة. تم تحديد التصوير بالرنين المغناطيسي كمعيار ذهبي لتشخيص الأورام بسبب تباينه العالي في الأنسجة الرخوة وغياب الإشعاع المؤين. ومع ذلك، فإن التحليل اليدوي لصور الرنين المغناطيسي متعددة الأنماط يتطلب جهدًا كبيرًا وعرضة للأخطاء البشرية، مما يزيد من صعوبة التمييز بين أنواع الأورام مثل الأورام الدبقية، والأورام السحائية، وأورام الغدة النخامية، التي تظهر ملفات كثافة مشابهة وميزات هندسية. بالإضافة إلى ذلك، تعيق العيوب التصويرية وعدم توازن الفئات أداء نماذج التعلم الآلي التقليدية.

لمعالجة هذه التحديات، تقترح الورقة نموذج شبكة عصبية تلافيفية ذات عمودين قوي يدمج بين بنية EfficientNetV2-S و ConvNeXt-Tiny، تم تدريبه على مجموعة بيانات صور الرنين المغناطيسي للدماغ. تم تقديم طريقة دمج الانتباه المتقاطع الموجه الجديدة لتعزيز تمثيل الميزات من خلال التركيز على المناطق المكانية المعلوماتية مع تقليل الضوضاء. كما يقترح المؤلفون استخدام فقدان التركيز Mixup لتحسين المتانة ضد عدم توازن الفئات وتعزيز معايرة النموذج. علاوة على ذلك، يهدف استخدام Grad-CAM لتصور توقعات النموذج إلى زيادة القابلية للتفسير والثقة السريرية. تشمل المساهمات الرئيسية لهذا العمل نهج استخراج ميزات متعددة المقاييس، وآلية تفاعل ميزات ثنائية الاتجاه التكيفية، واستراتيجية التعلم الانتقالي مع تثبيت المتوسط المتحرك الأسي، مما يعالج قيود الأساليب الحالية في إطار موحد.

الطرق

توضح قسم المنهجية إعداد التجارب والتقنيات المستخدمة في الدراسة، باستخدام Python مع TensorFlow (v2.x) و Keras لتطوير النموذج. تم تسهيل معالجة الصور وزيادتها من خلال OpenCV و TensorFlow، بينما تم حساب مقاييس التقييم باستخدام Scikit-learn و Matplotlib و Seaborn. تم استخدام وحدة معالجة الرسومات NVIDIA المدعومة بـ CUDA لتعزيز سرعة التدريب، مع إعادة تحجيم جميع صور الرنين المغناطيسي إلى 224×224 بكسل لتتوافق مع نماذج ImageNet المدربة مسبقًا، مما يوازن بين الكفاءة الحاسوبية ومعلومات هيكل الورم.

استخدم تدريب النموذج مُحسِّن Adam مع استراتيجية من مرحلتين، حيث تم تجميد طبقات العمود الفقري في البداية قبل التعديل الانتقائي. للتخفيف من الإفراط في التكيف وضمان التقارب المستقر، تم تنفيذ تقنيات مثل الإيقاف المبكر، وجدولة معدل التعلم، وMixup، وفقدان التركيز، وتنعيم التسميات. بالإضافة إلى ذلك، تم اعتماد استراتيجية المتوسط المتحرك الأسي لتعزيز استقرار التدريب والتعميم. تم إجراء التجارب باستخدام بذور عشوائية ثابتة لضمان القابلية للتكرار، وتم ضبط المعلمات بشكل منهجي، محققًا دقة تحقق مثالية مع تعيين المعلمات إلى $\gamma=2$، $\alpha=0.5$، و $\epsilon=0.1$. تم تقديم ملخص للمعلمات الحساسة وتحليل حساسيتها في الجدول 3 والقسم 5.8 من الورقة.

النتائج

تظهر نتائج الدراسة التحليلية والمقارنة الدور الحاسم لمكونات مختلفة في النظام المقترح. تشير النتائج إلى أن غياب التفاعل بين الميزات، بالاعتماد فقط على دمج الميزات البسيطة، يؤدي إلى أداء متدني. يعزز إدخال دمج الانتباه بشكل كبير نتائج التصنيف من خلال القضاء على الميزات الزائدة، بينما يحسن الانتباه المتقاطع الأداء من خلال تسهيل التفاعلات بين الميزات المختلفة عبر الأعمدة الفقرية. يتم تحقيق النتائج المثلى مع دمج الانتباه المتقاطع الموجه المقترح، مما يبرز أهمية إعادة وزن الميزات التكيفية.

بالإضافة إلى ذلك، يتم تسليط الضوء على تأثير تنظيم Mixup وتثبيت المتوسط المتحرك الأسي، حيث أن دمجهما يؤدي إلى دقة متفوقة، ودرجات F1 ماكرو، وخطأ معايرة ضئيل. يؤكد ذلك أن إطار العمل ذو العمودين يتفوق باستمرار على الأساليب الحالية ويقدم قابلية تفسير محسنة، مما يشير إلى إمكانية استخدامه في دعم القرار السريري، في انتظار مزيد من التحقق. على الرغم من أن النموذج يظهر أداءً قويًا على مجموعة البيانات المستخدمة، إلا أن قابليته للتعميم على مجموعات بيانات متعددة المراكز أو خارجية لا تزال مصدر قلق بسبب التحولات المحتملة في المجال الناتجة عن اختلافات في بروتوكولات اكتساب صور الرنين المغناطيسي وظروف التصوير. يتم تعزيز متانة الإطار من خلال دمج تنظيم Mixup، وتنعيم التسميات، وتثبيت المتوسط المتحرك الأسي، ومع ذلك، فإن التحقق الإضافي على مجموعات بيانات مستقلة أمر ضروري لتقييم قابليته السريرية. ستركز الأعمال المستقبلية على تقييمات عبر مجموعات البيانات وتكييف المجال لتعزيز الأداء عبر مجموعات بيانات سريرية متنوعة.

المناقشة

تسلط قسم المناقشة في الورقة البحثية الضوء على تطور تصنيف أورام الدماغ التلقائي من تقنيات معالجة الصور التقليدية إلى أساليب التعلم العميق المتقدمة. اعتمدت الأساليب الأولية على ميزات مصممة يدويًا ومصنفين مثل آلات الدعم الشعاعي (SVM) وأقرب الجيران (KNN)، والتي واجهت صعوبات مع الضوضاء والتعميم عبر بروتوكولات الرنين المغناطيسي المختلفة. شكل الانتقال إلى التعلم العميق تقدمًا كبيرًا، مما سمح بالتعلم من الميزات من البيانات الخام بشكل شامل. تؤكد الاتجاهات الحديثة على استخدام أساليب التجميع وآليات الانتباه لتعزيز دقة التصنيف، حيث تمكن آليات الانتباه النماذج من التركيز على الميزات المرضية الحرجة مع تقليل تأثير الهياكل الصحية.

يدمج الإطار المقترح آلية انتباه موجه ووظيفة خسارة مصممة لتحقيق كل من القابلية للتفسير وأداء تصنيف تنافسي. يستخدم بنية ذات عمودين لاستخراج الميزات، مستفيدًا من EfficientNetV2-S و ConvNeXt-Tiny، ويشمل استراتيجية دمج ديناميكية مع انتباه متقاطع ثنائي الاتجاه. يسهل هذا التصميم تبادل المعلومات بشكل فعال بين مشفرات الميزات، مما يحسن المتانة ضد عدم توازن الفئات والإفراط في التكيف من خلال تقنيات مثل فقدان التركيز وتنظيم Mixup. يظهر النموذج مقاييس أداء قوية، محققًا دقة تصنيف إجمالية تبلغ 95.73% ودرجات F1 ماكرو عالية عبر فئات الأورام، مما يشير إلى فعاليته في التمييز بين أنواع الأورام المتشابهة مع الحفاظ على الصلة السريرية.

Journal: Journal of Innovative Image Processing, Volume: 8, Issue: 2
DOI: https://doi.org/10.36548/jiip.2026.2.014
Publication Date: 2026-05-22
Author(s): CMAK Zeelan Basha et al.
Primary Topic: Brain Tumor Detection and Classification

Overview

The research presents a novel framework for diagnosing and classifying brain tumors from MRI scans, addressing challenges such as tumor type variability, low contrast, and class imbalance. The proposed model employs a dual-backbone convolutional neural network (CNN) architecture, integrating EfficientNetV2-S and ConvNeXt-Tiny for multi-scale feature extraction. A gated cross-attention fusion module facilitates adaptive interaction among feature representations, while techniques like Mixup regularization, focal loss, and label smoothing enhance robustness and manage class imbalance. The model utilizes a two-stage transfer learning approach, supported by exponential moving average (EMA) stabilization.

Experimental results demonstrate the model’s efficacy, achieving a classification accuracy of 95.73%, a macro-F1 score of 95.7%, and a macro-average ROC-AUC of 0.9967 on a dataset of 7,023 MRI images. Comparative and ablation analyses validate the effectiveness of the fusion and training strategies. Additionally, Grad-CAM visualizations confirm that the model effectively focuses on tumor-related regions, indicating good interpretability. While the results are promising for clinical decision-support systems, further validation using multi-center datasets is necessary to establish the model’s applicability in clinical settings.

Introduction

The introduction of this research paper highlights the advancements in artificial intelligence for clinical neuroimaging, particularly in the diagnosis of brain tumors, which are complex and pose significant surgical risks. Magnetic Resonance Imaging (MRI) is identified as the gold standard for tumor diagnosis due to its high soft-tissue contrast and absence of ionizing radiation. However, the manual analysis of multimodal MRI scans is labor-intensive and prone to human error, exacerbated by the challenges of distinguishing between tumor types such as gliomas, meningiomas, and pituitary tumors, which exhibit similar intensity profiles and geometrical features. Additionally, imaging artifacts and class imbalance hinder the performance of conventional machine learning models.

To address these challenges, the paper proposes a robust dual-backbone Convolutional Neural Network (CNN) model that integrates EfficientNetV2-S and ConvNeXt-Tiny architectures, trained on a brain MRI dataset. A novel Gated Cross-Attention Fusion method is introduced to enhance feature representation by focusing on informative spatial regions while minimizing noise. The authors also propose a Mixup Focal Loss to improve robustness against class imbalance and enhance model calibration. Furthermore, the use of Grad-CAM for visualizing model predictions aims to increase interpretability and clinical trust. The key contributions of this work include a multi-scale feature extraction approach, an adaptive bidirectional feature interaction mechanism, and a transfer learning strategy with Exponential Moving Average (EMA) stabilization, addressing the limitations of existing methods in a unified framework.

Methods

The methodology section outlines the experimental setup and techniques employed in the study, utilizing Python with TensorFlow (v2.x) and Keras for model development. Image preprocessing and augmentation were facilitated through OpenCV and TensorFlow, while evaluation metrics were computed using Scikit-learn, Matplotlib, and Seaborn. A CUDA-enabled NVIDIA GPU was utilized to enhance training speed, with all MRI images resized to 224×224 pixels to align with pre-trained ImageNet models, balancing computational efficiency and tumor structural information.

The model training employed the Adam optimizer with a two-stage strategy, initially freezing the backbone layers before selective fine-tuning. To mitigate overfitting and ensure stable convergence, techniques such as early stopping, learning rate scheduling, Mixup, focal loss, and label smoothing were implemented. Additionally, the Exponential Moving Average (EMA) strategy was adopted to enhance training stability and generalization. The experiments were conducted with fixed random seeds for reproducibility, and hyperparameters were systematically tuned, achieving optimal validation accuracy with parameters set to $\gamma=2$, $\alpha=0.5$, and $\epsilon=0.1$. A summary of the hyperparameters and their sensitivity analysis is provided in Table 3 and Section 5.8 of the paper.

Results

The results of the ablation and comparative study demonstrate the critical role of various components in the proposed system. The findings indicate that the absence of inter-feature interaction, relying solely on simple feature concatenation, leads to diminished performance. The introduction of gating fusion significantly enhances classification outcomes by eliminating redundant features, while cross-attention further improves performance by facilitating interactions among different features across backbones. The optimal results are achieved with the proposed Gated Cross-Attention Fusion (GCAF), underscoring the importance of adaptive feature re-weighting.

Additionally, the impact of Mixup regularization and Exponential Moving Average (EMA) stabilization is highlighted, with their combination yielding superior accuracy, macro-F1 scores, and minimal calibration error. This confirms that the dual-backbone framework consistently outperforms existing methods and offers enhanced explainability, suggesting its potential utility in clinical decision support, pending further validation. Although the model demonstrates strong performance on the dataset used, its generalizability to multicenter or external datasets remains a concern due to potential domain shifts from variations in MRI acquisition protocols and imaging conditions. The framework’s robustness is bolstered by incorporating Mixup regularization, label smoothing, and EMA stabilization, yet further validation on independent datasets is essential to assess its clinical applicability. Future work will focus on cross-dataset evaluations and domain adaptation to enhance performance across diverse clinical datasets.

Discussion

The discussion section of the research paper highlights the evolution of automatic brain tumor classification from traditional image processing techniques to advanced deep learning (DL) methods. Initial approaches relied on hand-crafted features and classifiers like Support Vector Machines (SVM) and K-Nearest Neighbors (KNN), which struggled with noise and generalization across different MRI protocols. The shift to DL marked a significant advancement, allowing for end-to-end feature learning from raw data. Recent trends emphasize the use of ensemble methods and attention mechanisms to enhance classification accuracy, with attention mechanisms enabling models to focus on critical pathological features while mitigating the influence of healthy structures.

The proposed framework integrates a gated attention mechanism and a tailored loss function to achieve both explainability and competitive classification performance. It employs a dual-backbone architecture for feature extraction, utilizing EfficientNetV2-S and ConvNeXt-Tiny, and incorporates a dynamic fusion strategy with bidirectional cross-attention. This design facilitates effective information exchange between feature encoders, improving robustness against class imbalance and overfitting through techniques like Focal Loss and Mixup regularization. The model demonstrates strong performance metrics, achieving an overall classification accuracy of 95.73% and high macro-averaged F1-scores across tumor classes, indicating its effectiveness in distinguishing between similar tumor types while maintaining clinical relevance.