XAI-MRI: نهج مزدوج النمط للتجزئة ثلاثية الأبعاد لأورام الدماغ باستخدام التصوير بالرنين المغناطيسي
XAI-MRI: an ensemble dual-modality approach for 3D brain tumor segmentation using magnetic resonance imaging

المجلة: Frontiers in Artificial Intelligence، المجلد: 8
DOI: https://doi.org/10.3389/frai.2025.1525240
PMID: https://pubmed.ncbi.nlm.nih.gov/40046502
تاريخ النشر: 2025-02-19
المؤلف: Ahmeed Suliman Farhan وآخرون
الموضوع الرئيسي: كشف وتصنيف أورام الدماغ

نظرة عامة

تناقش هذه القسم التحديات المتعلقة بتجزئة أورام الدماغ من صور الرنين المغناطيسي (MRI)، مع التركيز على الصعوبة في تمييز أنسجة الورم عن الأنسجة السليمة، خاصة عند الاعتماد على التجزئة اليدوية من قبل أطباء الأشعة. تعتبر التجزئة الدقيقة ضرورية لتصنيف الورم بشكل فعال وتخطيط العلاج. يقترح المؤلفون نهجًا مبتكرًا مزدوج النمط للتجزئة ثلاثية الأبعاد لأورام الدماغ، مستفيدين من أنماط مختلفة من الرنين المغناطيسي، بما في ذلك T1 وT1ce وT2 وFLAIR. يقومون أولاً بتدريب نماذج U-Net الفردية على كل نمط لتقييم الأداء، ثم يجمعون بين الأنماط ذات الأداء الأفضل لتعزيز دقة التجزئة.

تظهر النتائج التجريبية أن النموذج المزدوج النمط المقترح يحسن بشكل كبير من أداء التجزئة، حيث حقق معامل Dice بنسبة 97.73% ومتوسط تقاطع على الاتحاد (IoU) بنسبة 60.08% على مجموعة بيانات BraTS2020. تشير النتائج إلى أن الأساليب المزدوجة النمط تتفوق على نماذج النمط الفردي من خلال الاستفادة بشكل فعال من المعلومات التكميلية من تقنيات التصوير المختلفة. بالإضافة إلى ذلك، توفر تصورات Grad-CAM رؤى حول مناطق الورم، مما يعزز ثقة الأطباء في قرارات النموذج. تسلط الدراسة الضوء على إمكانيات التعلم الجماعي في تحسين دقة التجزئة في التشخيصات الطبية المعقدة.

مقدمة

تسلط مقدمة ورقة البحث الضوء على التحديات الكبيرة التي تطرحها أورام الدماغ، وخاصة الأورام الدبقية، التي تعد النوع الأكثر شيوعًا وسببًا رئيسيًا للوفيات على مستوى العالم. مع حوالي 80,000 تشخيص جديد سنويًا في الولايات المتحدة، يتم تصنيف الأورام الدبقية إلى أورام دبقية عالية الدرجة (HGG) وأورام دبقية منخفضة الدرجة (LGG)، حيث يلعب تصنيف الورم دورًا حاسمًا في تخطيط العلاج. يعتبر التشخيص المبكر، بشكل أساسي من خلال التصوير بالرنين المغناطيسي (MRI)، أمرًا حيويًا لتحسين نتائج المرضى، حيث يوفر الرنين المغناطيسي صورًا ثلاثية الأبعاد مفصلة تساعد في تحديد الورم. ومع ذلك، فإن التباين في خصائص الورم يعقد التجزئة اليدوية، مما يبرز الحاجة إلى أنظمة مؤتمتة لتعزيز دقة التشخيص.

تقترح الدراسة طريقة مبتكرة مزدوجة النمط تعتمد على بنية U-Net لتحسين تجزئة أورام الدماغ من بيانات الرنين المغناطيسي. يدمج هذا النهج ميزات من أنماط متعددة من الرنين المغناطيسي، معالجًا قيود الأساليب ذات النمط الفردي. تهدف الدراسة إلى الإجابة على أسئلة رئيسية تتعلق بمتانة وشفافية وقابلية تكيف نماذج التجزئة في البيئات السريرية. تشمل المساهمات الرئيسية تطوير وحدة مزدوجة النمط لتعزيز دقة التجزئة، وتطبيق تقنيات الذكاء الاصطناعي القابلة للتفسير لتحسين القابلية للتفسير، وإنشاء آلية تغذية راجعة تفاعلية للتعلم المستمر. تم اختبار الطريقة المقترحة بدقة باستخدام مجموعة بيانات BraTS2020، مما يوضح فعاليتها في تجزئة أورام الدماغ بدقة.

طرق

تقدم المنهجية المقترحة في هذا البحث نهجًا مزدوج النمط لتجزئة أورام الدماغ من صور الرنين المغناطيسي، مستفيدة من مجموعة بيانات BraTS2020 للتدريب والاختبار. تتكون المنهجية من عدة مراحل: تتضمن المعالجة المسبقة الأولية تحديد وقص منطقة الاهتمام، تليها إعادة الحجم وتقسيم مجموعة البيانات إلى مجموعات التدريب والتحقق والاختبار. تشمل عملية التجزئة تدريب نموذج U-Net على أنماط الرنين المغناطيسي الفردية (T1 وT2 وT1ce وFLAIR)، تليها التدريب متعدد الأنماط وإنشاء نموذج جماعي يجمع بين الأنماط ذات الأداء الأفضل (T2+T1ce وT1ce+FLAIR). يهدف هذا الإطار الشامل إلى تعزيز كفاءة تجزئة أورام الدماغ.

استخدمت الإعدادات التجريبية Python 3.8.0 وKeras 2.6.0 وTensorFlow 2.6.0، مع ثوابت متسقة عبر جميع النماذج لمقارنة عادلة. تظهر النتائج أن النهج المزدوج النمط المقترح يتفوق بشكل كبير على النماذج القياسية مثل U-Net وU-Net++ وAttention U-Net. حقق النموذج الجماعي بشكل خاص معامل Dice بنسبة 0.977 ومتوسط تقاطع على الاتحاد (IoU) بنسبة 0.601، مقارنةً بمعامل Dice لنموذج U-Net الذي كان 0.973 ومتوسط IoU 0.434، ومعامل Dice لنموذج U-Net++ الذي كان 0.969 ومتوسط IoU 0.445، ومعامل Dice لنموذج Attention U-Net الذي كان 0.971 ومتوسط IoU 0.424. ساهم دمج الميزات التكميلية من نماذج مزدوجة النمط، بالإضافة إلى طبقة تلافيفية إضافية، في تحسين دقة التجزئة.

نتائج

يوفر قسم النتائج حسابًا مفصلًا للمعلمات المستخدمة في التجارب ومقاييس الأداء المستخدمة لتقييم فعالية النموذج المزدوج النمط الجماعي لتجزئة أورام الدماغ من صور الرنين المغناطيسي. تركز الدراسة بشكل خاص على مجموعة بيانات BraTS 2020، التي تتكون من أنماط الرنين المغناطيسي T1 وT1c وT2 وFLAIR.

تم هيكلة التجارب في ثلاثة سيناريوهات متميزة: نمط فردي، نمط متعدد، ونمط مزدوج جماعي. تلخص النتائج، الموضحة في الجدول 1 والمصورة في الشكل 8، أداء النموذج المقترح عبر هذه السيناريوهات، مما يظهر فعاليته في تجزئة أورام الدماغ. تشير النتائج إلى أن النهج المزدوج النمط الجماعي يتفوق على نماذج النمط الفردي، مما يبرز مزايا دمج أنماط الرنين المغناطيسي المتعددة لتحسين دقة التجزئة.

نقاش

يسلط قسم النقاش الضوء على فعالية النموذج المزدوج النمط الجماعي المقترح لتجزئة أورام الدماغ، الذي حقق معامل Dice بنسبة 0.977 ومتوسط تقاطع على الاتحاد (IoU) بنسبة 0.601. يستفيد هذا النموذج من المعلومات التكميلية من أنماط الرنين المغناطيسي المتعددة، متفوقًا بشكل كبير على الأساليب التقليدية مثل U-Net وU-Net++. تظهر النتائج متانة نهج التجزئة، كما يتضح من خلال تصورات مختلفة توضح نتائج التجزئة عبر أنماط مختلفة.

لتحسين قابلية تفسير النموذج، تم استخدام تصورات Grad-CAM، مما يوفر للأطباء خرائط حرارية تشير إلى مناطق الاهتمام أثناء التجزئة. تعزز هذه الشفافية الثقة في توقعات النموذج. بالإضافة إلى ذلك، تم تطوير واجهة مستخدم تفاعلية، مما يسمح للأطباء بتقديم ملاحظات حول نتائج التجزئة. تسهل هذه الحلقة التغذية الراجعة إعادة تدريب النموذج باستمرار باستخدام بيانات العالم الحقيقي، مما يعالج التحديات المتعلقة بالمتانة والعمومية عبر بيئات سريرية متنوعة. بشكل عام، لا يحسن النموذج المقترح دقة التجزئة فحسب، بل يعزز أيضًا قابليته للتطبيق في الممارسة السريرية من خلال دمج ملاحظات المستخدم وضمان الشفافية في عمليات اتخاذ القرار.

Journal: Frontiers in Artificial Intelligence, Volume: 8
DOI: https://doi.org/10.3389/frai.2025.1525240
PMID: https://pubmed.ncbi.nlm.nih.gov/40046502
Publication Date: 2025-02-19
Author(s): Ahmeed Suliman Farhan et al.
Primary Topic: Brain Tumor Detection and Classification

Overview

The section discusses the challenges of brain tumor segmentation from Magnetic Resonance Images (MRI), emphasizing the difficulty in distinguishing tumor tissues from healthy tissues, particularly when relying on manual segmentation by radiologists. Accurate segmentation is essential for effective tumor grading and treatment planning. The authors propose a novel ensemble dual-modality approach for 3D brain tumor segmentation, utilizing various MRI modalities, including T1, T1ce, T2, and FLAIR. They first train individual U-Net models on each modality to evaluate performance, then combine the best-performing modalities to enhance segmentation accuracy.

The experimental results demonstrate that the proposed ensemble dual-modality model significantly improves segmentation performance, achieving a Dice Coefficient of 97.73% and a Mean Intersection over Union (IoU) of 60.08% on the BraTS2020 dataset. The findings indicate that dual-modality approaches outperform single-modality models by effectively leveraging complementary information from different imaging techniques. Additionally, Grad-CAM visualizations provide insights into tumor regions, enhancing clinician confidence in the model’s decisions. The study highlights the potential of ensemble learning in improving segmentation accuracy in complex medical diagnoses.

Introduction

The introduction of the research paper highlights the significant challenges posed by brain tumors, particularly gliomas, which are the most prevalent type and a leading cause of mortality worldwide. With approximately 80,000 new diagnoses annually in the United States, gliomas are categorized into high-grade gliomas (HGG) and low-grade gliomas (LGG), with the tumor grade playing a crucial role in treatment planning. Early diagnosis, primarily through magnetic resonance imaging (MRI), is vital for improving patient outcomes, as MRI provides detailed three-dimensional images that assist in tumor identification. However, the variability in tumor characteristics complicates manual segmentation, underscoring the need for automated systems to enhance diagnostic accuracy.

The study proposes an innovative ensemble dual-modality method based on the U-Net architecture to improve the segmentation of brain tumors from MRI data. This approach integrates features from multiple MRI modalities, addressing the limitations of single-modality methods. The research aims to answer key questions regarding the robustness, explainability, and adaptability of segmentation models in clinical settings. Key contributions include the development of a dual-modality module to enhance segmentation accuracy, the application of explainable AI techniques to improve interpretability, and the creation of an interactive feedback mechanism for continuous learning. The proposed method was rigorously tested using the BraTS2020 dataset, demonstrating its effectiveness in accurately segmenting brain tumors.

Methods

The proposed methodology in this research introduces an ensemble dual-modality approach for segmenting brain tumors from MRI images, utilizing the BraTS2020 dataset for training and testing. The methodology consists of several stages: initial pre-processing involves identifying and cropping the region of interest, followed by resizing and partitioning the dataset into training, validation, and testing sets. The segmentation process includes training the U-Net model on individual MRI modalities (T1, T2, T1ce, and FLAIR), followed by multi-modal training and the creation of an ensemble model combining the best-performing modalities (T2+T1ce and T1ce+FLAIR). This comprehensive framework aims to enhance the efficiency of brain tumor segmentation.

The experimental setup employed Python 3.8.0, Keras 2.6.0, and TensorFlow 2.6.0, with consistent hyperparameters across all models for a fair comparison. The results demonstrate that the proposed ensemble dual-modality approach significantly outperforms standard models such as U-Net, U-Net++, and Attention U-Net. Specifically, the ensemble model achieved a Dice Coefficient of 0.977 and a Mean Intersection over Union (IoU) of 0.601, compared to U-Net’s Dice of 0.973 and Mean IoU of 0.434, U-Net++’s Dice of 0.969 and Mean IoU of 0.445, and Attention U-Net’s Dice of 0.971 and Mean IoU of 0.424. The integration of complementary features from dual-modality models, along with an additional convolutional layer, contributed to the improved segmentation accuracy.

Results

The results section provides a detailed account of the hyperparameters utilized in the experiments and the performance metrics employed to assess the effectiveness of the ensemble dual-modality model for brain tumor segmentation from MRI images. The study specifically focuses on the BraTS 2020 dataset, which comprises T1, T1c, T2, and FLAIR MRI modalities.

The experiments were structured into three distinct scenarios: single modality, multi-modality, and ensemble dual-modality. The findings, summarized in Table 1 and illustrated in Figure 8, highlight the performance of the proposed model across these scenarios, demonstrating its efficacy in segmenting brain tumors. The results indicate that the ensemble dual-modality approach outperforms the individual modality models, underscoring the advantages of integrating multiple MRI modalities for enhanced segmentation accuracy.

Discussion

The discussion section highlights the effectiveness of the proposed ensemble dual-modality model for brain tumor segmentation, which achieved a Dice coefficient of 0.977 and an average Intersection over Union (IoU) of 0.601. This model leverages complementary information from multiple MRI modalities, significantly outperforming traditional methods such as U-Net and U-Net++. The results demonstrate the robustness of the segmentation approach, as illustrated by various visualizations that detail the segmentation outcomes across different modalities.

To enhance the explainability of the model, Grad-CAM visualizations were employed, providing clinicians with heat maps that indicate the regions of interest during segmentation. This transparency fosters trust in the model’s predictions. Additionally, an interactive user interface was developed, allowing clinicians to provide feedback on segmentation results. This feedback loop facilitates continuous retraining of the model with real-world data, addressing challenges related to robustness and generalizability across diverse clinical settings. Overall, the proposed model not only improves segmentation accuracy but also enhances its applicability in clinical practice by integrating user feedback and ensuring transparency in decision-making processes.