DOI: https://doi.org/10.1002/ima.70389
تاريخ النشر: 2026-06-08
المؤلف: Cecilia Diana-Albelda وآخرون
الموضوع الرئيسي: كشف وتصنيف أورام الدماغ
نظرة عامة
تقدم البحث GBT-SAM، وهو إطار عمل جديد للتعلم العميق مصمم لتجزئة الأورام الدبقية من بيانات التصوير بالرنين المغناطيسي متعدد المعلمات (mp-MRI). يتناول هذا الإطار التحديات المتعلقة بتحديد الأورام يدويًا، والتي غالبًا ما تكون مستهلكة للوقت وغير متسقة، من خلال الاستفادة من تقنيات التجزئة الآلية. يقوم GBT-SAM بتكييف نموذج Segment Anything (SAM) مع mp-MRI، مستخدمًا بكفاءة أقل من 2.6% من الشرائح لكل مسح بينما يدمج جميع أربعة أوضاع التصوير بالرنين المغناطيسي (T1، T2، T1c، وT2-FLAIR). يستخدم النموذج استراتيجية ضبط دقيق من خطوتين تشمل وحدة واعية للعمق لالتقاط الارتباطات بين الشرائح وطبقات تكييف خفيفة تعتمد على LoRA، مما يؤدي إلى وجود 6.5 مليون معلمة قابلة للتدريب فقط. يحقق GBT-SAM درجة Dice تبلغ 93.02 على مجموعة بيانات BraTS Adult Glioma ويظهر تعميمًا قويًا عبر مجموعات بيانات إضافية، بما في ذلك Meningioma وPediatric Glioma.
بينما يظهر GBT-SAM وعدًا في تحقيق التوازن بين الدقة والكفاءة الحاسوبية، إلا أن لديه قيودًا، مثل الاعتماد على مطالبات مربع الحدود المقدمة من المستخدم للتجزئة، مما قد يعيق قابليته للاستخدام في البيئات السريرية. بالإضافة إلى ذلك، تم تصميم طبقة تضمين التصحيح المعدلة خصيصًا للأربعة أوضاع التصوير بالرنين المغناطيسي المستخدمة، مما يحد من تطبيقه على مجموعات بيانات ذات تكوينات تصوير مختلفة. يُقترح العمل المستقبلي لتعزيز مرونة الإطار فيما يتعلق بمدخلات الوضع، وتقليل الحاجة إلى التعليقات اليدوية، واستكشاف تطبيقه في مناطق تشريحية أخرى ومهام سريرية. بشكل عام، يمثل GBT-SAM تقدمًا كبيرًا في مجال تجزئة أورام الدماغ، حيث يقدم حلاً عمليًا للبيئات السريرية ذات الموارد المحدودة.
مقدمة
تتناول مقدمة الورقة التحدي الحاسم المتمثل في تجزئة الأورام الدبقية بدقة، وهو نوع قاتل للغاية من أورام الدماغ، والذي يعد ضروريًا للتشخيص والعلاج الفعال. تعتمد طرق التجزئة الحالية بشكل كبير على العمليات اليدوية التي يقوم بها أطباء الأشعة، مما يؤدي إلى زيادة الأعباء وتأخيرات في الكشف. يبرز المؤلفون إمكانيات التعلم العميق، وخاصة نماذج الرؤية الكبيرة (LVMs)، لأتمتة هذه المهمة، مع التركيز على نموذج Segment Anything (SAM) نظرًا لقدراته القوية على التعميم والميزات التفاعلية التي تساعد الأطباء.
ومع ذلك، يحدد المؤلفون ثلاث قيود كبيرة في الأطر الحالية للتجزئة: (1) تم تصميم معظم النماذج لصور ملونة ثلاثية القنوات، وهو ما لا يكفي لتصوير الأورام الدبقية التي تستخدم التصوير بالرنين المغناطيسي متعدد المعلمات (mp-MRI) بأربعة أوضاع (T1، T2، T1c، T2-FLAIR). (2) عادةً ما تعالج LVMs شرائح التصوير بالرنين المغناطيسي بشكل مستقل، متجاهلة الاستمرارية بين الشرائح الضرورية لتقييم الأورام بدقة. (3) غالبًا ما تفتقر هذه النماذج إلى المعرفة الخاصة بالمجال اللازمة لمهام التصوير الطبي، مما يستلزم استراتيجيات تكييف المجال. لمعالجة هذه القضايا، يقترح المؤلفون نموذج GBT-SAM، الذي يتضمن استراتيجية تكييف متعددة الأوضاع لـ mp-MRI، ونموذج ارتباط مشروط بالعمق لالتقاط العلاقات بين الشرائح، ونهج تكييف المجال الفعال من حيث المعلمات. تم تصميم GBT-SAM لاستخدام جميع أوضاع mp-MRI الأربعة بفعالية مع تقليل الأعباء الحاسوبية، محققًا أداءً تنافسيًا مع عدد أقل بكثير من المعلمات مقارنة بالطرق الحالية.
طرق
تستعرض هذه القسم منهجيات مختلفة مستخدمة في تجزئة الصور الطبية، مع التركيز بشكل خاص على طرق UNet، والأساليب التوليدية، ونموذج Segment Anything (SAM). تطورت هياكل UNet، بما في ذلك 3D UNet وnnUNet، لتعزيز دقة التجزئة من خلال التكوين الذاتي وآليات الانتباه، مثل Attention UNet وVTUNet، التي تدمج كتل Transformer لالتقاط الميزات المحلية والعالمية. على الرغم من تقدمها، غالبًا ما تكافح هذه النماذج مع التعميم عبر مجالات طبية مختلفة. تعالج الأساليب التوليدية، بما في ذلك نماذج الانتشار والشبكات التنافسية التوليدية (GANs)، تحدي الحصول على مجموعات بيانات عالية الجودة، مع ابتكارات مثل Med-SegDiff وGliGAN التي تحسن من قوة التجزئة من خلال توليد بيانات اصطناعية.
يتم تسليط الضوء على إطار عمل SAM لقدراته في التجزئة بدون تدريب، على الرغم من أن أدائه في التصوير الطبي محدود بسبب التحديات الخاصة بالمجال. تشمل استراتيجيات تكييف SAM لمهام طبية ضبطًا دقيقًا باستخدام مجموعات بيانات كبيرة وإدخال تقنيات فعالة من حيث المعلمات مثل التكيف منخفض الرتبة (LoRA). تقترح الورقة تقدمين رئيسيين لتكييف SAM لتجزئة أورام الدماغ باستخدام mp-MRI: ضبط دقيق فعال من حيث المعلمات مصمم لصور أورام الدماغ وكتلة عمق جديدة تعزز التجزئة من خلال دمج المعلومات من الشرائح المجاورة. يحافظ هذا النهج على مشفر SAM ثنائي الأبعاد الأصلي أثناء نمذجة الارتباطات بين الشرائح، مما يحسن الكفاءة الحاسوبية أثناء التدريب والاستدلال.
نتائج
في قسم النتائج، يوضح المؤلفون إعداد التجارب، بما في ذلك خصائص مجموعات البيانات المستخدمة عبر مجالات مختلفة، ومقاييس التقييم المستخدمة، والموارد الحاسوبية اللازمة لكل من مراحل التدريب والتقييم. تم إجراء دراسة شاملة لإزالة التأثير لتقييم تأثير المعلمات الرئيسية على أداء نموذج GBT-SAM. تم تقييم الطريقة مقارنة بالتقنيات الحالية الرائدة لتجزئة أورام الدماغ، مما يظهر أداءً ملحوظًا وكفاءة.
تشير النتائج النوعية، الموضحة في الشكل 6، إلى أن GBT-SAM يحقق تجزئات تتطابق بشكل وثيق مع التعليقات الحقيقية عبر جميع المجالات الأربعة لأورام الدماغ المدروسة. يقوم النموذج بتحديد حدود الورم بفعالية، كما يتضح من المناطق المتداخلة المميزة باللون الأرجواني. ومع ذلك، لوحظت بعض الأخطاء الطفيفة في بعض البكسلات، خاصة في الحالات المعقدة أو المناطق ذات التباين المنخفض، مما يشير إلى أنه على الرغم من أن الطريقة قوية عبر أنواع الأورام المختلفة، لا يزال هناك مجال للتحسين في التكرارات المستقبلية.
مناقشة
في هذا القسم، يناقش المؤلفون التقدم في تجزئة الصور الطبية التلقائية، خاصة لأورام الدماغ، مع تسليط الضوء على ثلاثة نهج رئيسية: طرق UNet، وتقنيات توليد البيانات (مثل نماذج الانتشار وGANs)، والنماذج الأساسية مثل SAM، التي تتفوق في التجزئة التفاعلية والتعميم. يبني إطار GBT-SAM المقترح على خط أنابيب SAM، معدلاً إياه لبيانات التصوير بالرنين المغناطيسي متعددة القنوات من خلال تعديلات في تضمين التصحيح وإعداد تدريب من مرحلتين. يشمل ذلك استراتيجية ضبط دقيق فعالة من حيث المعلمات باستخدام كتل LoRA وكتلة عمق لالتقاط الارتباطات بين الشرائح، مما يعزز قدرة النموذج على الاستفادة من البيانات الحجمية بفعالية.
يتم تأطير مهمة التجزئة الحجمية على أنها تعيين تسميات ثنائية لكل فوكيل في أحجام mp-MRI، حيث يتم تدريب النموذج لتقليل خسارة Binary Cross-Entropy (BCE). يتضمن خط أنابيب GBT-SAM استراتيجية أخذ عينات من الشرائح لتقليل التكاليف الحاسوبية مع الحفاظ على قدرات التعميم. يؤكد المؤلفون على أهمية استخدام جميع أوضاع التصوير بالرنين المغناطيسي الأربعة في وقت واحد، حيث أن هذا النهج يحسن بشكل كبير من دقة التجزئة والتعميم عبر مجالات أورام الدماغ المتنوعة. من خلال دراسات إزالة التأثير الشاملة، يتحقق المؤلفون من خيارات التصميم الخاصة بهم، مما يظهر أن بروتوكول التدريب المكون من خطوتين مع كتلة العمق ينتج أداءً متفوقًا في تجزئة أورام الدماغ مقارنة بالطرق الحالية الرائدة. يحقق GBT-SAM درجة Dice تبلغ 93.02 على مجموعة بيانات Adult Glioma، متفوقًا على العديد من الأساليب المعاصرة ويظهر قوته عبر أنواع الأورام المختلفة.
DOI: https://doi.org/10.1002/ima.70389
Publication Date: 2026-06-08
Author(s): Cecilia Diana-Albelda et al.
Primary Topic: Brain Tumor Detection and Classification
Overview
The research presents GBT-SAM, a novel deep learning framework designed for the segmentation of gliomas from multi-parametric MRI (mp-MRI) data. This framework addresses the challenges of manual tumor delineation, which is often time-consuming and inconsistent, by leveraging automated segmentation techniques. GBT-SAM adapts the Segment Anything Model (SAM) to mp-MRI, efficiently utilizing fewer than 2.6% of slices per scan while incorporating all four MRI modalities (T1, T2, T1c, and T2-FLAIR). The model employs a two-step fine-tuning strategy that includes a depth-aware module for capturing inter-slice correlations and lightweight LoRA-based adaptation layers, resulting in only 6.5 million trainable parameters. GBT-SAM achieves a Dice score of 93.02 on the BraTS Adult Glioma dataset and demonstrates robust generalization across additional datasets, including Meningioma and Pediatric Glioma.
While GBT-SAM shows promise in balancing accuracy and computational efficiency, it has limitations, such as reliance on user-provided bounding box prompts for segmentation, which may hinder its usability in clinical settings. Additionally, the modified patch embedding layer is specifically designed for the four MRI modalities used, limiting its application to datasets with different imaging configurations. Future work is suggested to enhance the framework’s flexibility regarding modality inputs, reduce the need for manual annotations, and explore its application in other anatomical regions and clinical tasks. Overall, GBT-SAM represents a significant advancement in the field of brain tumor segmentation, offering a practical solution for resource-constrained clinical environments.
Introduction
The introduction of the paper addresses the critical challenge of accurately segmenting gliomas, a highly lethal type of brain tumor, which is essential for effective diagnosis and treatment. Current segmentation methods rely heavily on manual processes performed by radiologists, leading to increased workloads and delays in detection. The authors highlight the potential of deep learning, particularly Large Vision Models (LVMs), to automate this task, with a focus on the Segment Anything Model (SAM) due to its strong generalization capabilities and interactive features that assist clinicians.
However, the authors identify three significant limitations in existing segmentation frameworks: (1) Most models are designed for three-channel color images, which is inadequate for glioma imaging that utilizes multi-parametric Magnetic Resonance Imaging (mp-MRI) with four modalities (T1, T2, T1c, T2-FLAIR). (2) LVMs typically process MRI slices independently, neglecting the inter-slice continuity crucial for accurate tumor evaluation. (3) These models often lack domain-specific knowledge necessary for medical imaging tasks, necessitating domain adaptation strategies. To address these issues, the authors propose the Generalizable Brain Tumor SAM (GBT-SAM), which incorporates a multi-modal adaptation strategy for mp-MRI, a Depth-Conditioned Correlation Modelling to capture inter-slice relationships, and a parameter-efficient domain adaptation approach. GBT-SAM is designed to utilize all four mp-MRI modalities effectively while minimizing computational overhead, achieving competitive performance with significantly fewer parameters compared to existing methods.
Methods
The section outlines various methodologies employed in medical image segmentation, particularly focusing on UNet-based methods, generative approaches, and the Segment Anything Model (SAM). UNet architectures, including 3D UNet and nnUNet, have evolved to enhance segmentation accuracy through self-configuration and attention mechanisms, such as Attention UNet and VTUNet, which integrate Transformer blocks to capture both local and global features. Despite their advancements, these models often struggle with generalization across different medical domains. Generative methods, including diffusion models and Generative Adversarial Networks (GANs), address the challenge of obtaining high-quality datasets, with innovations like Med-SegDiff and GliGAN improving segmentation robustness through synthetic data generation.
The SAM framework is highlighted for its zero-shot segmentation capabilities, although its performance in medical imaging is limited due to domain-specific challenges. Strategies to adapt SAM for medical tasks include fine-tuning with large datasets and the introduction of parameter-efficient techniques like Low-Rank Adaptation (LoRA). The paper proposes two key advancements for adapting SAM to multi-parametric MRI (mp-MRI) brain tumor segmentation: efficient parameter-efficient fine-tuning tailored to brain tumor imagery and a novel Depth-Condition module that enhances segmentation by integrating information from adjacent slices. This approach maintains the original 2D SAM encoder while modeling interslice correlations, thus optimizing computational efficiency during training and inference.
Results
In the Results section, the authors detail the experimental setup, including the characteristics of the datasets used across various domains, the evaluation metrics employed, and the computational resources necessary for both training and evaluation phases. A comprehensive ablation study is conducted to assess the influence of key hyperparameters on the performance of the GBT-SAM model. The method is benchmarked against existing state-of-the-art techniques for brain tumor segmentation, demonstrating notable performance and efficiency.
Qualitative results, illustrated in Figure 6, indicate that GBT-SAM achieves segmentations that closely match ground-truth annotations across all four brain tumor domains studied. The model effectively delineates tumor boundaries, as evidenced by the overlapping regions highlighted in purple. However, minor inaccuracies are observed in certain pixels, particularly in complex cases or areas with low contrast, suggesting that while the method is robust across different tumor types, there remains room for improvement in future iterations.
Discussion
In this section, the authors discuss the advancements in automatic medical imaging segmentation, particularly for brain tumors, highlighting three primary approaches: UNet-based methods, data generation techniques (such as diffusion models and GANs), and foundational models like SAM, which excel in interactive segmentation and generalization. The proposed GBT-SAM framework builds upon the SAM pipeline, adapting it for multi-channel MRI data through modifications in patch embedding and a two-stage training setup. This includes a parameter-efficient fine-tuning strategy using Low-Rank Adaptation (LoRA) blocks and a Depth-Condition block to capture inter-slice correlations, enhancing the model’s ability to leverage volumetric data effectively.
The volumetric segmentation task is framed as assigning binary labels to each voxel in multi-parametric MRI (mp-MRI) volumes, with the model trained to minimize Binary Cross-Entropy (BCE) loss. The GBT-SAM pipeline incorporates a slice sampling strategy to reduce computational costs while maintaining generalization capabilities. The authors emphasize the importance of utilizing all four MRI modalities simultaneously, as this approach significantly improves segmentation accuracy and generalization across diverse brain tumor domains. Through extensive ablation studies, the authors validate their design choices, demonstrating that the two-step training protocol combined with the Depth-Condition block yields superior performance in segmenting brain tumors compared to existing state-of-the-art methods. GBT-SAM achieves a Dice Score of 93.02 on the Adult Glioma dataset, outperforming many contemporary approaches and showcasing its robustness across various tumor types.