DOI: https://doi.org/10.1109/tmi.2025.3564765
PMID: https://pubmed.ncbi.nlm.nih.gov/40305245
تاريخ النشر: 2025-04-30
المؤلف: Zihan Cheng وآخرون
الموضوع الرئيسي: تكييف المجال والتعلم من عدد قليل من الأمثلة
نظرة عامة
في هذا القسم، يقدم المؤلفون نظرة عامة على أبحاثهم حول تعزيز التعميم في المجال (DG) لتقسيم الصور الطبية باستخدام بنية Mamba. يسلطون الضوء على قيود طرق DG الحالية، التي تعتمد بشكل أساسي على بنى CNN وViT، ويقدمون Mamba كبديل واعد بسبب قدرته على التقاط الاعتماديات بعيدة المدى مع تعقيد خطي. يقترح المؤلفون إطار عمل جديد، Mamba-Sea، الذي يدمج تقنيات تعزيز التسلسل من العالمي إلى المحلي لتحسين القابلية للتعميم تحت تحولات التوزيع. على وجه التحديد، يستخدم Mamba-Sea تعزيز الميزات العالمية لمحاكاة التغيرات عبر مواقع مختلفة وتعزيز الأسلوب المحلي لإزعاج أنماط الرموز داخل تسلسلات فرعية عشوائية، مما يقلل من اعتماد النموذج على المعلومات الخاصة بالمجال.
تشير النتائج إلى أن Mamba-Sea هو الإطار الأول الذي يتجاوز معامل Dice بنسبة 90% على مجموعة بيانات البروستاتا، متجاوزًا الحالة السابقة الأفضل (SOTA) البالغة 88.61%. يتناول المؤلفون بشكل منهجي الأسباب وراء اختيار Mamba، وقيوده في مهام DG، وتصميم وحدات قائمة على Mamba لتحسين الأداء. كما يقدمون استراتيجية تدريب دلالية لتعزيز اتساق التنبؤ بين المخرجات من الصور العالمية والأصلية. من خلال تجارب شاملة عبر ثلاث مجموعات بيانات، يوضح المؤلفون فعالية Mamba-Sea، بهدف إلهام المزيد من الأبحاث في DG لتقسيم الصور الطبية والمساهمة بأفكار قيمة في هذا المجال.
مقدمة
في مقدمة هذه الورقة البحثية، يسلط المؤلفون الضوء على قيود نماذج التعلم العميق الحالية لتقسيم الصور الطبية، التي تفترض عادةً أن بيانات التدريب والاختبار موزعة بشكل متطابق ومستقل (i.i.d). في الممارسة السريرية، يمكن أن تؤدي التغيرات في بروتوكولات التصوير والمعدات إلى تحولات توزيع كبيرة، مما يؤثر سلبًا على أداء النموذج. لمعالجة ذلك، تم استكشاف تقنيات التعميم في المجال (DG)، بما في ذلك التعلم الميتا، وزيادة البيانات، ومحاذاة الميزات. ومع ذلك، تعتمد الطرق الحالية بشكل أساسي على الشبكات العصبية التلافيفية (CNNs)، التي تواجه صعوبة مع انحياز القوام المحلي بسبب مجالات الاستقبال المحدودة. قدمت التطورات الأخيرة محولات الرؤية (ViTs) للاستفادة من السياق العالمي، لكنها تواجه تحديات حسابية مع التسلسلات الطويلة.
يقترح المؤلفون إطار عمل جديد، Mamba-Sea، الذي يستخدم نماذج الحالة الحديثة (SSMs) لتعزيز التعميم في مهام تقسيم الصور الطبية. يتضمن Mamba-Sea استراتيجية تعزيز تسلسل من العالمي إلى المحلي تحاكي تحولات المجال، مما يشجع النموذج على تعلم الميزات غير المعتمدة على المجال. يجمع هذا الإطار بين تنوع المظهر العالمي (GVA) وتحويل الأسلوب المحلي على مستوى التسلسل (LSA) لتحسين متانة النموذج ضد تحولات المجال. تظهر النتائج التجريبية أن Mamba-Sea يتفوق على الطرق الحالية المعتمدة على CNN وViT في مجموعات بيانات تقسيم الصور الطبية المختلفة، محققًا أداءً رائدًا في المجال بينما يعالج بفعالية التحديات التي تطرحها تحولات المجال.
طرق
في هذا القسم، يوضح المؤلفون منهجيتهم التجريبية لتقييم أداء نموذجهم في التعميم في المجال (DG) لتقسيم الصور الطبية، باستخدام مجموعتي بيانات Fundus وProstate. يستخدمون استراتيجية ترك مجال واحد خارجًا، حيث يتم التدريب على عدة مجالات مصدرية بينما يتم الاختبار على مجال هدف متميز، مما يؤدي إلى تقييمات شاملة عبر مهام متنوعة. يقارن المؤلفون طريقتهم مع سبع تقنيات DG رائدة (SOTA)، بما في ذلك JiGen وBigAug وFedDG، بالإضافة إلى نهجين للتقسيم بناءً على نموذج تقسيم أي شيء (SAM). من الجدير بالذكر أنهم يسلطون الضوء على أداء نموذجهم الأساسي، VM-Unet، الذي يظهر نتائج تنافسية، محققًا معامل Dice بنسبة 86.90% على مجموعة بيانات Fundus.
يبلغ المؤلفون عن تحسينات كبيرة مع طريقتهم المقترحة، التي تدمج استراتيجيات تعزيز عالمية ومحلية جنبًا إلى جنب مع نهج تدريب تعاوني. يحقق نموذجهم متوسط معامل Dice بنسبة 89.68% ومتوسط مسافة سطحية مطلقة (ASD) تبلغ 9.82 فوكسيلاً على مجموعة بيانات Fundus، متفوقًا على الطرق الأخرى ومشيرًا إلى زيادة بنسبة 2.78% في معامل Dice وانخفاض بمقدار 2.37 فوكسيلاً في ASD مقارنة بالأساس. بالإضافة إلى ذلك، على مجموعة بيانات Prostate، يحقق إطارهم أعلى معامل Dice بنسبة 90.02% وASD تبلغ 1.26 فوكسيلاً، مما يظهر أداءً متفوقًا عبر معظم المجالات غير المرئية. تؤكد النتائج فعالية نهجهم في تعزيز دقة التقسيم ومتانته ضد تحولات المجال في مهام التصوير الطبي.
نقاش
يسلط قسم النقاش الضوء على فعالية Mamba، وهو نموذج حديث للحالة، في تقسيم الصور الطبية، وخاصة قدرته على التقاط الاعتماديات بعيدة المدى مع الحفاظ على تعقيد خطي. لقد أظهرت تطبيقات مختلفة لـ Mamba، مثل Mamba-UNet وSegMamba، تحسينات كبيرة في مهام التقسيم. ومع ذلك، تعالج هذه النماذج بشكل أساسي التحديات التقليدية للتقسيم دون مراعاة كافية لتحولات المجال، التي يمكن أن تنشأ من التغيرات في مجموعات بيانات الصور الطبية. لمعالجة ذلك، يقترح المؤلفون Mamba-Sea، وهو إطار يدمج وحدة تعزيز تسلسل من العالمي إلى المحلي لتعزيز قابلية Mamba للتعميم ضد تحولات المجال.
يتكون Mamba-Sea من ثلاثة مكونات رئيسية: وحدة تعزيز التنوع العالمي (GVA) التي تحاكي مظهر الصور الطبية المتنوعة، وشبكة تقسيم تتضمن وحدة تحويل الأسلوب المحلي على مستوى التسلسل (LSA) لتعزيز تنوع الميزات، واستراتيجية تدريب دلالية تضمن تنبؤات قوية عبر الصور المعززة والأصلية. تستخدم وحدة GVA تقنيات تكيفية لتعديل ظروف الصورة، بينما تركز وحدة LSA على إحصائيات الميزات المحلية لتحسين التعميم. معًا، تهدف هذه المكونات إلى تقليل الاعتماد على الميزات الخاصة بالمجال، مما يعزز أداء النموذج عبر سياقات التصوير الطبي المتنوعة. تم تصميم الإطار المقترح للحفاظ على الكفاءة الحسابية، مع زيادات طفيفة في وقت التدريب، بينما يحسن بشكل كبير دقة التقسيم في وجود تحولات المجال.
DOI: https://doi.org/10.1109/tmi.2025.3564765
PMID: https://pubmed.ncbi.nlm.nih.gov/40305245
Publication Date: 2025-04-30
Author(s): Zihan Cheng et al.
Primary Topic: Domain Adaptation and Few-Shot Learning
Overview
In this section, the authors present an overview of their research on enhancing domain generalization (DG) for medical image segmentation using the Mamba architecture. They highlight the limitations of existing DG methods, primarily based on CNN and ViT architectures, and introduce Mamba as a promising alternative due to its capability to capture long-range dependencies with linear complexity. The authors propose a novel framework, Mamba-Sea, which integrates global-to-local sequence augmentation techniques to improve generalizability under distribution shifts. Specifically, Mamba-Sea employs global feature augmentation to simulate variations across different sites and local style augmentation to perturb token styles within random sub-sequences, thereby minimizing the model’s reliance on domain-specific information.
The findings indicate that Mamba-Sea is the first framework to exceed a Dice coefficient of 90% on the Prostate dataset, surpassing the previous state-of-the-art (SOTA) of 88.61%. The authors systematically address the rationale for selecting Mamba, its limitations in DG tasks, and the design of Mamba-based modules for improved performance. They also introduce a semantic training strategy to enhance prediction consistency between outputs from global and original images. Through comprehensive experiments across three datasets, the authors demonstrate the effectiveness of Mamba-Sea, aiming to inspire further research in DG for medical image segmentation and contribute valuable insights to the field.
Introduction
In the introduction of this research paper, the authors highlight the limitations of current deep learning models for medical image segmentation, which typically assume that training and testing data are identically and independently distributed (i.i.d). In clinical practice, variations in imaging protocols and equipment can lead to significant distribution shifts, adversely affecting model performance. To address this, domain generalization (DG) techniques have been explored, including meta-learning, data augmentation, and feature alignment. However, existing methods primarily rely on convolutional neural networks (CNNs), which struggle with local texture bias due to their limited receptive fields. Recent advancements have introduced Vision Transformers (ViTs) to leverage global context, but they face computational challenges with long sequences.
The authors propose a novel framework, Mamba-Sea, which utilizes modern state-space models (SSMs) to enhance generalization in medical image segmentation tasks. Mamba-Sea incorporates a global-to-local sequence augmentation strategy that simulates domain shifts, thereby encouraging the model to learn domain-invariant features. This framework combines global appearance variation (GVA) and local sequence-wise style transformation (LSA) augmentations to improve the model’s robustness against domain shifts. Experimental results demonstrate that Mamba-Sea outperforms existing CNN and ViT-based methods on various medical image segmentation datasets, achieving state-of-the-art performance while effectively addressing the challenges posed by domain shifts.
Methods
In this section, the authors detail their experimental methodology for evaluating their model’s performance in domain generalization (DG) for medical image segmentation, specifically using the Fundus and Prostate datasets. They employ a leave-one-domain-out strategy, training on multiple source domains while testing on a distinct target domain, resulting in comprehensive assessments across various tasks. The authors compare their method against seven state-of-the-art (SOTA) DG techniques, including JiGen, BigAug, and FedDG, as well as two segmentation approaches based on the Segment Anything Model (SAM). Notably, they highlight the performance of their baseline model, VM-Unet, which demonstrates competitive results, achieving a Dice coefficient of 86.90% on the Fundus dataset.
The authors report significant improvements with their proposed method, which integrates global and local augmentation strategies alongside a collaborative training approach. Their model achieves an average Dice coefficient of 89.68% and an average absolute surface distance (ASD) of 9.82 voxels on the Fundus dataset, outperforming other methods and indicating a 2.78% increase in Dice coefficient and a 2.37 voxel decrease in ASD compared to the baseline. Additionally, on the Prostate dataset, their framework achieves the highest Dice coefficient of 90.02% and an ASD of 1.26 voxel, demonstrating superior performance across most unseen domains. The results underscore the effectiveness of their approach in enhancing segmentation accuracy and robustness against domain shifts in medical imaging tasks.
Discussion
The discussion section highlights the effectiveness of Mamba, a modern state-space model, in medical image segmentation, particularly its ability to capture long-range dependencies while maintaining linear complexity. Various implementations of Mamba, such as Mamba-UNet and SegMamba, have demonstrated significant improvements in segmentation tasks. However, these models primarily address traditional segmentation challenges without adequately accounting for domain shifts, which can arise from variations in medical image datasets. To address this, the authors propose Mamba-Sea, a framework that integrates a global-to-local sequence augmentation module to enhance Mamba’s generalizability against domain shifts.
Mamba-Sea consists of three key components: a Global Variation Augmentation (GVA) module that simulates diverse medical image appearances, a segmentation network that incorporates a Local Sequence-wise Style Transformation (LSA) module to enhance feature diversity, and a semantic consistency training strategy that ensures robust predictions across augmented and original images. The GVA module employs adaptive techniques to modify image conditions, while the LSA module focuses on local feature statistics to improve generalization. Together, these components aim to reduce reliance on domain-specific features, thereby enhancing the model’s performance across varied medical imaging contexts. The proposed framework is designed to maintain computational efficiency, with minimal increases in training time, while significantly improving segmentation accuracy in the presence of domain shifts.