DOI: https://doi.org/10.1038/s41598-025-33843-5
PMID: https://pubmed.ncbi.nlm.nih.gov/41526554
تاريخ النشر: 2026-01-12
المؤلف: Wenjie Zhang وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
تقدم البحث DescriptorMedSAM، وهو امتداد مبتكر لنموذج MedSAM مصمم لتعزيز تقسيم الأعضاء في التصوير الطبي دون الحاجة إلى تفاعل يدوي. من خلال استخدام نصوص منظمة—تتراوح من أسماء الأعضاء البسيطة إلى أوصاف أكثر تعقيدًا تجمع بين الشكل والموقع—يستفيد DescriptorMedSAM من مشفر نص CLIP لتحويل هذه الأوصاف إلى تمثيلات كثيفة. يتم دمج هذه التمثيلات بعد ذلك مع الرموز البصرية من خلال آلية انتباه متقاطع ومُستخرج ميزات متعدد المقاييس. يقيم الدراسة أربعة أنواع من الأوصاف: الاسم (N)، الاسم + الشكل (NS)، الاسم + الموقع (NL)، والاسم + الشكل + الموقع (NSL) على مجموعة بيانات FLARE 2022، مما يظهر أن نصوص NSL تحقق أعلى أداء، حيث تحقق درجة Dice تبلغ 0.9405 تحت إشراف كامل وتحافظ على نسبة احتفاظ صفرية تبلغ 76.31%.
تشير النتائج إلى أن دمج معلومات الشكل والموقع يحسن بشكل كبير من دقة التقسيم، خاصة للهياكل التشريحية الأصغر أو الأكثر تعقيدًا. تؤكد النتائج على إمكانية استخدام نصوص اللغة المنظمة كبديل للتفاعلات المكانية التقليدية، مما يحقق أداءً قويًا في عدم وجود بيانات مسبقة وتكيفًا فعالًا مع الحد الأدنى من البيانات المعلّمة. يضع هذا العمل أساسًا لتطوير نماذج تقسيم واعية للنصوص يمكن أن تعمم عبر أهداف تشريحية متنوعة، مما يمهد الطريق للبحث المستقبلي لاستكشاف مجموعات بيانات أكبر، وطرائق تصوير متنوعة، واستراتيجيات نصوص تكيفية لتعزيز التطبيقات السريرية في تقسيم الصور الطبية.
مقدمة
تسلط المقدمة الضوء على أهمية تقسيم الأعضاء البطنية بدقة لتطبيقات مثل تخطيط العلاج الإشعاعي ومراقبة الأمراض. لقد أظهرت نماذج التعلم العميق التقليدية، بما في ذلك U-Net ونسخها، أداءً عاليًا في مهام التقسيم عند تدريبها على مجموعات بيانات واسعة من أقنعة الأعضاء المعلّمة. ومع ذلك، فإن عملية توليد هذه التعليقات التوضيحية تتطلب جهدًا كبيرًا وتكلفة عالية للأطباء. لتخفيف هذه التحديات، قام الباحثون بالتحقيق في طرق تقسيم تفاعلية تتطلب الحد الأدنى من إدخال المستخدم، مثل نموذج تقسيم أي شيء (SAM) وامتداده، MedSAM، الذي يسهل تقسيمًا عالي الجودة في التصوير الطبي.
على الرغم من التقدم، لا تزال الطرق الحالية تتطلب مشاركة الخبراء من خلال النصوص المكانية، مما يدفع لاستكشاف بدائل أكثر سهولة، بما في ذلك الأوصاف باللغة الطبيعية. تمكّن نماذج اللغة والرؤية الكبيرة مثل تدريب اللغة المتباين-الصورة (CLIP) من محاذاة المعلومات البصرية والنصية، مما يسمح بتوجيه التقسيم من خلال نصوص حرة الشكل بدلاً من التفاعلات الصريحة من المستخدم. بدأت دراسات حديثة، مثل FLanS وSTPNet، في الاستفادة من هذا النهج في التصوير الطبي، على الرغم من أنها غالبًا ما تتجاهل تأثير دقة النصوص على أداء التقسيم.
طرق
في هذا القسم، يحدد المؤلفون البروتوكولات التجريبية المستخدمة لتقييم أداء DescriptorMedSAM عبر مستويات مختلفة من الإشراف: إشراف كامل، عدم وجود بيانات مسبقة، وتقسيم قليل البيانات. بالنسبة للتجارب التي تتطلب إشرافًا كاملًا، يتم تدريب النموذج على جميع الشرائح المتاحة لكل عضو، باستخدام تقسيم التدريب القياسي FLARE22، بما يتماشى مع الدراسات السابقة في تقسيم الصور الطبية. في مرحلة عدم وجود بيانات مسبقة، يتم تدريب النموذج على شرائح معلّمة من مجموعة فرعية من 8 أعضاء معروفة ثم يتم تقييمه على 4 أعضاء غير مرئية، مع تكرار العملية على مدار خمس جولات مستقلة لتقليل تحيز العينة. تشمل مقاييس الأداء نسبة الاحتفاظ في عدم وجود بيانات مسبقة، والتي تُعرف على أنها \( RR_{ZS} = \frac{Dice_{ZS}}{Dice_{F}} \)، حيث تمثل \( Dice_{ZS} \) و \( Dice_{F} \) درجات Dice للتقييمات في عدم وجود بيانات مسبقة والإشراف الكامل، على التوالي.
بالنسبة لتقسيم قليل البيانات، يتبع المؤلفون بروتوكولًا مشابهًا، حيث يتم حساب نسبة الاحتفاظ في قليل البيانات على أنها \( RR_{FS} = \frac{Dice_{FS50}}{Dice_{F}} \). لضمان القوة، يتم تكرار كل إعداد تجريبي خمس مرات عبر أنواع مختلفة من النصوص (N، NS، NL، NSL)، مع تطبيق بذور عشوائية متسقة للحفاظ على التناسق في تقسيمات التدريب والاختبار. يتم تقسيم مجموعة البيانات لكل عضو مرئي إلى 80% للتدريب و20% للتحقق، بينما تظل جميع المعلمات الفائقة ثابتة طوال الجولات وتنوعات النصوص. يسمح هذا النهج المنظم بتقييم شامل لأداء النموذج تحت ظروف تعلم مختلفة.
نتائج
يقدم قسم “النتائج” في ورقة البحث النتائج المستمدة من التجارب أو التحليلات التي تم إجراؤها. يوضح النتائج التي توصلت إليها الدراسة، مع تسليط الضوء على النقاط البيانية الرئيسية والاتجاهات الملحوظة. عادةً ما تدعم النتائج تحليلات إحصائية، ورسوم بيانية، أو جداول توضح العلاقات بين المتغيرات أو فعالية التدخلات.
قد يناقش القسم أيضًا أهمية النتائج بالنسبة للفرضيات المطروحة في بداية البحث. يتم تناول أي نتائج غير متوقعة أو شذوذ، مما يوفر سياقًا لحدوثها. بشكل عام، يخدم هذا القسم لنقل الأدلة التجريبية التي تدعم استنتاجات البحث، مما يمهد الطريق لمزيد من المناقشة والتفسير في الأقسام اللاحقة.
مناقشة
في مناقشة ورقة البحث، يسلط المؤلفون الضوء على قيود نماذج تقسيم الصور الطبية الحالية، مثل SAM وMedSAM، التي تعتمد بشكل كبير على النصوص المكانية المقدمة من المستخدم مثل النقاط أو الصناديق المحيطة. تزيد هذه الاعتمادية من عبء العمل في التعليقات التوضيحية، مما يعقد نشرها في البيئات السريرية. لمعالجة هذه المشكلة، يقدم المؤلفون DescriptorMedSAM، وهو امتداد فعال من حيث المعلمات لـ MedSAM الذي يدمج نصوص اللغة المنظمة لتوجيه التقسيم. من خلال استخدام مشفر نص CLIP، يقوم DescriptorMedSAM بترجمة الأوصاف بأسلوب الأشعة إلى تمثيلات كثيفة، مما يسمح بتحسين تقسيم الهياكل التشريحية غير المرئية.
تقوم الدراسة بتقييم منهجي لأربعة أنواع من النصوص—الاسم (N)، الاسم + الشكل (NS)، الاسم + الموقع (NL)، والاسم + الشكل + الموقع (NSL)—عبر 12 عضوًا بطنيًا من مجموعة بيانات FLARE 2022. تظهر النتائج أن التوجيه النصي الأكثر ثراءً يعزز الأداء بشكل كبير في كل من سيناريوهات عدم وجود بيانات مسبقة وقليل البيانات. على وجه الخصوص، تحقق نصوص NSL تحسينًا بمقدار 6.5 نقطة مئوية في الاحتفاظ في عدم وجود بيانات مسبقة مقارنة بنصوص N وتحقق 97.02% من الأداء تحت الإشراف الكامل بعد تحسين النموذج باستخدام 50 شريحة معلّمة فقط لكل عضو. تؤكد النتائج على إمكانية DescriptorMedSAM لتسهيل التكيف السريع مع أهداف تشريحية جديدة مع الحفاظ على الكفاءة للتطبيقات السريرية في الوقت الحقيقي. تشمل اتجاهات البحث المستقبلية توسيع الإطار ليشمل مجموعات بيانات أكبر واستكشاف استراتيجيات توليد النصوص التكيفية.
DOI: https://doi.org/10.1038/s41598-025-33843-5
PMID: https://pubmed.ncbi.nlm.nih.gov/41526554
Publication Date: 2026-01-12
Author(s): Wenjie Zhang et al.
Primary Topic: Advanced Neural Network Applications
Overview
The research presents DescriptorMedSAM, an innovative extension of the MedSAM model designed to enhance organ segmentation in medical imaging without the need for manual interaction. By utilizing structured text prompts—ranging from simple organ names to more complex descriptors that combine shape and location—DescriptorMedSAM leverages a CLIP text encoder to transform these descriptors into dense embeddings. These embeddings are then integrated with visual tokens through a cross-attention mechanism and a multi-scale feature extractor. The study evaluates four types of descriptors: Name (N), Name + Shape (NS), Name + Location (NL), and Name + Shape + Location (NSL) on the FLARE 2022 dataset, demonstrating that the NSL prompts yield the highest performance, achieving a Dice score of 0.9405 under full supervision and maintaining a 76.31% zero-shot retention ratio.
The findings indicate that incorporating shape and location information significantly improves segmentation accuracy, particularly for smaller or more complex anatomical structures. The results underscore the potential of structured language prompts to replace traditional spatial interactions, achieving robust zero-shot performance and efficient adaptation with minimal labeled data. This work lays a foundation for the development of scalable, prompt-aware segmentation models that can generalize across various anatomical targets, paving the way for future research to explore larger datasets, diverse imaging modalities, and adaptive prompt strategies to enhance clinical applications in medical image segmentation.
Introduction
The introduction highlights the significance of accurate segmentation of abdominal organs for applications such as radiotherapy planning and disease monitoring. Traditional deep learning models, including U-Net and its variants, have demonstrated high performance in segmentation tasks when trained on extensive datasets of annotated organ masks. However, the process of generating these annotations is labor-intensive and costly for clinicians. To alleviate this challenge, researchers have investigated interactive segmentation methods that require minimal user input, such as the Segment Anything Model (SAM) and its extension, MedSAM, which facilitate high-quality segmentation in medical imaging.
Despite advancements, existing methods still necessitate expert involvement through spatial prompts, prompting the exploration of more accessible alternatives, including natural language descriptions. Large vision-language models like Contrastive Language-Image Pre-training (CLIP) enable the alignment of visual and textual information, allowing for segmentation guidance through free-form text rather than explicit user interactions. Recent studies, such as FLanS and STPNet, have begun to leverage this approach in medical imaging, although they often overlook the impact of prompt granularity on segmentation performance.
Methods
In this section, the authors outline the experimental protocols used to evaluate the performance of DescriptorMedSAM across varying levels of supervision: fully supervised, zero-shot, and few-shot segmentation. For the fully supervised experiments, the model is trained on all available slices for each organ, utilizing the standard FLARE22 training split, consistent with previous studies in medical segmentation. In the zero-shot phase, the model is trained on labeled slices from a subset of 8 known organs and subsequently evaluated on 4 unseen organs, with the process repeated over five independent rounds to minimize sampling bias. The performance metrics include the zero-shot retain ratio, defined as \( RR_{ZS} = \frac{Dice_{ZS}}{Dice_{F}} \), where \( Dice_{ZS} \) and \( Dice_{F} \) represent the Dice scores for zero-shot and fully supervised evaluations, respectively.
For the few-shot segmentation, the authors follow a similar protocol, calculating the few-shot retain ratio as \( RR_{FS} = \frac{Dice_{FS50}}{Dice_{F}} \). To ensure robustness, each experimental setup is repeated five times across different prompt types (N, NS, NL, NSL), with a consistent random seed applied to maintain uniformity in training and testing partitions. The dataset for each seen organ is split into 80% for training and 20% for validation, while all hyperparameters remain constant throughout the rounds and prompt variations. This structured approach allows for a comprehensive assessment of the model’s performance under different learning conditions.
Results
The “Results” section of the research paper presents the findings derived from the conducted experiments or analyses. It details the outcomes of the study, highlighting key data points and trends observed. The results are typically supported by statistical analyses, graphs, or tables that illustrate the relationships between variables or the effectiveness of interventions.
The section may also discuss the significance of the findings in relation to the hypotheses posed at the outset of the research. Any unexpected results or anomalies are addressed, providing context for their occurrence. Overall, this section serves to convey the empirical evidence that supports the research conclusions, laying the groundwork for further discussion and interpretation in subsequent sections.
Discussion
In the discussion of the research paper, the authors highlight the limitations of existing medical image segmentation models, such as SAM and MedSAM, which rely heavily on user-provided spatial prompts like points or bounding boxes. This dependency increases the annotation workload, complicating deployment in clinical settings. To address this issue, the authors introduce DescriptorMedSAM, a parameter-efficient extension of MedSAM that incorporates structured language prompts to guide segmentation. By employing a CLIP text encoder, DescriptorMedSAM translates radiology-style descriptors into dense embeddings, allowing for improved segmentation of unseen anatomical structures.
The study systematically evaluates four types of prompts—Name (N), Name + Shape (NS), Name + Location (NL), and Name + Shape + Location (NSL)—across 12 abdominal organs from the FLARE 2022 dataset. The results demonstrate that richer textual guidance significantly enhances performance in both zero-shot and few-shot scenarios. Specifically, the NSL prompts yield a 6.5 percentage point improvement in zero-shot retention compared to N prompts and achieve 97.02% of fully supervised performance after fine-tuning with just 50 labeled slices per organ. The findings underscore the potential of DescriptorMedSAM to facilitate rapid adaptation to new anatomical targets while maintaining efficiency for real-time clinical applications. Future research directions include expanding the framework to larger datasets and exploring adaptive prompt generation strategies.