DOI: https://doi.org/10.1109/tmi.2026.3664940
PMID: https://pubmed.ncbi.nlm.nih.gov/41697810
تاريخ النشر: 2026-02-16
المؤلف: Wenjing Lu وآخرون
الموضوع الرئيسي: تقنيات تقسيم الصور الطبية
نظرة عامة
يقدم هذا القسم نظرة عامة على التعلم التعاوني المستند إلى عدم اليقين (UnCoL)، وهو إطار عمل جديد ذو معلمين مصمم لتعزيز تقسيم الصور الطبية شبه المراقب. بينما أظهرت نماذج الأساس البصرية قدرات تعميم قوية من خلال التدريب المسبق الواسع، فإنها غالبًا ما تواجه تحديات في المهام السريرية المتخصصة، لا سيما عند التعامل مع التعليقات المحدودة أو التباينات المرضية النادرة. ويرجع ذلك أساسًا إلى الانفصال بين الأولويات العامة والاحتياجات المحددة للمهام السريرية.
يواجه UnCoL هذه التحديات من خلال استخراج كل من التمثيلات البصرية والدلالية من نموذج الأساس المجمد للاستفادة من المعرفة العامة، بينما يستخدم أيضًا معلمًا يتكيف تدريجيًا لالتقاط التمثيلات التفصيلية المحددة للمهام. يتضمن الإطار تنظيمًا تكيفيًا لتعلم التسميات الزائفة بناءً على عدم اليقين التنبؤي، مما يساعد على تقليل تأثير الإشراف غير الموثوق واستقرار التعلم في المناطق غير المؤكدة. تشير النتائج التجريبية عبر مجموعة متنوعة من المعايير ثنائية وثلاثية الأبعاد إلى أن UnCoL يتفوق باستمرار على الطرق الحالية في معظم مجموعات البيانات والمعايير، محققًا أداءً شبه كامل المراقبة مع متطلبات تصنيف مخفضة بشكل كبير.
مقدمة
تناقش مقدمة الورقة الدور الحاسم لتقسيم الصور الطبية في سير العمل السريري، مع التأكيد على اعتماده على التعلم العميق وضرورة وجود مجموعات بيانات موسعة ومعلّمة. يبرز المؤلفون التحديات التي تطرحها ندرة التعليقات من الخبراء، لا سيما بالنسبة للأمراض النادرة والهياكل التشريحية المعقدة، مما يدفع الحاجة إلى تقنيات يمكن أن تتعلم من الإشراف المحدود. أظهرت التطورات الأخيرة في نماذج الأساس البصرية وعدًا في التعميم عبر أعضاء وطرائق مختلفة من خلال التدريب المسبق الواسع، ومع ذلك فإن فعاليتها في التطبيقات السريرية تعيقها اعتمادها على المحفزات اليدوية ونقص الدقة المحددة للمهام.
لمعالجة هذه القيود، يقترح المؤلفون إطار عمل شبه مراقب جديد يسمى التعلم التعاوني المستند إلى عدم اليقين (UnCoL). يجمع هذا النهج ذو المعلمين بين نموذج أساس مجمد، يوفر معرفة قابلة للتعميم، ومعلم متخصص يتكيف لالتقاط المعلومات المحددة للمهام. يتعلم نموذج الطالب من خلال عملية تقطير المعرفة ذات المسارين واستراتيجية تسمية زائفة مدركة لعدم اليقين، مما يسمح له بدمج الأولويات العامة مع الخبرة الدقيقة. تؤكد الورقة أن UnCoL يعزز بشكل فعال أداء التقسيم تحت إشراف محدود وتحولات المجال، مع تجارب شاملة تظهر قدراته التنافسية عبر معايير تقسيم طبية متنوعة.
الطرق
يستعرض قسم المنهجية إعدادات التجارب وإعداد النموذج لتقييم إطار عمل UnCoL على ثلاثة معايير لتقسيم الصور الطبية: OASIS (صور الرنين المغناطيسي للدماغ ثنائية الأبعاد)، Pancreas-CT (صور الأشعة المقطعية للبطن ثلاثية الأبعاد)، وImageTBAD (مسحات CTA الشريانية ثلاثية الأبعاد). تتكون مجموعة بيانات OASIS من صور الرنين المغناطيسي للدماغ بتقنية T1 من 414 موضوعًا، مع مهمة تقسيم الأنسجة ذات أربع فئات. تتضمن مجموعة بيانات Pancreas-CT 82 حجمًا من الأشعة المقطعية للبطن مع تعليقات، وتحتوي مجموعة بيانات ImageTBAD على 100 مسح CTA صدري لتشريح الشريان الأورطي من النوع B. تتم معالجة كل مجموعة بيانات مع تقسيمات تدريب وتحقق واختبار محددة، ويتم تغيير حجم الصور وزيادتها لضمان التوافق مع نماذج الأساس.
بالنسبة لإعداد النموذج، يستخدم المؤلفون MedSAM وSAM-Med3D كنماذج أساس مجمدة ثنائية وثلاثية الأبعاد، على التوالي، وكلاهما يستخدم محول رؤية مكون من 12 طبقة (ViT) كموحد للصور. يعمل موحد SimpleViT خفيف الوزن المكون من 4 طبقات كنموذج طالب، مع هياكل U-Net وV-Net لمهام تقسيم ثنائية وثلاثية الأبعاد. يتم تنفيذ تقطير عبر الطبقات بين نماذج الطالب والمعلم لتعزيز الفهم الدلالي. يتم التدريب باستخدام PyTorch على وحدة معالجة الرسومات NVIDIA RTX 3090، مع نهج منظم يتضمن عينات مصنفة وغير مصنفة عبر مراحل التدريب المسبق والتعديل. توجه المحفزات الاصطناعية عملية الإشراف، ويتم استخدام دالة تصعيد غاوسي لضبط قوة الإشراف ومعايير التصفية بشكل تدريجي أثناء التدريب.
المناقشة
يناقش هذا القسم التقدم في تقسيم الصور الطبية من خلال دمج نماذج الأساس وتقنيات التعلم شبه المراقب (SSL). أظهرت نماذج الأساس مثل SAM وMedSAM وSAM-Med3D وعدًا في التعميم عبر مهام التصوير الطبي المتنوعة من خلال استخدام التدريب المسبق على نطاق واسع. ومع ذلك، غالبًا ما تظل استراتيجيات التكيف الحالية معتمدة على محفزات محددة وتكافح من أجل الدقة في مواجهة تحولات المجال أو التعليقات المحدودة. وهذا يبرز ضرورة وجود أطر يمكنها الاستفادة بشكل مستقل من أولويات نموذج الأساس مع تحسين كفاءة التسمية.
في مجال SSL، تم استخدام استراتيجيات متنوعة مثل تنظيم الاتساق والتسمية الزائفة للتخفيف من التحديات التي تطرحها البيانات المعلّمة المحدودة. بدأت الأساليب الحديثة في دمج نماذج الأساس في خطوط أنابيب SSL، مما يعزز موثوقية التسميات الزائفة من خلال طرق تقدير عدم اليقين. الطريقة المقترحة، UnCoL، تجمع بشكل مبتكر بين تقطير المعرفة ذو المسارين مع التسمية الزائفة المدركة لعدم اليقين، مما يسمح بالإشراف الفعال على نموذج طالب خفيف الوزن. لا تلتقط هذه الطريقة فقط التمثيلات البصرية والدلالية القابلة للنقل ولكنها تتكيف أيضًا مع متطلبات محددة للمهام دون الحاجة إلى محفزات، مما يحقق أداءً متفوقًا في تقسيم الصور الطبية ثنائية وثلاثية الأبعاد.
DOI: https://doi.org/10.1109/tmi.2026.3664940
PMID: https://pubmed.ncbi.nlm.nih.gov/41697810
Publication Date: 2026-02-16
Author(s): Wenjing Lu et al.
Primary Topic: Medical Image Segmentation Techniques
Overview
The section presents an overview of Uncertainty-informed Collaborative Learning (UnCoL), a novel dual-teacher framework designed to enhance semi-supervised medical image segmentation. While vision foundation models have shown robust generalization capabilities through extensive pretraining, they often face challenges in specialized clinical tasks, particularly when dealing with limited annotations or rare pathological variations. This is primarily due to a disconnect between general priors and the specific needs of clinical tasks.
UnCoL addresses these challenges by distilling both visual and semantic representations from a frozen foundation model to leverage general knowledge, while also employing a progressively adapting teacher to capture detailed, task-specific representations. The framework incorporates adaptive regulation of pseudo-label learning based on predictive uncertainty, which helps to minimize the influence of unreliable supervision and stabilize learning in uncertain areas. Experimental results across various 2D and 3D benchmarks indicate that UnCoL consistently outperforms existing methods in most datasets and metrics, achieving near fully supervised performance with significantly reduced annotation requirements.
Introduction
The introduction of the paper discusses the critical role of medical image segmentation in clinical workflows, emphasizing its reliance on deep learning and the necessity for large-scale annotated datasets. The authors highlight the challenges posed by the scarcity of expert annotations, particularly for rare pathologies and complex anatomical structures, which drives the need for techniques that can learn from limited supervision. Recent advancements in vision foundation models have shown promise in generalizing across various organs and modalities through extensive pretraining, yet their effectiveness in clinical applications is hindered by their dependence on manual prompts and the lack of task-specific precision.
To address these limitations, the authors propose a novel semi-supervised framework called Uncertainty-Informed Collaborative Learning (UnCoL). This dual-teacher approach combines a frozen foundation model, which provides generalizable knowledge, with a specialized teacher that adapts to capture task-specific information. The student model learns through a dual-path knowledge distillation process and an uncertainty-aware pseudo-labeling strategy, allowing it to integrate broad priors with fine-grained expertise. The paper asserts that UnCoL effectively enhances segmentation performance under limited supervision and domain shifts, with comprehensive experiments demonstrating its competitive capabilities across diverse medical segmentation benchmarks.
Methods
The methodology section outlines the experimental settings and model setup for evaluating the UnCoL framework on three medical image segmentation benchmarks: OASIS (2D Brain MRIs), Pancreas-CT (3D Abdominal CT Images), and ImageTBAD (3D Aortic CTA Scans). The OASIS dataset consists of T1-weighted brain MRIs from 414 subjects, with a four-class tissue segmentation task. The Pancreas-CT dataset includes 82 annotated abdominal CT volumes, and the ImageTBAD dataset contains 100 thoracic CTA scans for type B aortic dissection. Each dataset is processed with specific training, validation, and test splits, and images are resized and augmented to ensure compatibility with the foundation models.
For model setup, the authors utilize MedSAM and SAM-Med3D as frozen 2D and 3D foundation models, respectively, both employing a 12-layer Vision Transformer (ViT) as the image encoder. A lightweight 4-layer SimpleViT encoder serves as the student model, with U-Net and V-Net backbones for 2D and 3D segmentation tasks. Cross-layer distillation is implemented between the student and teacher models to enhance semantic understanding. Training is conducted using PyTorch on an NVIDIA RTX 3090 GPU, with a structured approach involving both labeled and unlabeled samples across pretraining and fine-tuning stages. Synthetic prompts guide the supervision process, and a Gaussian ramp-up function is employed to progressively adjust supervision strength and filtering criteria during training.
Discussion
The section discusses the advancements in medical image segmentation through the integration of foundation models and semi-supervised learning (SSL) techniques. Foundation models like SAM, MedSAM, and SAM-Med3D have shown promise in generalizing across diverse medical imaging tasks by utilizing large-scale pretraining. However, existing adaptation strategies often remain reliant on specific prompts and struggle with precision in the face of domain shifts or limited annotations. This highlights the necessity for frameworks that can autonomously leverage foundation model priors with improved label efficiency.
In the realm of SSL, various strategies such as consistency regularization and pseudo-labeling have been employed to mitigate the challenges posed by limited labeled data. Recent approaches have begun to incorporate foundation models into SSL pipelines, enhancing the reliability of pseudo-labels through uncertainty estimation methods. The proposed method, UnCoL, innovatively combines dual-path knowledge distillation with uncertainty-aware pseudo-labeling, allowing for effective supervision of a lightweight student model. This approach not only captures transferable visual and semantic representations but also adapts to task-specific requirements without the need for prompts, thereby achieving superior segmentation performance across both 2D and 3D medical imaging tasks.