DOI: https://doi.org/10.1016/j.media.2026.104046
PMID: https://pubmed.ncbi.nlm.nih.gov/41946232
تاريخ النشر: 2026-03-29
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: تقنيات استرجاع الصور وتصنيفها
نظرة عامة
في هذا البحث، يتناول المؤلفون تحديين كبيرين في تقسيم الصور الطبية باستخدام الشبكات العصبية العميقة: العملية الشاقة للحصول على تسميات تقسيم كاملة على مستوى البكسل وعدم قدرة خطوط تقسيم الصور التقليدية على اكتشاف بكسلات خارج التوزيع (OOD). يقترحون إطار عمل جديد للتقسيم، يسمى OOD-SEG، والذي يعمل ضمن نموذج التعلم الإيجابي غير المسمى (PU). يستخدم هذا الإطار تعليقات نادرة من فئات إيجابية فقط متعددة مع تجاهل تعليقات الخلفية، معاملة البكسلات غير المسمى كأنها قد تحتوي على فئات إيجابية وسلبية. هذه الطريقة المبتكرة تصيغ تقسيم الفئات المتعددة كمشكلة تعلم PU على مستوى البكسل، مدمجة تقنيات اكتشاف OOD لتعزيز المتانة ضد المخرجات الزائفة أثناء النشر.
يؤسس إطار OOD-SEG حدود قرار متميزة لكل فئة مُعلمة إيجابياً، مما يسمح بتدريب فعال في إطار التعلم تحت الإشراف الضعيف (WSL). يقدم المؤلفون بروتوكول تقييم جديد يقيم أداء النموذج في سيناريوهات OOD، مما يسهل التقييم الشامل لقدرات اكتشاف OOD في التصوير الطبي. تظهر تجاربهم الواسعة على مجموعات بيانات التصوير الجراحي الطيفي وRGB فعالية الإطار، حيث تظهر تحسين أداء اكتشاف OOD دون المساس بدقة التصنيف. ومع ذلك، يعترف المؤلفون بالقيود، بما في ذلك عدم استخدام البيانات غير المسمى وغياب الاضطرابات العدائية في تجاربهم، مما يقترح طرقاً للبحث المستقبلي لتعزيز أداء OOD وتحقيق التوازن بين دقة التصنيف واكتشاف OOD. بشكل عام، تشير النتائج إلى أن OOD-SEG يمكن أن يحسن بشكل كبير من سلامة ومتانة أنظمة التقسيم الآلي في البيئات السريرية، مما قد يقلل من مخاطر التصنيف الخاطئ لأنواع الأنسجة غير المعروفة.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التحديات التي تواجه تقسيم الصور الطبية بسبب الاعتماد على تعليقات عالية الجودة على مستوى البكسل، والتي غالباً ما تكون مكلفة وتستغرق وقتاً طويلاً للحصول عليها من الخبراء في المجال. لتخفيف هذا العبء، يناقش المؤلفون إمكانية التعلم تحت الإشراف الضعيف (WSL) لاستخدام تعليقات خشنة، مما يسمح للخبراء بالتركيز على المناطق التي يشعرون بالثقة بشأنها. ومع ذلك، يشير المؤلفون إلى أن أساليب WSL تواجه صعوبات، خاصة في السيناريوهات التي تفتقر إلى تعليقات فئة الخلفية، وأن الافتراض التقليدي للبيانات داخل التوزيع يمكن أن يشكل مخاطر على السلامة في التطبيقات السريرية.
تقترح الورقة إطار عمل جديد يدمج التعلم الإيجابي غير المسمى (PU) مع تقنيات اكتشاف خارج التوزيع (OOD) لمعالجة هذه التحديات. يسمح هذا الإطار بتقسيم فعال للصور الطبية باستخدام تعليقات إيجابية نادرة فقط مع الحفاظ على اكتشاف موثوق لـ OOD. يقدم المؤلفون استراتيجية تحقق مزدوجة لتقييم أداء النموذج في كل من السيناريوهات داخل التوزيع وخارج التوزيع، مما يلغي الحاجة إلى مجموعات بيانات اختبار إضافية. النهج المقترح قابل للتكيف مع طرق اكتشاف OOD المختلفة ويهدف إلى تعزيز حالة تقسيم الصور الطبية متعددة الفئات من خلال تأطيرها ضمن نموذج التعلم PU.
طرق
في قسم الطرق، يحدد المؤلفون مجموعات البيانات الأساسية المستخدمة في بحثهم، وتحديداً مجموعات بيانات التصوير الطيفي (HSI) وتصوير RGB، جنباً إلى جنب مع تعليقاتهم (القسم 3.1). يتابعون لتوضيح صياغة المشكلة، مميزين بين التعلم الإيجابي فقط، التعلم الإيجابي غير المسمى (PU)، واكتشاف خارج التوزيع (OOD) (القسم 3.2). يوضح القسم المزيد من التفاصيل حول إطار التعلم المقترح الذي يهدف إلى تقسيم الصور الطبية متعددة الفئات الإيجابية فقط (القسم 3.3) ويقدم إطار تقييم يركز على OOD (القسم 3.4)، بما في ذلك مقاييس التقييم (القسم 3.5) وطريقة لاختيار العتبة المتعلقة باكتشاف السلبية/OOD (القسم 3.6).
يتم توضيح إعداد التجارب في القسم 4، بدءاً بوصف النماذج وتفاصيل التدريب (القسم 4.1)، تليها نظرة عامة على خط أنابيب معالجة البيانات (القسم 4.2). يضمن هذا النهج المنظم وضوح المنهجية ويسهل تكرار النتائج.
نتائج
يقدم قسم النتائج تقييماً شاملاً لإطار تقسيم خارج التوزيع (OOD) المقترح من خلال تحليلات كمية ونوعية متنوعة. تؤسس التصورات الأولية، بما في ذلك مصفوفات الالتباس ومنحنيات ROC، أساساً للمقارنات اللاحقة للأداء عبر طرق مختلفة ووظائف تسجيل. تظهر نتائج التحقق المتقاطع، المفصلة في الجداول 2 و3، فعالية الإطار عبر مجموعات بيانات متعددة، حيث حققت طريقة ODIN أعلى أداء في اكتشاف بيانات OOD. وهذا يبرز أهمية درجات الثقة المعايرة بشكل جيد، خاصة مع إدخال طريقة GODIN لبارامتر درجة حرارة قابل للتعلم مما يعقد التدريب بسبب تحسين مزدوج لبارامترات النموذج والمعايرة. بالمقابل، كانت طريقة مسافة ماهالانوبس أقل أداءً، على الأرجح بسبب التحديات في تقدير التباين في فضاءات الميزات عالية الأبعاد.
تثري التقييمات النوعية التحليل، حيث تعرض نتائج التقسيم عبر جميع الفئات المعلّمة وتبرز قيود المقاييس الكمية وحدها. توضح الأشكال أداء طرق مختلفة عند عتبة ثقة محددة، كاشفة أنه بينما قد يتفوق النموذج على البكسلات المعلّمة، يمكن أن تكون جودة التقسيم العامة دون المستوى، خاصة في المناطق غير المعلّمة. بالإضافة إلى ذلك، تشير نتائج التحقق المتقاطع باستخدام جميع الفئات المعلّمة إلى أن الإطار يحافظ على أداء قوي دون التأثير سلباً على اكتشاف ID، مما يؤكد فعاليته في رفض OOD دون تصنيف خاطئ مفرط. بشكل عام، تؤكد النتائج على ضرورة دمج التقييمات النوعية لالتقاط أداء النموذج بالكامل، خاصة في سيناريوهات التصوير الطبي المعقدة.
نقاش
في قسم النقاش، تستعرض الورقة المنهجيات الحالية في تقسيم الصور الطبية التي تستخدم تعليقات نادرة، مبرزة تقنيات التعلم تحت الإشراف الضعيف (WSL) المختلفة. تشمل هذه التقنيات تعليقات على مستوى الصورة، وصناديق محيطة، وتعليقات نقطية، والتي تم استخدامها لإنشاء أقنعة تقسيم كثيفة من بيانات محدودة. من الجدير بالذكر أن الطرق التقليدية تعالج بشكل أساسي التعليقات غير المكتملة، وغالباً ما تتجاهل السيناريوهات التي لا توجد فيها تعليقات خلفية. تقارن الورقة هذه الأساليب بتعلم التسمية الجزئية، الذي يدرب النماذج على مجموعات بيانات متعددة جزئياً، وتؤكد على التحدي الفريد الذي يطرحه التعلم الإيجابي فقط، حيث يتم تعليم مجموعة فرعية فقط من البيانات الإيجابية، مما يعقد معالجة البكسلات غير المعلّمة.
يقترح المؤلفون إطار عمل جديد يدمج مفاهيم من اكتشاف خارج التوزيع (OOD) لمعالجة سيناريو التعلم الإيجابي فقط في تقسيم الفئات المتعددة. يمتنع هذا الإطار عن افتراض أن البكسلات غير المعلّمة تنتمي إلى فئة خلفية، بل يعاملها كأنها قد تنتمي إلى فئات أمامية. من خلال إنشاء حدود قرار واضحة حول البيانات الإيجابية المعلّمة، تحدد الطريقة بشكل فعال نقاط البيانات الخلفية كقيم شاذة. تناقش الورقة أيضاً تطبيق تقنيات اكتشاف OOD، مثل مسافة ماهالانوبس ومعايرة الثقة، لتعزيز أداء التقسيم، خاصة في سياق التعليقات النادرة في بيانات التصوير الجراحي الطيفي. بشكل عام، يهدف النهج المقترح إلى تحسين دقة التقسيم من خلال الاستفادة من نقاط القوة في اكتشاف OOD مع معالجة قيود طرق التعليقات النادرة الحالية.
DOI: https://doi.org/10.1016/j.media.2026.104046
PMID: https://pubmed.ncbi.nlm.nih.gov/41946232
Publication Date: 2026-03-29
Author(s): Zhenyun Du et al.
Primary Topic: Image Retrieval and Classification Techniques
Overview
In this research, the authors address two significant challenges in medical image segmentation using deep neural networks: the labor-intensive process of acquiring complete pixel-level segmentation labels and the inability of typical segmentation pipelines to detect out-of-distribution (OOD) pixels. They propose a novel segmentation framework, termed OOD-SEG, which operates within the positive-unlabelled (PU) learning paradigm. This framework utilizes sparse annotations from multiple positive-only classes while omitting background annotations, treating unlabelled pixels as potentially containing both positive and negative classes. This innovative approach formulates multi-class segmentation as a pixel-wise PU learning problem, integrating OOD detection techniques to enhance robustness against spurious outputs during deployment.
The OOD-SEG framework establishes distinct decision boundaries for each positively labelled class, allowing for effective training under a weakly supervised learning (WSL) setting. The authors present a new evaluation protocol that assesses model performance in OOD scenarios, facilitating a comprehensive evaluation of OOD detection capabilities in medical imaging. Their extensive experiments on hyperspectral and RGB surgical imaging datasets demonstrate the framework’s efficacy, showing improved OOD detection performance without compromising classification accuracy. However, the authors acknowledge limitations, including the non-utilization of unlabelled data and the absence of adversarial perturbations in their experiments, suggesting avenues for future research to enhance OOD performance and balance the trade-off between classification accuracy and OOD detection. Overall, the findings indicate that OOD-SEG could significantly improve the safety and robustness of automated segmentation systems in clinical settings, potentially reducing misclassification risks of unknown tissue types.
Introduction
The introduction of this research paper highlights the challenges faced in medical image segmentation due to the reliance on high-quality pixel-level annotations, which are often costly and time-consuming to obtain from domain experts. To alleviate this burden, the authors discuss the potential of Weakly Supervised Learning (WSL) to utilize coarse-grained annotations, allowing experts to focus on regions they are confident about. However, the authors note that WSL approaches face difficulties, particularly in scenarios lacking background class annotations, and that the conventional assumption of in-distribution data can pose safety risks in clinical applications.
The paper proposes a novel framework that integrates Positive-Unlabelled (PU) learning with Out-of-Distribution (OOD) detection techniques to address these challenges. This framework allows for effective segmentation of medical images using sparse positive-only annotations while maintaining reliable OOD detection. The authors introduce a two-level cross-validation strategy for evaluating model performance in both in-distribution and out-of-distribution scenarios, eliminating the need for additional testing datasets. The proposed approach is adaptable to various OOD detection methods and aims to advance the state of multi-class medical image segmentation by framing it within the PU learning paradigm.
Methods
In the Methods section, the authors outline the foundational datasets utilized in their research, specifically hyperspectral imaging (HSI) and RGB imaging datasets, along with their annotations (Section 3.1). They proceed to articulate the problem formulation, differentiating between positive-only learning, positive-unlabeled (PU) learning, and out-of-distribution (OOD) detection (Section 3.2). The section further details the proposed learning framework aimed at sparse multi-class positive-only medical image segmentation (Section 3.3) and introduces an OOD-focused evaluation framework (Section 3.4), including the evaluation metrics (Section 3.5) and a method for threshold selection pertinent to negative/OOD detection (Section 3.6).
The experimental setup is elaborated in Section 4, beginning with a description of the models and training specifics (Section 4.1), followed by an outline of the data preprocessing pipeline (Section 4.2). This structured approach ensures clarity in the methodology and facilitates reproducibility of the results.
Results
The results section presents a comprehensive evaluation of the proposed out-of-distribution (OOD) segmentation framework through various quantitative and qualitative analyses. Initial visualizations, including confusion matrices and ROC curves, establish a foundation for the subsequent performance comparisons across different methods and scoring functions. The cross-validation results, detailed in Tables 2 and 3, demonstrate the framework’s effectiveness across multiple datasets, with the ODIN method yielding the highest performance in detecting OOD data. This underscores the importance of well-calibrated confidence scores, particularly as the GODIN method introduces a learnable temperature parameter that complicates training due to the dual optimization of model and calibration parameters. In contrast, the Mahalanobis distance approach underperformed, likely due to challenges in covariance estimation in high-dimensional feature spaces.
Qualitative evaluations further enrich the analysis, showcasing segmentation results across all labeled classes and highlighting the limitations of quantitative metrics alone. Figures illustrate the performance of different methods at a specified confidence threshold, revealing that while the model may excel on annotated pixels, the overall segmentation quality can be subpar, particularly in unlabelled regions. Additionally, cross-validation results using all labeled classes indicate that the framework maintains robust performance without negatively impacting ID detection, affirming its efficacy in OOD rejection without excessive misclassification. Overall, the findings emphasize the necessity of integrating qualitative assessments to fully capture model performance, particularly in complex medical imaging scenarios.
Discussion
In the discussion section, the paper reviews existing methodologies in medical image segmentation that utilize sparse annotations, highlighting various weakly supervised learning (WSL) techniques. These techniques include image-level annotations, bounding boxes, and point annotations, which have been employed to generate dense segmentation masks from limited labeled data. Notably, traditional methods primarily address incomplete annotations, often neglecting scenarios where no background annotations exist. The paper contrasts these approaches with partial-label learning, which trains models on multiple partially annotated datasets, and emphasizes the unique challenge posed by positive-only learning, where only a subset of positive data is labeled, complicating the treatment of unannotated pixels.
The authors propose a novel framework that integrates concepts from out-of-distribution (OOD) detection to tackle the positive-only learning scenario in multi-class segmentation. This framework refrains from assuming that unannotated pixels belong to a background class, instead treating them as potentially belonging to foreground classes. By establishing clear decision boundaries around labeled positive data, the method effectively identifies background data points as outliers. The paper also discusses the application of OOD detection techniques, such as Mahalanobis distance and confidence calibration, to enhance segmentation performance, particularly in the context of sparse annotations in surgical hyperspectral imaging data. Overall, the proposed approach aims to improve segmentation accuracy by leveraging the strengths of OOD detection while addressing the limitations of existing sparse annotation methods.