DOI: https://doi.org/10.1109/tpami.2026.3681368
PMID: https://pubmed.ncbi.nlm.nih.gov/41941804
تاريخ النشر: 2026-04-06
المؤلف: Lin E. Sun وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
تقدم البحث iSeg، وهو إطار عمل مبتكر للتنقيح التكراري بدون تدريب، يستفيد من قدرات نموذج الانتشار المستقر المدرب مسبقًا. يتضمن الإطار وحدتين جديدتين: وحدة الانتباه الذاتي المخفض الانتروبيا، التي تقلل من المعلومات العالمية غير ذات الصلة في خريطة الانتباه الذاتي، ووحدة الانتباه المتقاطع المعزز بالفئة، التي تركز على الميزات المتعلقة بفئات محددة مقسمة. تتيح هذه الطريقة ذات الوحدتين توليد أقنعة تقسيم دقيقة دون الحاجة إلى التدريب على مجموعات بيانات التقسيم.
تظهر التجارب الواسعة التي أجريت عبر مجموعات بيانات ومهام تقسيم مختلفة – بما في ذلك التقسيم تحت الإشراف الضعيف، والمفردات المفتوحة، والتقسيم غير المراقب – فعالية iSeg، حيث تحقق تحسينًا ملحوظًا قدره 3.8% في متوسط تقاطع الاتحاد (mIoU) للتقسيم الدلالي غير المراقب على مجموعة بيانات Cityscapes مقارنة بأفضل الطرق الحالية بدون تدريب. يعترف المؤلفون بوجود قيد في نهجهم الحالي، حيث إن عدد التكرارات للتنقيح ثابت، مما يشير إلى أن العمل المستقبلي سيركز على تطوير استراتيجية تنقيح تكراري واعية للصورة لتحسين هذا الجانب.
مقدمة
تناقش مقدمة الورقة التقدم في تقسيم الدلالات، مع تسليط الضوء بشكل خاص على قيود الأساليب التي تعتمد على الإشراف الكامل والتي تعتمد على توضيحات على مستوى البكسل واسعة النطاق. تكافح هذه الطرق مع تقسيم الصفر للأنواع غير المرئية وتكون مكلفة من حيث جمع البيانات والتوضيح. لمعالجة هذه التحديات، يقترح المؤلفون إطار عمل عالمي بدون تدريب يستفيد من قدرات نموذج الرؤية-اللغة CLIP، الذي يربط النصوص والصور من خلال التدريب على نطاق واسع. لقد أظهر هذا النموذج وعدًا في التعرف على فئات عشوائية دون تدريب مسبق على مجموعات بيانات التقسيم.
يبني المؤلفون على الأعمال الحديثة التي تستخدم قدرات CLIP في تقسيم الصفر، مع التركيز على تنقيح خرائط الانتباه المتقاطع المستمدة من نماذج الانتشار المستقر المدرب مسبقًا. يقدمون إطار عمل للتنقيح التكراري الذي يستخدم وحدة الانتباه الذاتي المخفض الانتروبيا (Ent-Self) لتعزيز دقة خرائط التقسيم مع تقليل الضوضاء الناتجة عن المعلومات غير ذات الصلة. بالإضافة إلى ذلك، يتم اقتراح وحدة الانتباه المتقاطع المعزز بالفئة (Cat-Cross) لتحسين توليد خرائط الانتباه المتقاطع الخاصة بأسماء الفئات. تقدم الورقة نتائج تجريبية واسعة عبر مهام تقسيم مختلفة، مما يظهر فعالية الأساليب المقترحة في تحسين أداء التقسيم.
النتائج
تقدم قسم النتائج أداء طريقة iSeg المقترحة عبر مهام تقسيم مختلفة، بما في ذلك الصور الطبيعية، الصور الاصطناعية، والتقسيم غير المراقب. بالنسبة للصور الطبيعية، كما هو موضح في الشكل 8، يظهر iSeg قدرته على إنتاج أقنعة تقسيم دقيقة لفئات متنوعة باستخدام مجموعات بيانات مثل PASCAL VOC 2012 و MS COCO. من الجدير بالذكر أنه يقوم بتقسيم كائنات معقدة بفعالية، مثل كرة صغيرة وأشياء مجاورة مثل شخص ومظلة.
في سياق الصور الاصطناعية، الموضحة في الشكل 9، يحافظ iSeg على دقته، حيث يقوم بنجاح بتقسيم فئات متنوعة، بما في ذلك النباتات في الأواني، الكراسي، الخيول، الطيور، والسيارات، التي تم إنشاؤها من خلال طريقة توليد الصور DiffuMask. علاوة على ذلك، تسلط نتائج التقسيم غير المراقب على مجموعة بيانات COCO-Stuff-27، الموضحة في الشكل 10، الضوء على كفاءة iSeg في تجميع البكسلات بدقة في فئات متميزة عبر الصور عبر المجالات. بشكل عام، تؤكد النتائج على قوة ومرونة طريقة iSeg في التعامل مع تحديات التقسيم المختلفة.
المناقشة
في هذا القسم، يقدم المؤلفون تحليلًا شاملاً لطريقتهم المقترحة للتنقيح التكراري لمهام التقسيم، والتي تستخدم وحدة الانتباه الذاتي المخفض الانتروبيا لتعزيز أداء خرائط الانتباه المتقاطع. يحددون أن استراتيجيات التنقيح التكراري الساذجة يمكن أن تؤدي إلى تدهور الأداء بسبب دمج المعلومات العالمية غير ذات الصلة من خرائط الانتباه الذاتي. لمعالجة هذه المشكلة، يقدم المؤلفون خريطة انتباه متقاطع معززة بالفئة تركز على تمثيلات النص ذات الصلة مع قمع المعلومات الزائدة. تظهر تجاربهم تحسينات كبيرة في دقة التقسيم عبر مهام مختلفة، بما في ذلك التقسيم تحت الإشراف الضعيف، والمفردات المفتوحة، والتقسيم غير المراقب.
كما يقدم المؤلفون نظرة عامة مفصلة على الأعمال ذات الصلة في تقسيم الدلالات، مع تسليط الضوء على التطور من الأساليب المعتمدة على CNN إلى الأساليب المعتمدة على المحولات، والتكامل الحديث لنماذج الانتشار لمهام التقسيم. يؤكدون على التحديات التي تطرحها الأنماط تحت الإشراف الضعيف وغير المراقب مقارنة بالأساليب تحت الإشراف الكامل. من خلال الاستفادة من نموذج الانتشار المستقر المدرب مسبقًا، يقوم إطار عمل التنقيح التكراري الخاص بهم، المسمى iSeg، باستخراج الميزات بفعالية وتوليد أقنعة التقسيم بدقة محسنة. تظهر الطريقة المقترحة أداءً متفوقًا مقارنة بالتقنيات الحالية الرائدة، مما يثبت فعاليتها في سيناريوهات التقسيم المتنوعة.
DOI: https://doi.org/10.1109/tpami.2026.3681368
PMID: https://pubmed.ncbi.nlm.nih.gov/41941804
Publication Date: 2026-04-06
Author(s): Lin E. Sun et al.
Primary Topic: Advanced Neural Network Applications
Overview
The research presents iSeg, an innovative iterative refinement framework for training-free segmentation, leveraging the capabilities of the pre-trained stable diffusion model. The framework incorporates two novel modules: the entropy-reduced self-attention module, which minimizes irrelevant global information in the self-attention map, and the category-enhanced cross-attention module, which focuses on the features pertinent to specific segmented categories. This dual-module approach enables the generation of accurate segmentation masks without requiring training on segmentation datasets.
Extensive experiments conducted across various datasets and segmentation tasks—including weakly-supervised, open-vocabulary, and unsupervised segmentation—demonstrate the effectiveness of iSeg, achieving a notable improvement of 3.8% in mean Intersection over Union (mIoU) for unsupervised semantic segmentation on the Cityscapes dataset compared to the best existing training-free methods. The authors acknowledge a limitation in their current approach, where the number of iterations for refinement is fixed, suggesting that future work will focus on developing an image-aware iterative refinement strategy to optimize this aspect.
Introduction
The introduction of the paper discusses the advancements in semantic segmentation, particularly highlighting the limitations of fully-supervised approaches that rely on extensive pixel-level annotations. These methods struggle with zero-shot segmentation for unseen categories and are costly in terms of data collection and annotation. To address these challenges, the authors propose a universal, training-free framework that leverages the capabilities of the vision-language model CLIP, which connects text and images through large-scale training. This model has shown promise in recognizing arbitrary categories without prior training on segmentation datasets.
The authors build upon recent works that utilize CLIP’s zero-shot capabilities for semantic segmentation, focusing on refining cross-attention maps derived from pre-trained stable diffusion models. They introduce an iterative refinement framework that employs an entropy-reduced self-attention (Ent-Self) module to enhance the accuracy of segmentation maps while mitigating the noise introduced by irrelevant information. Additionally, a category-enhanced cross-attention (Cat-Cross) module is proposed to improve the generation of cross-attention maps specific to category names. The paper presents extensive experimental results across various segmentation tasks, demonstrating the effectiveness of the proposed methods in improving segmentation performance.
Results
The results section presents the performance of the proposed iSeg method across various segmentation tasks, including natural images, synthetic images, and unsupervised segmentation. For natural images, as illustrated in Figure 8, iSeg demonstrates its capability to produce precise segmentation masks for diverse categories using datasets such as PASCAL VOC 2012 and MS COCO. Notably, it effectively segments intricate objects, such as a tiny ball and adjacent items like a person and an umbrella.
In the context of synthetic images, shown in Figure 9, iSeg maintains its accuracy, successfully segmenting various categories, including potted plants, chairs, horses, birds, and cars, generated through the DiffuMask image synthesis method. Furthermore, the unsupervised segmentation results on the COCO-Stuff-27 dataset, depicted in Figure 10, highlight iSeg’s proficiency in accurately grouping pixels into distinct categories across cross-domain images. Overall, the findings underscore the robustness and versatility of the iSeg method in handling different segmentation challenges.
Discussion
In this section, the authors present a comprehensive analysis of their proposed iterative refinement method for segmentation tasks, which utilizes an entropy-reduced self-attention module to enhance the performance of cross-attention maps. They identify that naive iterative refinement strategies can lead to performance degradation due to the incorporation of irrelevant global information from self-attention maps. To address this issue, the authors introduce a category-enhanced cross-attention map that focuses on relevant text embeddings while suppressing extraneous information. Their experiments demonstrate significant improvements in segmentation accuracy across various tasks, including weakly-supervised, open-vocabulary, and unsupervised segmentation.
The authors also provide a detailed overview of related work in semantic segmentation, highlighting the evolution from CNN-based to transformer-based approaches, and the recent integration of diffusion models for segmentation tasks. They emphasize the challenges posed by weakly-supervised and unsupervised paradigms compared to fully-supervised methods. By leveraging a pre-trained stable diffusion model, their iterative refinement framework, named iSeg, effectively extracts features and generates segmentation masks with improved accuracy. The proposed method shows superior performance against existing state-of-the-art techniques, validating its efficacy in diverse segmentation scenarios.