DOI: https://doi.org/10.1109/tpami.2025.3576209
PMID: https://pubmed.ncbi.nlm.nih.gov/40460017
تاريخ النشر: 2025-06-03
المؤلف: Chunming He وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
في هذه الورقة، يقدم المؤلفون طريقة موحدة جديدة لت segmenting الأجسام المخفية تحت إشراف غير كامل (ISCOS)، تُسمى SEE، والتي تعالج التحديات التي تطرحها الإشراف المحدود من البيانات المعلّمة بشكل غير كامل والتشابهات الجوهرية بين الأجسام المخفية وخلفياتها. تستخدم الطريقة إطار عمل المعلم المتوسط الذي يستفيد من نموذج Segment Anything (SAM) لتوليد تسميات زائفة من الأقنعة الخشنة المقدمة من نموذج المعلم. لتعزيز موثوقية هذه التسميات الزائفة، ينفذ المؤلفون سلسلة من الاستراتيجيات لتوليدها وتخزينها وإشرافها، مما يضمن تدريبًا قويًا لنموذج التقسيم.
بالإضافة إلى ذلك، تتضمن SEE وحدة تجميع ميزات ذات حبيبات هجينة (HGFG)، والتي تجمع الميزات بمستويات حبيبية مختلفة لتعزيز تماسك التقسيم. تعالج هذه الوحدة بفعالية مشكلة التقسيم غير المكتمل من خلال تجميع الميزات المتشابهة، مما يحسن دقة تقسيم كل من الأجسام الفردية والمتعددة. تؤكد النتائج التجريبية فعالية SEE، مما يظهر أدائها المتقدم عبر مهام ISCOS المختلفة ويبرز إمكاناتها كحل قابل للتوصيل والتشغيل لتعزيز نماذج التقسيم الحالية.
طرق
في هذا القسم، يوضح المؤلفون إعداد التجربة لطريقتهم المقترحة للتقسيم، المنفذة باستخدام PyTorch على وحدات معالجة الرسوميات RTX4090. يعتمد مشفر الصورة على ResNet50، المدرب مسبقًا على ImageNet، بحجم دفعة قدره 12 ومعدل تعلم أولي قدره 0.0001، والذي يتم تقليله بمقدار 0.1 كل 80 دورة. يتم استخدام مُحسّن آدم مع معلمات زخم قدرها 0.9 و0.999. بالنسبة لإطار عمل SEE، يتم استخدام نموذج ViT-H SAM لتوليد تسميات زائفة، مع تعيين تحسينات الصورة إلى 12 والصور المخزنة إلى 3. يتم تغيير حجم جميع الصور إلى 352 × 352 بكسل أثناء التدريب والاختبار.
تظهر النتائج فعالية الطريقة المقترحة، SEE، عبر مجموعات بيانات مختلفة، محققة تحسينات ملحوظة في أداء مهام اكتشاف الأجسام البارزة (SOD). على وجه التحديد، تتفوق SEE على الطرق الحالية في كل من الإعدادات ذات الإشراف الضعيف وشبه المراقب، مع تحسينات كبيرة في مقاييس مثل قياس F والتشابه الهيكلي. تعزز دمج وحدة HGFG الأداء عبر مختلف أدوات التقسيم، مما يشير إلى عموميتها العالية وفعاليتها في تحسين مهام التقسيم تحت ظروف إشراف مختلفة.
نقاش
يقدم قسم النقاش في الورقة نموذج Segment Anything (SAM) وقيوده في مهام تقسيم الأجسام المخفية (COS)، خاصة في السيناريوهات التي تتضمن رؤية ضعيفة، مثل الأجسام المتخفية والمواد الشفافة. بينما يتفوق SAM في مهام التقسيم العامة، فإنه يواجه صعوبة في COS بسبب اعتماده على المحفزات المقدمة من البشر والتشابه الجوهري بين الأجسام المخفية وخلفياتها. لمعالجة هذه التحديات، يقدم المؤلفون إطار عمل SEE، الذي يستخدم هيكل المعلم المتوسط التكراري لتوليد تسميات زائفة عالية الجودة لتدريب نماذج التقسيم. يعزز هذا الإطار أداء التقسيم من خلال دمج استراتيجيات لتوليد وتخزين وإشراف التسميات الزائفة، مستفيدًا بفعالية من قدرات SAM مع الأخذ في الاعتبار الخصائص الفريدة للأجسام المخفية.
بالإضافة إلى ذلك، تسلط الورقة الضوء على وحدة تجميع الميزات ذات الحبيبات الهجينة (HGFG)، التي تهدف إلى تحسين دقة التقسيم من خلال استخراج ميزات تمييزية على مستويات حبيبية متعددة. تعزز هذه الوحدة تماسك الميزات وتعزز التقسيم الشامل من خلال تحليل الارتباطات المحلية داخل الأجسام الفردية والتماسك العالمي عبر الأجسام المكتشفة. يمثل إطار عمل SEE المقترح، جنبًا إلى جنب مع HGFG، تقدمًا كبيرًا في معالجة تعقيدات مهام COS تحت إشراف غير كامل، مما يوفر أساسًا قويًا للبحث والتطبيقات المستقبلية في هذا المجال.
القيود
ت stem القيود في هذا البحث بشكل أساسي من الاستراتيجية المصممة يدويًا لتوليد التسميات الزائفة، مما يعيق قدرة الطريقة على التعميم بفعالية على السيناريوهات المعقدة، خاصة تلك التي تتضمن أجسامًا صغيرة أو مخفية وحالات متعددة. على الرغم من أن النهج الحالي يحقق نتائج واعدة، تشير هذه التحديات إلى الحاجة إلى تحسين في متانة عملية توليد التسميات الزائفة.
سيركز العمل المستقبلي على تعزيز اختيار التسميات الزائفة من خلال دمج تقنيات الاختيار والتنقيح على مستوى البكسل ومستوى الميزات لرفع جودة التسميات المولدة. بالإضافة إلى ذلك، فإن الاعتماد على المحفزات من نموذج المعلم يطرح صعوبات في السياقات غير المراقبة. للتخفيف من هذه المشكلة، يقترح المؤلفون تطوير إطار عمل ذاتي الترويج جديد يعتمد على نموذج Segment Anything (SAM)، والذي يهدف إلى تسهيل توليد تسميات زائفة عالية الجودة لمهام التقسيم دون الحاجة إلى محفزات خارجية، مما يوسع من قابلية تطبيق الطريقة وفعاليتها.
DOI: https://doi.org/10.1109/tpami.2025.3576209
PMID: https://pubmed.ncbi.nlm.nih.gov/40460017
Publication Date: 2025-06-03
Author(s): Chunming He et al.
Primary Topic: Advanced Neural Network Applications
Overview
In this paper, the authors introduce a novel unified method for Incompletely-Supervised Concealed Object Segmentation (ISCOS), termed SEE, which addresses the challenges posed by limited supervision from incompletely annotated data and the intrinsic similarities between concealed objects and their backgrounds. The method employs a mean-teacher framework that utilizes the Segment Anything Model (SAM) to generate pseudo-labels from coarse masks provided by a teacher model. To enhance the reliability of these pseudo-labels, the authors implement a series of strategies for their generation, storage, and supervision, ensuring robust training of the segmentation model.
Additionally, SEE incorporates a hybrid-granularity feature grouping (HGFG) module, which aggregates features at varying granularities to promote segmentation coherence. This module effectively addresses the issue of incomplete segmentation by clustering similar features, thereby improving the accuracy of segmenting both single and multiple objects. Experimental results validate the effectiveness of SEE, demonstrating its state-of-the-art performance across various ISCOS tasks and highlighting its potential as a plug-and-play solution to enhance existing segmentation models.
Methods
In this section, the authors detail the experimental setup for their proposed segmentation method, implemented using PyTorch on RTX4090 GPUs. The image encoder is based on ResNet50, pre-trained on ImageNet, with a batch size of 12 and an initial learning rate of 0.0001, which is reduced by a factor of 0.1 every 80 epochs. The Adam optimizer is utilized with momentum parameters of 0.9 and 0.999. For the SEE framework, the ViT-H SAM model is employed to generate pseudo-labels, with image augmentations set to 12 and stored images to 3. All images are resized to 352 × 352 pixels during training and testing.
The results demonstrate the effectiveness of the proposed method, SEE, across various datasets, achieving notable performance improvements in salient object detection (SOD) tasks. Specifically, SEE outperforms existing methods in both weakly-supervised and semi-supervised settings, with significant enhancements in metrics such as F-measure and structural similarity. The integration of the HGFG module further boosts performance across various segmenters, indicating its high generalizability and effectiveness in improving segmentation tasks under different supervision conditions.
Discussion
The discussion section of the paper presents the Segment Anything Model (SAM) and its limitations in concealed object segmentation (COS) tasks, particularly in scenarios involving poor visibility, such as camouflaged objects and transparent materials. While SAM excels in general segmentation tasks, it struggles with COS due to its reliance on human-provided prompts and the intrinsic similarity between concealed objects and their backgrounds. To address these challenges, the authors introduce the SEE framework, which utilizes an iterative mean-teacher structure to generate high-quality pseudo-labels for training segmentation models. This framework enhances the segmentation performance by incorporating strategies for pseudo-label generation, storage, and supervision, effectively leveraging SAM’s capabilities while accounting for the unique characteristics of concealed objects.
Additionally, the paper highlights the Hybrid-Granularity Feature Grouping (HGFG) module, which aims to improve segmentation accuracy by extracting discriminative features at multiple granularities. This module enhances feature coherence and promotes comprehensive segmentation by analyzing local correlations within individual objects and global coherence across detected objects. The proposed SEE framework, combined with HGFG, represents a significant advancement in addressing the complexities of incompletely supervised COS tasks, providing a robust foundation for future research and applications in this domain.
Limitations
The limitations of this research primarily stem from the manually designed strategy for generating pseudo-labels, which hinders the method’s ability to generalize effectively to complex scenarios, particularly those involving small or concealed objects and multiple instances. Although the current approach yields promising results, these challenges indicate a need for improvement in the robustness of the pseudo-label generation process.
Future work will focus on enhancing the selection of pseudo-labels by integrating both pixel-level and feature-level selection and refinement techniques to elevate the quality of the generated labels. Additionally, the reliance on prompts from the teacher model poses difficulties in unsupervised contexts. To mitigate this issue, the authors propose the development of a novel self-promoting framework based on the Segment Anything Model (SAM), which aims to facilitate the generation of high-quality pseudo-labels for segmentation tasks without the need for external prompts, thereby broadening the method’s applicability and effectiveness.