DOI: https://doi.org/10.1016/j.imavis.2025.105672
تاريخ النشر: 2025-07-25
المؤلف: Amirreza Fateh وآخرون
الموضوع الرئيسي: تكييف المجال والتعلم من عدد قليل من الأمثلة
نظرة عامة
يتناول هذا القسم إطار عمل جديد لتقسيم الدلالات القليل من الأمثلة (Few-shot Semantic Segmentation) الذي يستفيد من بنية المحول (Transformer) لمعالجة تحديات تقسيم الكائنات في صور الاستعلام مع أمثلة موضوعة محدودة. تتضمن الطريقة المقترحة وحدة فك تشفير المحول المكاني ووحدة توليد القناع السياقي لتعزيز الفهم العلاقي بين صور الدعم وصور الاستعلام. بالإضافة إلى ذلك، تم تقديم فك تشفير متعدد المقاييس لتحسين أقنعة التقسيم من خلال دمج الميزات من دقات مختلفة، بينما يتم استخدام الميزات العالمية من مراحل الترميز الوسيطة لتحسين الفهم السياقي. يحافظ هذا النهج على هيكل خفيف الوزن، محققًا نتائج تنافسية على مجموعات البيانات المرجعية مثل PASCAL-5i و COCO-20i في كل من إعدادات 1-shot و 5-shot، مع احتواء النموذج على 1.5 مليون معلمة فقط.
في الختام، يظهر الإطار أداءً متقدمًا على مجموعات بيانات PASCAL-5i و COCO-20i، مما يبرز المساهمات الكبيرة لمكوناته، وخاصة فك التشفير متعدد المقاييس، في تعزيز دقة التقسيم مع ضمان الكفاءة الحسابية. ومع ذلك، فإن الطريقة لها قيود، بما في ذلك إمكانية تبسيط التباين داخل الفئة بسبب نموذج دعم ثابت، وزيادة وقت الاستدلال من وحدات فك التشفير المزدوجة، وتصميمها الحالي لتقسيم الفئة الواحدة. قد تركز الأعمال المستقبلية على التكيف الديناميكي لتمثيلات النماذج، واستكشاف آليات انتباه إضافية، ونماذج التعلم شبه المراقب لتحسين قابلية تكيف الإطار ومرونته عبر مجموعات بيانات وسيناريوهات متنوعة.
مقدمة
تناقش مقدمة ورقة البحث أهمية تقسيم الدلالات في رؤية الكمبيوتر، حيث يتم تصنيف كل بكسل في الصورة، وهو أمر حاسم لتطبيقات مثل القيادة الذاتية والتصوير الطبي. لقد حسنت التطورات الأخيرة في الشبكات العصبية التلافيفية العميقة (CNNs) أداء التقسيم؛ ومع ذلك، تتطلب هذه النماذج عادةً مجموعات بيانات موسومة واسعة، والتي غالبًا ما تكون غير عملية في السيناريوهات الواقعية. لمعالجة هذه القيود، ظهرت تقنية تقسيم الدلالات القليل من الأمثلة (FSS)، مما يسمح للنماذج بتقسيم فئات كائنات جديدة باستخدام عدد قليل فقط من الأمثلة الموسومة، مما يقلل من الاعتماد على مجموعات البيانات الكبيرة.
تنقسم طرق FSS بشكل أساسي إلى فئتين: الطرق المعتمدة على النماذج والطرق المعتمدة على البكسل. تقوم الطرق المعتمدة على النماذج بتجريد الميزات الدلالية من صور الدعم إلى نماذج فئوية، والتي يتم دمجها بعد ذلك مع ميزات الاستعلام لتصنيف البكسل. في المقابل، تركز الطرق المعتمدة على البكسل على المقارنات المباشرة على مستوى البكسل بين صور الدعم وصور الاستعلام، وغالبًا ما يتم تعزيزها بواسطة آليات الانتباه. بينما أظهرت كلا الطريقتين فعالية، إلا أنهما تواجهان أيضًا تحديات، مثل فقدان المعلومات المكانية في الطرق المعتمدة على النماذج وارتفاع التكاليف الحسابية في الطرق المعتمدة على البكسل. تقترح الورقة إطار عمل جديد، MSDNet، الذي يدمج فك تشفير المحول المكاني (STD) وفك التشفير متعدد المقاييس لتعزيز الفهم العلاقي والمعلومات السياقية، محققًا أداءً تنافسيًا على المعايير القياسية مع بنية خفيفة الوزن.
طرق
في هذا القسم، يوضح المؤلفون إعداد التجارب لتقييم طريقتهم المقترحة، التي تم تنفيذها باستخدام PyTorch الإصدار 1.8.1. استخدموا نماذج ResNet-50 و ResNet-101 المدربة مسبقًا، والتي تم تثبيتها أثناء التدريب، مما يسمح فقط للوحدات المضافة حديثًا بأن تكون قابلة للتدريب. تم إجراء التدريب على مجموعة بيانات COCO-20i لمدة 30 دورة وتم تمديده إلى 60 دورة لمجموعة بيانات PASCAL-5i لتحقيق التقارب الأمثل. تم استخدام مُحسِّن آدم بمعدل تعلم ثابت قدره $10^{-3}$، وتم تغيير حجم الصور المدخلة إلى $473 \times 473$ بكسل، مع أحجام دفعات تبلغ 32 لإعداد 1-shot و 16 لإعداد 5-shot. من الجدير بالذكر أنه لم يتم تطبيق أي تقنيات لتكبير البيانات.
لتقييم أداء النموذج، تم تغيير حجم أقنعة التقسيم الثنائية إلى الأبعاد الأصلية للصور المدخلة. لتعزيز موثوقية النتائج، قام المؤلفون بمتوسط النتائج من ثلاث تجارب، كل منها تستخدم بذور عشوائية مختلفة. تم إجراء جميع التجارب على وحدة معالجة الرسومات NVIDIA RTX 4090، مما يضمن كفاءة حسابية عالية.
مناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على التقدم الكبير في تقسيم الدلالات وتقسيم الدلالات القليل من الأمثلة (FSS) ضمن مجال رؤية الكمبيوتر. لقد تطور تقسيم الدلالات مع إدخال الشبكات العصبية التلافيفية (CNNs)، التي استبدلت الطبقات المتصلة بالكامل، مما سمح بمعالجة الصور ذات الأحجام المتنوعة. تم استخدام تقنيات مثل الالتواءات الموسعة، وتجميع الهرم المكاني، والكتل غير المحلية لتعزيز مجال الاستقبال والتقاط المعلومات السياقية على المدى الطويل. تشمل التطورات الأخيرة بنى قائمة على المحولات مثل Seg-Former و Swin Transformer، التي حققت أداءً متقدمًا من خلال تجميع المعلومات السياقية بشكل فعال. على الرغم من هذه التقدمات، لا تزال التحديات قائمة، خاصة في معالجة الفئات غير المرئية في مهام تقسيم الدلالات.
في مجال FSS، تناقش الورقة تعقيدات تقسيم الصور مع أمثلة موسومة محدودة. تم اقتراح منهجيات متنوعة لمعالجة قضايا مثل عدم التوازن في التفاصيل بين صور الدعم وصور الاستعلام وسد الفجوة بين مجموعات البيانات الأساسية والجديدة. تشمل الأساليب الملحوظة PGNet و PANet، التي تركز على محاذاة بكسلات الاستعلام مع الميزات ذات الصلة من الدعم، و ASGNet، التي تعدل عدد النماذج بناءً على محتوى الصورة. تؤكد الورقة على أهمية العلاقات الموثوقة بين صور الدعم وصور الاستعلام، مع استخدام طرق مثل HSNet التي تستفيد من آليات الانتباه لتعزيز صلة الميزات. بشكل عام، يتطور مجال FSS بسرعة، مع استراتيجيات مبتكرة تهدف إلى تحسين أداء النموذج وقابليته للتكيف مع الفئات الجديدة مع الحد الأدنى من البيانات الموسومة، مما يبرز الحاجة إلى نماذج تقسيم فعالة في التطبيقات العملية.
DOI: https://doi.org/10.1016/j.imavis.2025.105672
Publication Date: 2025-07-25
Author(s): Amirreza Fateh et al.
Primary Topic: Domain Adaptation and Few-Shot Learning
Overview
The section discusses a novel Few-shot Semantic Segmentation framework that leverages the Transformer architecture to address the challenges of segmenting objects in query images with limited annotated examples. The proposed method incorporates a spatial transformer decoder and a contextual mask generation module to enhance the relational understanding between support and query images. Additionally, a multi-scale decoder is introduced to refine segmentation masks by integrating features from various resolutions, while global features from intermediate encoder stages are utilized to improve contextual understanding. This approach maintains a lightweight structure, achieving competitive results on benchmark datasets such as PASCAL-5i and COCO-20i in both 1-shot and 5-shot settings, with the model comprising only 1.5 million parameters.
In conclusion, the framework demonstrates state-of-the-art performance on the PASCAL-5i and COCO-20i datasets, highlighting the significant contributions of its components, particularly the multi-scale decoder, in enhancing segmentation accuracy while ensuring computational efficiency. However, the method has limitations, including the potential oversimplification of intra-class variance due to a fixed support prototype, increased inference time from dual decoder modules, and its current design for single-class segmentation. Future work may focus on dynamic adaptation of prototype representations, exploration of additional attention mechanisms, and semi-supervised learning paradigms to improve the framework’s adaptability and robustness across diverse datasets and scenarios.
Introduction
The introduction of the research paper discusses the significance of semantic segmentation in computer vision, where each pixel in an image is categorized, which is crucial for applications such as autonomous driving and medical imaging. Recent advancements in deep Convolutional Neural Networks (CNNs) have improved segmentation performance; however, these models typically require extensive labeled datasets, which are often impractical in real-world scenarios. To address this limitation, Few-shot Semantic Segmentation (FSS) has emerged, allowing models to segment new object classes using only a few labeled examples, thereby reducing the dependency on large datasets.
FSS methods are primarily divided into two categories: Prototype-based approaches and Pixel-wise methods. Prototype-based methods abstract semantic features from support images into class-wise prototypes, which are then combined with query features for pixel classification. In contrast, Pixel-wise methods focus on direct pixel-level comparisons between support and query images, often enhanced by attention mechanisms. While both approaches have shown effectiveness, they also face challenges, such as the loss of spatial information in prototype-based methods and high computational costs in pixel-wise methods. The paper proposes a novel framework, MSDNet, which integrates a Spatial Transformer Decoder (STD) and a multi-scale decoder to enhance relational understanding and contextual information, achieving competitive performance on standard benchmarks with a lightweight architecture.
Methods
In this section, the authors detail the experimental setup for evaluating their proposed method, implemented using PyTorch version 1.8.1. They utilized pretrained ResNet-50 and ResNet-101 models, which were fixed during training, allowing only newly added modules to be trainable. The training was conducted on the COCO-20i dataset for 30 epochs and extended to 60 epochs for the PASCAL-5i dataset to achieve optimal convergence. The Adam optimizer was employed with a fixed learning rate of $10^{-3}$, and input images were resized to $473 \times 473$ pixels, with batch sizes of 32 for the 1-shot setting and 16 for the 5-shot setting. Notably, no data augmentation techniques were applied.
To evaluate the model’s performance, binary segmentation masks were resized to the original dimensions of the input images. To enhance the reliability of the results, the authors averaged outcomes from three trials, each using different random seeds. All experiments were conducted on an NVIDIA RTX 4090 GPU, ensuring high computational efficiency.
Discussion
The discussion section of the research paper highlights significant advancements in semantic segmentation and few-shot semantic segmentation (FSS) within the field of computer vision. Semantic segmentation has evolved with the introduction of convolutional neural networks (CNNs), which replaced fully connected layers, allowing for the processing of images of varying sizes. Techniques such as dilated convolutions, spatial pyramid pooling, and non-local blocks have been employed to enhance the receptive field and capture long-range contextual information. Recent developments include Transformer-based architectures like Seg-Former and Swin Transformer, which have achieved state-of-the-art performance by effectively aggregating contextual information. Despite these advancements, challenges remain, particularly in addressing unseen classes in semantic segmentation tasks.
In the realm of FSS, the paper discusses the complexities of segmenting images with limited annotated examples. Various methodologies have been proposed to tackle issues such as the imbalance of details between support and query images and bridging the interclass gap between base and novel datasets. Notable approaches include PGNet and PANet, which focus on aligning query pixels with relevant support features, and ASGNet, which adapts the number of prototypes based on image content. The paper emphasizes the importance of reliable correlations between support and query images, with methods like HSNet utilizing attention mechanisms to enhance feature relevance. Overall, the field of FSS is rapidly evolving, with innovative strategies aimed at improving model performance and adaptability to novel classes with minimal annotated data, underscoring the need for effective segmentation models in practical applications.