DOI: https://doi.org/10.1109/tcsvt.2026.3678863
تاريخ النشر: 2026-03-30
المؤلف: Haoran Shen وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
تقدم البحث MGD-SAM2، نموذج متقدم مصمم لتعزيز قدرات نماذج تقسيم أي شيء (SAMs) في تقسيم الفئات المستقلة عالية الدقة (HRCS). بينما تتفوق SAMs في مهام تحليل الصور المختلفة، إلا أنها تواجه صعوبة في تقسيم التفاصيل الدقيقة بسبب القيود في معالجة المدخلات عالية الدقة وإنتاج توقعات قناع منخفضة الدقة، فضلاً عن اعتمادها على مطالبات يدوية دقيقة. يتناول MGD-SAM2 هذه التحديات من خلال دمج SAM2 مع تفاعلات الميزات متعددة الرؤى بين الصور العالمية والقطع المحلية.
يتكون هيكل MGD-SAM2 من أربعة وحدات مبتكرة: محول الإدراك متعدد الرؤى (MPAdapter)، وحدة تعزيز التكامل متعدد الرؤى (MCEM)، وحدة التفاعل متعدد الرؤى الهرمية (HMIM)، ووحدة تحسين التفاصيل (DRM). يعزز MPAdapter قدرة مشفر SAM2 على استخراج كل من التفاصيل المحلية والدلالات العالمية من صور HRCS. تقوم MCEM و HMIM بمزيد من تحسين أداء النموذج من خلال تجميع ميزات متعددة الرؤى عبر مقاييس مختلفة، بينما تركز DRM على إنتاج توقعات قناع عالية الدقة تستعيد التفاصيل الدقيقة المفقودة أثناء زيادة دقة التوقعات المنخفضة. تشير النتائج التجريبية إلى أن MGD-SAM2 يتفوق على النماذج الحالية في مجموعات بيانات عالية الدقة وعادية الدقة، مما يظهر قدراته القوية على التعميم. سيكون كود MGD-SAM2 متاحًا للجمهور على https://github.com/sevenshr/MGD-SAM2.
مقدمة
ت outlines مقدمة ورقة البحث السياق الأساسي وأهمية الدراسة. تسلط الضوء على الأهداف الرئيسية والأسئلة البحثية التي توجه التحقيق. يؤكد المؤلفون على أهمية الموضوع ضمن المجال الأوسع، مشيرين إلى التقدمات الأخيرة والفجوات في الأدبيات الحالية التي تهدف أعمالهم إلى معالجتها.
تُقدم النتائج الرئيسية أو الفرضيات بإيجاز، مما يمهد الطريق للمنهجيات والتحليلات التي ستتبع في الأقسام اللاحقة. تعمل المقدمة على جذب القارئ من خلال توضيح الآثار المحتملة لنتائج البحث ومساهمتها في تقدم المعرفة في التخصص.
طرق
في هذا القسم، يقدم المؤلفون إطار عمل جديد، MGD-SAM2، مصمم لمهام تقسيم الحواف عالية الدقة (HRCS). تتضمن المنهجية معالجة كل من الصور العالمية المعاد تشكيلها وقطع الصور المحلية غير المتداخلة كمدخلات لهندسة SAM2 المعدلة، التي تتضمن أربعة وحدات مبتكرة: محول الإدراك متعدد الرؤى (MPAdapter)، وحدة تعزيز التكامل متعدد الرؤى (MCEM)، وحدة التفاعل متعدد الرؤى الهرمية (HMIM)، ووحدة تحسين التفاصيل (DRM). يتم تغيير حجم الصور المدخلة ودمجها، مما يسمح للنموذج باستخراج ميزات هرمية من خلال المشفر، وتعزيز التحديد باستخدام MCEM، وتحسين التوقعات باستخدام HMIM و DRM، مما يؤدي في النهاية إلى نتائج تقسيم عالية الدقة.
يتم تقييم أداء MGD-SAM2 مقابل 15 طريقة موجودة على مجموعة بيانات DIS5K، مما يظهر نتائج متفوقة عبر جميع المقاييس، بما في ذلك التحسينات في F-max β، F-ω β، E_m ϕ، S_m، و M. من الجدير بالذكر أن MGD-SAM2 يتفوق على الطريقة السابقة الرائدة، MVANet، في عدة مجموعات تقييم. بالإضافة إلى ذلك، يتم مقارنة الإطار مع 11 طريقة على مجموعات بيانات الكشف عن الأجسام البارزة عالية الدقة (HRSOD)، محققًا نتائج رائدة في معظم الحالات. كما يقيم المؤلفون قدرة التعميم لـ MGD-SAM2 مقابل 18 طريقة على مجموعات بيانات ذات دقة قياسية، محققين باستمرار نتائج جديدة رائدة. توضح المقارنات المرئية أيضًا قدرات التقسيم المعززة لـ MGD-SAM2، لا سيما في التقاط التفاصيل الدقيقة والبنية العامة.
مناقشة
تناقش هذه القسم التقدمات والتحديات في تقسيم الفئات عالية الدقة غير المعتمدة (HRCS)، مع التركيز بشكل خاص على قيود الطرق الحالية مثل تقسيم الصور الثنائي (DIS) وكشف الأجسام البارزة عالية الدقة (HRSOD). تتطلب هذه الطرق تقسيمًا دقيقًا للأجسام في الصور عالية الدقة، وهو ما تكافح الخوارزميات الحالية لتحقيقه بسبب الصعوبات في تحقيق التوازن بين السياق العالمي وإدراك التفاصيل المحلية. تم استكشاف مجموعة متنوعة من الأساليب، بما في ذلك الأساليب المعتمدة على هرم الصورة والأساليب المعتمدة على القطع، لكنها غالبًا ما تفشل في دمج ميزات متعددة الرؤى بشكل فعال خلال مراحل التشفير وفك التشفير، مما يؤدي إلى أداء دون المستوى في مهام تقسيم التفاصيل الدقيقة.
يقترح المؤلفون إطار عمل جديد، MGD-SAM2، الذي يعزز نموذج تقسيم أي شيء (SAM2) من خلال دمج محول إدراك متعدد الرؤى (MPAdapter) لتحسين التمثيل المحلي والعالمي، ووحدة تعزيز التكامل متعدد الرؤى (MCEM) لتحسين الميزات، ووحدة التفاعل متعدد الرؤى الهرمية (HMIM) لتحسين دمج الميزات متعددة المقاييس. بالإضافة إلى ذلك، تم تقديم وحدة تحسين التفاصيل (DRM) لاستعادة التفاصيل الدقيقة المفقودة أثناء زيادة الدقة. يظهر الأسلوب المقترح أداءً متفوقًا على التقنيات الرائدة في كل من مجموعات بيانات عالية الدقة وعادية الدقة، محققًا تحسينات كبيرة في دقة التقسيم والموثوقية، وبالتالي معالجة التحديات التي تواجه HRCS.
DOI: https://doi.org/10.1109/tcsvt.2026.3678863
Publication Date: 2026-03-30
Author(s): Haoran Shen et al.
Primary Topic: Advanced Neural Network Applications
Overview
The research introduces MGD-SAM2, an advanced model designed to enhance the capabilities of Segment Anything Models (SAMs) in high-resolution class-independent segmentation (HRCS). While SAMs excel in various image analysis tasks, they struggle with fine-grained detail segmentation due to limitations in processing high-resolution inputs and producing low-resolution mask predictions, as well as their dependence on precise manual prompts. MGD-SAM2 addresses these challenges by integrating SAM2 with multi-view feature interactions between global images and local patches.
The architecture of MGD-SAM2 comprises four innovative modules: the Multi-view Perception Adapter (MPAdapter), the Multi-view Complementary Enhancement Module (MCEM), the Hierarchical Multiview Interaction Module (HMIM), and the Detail Refinement Module (DRM). MPAdapter enhances the SAM2 encoder’s ability to extract both local details and global semantics from HRCS images. MCEM and HMIM further refine the model’s performance by aggregating multi-view features across different scales, while DRM focuses on generating high-resolution mask predictions that restore fine-grained details lost during the upsampling of low-resolution predictions. Experimental results indicate that MGD-SAM2 outperforms existing models on various high-resolution and normal-resolution datasets, showcasing its strong generalization capabilities. The code for MGD-SAM2 will be publicly available at https://github.com/sevenshr/MGD-SAM2.
Introduction
The introduction of the research paper outlines the foundational context and significance of the study. It highlights the primary objectives and the research questions that guide the investigation. The authors emphasize the relevance of the topic within the broader field, citing recent advancements and gaps in existing literature that their work aims to address.
Key findings or hypotheses are briefly introduced, setting the stage for the methodologies and analyses that will follow in subsequent sections. The introduction serves to engage the reader by illustrating the potential implications of the research outcomes and their contribution to advancing knowledge in the discipline.
Methods
In this section, the authors introduce a novel framework, MGD-SAM2, designed for high-resolution contour segmentation (HRCS) tasks. The methodology involves processing both resized global images and non-overlapping local image patches as inputs to the modified SAM2 architecture, which incorporates four innovative modules: Multi-view Perception Adapter (MPAdapter), Multi-view Complementary Enhancement Module (MCEM), Hierarchical Multi-view Interaction Module (HMIM), and Detail Refinement Module (DRM). The input images are resized and combined, allowing the model to extract hierarchical features through the encoder, enhance localization with MCEM, and refine predictions using HMIM and DRM, ultimately yielding high-resolution segmentation results.
The performance of MGD-SAM2 is evaluated against 15 existing methods on the DIS5K dataset, demonstrating superior results across all metrics, including improvements in F-max β, F-ω β, E_m ϕ, S_m, and M. Notably, MGD-SAM2 outperforms the previous state-of-the-art method, MVANet, on several evaluation subsets. Additionally, the framework is compared with 11 methods on high-resolution salient object detection (HRSOD) datasets, achieving state-of-the-art results in most cases. The authors also assess the generalization ability of MGD-SAM2 against 18 methods on standard-resolution datasets, consistently achieving new state-of-the-art outcomes. Visual comparisons further illustrate the enhanced segmentation capabilities of MGD-SAM2, particularly in capturing fine-grained details and overall structure.
Discussion
The section discusses the advancements and challenges in High-Resolution Class-agnostic Segmentation (HRCS), particularly focusing on the limitations of existing methods like Dichotomous Image Segmentation (DIS) and High-Resolution Salient Object Detection (HRSOD). These methods require precise segmentation of objects in high-resolution images, which current algorithms struggle to achieve due to difficulties in balancing global context and local detail perception. Various approaches, including image pyramid-based and patch-based methods, have been explored, but they often fail to effectively integrate multi-view features during encoding and decoding stages, leading to suboptimal performance in fine-grained segmentation tasks.
The authors propose a novel framework, MGD-SAM2, which enhances the Segment Anything Model (SAM2) by incorporating a Multi-view Perception Adapter (MPAdapter) to improve local-global representation, a Multi-view Complementary Enhancement Module (MCEM) for feature refinement, and a Hierarchical Multi-view Interaction Module (HMIM) for better integration of multi-scale features. Additionally, a Detail Refinement Module (DRM) is introduced to restore fine details lost during upsampling. The proposed method demonstrates superior performance over state-of-the-art techniques on both high-resolution and normal-resolution datasets, achieving significant improvements in segmentation accuracy and robustness, thereby addressing the challenges faced in HRCS.