DOI: https://doi.org/10.1109/tpami.2026.3681631
PMID: https://pubmed.ncbi.nlm.nih.gov/41950134
تاريخ النشر: 2026-04-08
المؤلف: Zhixiang Wei وآخرون
الموضوع الرئيسي: تكييف المجال والتعلم من عدد قليل من الأمثلة
نظرة عامة
تقدم الورقة البحثية Rein++، وهو إطار عمل جديد مصمم لتعزيز تطبيق نماذج أساس الرؤية (VFMs) في تقسيم الدلالات، حيث يتناول تحديين رئيسيين: الحجم المحدود لمجموعات بيانات التقسيم مقارنة بمجموعات بيانات ما قبل تدريب VFM وتنوع توزيعات المجالات. يتكون Rein++ من مكونين رئيسيين: Rein-G، الذي يركز على تعميم المجال، وRein-A، الذي يستهدف التكيف غير المراقب للمجال. يستخدم Rein-G رموزًا قابلة للتدريب وواعية للحالات لتحسين ميزات VFM بينما يقوم بضبط أقل من 1% من معلمات الهيكل العظمي، مما يحقق تعميمًا قويًا. يعزز Rein-A ذلك من خلال تنفيذ استراتيجية محاذاة على مستويين للتكيف الفعال مع مجالات الهدف المتنوعة دون الحاجة إلى بيانات مصنفة.
تظهر النتائج أن Rein++ يتفوق بشكل كبير على الأساليب الحالية الرائدة في كل من مهام تعميم المجال والتكيف، حتى بالنسبة لـ VFMs التي تحتوي على مليارات المعلمات. تجعل كفاءة وفعالية الإطار منه حلاً واعدًا لتحديات التقسيم في العالم الحقيقي، مما يسهل الاستخدام الأوسع لنماذج VFM الكبيرة في السيناريوهات المعقدة. تؤكد التجارب الشاملة قدرات الإطار، مما يرسخ Rein++ كنهج رائد في هذا المجال. الشيفرة الخاصة بهذا الإطار متاحة للجمهور على https://github.com/wloves/Rein.
مقدمة
لقد أدت مقدمة نماذج أساس الرؤية الكبيرة مثل CLIP وDINOv2 وInternVL-C إلى تقدم كبير في مجال رؤية الكمبيوتر، خاصة في قدرتها على التعميم عبر مهام متنوعة. ومع ذلك، يواجه تطبيق هذه النماذج في تقسيم الدلالات تحديين رئيسيين: الفجوة في حجم مجموعة البيانات وتحولات توزيع المجال. مجموعات بيانات تقسيم الدلالات، مثل Cityscapes وGTAV، أصغر بكثير من مجموعات البيانات على نطاق الويب المستخدمة في ما قبل تدريب VFMs، مما يؤدي إلى محدودية القابلية للتعميم عند ضبطها على هذه المجموعات الأصغر. بالإضافة إلى ذلك، غالبًا ما تتضمن سيناريوهات التقسيم في العالم الحقيقي ظروفًا متنوعة تمثل تمثيلًا ناقصًا في مجموعات بيانات ما قبل التدريب، مما يعقد تكيف VFMs مع هذه البيئات المتنوعة.
لمعالجة هذه التحديات، يقترح المؤلفون إطار عمل جديد للتقسيم يستفيد من VFMs مع ضمان ضبط فعال وتكيف فعال مع المجالات غير المصنفة. يقدمون Rein-G، وهي طريقة ضبط فعالة من حيث المعلمات (PEFT) تعزز قدرات التعميم من خلال استخدام مجموعة صغيرة من المعلمات القابلة للتدريب. يتضمن Rein-G رموزًا قابلة للتعلم تتفاعل مع ميزات VFM لتحسين مخرجات التقسيم. علاوة على ذلك، يوسع المؤلفون هذا النهج مع Rein-A، الذي يسهل التكيف غير المراقب للمجال من خلال استخدام أهداف تصنيف القناع وإشراف مزدوج المستوى. يظهر الجمع بين Rein-G وRein-A، المسمى Rein++، أداءً متفوقًا في كل من مهام التعميم والتكيف عبر عائلات متعددة من VFMs، مما يحسن نتائج التقسيم بشكل كبير حتى في غياب البيانات المصنفة. لا يعزز هذا الإطار كفاءة الذاكرة والتخزين فحسب، بل يؤسس أيضًا منهجية قوية لاستغلال إمكانيات VFMs في تقسيم الدلالات.
طرق
في هذا القسم، يقدم المؤلفون تقدمًا في تعميم المجال لتقسيم الدلالات (DGSS) باستخدام نماذج أساس الرؤية (VFMs). يقدمون طريقة ضبط قوية تسمى Rein-G، والتي تستخدم رموزًا قابلة للتعلم لتحسين الميزات عبر طبقات الهيكل العظمي، مما يعزز أداء VFMs في مهام DGSS مع عدد أقل من المعلمات القابلة للتدريب. بناءً على ذلك، يقترحون Rein-A، الذي يعدل VFMs على كل من مستوى اللوغيت ومستوى الحالة، متماشيًا مع نموذج تقسيم أي شيء (SAM) لتحسين التكيف عبر مهام التقسيم المختلفة.
يؤدي الجمع بين Rein-G وRein-A إلى إطار عمل Rein++، الذي يعمم ويتكيف بشكل فعال مع VFMs لتقسيم الدلالات، متفوقًا على طرق التكيف السابقة (DA) وطرق تعميم المجال (DG). لا يتضمن هذا الإطار الموحد قدرات التكيف للمجالات المستهدفة غير المصنفة فحسب، بل يقدم أيضًا تحسينات مثل دعم VFMs الأكبر (حتى 6 مليارات معلمة)، وتنفيذات إضافية للنموذج، وتحسينات تصميم مثل آلية متعددة الرؤوس وتنشيط GeLU. تعزز هذه التطورات بشكل كبير أداء التعميم لـ VFMs، مما يمثل تقدمًا كبيرًا على الإطار الأولي المقدم في CVPR 2024.
مناقشة
في مناقشة نماذج أساس الرؤية (VFMs)، تسلط الورقة الضوء على السعي المستمر لتطوير VFM مماثل لتلك الموجودة في معالجة اللغة الطبيعية (NLP). لقد حققت نماذج بارزة مثل CLIP وMAE وSAM وEVA02 وDINOv2 تقدمًا كبيرًا في تعلم التمثيلات البصرية من خلال تقنيات مبتكرة متنوعة. ومع ذلك، لا يزال أداء هذه النماذج في مهام محددة مثل تعميم المجال لتقسيم الدلالات (DGSS) وتكيف المجال لتقسيم الدلالات (DASS) غير مستكشف بشكل كافٍ.
تقدم الورقة إطار عمل Rein++، الذي يتكون من مكونين: Rein-G وRein-A. يركز Rein-G على ضبط VFMs مع 1% فقط من معلماتها، محققًا تحسينات كبيرة في الأداء في مهام تقسيم الدلالات. يستخدم آلية لتحسين خرائط الميزات في كل طبقة، مما يسد الفجوات بين مجموعات بيانات ما قبل التدريب والمشاهد المستهدفة. من ناحية أخرى، تم تصميم Rein-A للتكيف غير المراقب للمجال، مما يعزز أداء النموذج في المجالات غير المصنفة من خلال الاستفادة من المعرفة من المجال المصدر. يسمح دمج هذه المكونات بتعميم قوي عبر مجالات متنوعة، مع نتائج تجريبية تظهر مكاسب كبيرة مقارنة بالطرق الحالية في كل من السيناريوهات الاصطناعية إلى الحقيقية والحقيقية إلى الحقيقية.
DOI: https://doi.org/10.1109/tpami.2026.3681631
PMID: https://pubmed.ncbi.nlm.nih.gov/41950134
Publication Date: 2026-04-08
Author(s): Zhixiang Wei et al.
Primary Topic: Domain Adaptation and Few-Shot Learning
Overview
The research paper introduces Rein++, a novel framework designed to enhance the application of Vision Foundation Models (VFMs) in semantic segmentation, addressing two primary challenges: the limited scale of segmentation datasets compared to VFM pre-training datasets and the variability in domain distributions. Rein++ consists of two key components: Rein-G, which focuses on domain generalization, and Rein-A, which targets unsupervised domain adaptation. Rein-G employs trainable, instance-aware tokens to refine VFM features while fine-tuning less than 1% of the backbone’s parameters, thereby achieving robust generalization. Rein-A enhances this by implementing a dual-level alignment strategy for effective adaptation to diverse target domains without requiring labeled data.
The findings demonstrate that Rein++ significantly outperforms existing state-of-the-art methods in both domain generalization and adaptation tasks, even for VFMs with billions of parameters. The framework’s efficiency and effectiveness make it a promising solution for real-world segmentation challenges, facilitating the broader use of large-scale VFMs in complex scenarios. Comprehensive experiments validate the framework’s capabilities, establishing Rein++ as a leading approach in the field. The code for this framework is publicly available at https://github.com/wloves/Rein.
Introduction
The introduction of large-scale Vision Foundation Models (VFMs) such as CLIP, DINOv2, and InternVL-C has significantly advanced the field of computer vision, particularly in their ability to generalize across various tasks. However, applying these models to semantic segmentation faces two primary challenges: the disparity in dataset scale and domain distribution shifts. Semantic segmentation datasets, like Cityscapes and GTAV, are considerably smaller than the web-scale datasets used for pre-training VFMs, leading to limited generalizability when fine-tuning on these smaller datasets. Additionally, real-world segmentation scenarios often involve diverse conditions that are underrepresented in the pre-training datasets, complicating the adaptation of VFMs to these varied environments.
To address these challenges, the authors propose a novel segmentation framework that leverages VFMs while ensuring efficient fine-tuning and effective adaptation to unlabeled domains. They introduce Rein-G, a parameter-efficient fine-tuning (PEFT) method that enhances generalization capabilities by utilizing a minimal set of trainable parameters. Rein-G incorporates learnable tokens that interact with VFM features to refine segmentation outputs. Furthermore, the authors extend this approach with Rein-A, which facilitates unsupervised domain adaptation by employing mask classification objectives and dual-level supervision. The combination of Rein-G and Rein-A, termed Rein++, demonstrates superior performance in both generalization and adaptation tasks across multiple VFM families, significantly improving segmentation outcomes even in the absence of labeled data. This framework not only enhances memory and storage efficiency but also establishes a robust methodology for harnessing the potential of VFMs in semantic segmentation.
Methods
In this section, the authors present advancements in Domain Generalization Semantic Segmentation (DGSS) using Vision Foundation Models (VFMs). They introduce a robust fine-tuning method called Rein-G, which utilizes learnable tokens to refine features across backbone layers, enhancing the performance of VFMs in DGSS tasks with a reduced number of trainable parameters. Building on this, they propose Rein-A, which adapts VFMs at both the logit and instance levels, aligning with the Segment Anything Model (SAM) to improve adaptability across various segmentation tasks.
The combination of Rein-G and Rein-A results in the Rein++ framework, which effectively generalizes and adapts VFMs for semantic segmentation, outperforming previous domain adaptation (DA) and domain generalization (DG) methods. This unified framework not only incorporates adaptation capabilities for unlabeled target domains but also introduces enhancements such as support for larger VFMs (up to 6 billion parameters), additional model implementations, and design improvements like a multi-head mechanism and GeLU activation. These developments significantly bolster the generalization performance of VFMs, marking a substantial advancement over the preliminary framework presented at CVPR 2024.
Discussion
In the discussion of Vision Foundation Models (VFMs), the paper highlights the ongoing pursuit of developing a VFM analogous to those in Natural Language Processing (NLP). Notable models such as CLIP, MAE, SAM, EVA02, and DINOv2 have made significant strides in learning visual representations through various innovative techniques. However, the performance of these models in specific tasks like Domain Generalization Semantic Segmentation (DGSS) and Domain Adaptation Semantic Segmentation (DASS) remains underexplored.
The paper introduces the Rein++ framework, which comprises two components: Rein-G and Rein-A. Rein-G focuses on fine-tuning VFMs with only 1% of their parameters, achieving substantial performance improvements in semantic segmentation tasks. It employs a mechanism to refine feature maps at each layer, effectively bridging gaps between pre-training datasets and target scenes. Rein-A, on the other hand, is designed for unsupervised domain adaptation, enhancing model performance in unlabeled domains by leveraging knowledge from the source domain. The integration of these components allows for robust generalization across varying domains, with experimental results demonstrating significant gains over existing methods in both synthetic-to-real and real-to-real scenarios.