DOI: https://doi.org/10.1016/j.patcog.2026.114337
تاريخ النشر: 2026-06-27
المؤلف: Jinjing Zhu وآخرون
الموضوع الرئيسي: تكييف المجال والتعلم من عدد قليل من الأمثلة
نظرة عامة
في هذه الورقة، قدمنا CLIP-Div، وهو نهج جديد موجه باللغة مصمم لتعزيز أداء نماذج التكيف غير الخاضع للإشراف (UDA) من خلال الاستفادة من الغنى الدلالي وقدرات التعميم بدون تدريب لـ CLIP. تشمل المساهمات الرئيسية تطوير قياسين مبتكرين للانحراف الموجه باللغة—الانحراف المطلق والانحراف النسبي—للمواءمة بين المجالات المصدر والهدف، بالإضافة إلى استراتيجية تعليم زائف موجهة باللغة تقوم بمعايرة تسميات الهدف الزائفة، تليها تدريب ذاتي لتعزيز قدرة تعميم نموذج UDA. تظهر التجارب الواسعة أن CLIP-Div يحقق أداءً رائدًا في مجاله (SoTA) عبر أربعة مجموعات بيانات مرجعية، متفوقًا بشكل كبير على الطرق الحالية.
ومع ذلك، تم تحديد قيد وهو الاعتماد على التوزيع غير المعتمد على المجال المستمد من نموذج CLIP ثابت، وهو أمر حاسم لجسر الفجوة بين المجالات بشكل فعال. كما أن أداء نموذج UDA حساس أيضًا لاختيار مشفرات CLIP البصرية، مع ملاحظات للاختلافات بين النماذج المعتمدة على ViT والنماذج المعتمدة على ResNet مثل ResNet-50 أو ResNet-101. ستركز الأعمال المستقبلية على تطبيق CLIP-Div في UDA بدون مصدر وسياقات تعميم المجال، مع دمج المزيد من التوجيه اللغوي، واستكشاف إمكانية CLIP لجسر الفجوات بين المجالات داخل فضاء الميزات.
مقدمة
في مقدمة ورقتهم، يقدم زو وآخرون نهجًا جديدًا للتكيف غير الخاضع للإشراف (UDA) يسمى CLIP-Div، والذي يستفيد من قدرات نماذج الرؤية واللغة الكبيرة، وبشكل خاص CLIP، لمعالجة التحديات التي تطرحها تباينات المجال بين المجالات المصدر المعلّمة والمجالات الهدف غير المعلّمة. يبرز المؤلفون قيود الطرق الحالية لـ UDA، التي تعتمد غالبًا على تعلم القياس، أو التعلم العدائي، أو التدريب الذاتي، ويؤكدون على الحاجة إلى تقنيات محسّنة يمكن أن تسد الفجوة بين المجالات بشكل فعال. من خلال الاستفادة من توزيع CLIP غير المعتمد على المجال، يقدم CLIP-Div خسائر قياس انحراف موجهة باللغة مبتكرة—الانحراف المطلق والانحراف النسبي—لتحسين مواءمة المجالات المصدر والهدف.
تبلغ الورقة عن تحسينات كبيرة في أداء CLIP-Div مقارنة بالطرق المعتمدة على CNN الرائدة، محققة مكاسب ملحوظة في الدقة عبر عدة مجموعات بيانات مرجعية: +10.3% على Office-Home، +1.5% على Office-31، +0.2% على VisDA-2017، و +24.3% على DomainNet. بالإضافة إلى ذلك، يقترح المؤلفون استراتيجية تعليم زائف موجهة باللغة لمعايرة تسميات الهدف الزائفة، مما يعزز قدرات تعميم النموذج من خلال التدريب الذاتي. بشكل عام، تؤكد النتائج على فعالية CLIP-Div في تعزيز منهجيات UDA من خلال الاستفادة المباشرة من الغنى الدلالي وقدرات التعميم بدون تدريب لـ CLIP، بدلاً من الاعتماد على أساليب الضبط التقليدية.
النتائج
تشير النتائج إلى أن نموذج CLIP-Div (ViT-B) المقترح يحقق دقة متوسطة تبلغ 54.6%، متفوقًا على الطرق الأساسية مثل CGDM و SCDA. ومن الجدير بالذكر أن CLIP-Div (ViT-B) يظهر تحسينًا كبيرًا في الأداء عبر جميع مهام النقل، مع تحسين متوسط في الدقة يبلغ 24.3% مقارنة بالأساليب الأساسية. تؤكد هذه النتائج على فعالية CLIP-Div في تسهيل مواءمة المجالات.
نقاش
في هذا القسم، يناقش المؤلفون التقدمات والمنهجيات المتعلقة بالتعليم الزائف (PL) في سياق التكيف غير الخاضع للإشراف (UDA). لقد تم استخدام PL، الذي يتضمن تعيين تسميات عالية الثقة للبيانات غير المعلّمة، بشكل فعال في التعلم شبه الخاضع للإشراف و UDA. ومع ذلك، تفترض الطرق الحالية غالبًا توزيعات مشابهة بين المجالات المصدر والهدف، وهي حالة قد لا تتحقق في الممارسة، مما يؤدي إلى تدهور الأداء. لمعالجة ذلك، يقترح المؤلفون الاستفادة من قدرات CLIP (التدريب المسبق المتباين للغة والصورة) لتحسين تسميات الهدف الزائفة باستخدام التوجيه اللغوي، مما يعزز قدرة النموذج على التعميم في المجال الهدف.
تدمج الطريقة المقترحة، CLIP-Div، عدة مكونات لتخفيف تباين المجال. تستخدم استراتيجية قياس انحراف موجهة باللغة تستفيد من خسائر الانحراف المطلق والنسبي لمواءمة توزيعات المجالات المصدر والهدف مع توزيع غير معتمد على المجال مستمد من CLIP. بالإضافة إلى ذلك، تم تقديم استراتيجية تعليم زائف موجهة باللغة جديدة لتعزيز موثوقية تسميات الهدف الزائفة، التي يتم حسابها بناءً على مراكز مستمدة من ميزات الهدف. تجمع دالة الهدف العامة بين خسائر التصنيف وخسائر الانحراف، مع معلمات فرعية محددة لتحقيق توازن في مساهماتها. يتم التحقق من فعالية CLIP-Div من خلال تجارب واسعة عبر عدة معايير UDA، مما يظهر تحسينات كبيرة مقارنة بالطرق الرائدة.
DOI: https://doi.org/10.1016/j.patcog.2026.114337
Publication Date: 2026-06-27
Author(s): Jinjing Zhu et al.
Primary Topic: Domain Adaptation and Few-Shot Learning
Overview
In this paper, we introduced CLIP-Div, a novel language-guided approach designed to enhance the performance of unsupervised domain adaptation (UDA) models by leveraging the semantic richness and zero-shot generalization capabilities of CLIP. Key contributions include the development of two innovative language-guided divergence measurements—absolute and relative divergence—to align source and target domains, as well as a language-guided pseudo-labeling strategy that calibrates target pseudo-labels, followed by self-training to bolster the UDA model’s generalization ability. Extensive experiments demonstrate that CLIP-Div achieves state-of-the-art (SoTA) performance across four benchmark datasets, significantly outperforming existing methods.
However, a limitation identified is the reliance on the domain-agnostic distribution derived from a fixed CLIP model, which is crucial for effectively bridging the domain gap. The performance of the UDA model is also sensitive to the choice of CLIP’s visual encoders, with variations observed between ViT-based models and ResNet-based models like ResNet-50 or ResNet-101. Future work will focus on applying CLIP-Div in source-free UDA and domain generalization contexts, further integrating language guidance, and exploring the potential of CLIP to bridge domain gaps within the feature space.
Introduction
In the introduction of their paper, Zhu et al. present a novel approach to Unsupervised Domain Adaptation (UDA) called CLIP-Div, which leverages the capabilities of large vision-language models, specifically CLIP, to address the challenges posed by domain divergence between labeled source and unlabeled target domains. The authors highlight the limitations of existing UDA methods, which often rely on metric learning, adversarial learning, or self-training, and emphasize the need for improved techniques that can effectively bridge the domain gap. By utilizing CLIP’s domain-agnostic distribution, CLIP-Div introduces two innovative language-guided divergence measurement losses—absolute divergence and relative divergence—to enhance the alignment of source and target domains.
The paper reports significant performance improvements of CLIP-Div over state-of-the-art CNN-based methods, achieving notable accuracy gains across several benchmark datasets: +10.3% on Office-Home, +1.5% on Office-31, +0.2% on VisDA-2017, and +24.3% on DomainNet. Additionally, the authors propose a language-guided pseudo-labeling strategy to calibrate target pseudo labels, further enhancing the model’s generalization capabilities through self-training. Overall, the findings underscore the effectiveness of CLIP-Div in advancing UDA methodologies by directly harnessing the semantic richness and zero-shot generalization capabilities of CLIP, rather than relying on traditional fine-tuning approaches.
Results
The results indicate that the proposed CLIP-Div (ViT-B) model achieves an average accuracy of 54.6%, outperforming baseline methods such as CGDM and SCDA. Notably, CLIP-Div (ViT-B) shows a substantial performance improvement across all transfer tasks, with an average accuracy enhancement of 24.3% compared to the baseline approaches. These findings underscore the effectiveness of CLIP-Div in facilitating domain alignment.
Discussion
In this section, the authors discuss the advancements and methodologies related to pseudo-labeling (PL) in the context of unsupervised domain adaptation (UDA). PL, which involves assigning high-confidence labels to unlabeled data, has been effectively utilized in semi-supervised learning and UDA. However, existing methods often assume similar distributions between source and target domains, a condition that may not hold in practice, leading to performance degradation. To address this, the authors propose leveraging the capabilities of CLIP (Contrastive Language-Image Pretraining) to refine target pseudo labels using language guidance, thereby enhancing the model’s generalization ability in the target domain.
The proposed method, CLIP-Div, integrates several components to mitigate domain divergence. It employs a language-guided divergence measurement strategy that utilizes absolute and relative divergence losses to align the distributions of source and target domains with a domain-agnostic distribution derived from CLIP. Additionally, a novel language-guided pseudo-labeling strategy is introduced to enhance the reliability of target pseudo labels, which are computed based on centroids derived from target features. The overall objective function combines classification losses and divergence losses, with specific hyper-parameters to balance their contributions. The effectiveness of CLIP-Div is validated through extensive experiments across multiple UDA benchmarks, demonstrating significant improvements over state-of-the-art methods.