DOI: https://doi.org/10.1145/3816251
تاريخ النشر: 2026-06-04
المؤلف: Xinyao Li وآخرون
الموضوع الرئيسي: تطبيقات تعلم الآلة متعددة الوسائط
نظرة عامة
تقدم هذه الورقة الاستقصائية نظرة شاملة على التقدمات الحديثة في تعميم وتكييف نماذج الرؤية-اللغة (VLMs) لمهام ومجالات متنوعة. تصنف المنهجيات إلى ثلاثة أنواع رئيسية: طرق قائمة على التحفيز، وطرق قائمة على المعلمات، وطرق قائمة على الميزات، بناءً على مكونات النماذج التي يتم تكييفها. يضع المؤلفون هذه الطرق في سياق أطر التعلم الانتقالي التقليدية، مشيرين إلى كيفية معالجة التحديات المعاصرة في VLMs.
تقدم الورقة أيضًا مقارنة شاملة للأداء بين الطرق التي تمت مراجعتها مقابل معايير التعميم القياسية، موضحة فعالية الأساليب المختلفة. بالإضافة إلى ذلك، تناقش العلاقة بين VLMs وأحدث نماذج اللغة الكبيرة متعددة الوسائط (MLLMs)، مثل DeepSeek-VL، مع التأكيد على كيفية تعزيز هذه التطورات لقدرة تعميم أنظمة الرؤية-اللغة. أخيرًا، تحدد الدراسة التحديات الحالية وتقترح اتجاهات البحث المستقبلية، بهدف توجيه وإلهام المزيد من التقدمات في مجال البحث متعدد الوسائط.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التقدمات الكبيرة في الشبكات العصبية العميقة، لا سيما في مهام الرؤية واللغة، المدفوعة بتطوير نماذج الأساس مثل CLIP. تسهل هذه النماذج، التي تم تدريبها مسبقًا على مجموعات بيانات واسعة، نقل المعرفة عبر تطبيقات مختلفة، مما يظهر قدرات قوية في المهام مثل التكيف غير المراقب مع المجالات والتعميم المجال. تؤكد الورقة على الحاجة إلى مراجعة شاملة لآليات نقل المعرفة في نماذج الرؤية-اللغة (VLMs)، مشيرة إلى أن الاستطلاعات الحالية تركز بشكل أساسي على جوانب التدريب المسبق بدلاً من تفاصيل التعلم الانتقالي.
تهدف هذه الدراسة إلى سد تلك الفجوة من خلال تصنيف وتحليل منهجي للمكونات الرئيسية لهياكل VLM—طرق قائمة على التحفيز، وطرق قائمة على المعلمات، وطرق قائمة على الميزات—مع توفير مقارنة أداء مفصلة عبر إعدادات نقل مختلفة. بالإضافة إلى ذلك، تناقش دمج نماذج اللغة الكبيرة الحديثة (LLMs) مع VLMs، والتي تُسمى نماذج اللغة الكبيرة متعددة الوسائط (MLLMs)، والتي تعزز قدرات التعميم عبر مجموعة أوسع من المهام المتعلقة بالرؤية-اللغة. توضح الورقة مساهماتها، بما في ذلك فحص شامل لطرق VLM، ومعايير رئيسية للتقييم، واستكشاف التحديات المستمرة والاتجاهات المستقبلية في بحث الرؤية-اللغة.
طرق
تستعرض هذه القسم طرقًا متنوعة لتعزيز أداء نماذج الرؤية-اللغة (VLMs) من خلال تقنيات قائمة على التحفيز، وطرق قائمة على المعلمات، وطرق قائمة على الميزات. تتضمن الطرق القائمة على التحفيز استخدام معلمات قابلة للتعلم، مثل النصوص، والمحفزات البصرية، والسياقية، التي يتم دمجها بشكل استراتيجي في التضمينات لتحسين الأداء الخاص بالمهام. يتم تطبيق هذه المحفزات في مراحل مختلفة ضمن هيكل النموذج، مما يؤثر على كيفية تفسير النموذج ومعالجة المعلومات.
تتناول الطرق القائمة على المعلمات، بما في ذلك الضبط الدقيق وتقطير المعرفة، قيود الأساليب القائمة على التحفيز، لا سيما في السيناريوهات التي تحتوي على فجوات كبيرة بين المجالات. يمكن تصنيف الضبط الدقيق إلى طرق قوية وانتقائية، والتي تعدل معلمات النموذج لتحقيق نتائج أفضل في التعلم الانتقالي. في المقابل، تركز الطرق القائمة على الميزات على تحسين الميزات المستخرجة بواسطة VLMs المدربة مسبقًا، باستخدام تقنيات مثل المحولات والاستكشاف الخطي لتعزيز الكفاءة دون العبء الحسابي لتدريب النموذج بالكامل.
كما تؤكد هذه القسم على أهمية مجموعات البيانات والنتائج التجريبية في تقييم قدرات التعميم لـ VLMs، لا سيما في مهام تصنيف الصور. تسلط مقارنات الأداء عبر طرق مختلفة الضوء على فعالية تقنيات نقل المعرفة المختلفة، كما هو موضح في الجداول والأشكال المرفقة.
نقاش
تركز قسم النقاش في الورقة البحثية على التقدمات والمنهجيات في نماذج الرؤية-اللغة (VLMs)، مع التأكيد بشكل خاص على هيكل البرج المزدوج الذي تمثله CLIP. يحدد أهداف التدريب المسبق، والتي تتضمن التدريب على أزواج الصور والنصوص الواسعة باستخدام التعلم التبايني لمواءمة التمثيلات البصرية والنصية. يتم تعريف دوال الخسارة لمهام الصورة إلى نص والنص إلى صورة، مما يمكّن من قدرات الاستدلال بدون تدريب مسبق. كما يبرز القسم أهمية المحفزات في تعزيز أداء النموذج عبر مهام مختلفة، مقترحًا أن المحفزات القابلة للتعلم يمكن أن تحسن بشكل كبير من التعميم والتكيف مع المهام المتخصصة.
علاوة على ذلك، تتناول الورقة استراتيجيات التعلم الانتقالي، بما في ذلك التكيف غير المراقب مع المجالات، والتعميم المجال، والتعلم القليل، والتي تعتبر ضرورية لـ VLMs للحفاظ على الأداء عبر مجالات ومهام مختلفة. تناقش دور ضبط المحفزات كطريقة فعالة من حيث التكلفة لتكييف VLMs في السيناريوهات الزمنية الحقيقية، مع معالجة التحديات المتعلقة بالحفاظ على المعرفة المدربة مسبقًا أثناء الضبط الدقيق. تختتم القسم بتقديم طرق ضبط دقيق قوية وانتقائية تهدف إلى تعزيز تعميم النموذج وكفاءته، مما يبرز الحاجة المستمرة لتقنيات مبتكرة لتحسين VLMs لتطبيقات متنوعة.
DOI: https://doi.org/10.1145/3816251
Publication Date: 2026-06-04
Author(s): Xinyao Li et al.
Primary Topic: Multimodal Machine Learning Applications
Overview
This survey paper provides a comprehensive overview of recent advancements in the generalization and adaptation of vision-language models (VLMs) to various tasks and domains. It categorizes the methodologies into three main types: prompt-based, parameter-based, and feature-based methods, based on the components of the models being adapted. The authors contextualize these methods within traditional transfer learning frameworks, highlighting how contemporary challenges in VLMs are being addressed.
The paper also presents a thorough performance comparison of the reviewed methods against standard generalization benchmarks, illustrating the effectiveness of different approaches. Additionally, it discusses the relationship between VLMs and the latest multimodal large language models (MLLMs), such as DeepSeek-VL, emphasizing how these developments enhance the generalizability of vision-language systems. Finally, the survey identifies current challenges and proposes future research directions, aiming to guide and inspire further advancements in the field of multimodal research.
Introduction
The introduction of this research paper highlights the significant advancements in deep neural networks, particularly in vision and language tasks, driven by the development of foundation models like CLIP. These models, pretrained on extensive datasets, facilitate knowledge transfer across various downstream applications, demonstrating strong zero-shot capabilities in tasks such as unsupervised domain adaptation and domain generalization. The paper emphasizes the need for a comprehensive review of knowledge transfer mechanisms in vision-language models (VLMs), noting that existing surveys primarily focus on pretraining aspects rather than the nuances of transfer learning.
This survey aims to fill that gap by systematically categorizing and analyzing key components of VLM architectures—prompt-based, parameter-based, and feature-based methods—while providing a detailed performance comparison across various transfer settings. Additionally, it discusses the integration of modern large language models (LLMs) with VLMs, termed multimodal large language models (MLLMs), which enhance generalization capabilities across a broader range of visual-language tasks. The paper outlines its contributions, including a thorough examination of VLM-based methods, mainstream benchmarks for evaluation, and an exploration of ongoing challenges and future directions in vision-language research.
Methods
The section outlines various methods for enhancing the performance of Vision-Language Models (VLMs) through prompt-based, parameter-based, and feature-based techniques. Prompt-based methods involve the use of learnable parameters, such as text, visual, and context prompts, which are strategically integrated into embeddings to improve task-specific performance. These prompts are applied at different stages within the model architecture, influencing how the model interprets and processes information.
Parameter-based methods, including fine-tuning and knowledge distillation, address the limitations of prompt-based approaches, particularly in scenarios with significant domain gaps. Fine-tuning can be categorized into robust and selective methods, which adapt the model’s parameters for better transfer learning outcomes. In contrast, feature-based methods focus on refining the features extracted by pretrained VLMs, utilizing techniques such as adapters and linear probing to enhance efficiency without the computational burden of full model training.
The section also emphasizes the importance of datasets and experimental results in evaluating the generalization capabilities of VLMs, particularly in image classification tasks. Performance comparisons across various methods highlight the effectiveness of different knowledge transfer techniques, as illustrated in accompanying tables and figures.
Discussion
The discussion section of the research paper focuses on the advancements and methodologies in Vision-Language Models (VLMs), particularly emphasizing the two-tower architecture exemplified by CLIP. It outlines the pretraining objectives, which involve training on extensive image-text pairs using contrastive learning to align visual and textual representations. The loss functions for image-to-text and text-to-image tasks are defined, enabling zero-shot inference capabilities. The section also highlights the importance of prompts in enhancing model performance across various tasks, suggesting that learnable prompts can significantly improve generalization and adaptation to specialized tasks.
Furthermore, the paper delves into transfer learning strategies, including unsupervised domain adaptation, domain generalization, and few-shot learning, which are crucial for VLMs to maintain performance across different domains and tasks. It discusses the role of prompt tuning as a computationally efficient method for adapting VLMs in real-time scenarios, while also addressing the challenges of preserving pretrained knowledge during fine-tuning. The section concludes by presenting robust and selective fine-tuning methods aimed at enhancing model generalization and efficiency, underscoring the ongoing need for innovative techniques to optimize VLMs for diverse applications.