DOI: https://doi.org/10.1016/j.asoc.2026.114966
تاريخ النشر: 2026-03-07
المؤلف: Weihao Jiang وآخرون
الموضوع الرئيسي: تكييف المجال والتعلم من عدد قليل من الأمثلة
نظرة عامة
في هذا البحث، يتناول المؤلفون قيود طرق تصنيف الصور القليلة الموجودة، والتي تركز عادةً على الميزات العالمية أو المحلية دون دمج كلاهما. يقترحون شبكة المحولات السيامية الجديدة (STN) التي تستخدم بنية ذات فرعين تعتمد على المحول البصري المدرب مسبقًا (ViT) لاستخراج الميزات العالمية والمحلية بشكل منفصل. يتم تقييم الميزات العالمية باستخدام المسافة الإقليدية، بينما يتم تقييم الميزات المحلية باستخدام تباين كولباك-ليبلر (KL). ثم يتم دمج هذه المقاييس من خلال استراتيجية دمج بسيطة تضيف وتوزن النتائج لإنتاج درجة تشابه نهائية، مما يستفيد بشكل فعال من نقاط القوة التكميلية لكلا نوعي الميزات.
تستخدم إطار عمل STN المقترح نهج التعلم الميتا للتعديل الدقيق، مما يعزز قدرة النموذج على التعميم دون الحاجة إلى وحدات تكيف ميزات معقدة. تظهر التجارب الواسعة على أربعة معايير تصنيف قليلة مشهورة أن هذه الطريقة تحقق أداءً متفوقًا مقارنةً بالأساليب الحديثة في كل من سيناريوهات 5-shot و1-shot. تؤكد بساطة وفعالية إطار عمل STN على قوته وموثوقيته في التعلم القائم على المقاييس، مما يجعله مساهمة كبيرة في هذا المجال.
مقدمة
تتناول مقدمة هذه الورقة البحثية تحدي التعلم القليل، الذي يهدف إلى محاكاة الذكاء البصري البشري من خلال تمكين نماذج التعلم الآلي من التعلم من أمثلة قليلة والتكيف مع مهام متنوعة. على الرغم من التقدم في التعرف على الصور من خلال التعلم العميق ومجموعات البيانات الكبيرة، لا تزال النماذج الحالية تعاني من نقص في القدرة على التكيف مثل البشر. يقترح المؤلفون نهجًا جديدًا، وهو شبكة المحولات السيامية (STN)، التي تدمج قياسات الميزات العالمية والمحلية لتعزيز دقة وموثوقية تصنيف الصور.
يتكون نموذج STN من فرعين: أحدهما لاستخراج الميزات العالمية والآخر للميزات المحلية من صور الاستعلام والدعم. من خلال استخدام مقاييس مميزة—تباين بريغمان للميزات العالمية ومقياس توزيع غير متماثل للميزات المحلية—يجمع النموذج بين هذه القياسات من خلال التطبيع والتوزين، مما يؤدي إلى درجة تشابه شاملة. لا تلتقط هذه التكاملات المبتكرة الهيكل الشامل للصور فحسب، بل تحلل أيضًا التفاصيل الدقيقة بدقة، مما يحسن أداء النموذج. يؤكد المؤلفون أن التجارب الواسعة على مجموعات البيانات المرجعية تظهر تفوق STN على الأساليب الحالية، مما يمثل تقدمًا كبيرًا في مجال تحليل الصور.
طرق
تحدد هذه القسم منهجين رئيسيين للتعلم القليل (FSL): الطرق المعتمدة على الميزات العالمية والطرق المعتمدة على الميزات المحلية. تمثل الطرق المعتمدة على الميزات العالمية الصور من خلال ميزات عالمية فردية وتستخدم أساليب قائمة على المقاييس لتصنيف صور الاستعلام من خلال قياس تشابهها مع عينات الدعم. تشمل النماذج البارزة في هذه الفئة الشبكات المطابقة، والشبكات النموذجية، وMAML، التي تركز على تحسين إعدادات النموذج للتكيف السريع مع المهام الجديدة. تشمل التطورات الحديثة أيضًا دمج المحولات البصرية (ViT) لتعزيز استخراج الميزات وأداء المهام.
على العكس، تقوم الطرق المعتمدة على الميزات المحلية بتفكيك الصور إلى ميزات محلية متعددة، مما يلتقط معاني دلالية مميزة من مناطق مختلفة. تستكشف هذه الطرق مقاييس الميزات المحلية الدقيقة واستراتيجيات المحاذاة الدلالية. تركز تقنيات مثل CovaMNet وRelationNet على قياس التشابهات بين الميزات المحلية، بينما تستخدم أخرى مثل SAML وCAN آليات انتباه لتعزيز القوة التمييزية للميزات. ومع ذلك، تعتمد الأساليب الحالية غالبًا على إما الميزات العالمية أو المحلية فقط، مما يحد من فعاليتها. للتغلب على ذلك، يقترح المؤلفون شبكة المحولات السيامية التي تستخرج وتقيس في الوقت نفسه كل من الميزات العالمية والمحلية، مما يؤدي في النهاية إلى دمج هذه القياسات لتحسين درجات التشابه في مهام تصنيف الصور القليلة.
نتائج
في هذا القسم، يقدم المؤلفون نتائج من التجارب التي أجريت على مجموعات بيانات ذات دقة صغيرة، تحديدًا CIFAR-FS وFC100، لتقييم قدرة التكيف وأداء نموذجهم مقارنةً بالأساليب الحالية. تشير النتائج، الملخصة في الجدول II، إلى أن طريقتهم، المشار إليها باسم STN، تتفوق على طريقة CPEA في كل من إعدادات التصنيف 1-shot و5-shot. بالنسبة لـ CIFAR-FS، تحقق STN تحسينًا في الأداء بنسبة 1.99% في سيناريو 1-shot و1.83% في سيناريو 5-shot. وبالمثل، بالنسبة لـ FC100، كانت التحسينات 0.55% و1.67%، على التوالي.
تسلط هذه النتائج الضوء على فعالية الطريقة المقترحة عبر سيناريوهات بيانات متنوعة، مما يظهر قدرتها على الاستفادة من كل من الميزات العالمية والمحلية لتحسين تمثيل الصور. تؤكد المكاسب المستمرة في الأداء عبر جميع مجموعات البيانات المختبرة على قوة النهج في مهام التعلم القليل، مما يؤكد إمكانياته لتطبيقات أوسع في هذا المجال.
نقاش
في هذا القسم، يناقش المؤلفون تطوير وأداء شبكة المحولات السيامية (STN) المقترحة لتصنيف الصور القليلة. تستفيد STN من بنية ذات فرعين تستخدم المحولات البصرية (ViTs) لاستخراج كل من الميزات العالمية والمحلية من الصور المدخلة. يتم تقييم الميزات العالمية باستخدام المسافة الإقليدية المربعة، بينما يتم تقييم الميزات المحلية من خلال تباين كولباك-ليبلر (KL)، مما يسمح للنموذج بالتقاط المعلومات التكميلية بشكل فعال. يتم حساب درجة التشابه النهائية من خلال دمج مرجح لهذين المقياسين، مما يعزز قدرات التعميم للنموذج مع تقليل التعقيد من خلال تجنب المعلمات القابلة للتعلم الإضافية.
تظهر النتائج التجريبية أن STN تتفوق على العديد من الأساليب الحديثة عبر مجموعات بيانات مرجعية متعددة، بما في ذلك miniImageNet وtieredImageNet، محققة تحسينات كبيرة في كل من إعدادات 1-shot و5-shot. من الجدير بالذكر أن STN تتجاوز النماذج السابقة مثل FewTURE وCPEA، مما يدل على فعاليتها في استخدام كل من الميزات العالمية والمحلية لتحسين دقة التصنيف. تؤكد دراسات الإزالة أيضًا مساهمات كل مكون، مما يكشف أن دمج كلا نوعي الميزات أمر حاسم لتحقيق أداء متفوق في مهام التعلم القليل.
DOI: https://doi.org/10.1016/j.asoc.2026.114966
Publication Date: 2026-03-07
Author(s): Weihao Jiang et al.
Primary Topic: Domain Adaptation and Few-Shot Learning
Overview
In this research, the authors address the limitations of existing few-shot image classification methods, which typically focus on either global or local features without integrating both. They propose a novel Siamese Transformer Network (STN) that utilizes a dual-branch architecture based on the pre-trained Vision Transformer (ViT) to separately extract global and local features. The global features are assessed using Euclidean distance, while local features are evaluated with Kullback-Leibler (KL) divergence. These metrics are then combined through a simple additive fusion strategy that normalizes and weights the results to produce a final similarity score, effectively leveraging the complementary strengths of both feature types.
The proposed STN framework employs a meta-learning approach for fine-tuning, enhancing the model’s generalization ability without the need for complex feature adaptation modules. Extensive experiments on four popular few-shot classification benchmarks demonstrate that this method achieves superior performance compared to state-of-the-art baselines in both 5-shot and 1-shot scenarios. The simplicity and effectiveness of the STN framework underscore its robustness and reliability in metric-based few-shot learning, making it a significant contribution to the field.
Introduction
The introduction of this research paper addresses the challenge of few-shot learning, which aims to emulate human visual intelligence by enabling machine learning models to learn from minimal examples and adapt to diverse tasks. Despite advancements in image recognition through deep learning and large datasets, current models still fall short of human-like adaptability. The authors propose a novel approach, the Siamese Transformer Network (STN), which integrates global and local feature measurements to enhance the accuracy and reliability of image classification.
The STN model consists of two branches: one for extracting global features and another for local features from query and support images. By employing distinct metrics—Bregman divergence for global features and an asymmetric distribution metric for local features—the model synthesizes these measurements through normalization and weighting, resulting in a comprehensive similarity score. This innovative integration not only captures the holistic structure of images but also meticulously analyzes intricate details, thereby improving model performance. The authors assert that extensive experiments on benchmark datasets demonstrate STN’s superiority over existing methods, marking a significant advancement in the field of image analysis.
Methods
The section outlines two primary methodologies for few-shot learning (FSL): global feature-based methods and local feature-based methods. Global feature-based methods represent images through singular global features and utilize metric-based approaches to classify query images by measuring their similarity to support samples. Notable models in this category include Matching Networks, Prototypical Networks, and MAML, which focuses on optimizing model initializations for rapid adaptation to new tasks. Recent advancements also incorporate Vision Transformers (ViT) to enhance feature extraction and task performance.
Conversely, local feature-based methods decompose images into multiple local features, capturing distinct semantic meanings from various regions. These methods explore fine-grained local feature measures and strategies for semantic alignment. Techniques such as CovaMNet and RelationNet focus on measuring similarities between local features, while others like SAML and CAN employ attention mechanisms to enhance the discriminative power of features. However, existing approaches often rely solely on either global or local features, limiting their effectiveness. To overcome this, the authors propose a Siamese Transformer Network that simultaneously extracts and measures both global and local features, ultimately fusing these measurements to improve similarity scoring in few-shot image classification tasks.
Results
In this section, the authors present results from experiments conducted on small-resolution datasets, specifically CIFAR-FS and FC100, to evaluate the adaptability and performance of their model compared to existing methods. The findings, summarized in Table II, indicate that their method, referred to as STN, outperforms the CPEA method in both 1-shot and 5-shot classification settings. For CIFAR-FS, STN achieves a performance improvement of 1.99% in the 1-shot scenario and 1.83% in the 5-shot scenario. Similarly, for FC100, the improvements are 0.55% and 1.67%, respectively.
These results highlight the effectiveness of the proposed method across various data scenarios, demonstrating its ability to leverage both global and local features for enhanced image representation. The consistent performance gains across all tested datasets underscore the strengths of the approach in few-shot learning tasks, affirming its potential for broader applications in the field.
Discussion
In this section, the authors discuss the development and performance of their proposed Siamese Transformer Network (STN) for few-shot image classification. The STN leverages a dual-branch architecture utilizing Vision Transformers (ViTs) to extract both global and local features from input images. The global features are assessed using squared Euclidean distance, while local features are evaluated through Kullback-Leibler (KL) divergence, allowing the model to capture complementary information effectively. The final similarity score is computed through a weighted fusion of these two metrics, enhancing the model’s generalization capabilities while minimizing complexity by avoiding additional learnable parameters.
The experimental results demonstrate that STN outperforms several state-of-the-art methods across multiple benchmark datasets, including miniImageNet and tieredImageNet, achieving significant improvements in both 1-shot and 5-shot settings. Notably, STN surpasses previous models like FewTURE and CPEA, indicating its effectiveness in utilizing both global and local features for improved classification accuracy. Ablation studies further validate the contributions of each component, revealing that the integration of both feature types is crucial for achieving superior performance in few-shot learning tasks.