DOI: https://doi.org/10.1016/j.imavis.2026.106152
تاريخ النشر: 2026-08-12
المؤلف: Manuel Nkegoum وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
تقدم هذه القسم دراسة حول الكشف عن الأجسام متعددة الأطياف في حالات قليلة (FSMOD)، والتي تهدف إلى اكتشاف الأجسام باستخدام كل من الصور المرئية والحرارية مع الحد الأدنى من البيانات المعلّمة. يقدم المؤلفون إطار عمل يسمى “FSMODNet” يعزز أداء الكشف من خلال دمج الميزات عبر الأنماط. من خلال استخدام آليات الانتباه القابلة للتشويه، يجمع الإطار بفعالية بين نقاط القوة في كلا النمطين، مما يظهر مرونة في ظروف الإضاءة والبيئة المتغيرة. تكشف التقييمات التجريبية على مجموعتين بيانات عامتين أن FSMODNet يتفوق على العديد من النماذج المتقدمة، خاصة في سيناريوهات البيانات المنخفضة.
في الخاتمة، يبرز المؤلفون إطار عملهم القابل للتكرار الذي يدمج الأنماط RGB والأشعة تحت الحمراء ضمن بروتوكول تقييم هيكلي. المركز في نهجهم هو وحدة دمج متعددة الأنماط جديدة تستخدم الانتباه الجوارني لتحسين ميزات الطيف الداخلي والانتباه القابل للتشويه ثنائي الاتجاه لمحاذاة ميزات الطيف الخارجي، كل ذلك ضمن إطار تعلم ميتا. تشير النتائج من التجارب الواسعة على مجموعات بيانات FLIR وM³FD إلى أن نموذج الدمج الخاص بهم يتجاوز بشكل كبير الأسس الأحادية النمط، محققًا ما يصل إلى 49.70 nAP50 عند 30-shot على FLIR Split 1، مقارنة بـ 33.34 لطرق RGB فقط، ويظهر تحسينات تصل إلى 11.09 nAP50 على الطرق المعتمدة على TF عند 5-shot. ستركز الأعمال المستقبلية على توسيع بنية الدمج لتشمل أنماط إضافية، وتطوير استراتيجيات ترميز المهام التكيفية لتقليل تكاليف الاستدلال، والتحقيق في طرق التدريب المسبق غير المراقب المصممة لتعلم حالات قليلة متعددة الأطياف.
مقدمة
تسلط المقدمة الضوء على أهمية الكشف عن الأجسام في رؤية الكمبيوتر، خاصة في التطبيقات مثل المركبات الذاتية وأنظمة الأمان. تستخدم الطرق التقليدية بشكل أساسي صور RGB، التي تواجه صعوبات في الظروف الصعبة مثل الإضاءة المنخفضة والاحتجاب. بالمقابل، يجمع الكشف عن الأجسام متعددة الأطياف (MOD) بين البيانات المرئية والحرارية لتعزيز الأداء من خلال الاستفادة من كل من التوقيعات البصرية والحرارية. ومع ذلك، كانت فعالية MOD محدودة بسبب الحاجة إلى مجموعات بيانات موسعة معلمة، والتي يصعب تجميعها.
لمعالجة هذه المشكلة، يهدف الكشف عن الأجسام في حالات قليلة (FSOD) إلى تحديد فئات جديدة من الأجسام مع الحد الأدنى من الأمثلة المعلّمة، مما يقدم حلاً محتملاً لتحدي التوصيف. لم يتم التحقيق بشكل شامل في تقاطع FSOD وMOD، الذي يُطلق عليه الكشف عن الأجسام متعددة الأطياف في حالات قليلة (FSMOD)، حيث حاولت دراسة واحدة سابقة فقط استكشاف هذا المجال دون تقديم كود أو مجموعات بيانات أو تقييمات شاملة. تؤسس هذه الورقة قاعدة قابلة للتكرار لـ FSMOD، مما يسد الفجوات الحرجة في البيانات والتنفيذ. يقدم المؤلفون بنية أساسية معيارية تدمج مكونات دمج متقدمة، مما يظهر أداءً متفوقًا على الأعمال السابقة. ستناقش الأقسام اللاحقة الأبحاث ذات الصلة، وتقترح بنية دمج جديدة، وتقيّم أداء نموذج FSMODNet.
الطرق
تشمل المنهجية للكشف عن الأجسام في حالات قليلة (FSOD) مجموعتين متميزتين من الفئات: الفئات الأساسية \( C_{\text{base}} \) والفئات الجديدة \( C_{\text{novel}} \)، حيث \( C_{\text{base}} \cap C_{\text{novel}} = \emptyset \). تستخدم الطريقة مجموعة بيانات أساسية \( D_{\text{base}} \) تحتوي على عدد كبير من العينات ومجموعة بيانات جديدة \( D_{\text{novel}} \) تحتوي فقط على \( K \) حالات معلمة لكل فئة. الهدف الرئيسي هو تدريب كاشف يمكنه تحديد الأجسام بدقة من كلا مجموعتي الفئات، مستفيدًا من الأمثلة المحدودة من الفئات الجديدة مع الحفاظ على أداء قوي على الفئات الأساسية. يتم هيكلة التدريب في مهام حلقية تتضمن مجموعة دعم من الأمثلة المعلّمة لكل فئة جديدة، والتي تعمل كمرجع للكشف، وصورة استعلام حيث يجب على الكاشف تحديد وتصنيف الأجسام بناءً على معلومات الدعم.
في الإعداد التجريبي، استخدم المؤلفون ResNet50 كهيكل أساسي لكل من الفروع الحرارية والمرئية للنموذج. تتكون البنية من ست طبقات في كل من المشفر والمفكك. تم تدريب النموذج على أربعة وحدات معالجة رسومات NVIDIA A100 باستخدام مُحسِّن AdamW، بدءًا بمعدل تعلم أولي قدره \( 1 \times 10^{-4} \) وانخفاض الوزن قدره \( 1 \times 10^{-4} \)، مع حجم دفعة قدره 16. استمرت مرحلة التدريب الأساسية لمدة 50 حقبة، تلتها مرحلة ضبط دقيقة حيث تم تعديل معدل التعلم إلى \( 5 \times 10^{-5} \) وتم تدريب النموذج لمدة 100 حقبة إضافية بحجم دفعة مخفض قدره 2.
النتائج
تظهر النتائج المقدمة في الجداول 1 و2 الأداء المتفوق لطريقة FSMODNet المقترحة عبر تقسيمات بيانات مختلفة وسيناريوهات تعلم قليلة. تكشف التحليلات النوعية، خاصة على Split 1 من مجموعة بيانات FLIR تحت بروتوكول الضبط الدقيق 30-shot، عن مزايا كبيرة في الكشف عن الفئة الجديدة “الأشخاص”. توضح الشكل 4 هذه المقارنة، حيث تعرض مدخلات RGB والأشعة تحت الحمراء (IR) جنبًا إلى جنب مع الاكتشافات من DAMSDet وCAFF-DINO وFSMODNet.
في النتائج النوعية، يتفوق FSMODNet باستمرار على الطرق الأساسية في تحديد مواقع المشاة، حتى مع وجود أمثلة معلمة محدودة. على سبيل المثال، في المشهد الأول، يحدد FSMODNet بدقة شخصين صغيرين عند حواف الصورة، بينما يفشل كل من DAMSDet وCAFF-DINO في اكتشاف أو تحديد أحدهما بشكل خاطئ. في المشهد الثاني، يكتشف FSMODNet جميع الإيجابيات الحقيقية مع الحد الأدنى من الإنذارات الكاذبة، مما يتناقض مع العديد من الاكتشافات الخاطئة من DAMSDet وإغفال CAFF-DINO لمشاة بعيدين. تؤكد هذه النتائج فعالية دمج الأنماط المتقاطعة وتحسين النماذج في تعزيز مرونة النموذج تجاه الحالات الصعبة من الفئات الجديدة.
المناقشة
تناقش هذه القسم تطور وأساليب الكشف عن الأجسام، مع التركيز بشكل خاص على الكشف عن الأجسام متعددة الأطياف في حالات قليلة (FSMOD). تسلط الضوء على التقدم من النماذج التقليدية ذات المرحلتين مثل RCNN إلى الأساليب القائمة على الوقت الحقيقي والمحولات مثل YOLO وDETR، مع التأكيد على أهمية دمج الميزات الفعالة في الكشف متعدد الأطياف. أدت التقدمات الأخيرة، بما في ذلك تقنيات التعلم المساعدة والمحولات التكيفية، إلى تحسين أداء الكشف من خلال معالجة التحديات مثل عدم محاذاة الأنماط والازدواجية في الميزات.
ينتقد المؤلفون الأبحاث الحالية في FSMOD، خاصة دراسة لـ Huang وآخرين، بسبب قيودها، بما في ذلك غياب الأسس الأحادية النمط وإعدادات التقييم المحدودة. يقترحون إطار عمل جديد يدمج الأنماط RGB والأشعة تحت الحمراء من خلال وحدة دمج متطورة تستخدم الانتباه الجوارني والانتباه القابل للتشويه، مما يعزز استخراج الميزات والمحاذاة. تظهر تجاربهم على مجموعات بيانات FLIR وM³FD أن طريقتهم تتفوق على الطرق الأحادية النمط وطرق الكشف في حالات قليلة الموجودة، محققة تحسينات كبيرة في دقة الكشف، خاصة مع زيادة عدد أمثلة التدريب. تؤكد النتائج فعالية نهجهم القائم على النماذج في التعلم الميتا في التكيف السريع مع الفئات الجديدة مع بيانات محدودة.
DOI: https://doi.org/10.1016/j.imavis.2026.106152
Publication Date: 2026-08-12
Author(s): Manuel Nkegoum et al.
Primary Topic: Advanced Neural Network Applications
Overview
The section presents a study on Few-shot Multispectral Object Detection (FSMOD), which aims to detect objects using both visible and thermal imagery with minimal annotated data. The authors introduce a framework called “FSMODNet” that enhances detection performance through cross-modality feature integration. By employing deformable attention mechanisms, the framework effectively combines the strengths of both modalities, demonstrating resilience in varying illumination and environmental conditions. Experimental evaluations on two public datasets reveal that FSMODNet outperforms several state-of-the-art models, particularly in low-data scenarios.
In the conclusion, the authors highlight their reproducible framework that integrates RGB and infrared modalities within a structured episodic evaluation protocol. Central to their approach is a novel multimodal fusion module that utilizes Neighborhood Attention for refining intra-spectrum features and bidirectional Cross-Deformable Attention for aligning inter-spectrum features, all within a meta-learning framework. Results from extensive experiments on the FLIR and M³FD datasets indicate that their fusion model significantly surpasses monomodal baselines, achieving up to 49.70 nAP50 at 30-shot on FLIR Split 1, compared to 33.34 for RGB-only methods, and showing improvements of up to 11.09 nAP50 over TFAbased methods at 5-shot. Future work will focus on extending the fusion architecture to additional modalities, developing adaptive task encoding strategies to lower inference costs, and investigating unsupervised pretraining methods tailored for multispectral few-shot learning.
Introduction
The introduction highlights the significance of object detection in computer vision, particularly in applications like autonomous vehicles and security systems. Traditional methods predominantly utilize RGB images, which struggle under challenging conditions such as low light and occlusion. In contrast, multispectral object detection (MOD) combines visible and thermal data to enhance performance by utilizing both visual and thermal signatures. However, the effectiveness of MOD has been limited by the need for extensive annotated datasets, which are difficult to compile.
To address this issue, few-shot object detection (FSOD) aims to identify new object classes with minimal labeled examples, presenting a potential solution to the annotation challenge. The intersection of FSOD and MOD, termed few-shot multispectral object detection (FSMOD), has not been thoroughly investigated, with only one prior study attempting to explore this area without providing code, datasets, or comprehensive evaluations. This paper establishes a reproducible baseline for FSMOD, bridging critical gaps in data and implementation. The authors introduce a modular baseline architecture that integrates advanced fusion components, demonstrating superior performance over previous work. Subsequent sections will discuss related research, propose a novel fusion architecture, and evaluate the performance of the FSMODNet model.
Methods
The methodology for Few-Shot Object Detection (FSOD) involves two distinct class sets: the base classes \( C_{\text{base}} \) and the novel classes \( C_{\text{novel}} \), where \( C_{\text{base}} \cap C_{\text{novel}} = \emptyset \). The approach utilizes a base dataset \( D_{\text{base}} \) with a large number of samples and a novel dataset \( D_{\text{novel}} \) containing only \( K \) annotated instances per class. The primary objective is to train a detector that can accurately identify objects from both class sets, leveraging the limited examples from the novel classes while maintaining robust performance on the base classes. Training is structured into episodic tasks that include a support set of annotated examples for each novel class, which serves as a reference for detection, and a query image where the detector must locate and classify objects based on the support information.
In the experimental setup, the authors employed ResNet50 as the backbone for both infrared and visible branches of the model. The architecture consists of six layers in both the encoder and decoder. The model was trained on four NVIDIA A100 GPUs using the AdamW optimizer, starting with an initial learning rate of \( 1 \times 10^{-4} \) and a weight decay of \( 1 \times 10^{-4} \), with a batch size of 16. The base training phase lasted for 50 epochs, followed by a fine-tuning phase where the learning rate was adjusted to \( 5 \times 10^{-5} \) and the model was trained for an additional 100 epochs with a reduced batch size of 2.
Results
The results presented in Tables 1 and 2 demonstrate the superior performance of the proposed FSMODNet method across various dataset splits and few-shot learning scenarios. A qualitative analysis, particularly on Split 1 of the FLIR dataset under the 30-shot fine-tuning protocol, reveals significant advantages in detecting the novel class “people.” Figure 4 illustrates this comparison, showcasing RGB and infrared (IR) inputs alongside detections from DAMSDet, CAFF-DINO, and FSMODNet.
In the qualitative results, FSMODNet consistently outperforms the baseline methods in localizing pedestrians, even with limited labeled examples. For instance, in the first scene, FSMODNet accurately identifies two small figures at the edges of the image, while both DAMSDet and CAFF-DINO fail to detect or mislocalize one of them. In the second scene, FSMODNet successfully detects all true positives with minimal false alarms, contrasting with DAMSDet’s numerous false detections and CAFF-DINO’s omission of a distant walker. These findings underscore the effectiveness of cross-modality fusion and prototype refinement in enhancing the model’s robustness to challenging instances of novel classes.
Discussion
The section discusses the evolution and methodologies in object detection, particularly focusing on Few-Shot Multispectral Object Detection (FSMOD). It highlights the progression from traditional two-stage models like RCNN to real-time and transformer-based approaches such as YOLO and DETR, emphasizing the importance of effective feature fusion in multispectral detection. Recent advancements, including auxiliary learning techniques and adaptive transformers, have improved detection performance by addressing challenges like modality misalignment and feature redundancy.
The authors critique existing FSMOD research, particularly a study by Huang et al., for its limitations, including the absence of monospectral baselines and restricted evaluation settings. They propose a novel framework that integrates RGB and infrared modalities through a sophisticated fusion module utilizing Neighborhood Attention and Cross-Deformable Attention, enhancing feature extraction and alignment. Their experiments on the FLIR and M³FD datasets demonstrate that their method outperforms monomodal and existing few-shot detection methods, achieving significant improvements in detection accuracy, particularly as the number of training examples increases. The findings underscore the effectiveness of their prototype-based meta-learning approach in rapidly adapting to new classes with limited data.