DOI: https://doi.org/10.1016/j.inffus.2025.103338
تاريخ النشر: 2025-06-02
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: طرق الكشف عن الأهداف بالأشعة تحت الحمراء
نظرة عامة
تقدم هذه القسم نظرة عامة على الكشف عن الأهداف الصغيرة بالأشعة تحت الحمراء (ISTD)، مع التأكيد على دوره الحاسم في تطبيقات المراقبة بعيدة المدى مثل الدفاع العسكري والمراقبة البحرية. تنشأ التحديات في ISTD من احتلال الأهداف لأقل من 0.15% من مساحة الصورة ومن صعوبة تمييزها ضد الخلفيات المعقدة. على الرغم من التقدم في تقنيات التعلم العميق، تواجه الطرق الحالية مشاكل تتعلق بفقدان المعلومات أثناء تقليل الدقة ونمذجة السياق العالمي بشكل غير كافٍ.
لمعالجة هذه التحديات، يقدم البحث SAMamba، وهو إطار عمل جديد يجمع بين التعلم الهرمي للميزات من SAM2 ونمذجة التسلسل الانتقائية من Mamba. تشمل الابتكارات الرئيسية محول اختيار الميزات (FS-Adapter)، الذي يسهل التكيف الفعال بين المجالات من الصور الطبيعية إلى الصور تحت الحمراء من خلال آلية اختيار ذات مرحلتين. كما يتضمن الإطار وحدات مثل CSI وDPCF لمعالجة مشاكل اختلاف المقياس ونسبة الإشارة إلى الضوضاء المنخفضة مع الحفاظ على الكفاءة الحسابية. تشير نتائج التقييم على مجموعات البيانات المرجعية (NUAA-SIRST وIRSTD-1k وNUDT-SIRST) إلى أن SAMamba يتفوق بشكل كبير على الطرق الحالية، مما يبرز فعاليته في مهام الإدراك المعقدة. ستهدف الأبحاث المستقبلية إلى تعزيز قدرات SAMamba من خلال دمج المعلومات الزمنية، وتحسين الأداء للنشر المحدود الموارد، واستكشاف دمج المستشعرات متعددة الأنماط لتحسين أداء الكشف عبر ظروف بيئية متنوعة.
مقدمة
تناقش مقدمة ورقة البحث أهمية الكشف عن الأهداف الصغيرة بالأشعة تحت الحمراء (ISTD) في تطبيقات متنوعة مثل المراقبة العسكرية، والمراقبة البحرية، والعمليات الجوية. تعتبر القدرة على الكشف عن الأهداف الصغيرة في الصور تحت الحمراء أمرًا حاسمًا، خاصة في ظل الظروف الصعبة التي تتسم بانخفاض الرؤية والخلفيات المعقدة. تحدد الورقة تحديين رئيسيين في ISTD: اختلاف المقياس الشديد، حيث تحتل الأهداف أقل من 0.15% من مساحة الصورة، والتوقيعات الحرارية المتجانسة التي تعقد تمييز الأهداف عن الخلفيات. تعاني الطرق التقليدية للكشف من قيود في البيئات المعقدة، مما يدفع لاستكشاف تقنيات التعلم العميق التي أظهرت وعدًا في تعزيز قدرات الكشف.
تقدم التطورات الأخيرة في التعلم العميق، وخاصة من خلال نماذج مثل نموذج تقسيم أي شيء الإصدار 2 (SAM2) وVision Mamba (Vim)، فرصًا جديدة لـ ISTD من خلال توفير تمثيلات متعددة المقاييس قوية ونمذجة فعالة للاعتماد على المدى الطويل. ومع ذلك، تسلط الورقة الضوء على التحديات في تكييف هذه النماذج مع الصور تحت الحمراء بسبب الفجوات بين المجالات والخصائص الفريدة للأهداف الصغيرة. لمعالجة هذه القضايا، يقترح المؤلفون إطار عمل جديد يسمى SAMamba، الذي يدمج نقاط القوة في SAM2 وMamba. يتضمن هذا الإطار مكونات مبتكرة مثل محول اختيار الميزات (FS-Adapter) للتكيف بين المجالات، ووحدة تفاعل حالة الفضاء عبر القنوات (CSI) لنمذجة السياق العالمي، ووحدة دمج السياق المحفوظ للتفاصيل (DPCF) لتجميع الميزات بشكل فعال. يظهر إطار عمل SAMamba المقترح تحسينات كبيرة في أداء الكشف عبر مجموعات بيانات متنوعة، مما يبرز فعاليته في التغلب على التحديات الكامنة في ISTD.
طرق
في هذا القسم، يوضح المؤلفون إعداد التجربة المستخدمة لتقييم أداء SAMamba عبر ثلاثة معايير صعبة للكشف عن الأهداف الصغيرة بالأشعة تحت الحمراء (ISTD): NUAA-SIRST وIRSTD-1k وNUDT-SIRST. تتضمن مجموعة بيانات NUAA-SIRST 427 صورة حقيقية بالأشعة تحت الحمراء تتميز بأهداف تحتل أقل من 0.1% من مساحة الصورة وسط خلفيات معقدة ومزدحمة. تحتوي مجموعة بيانات IRSTD-1k على 1,001 صورة حقيقية من بيئات متنوعة، مثل الإعدادات البحرية والحضرية، مما يقدم قوام خلفية وضوضاء متنوعة. تتكون مجموعة بيانات NUDT-SIRST، التي تضم 1,327 صورة اصطناعية عالية الجودة، في الغالب من أهداف صغيرة (96% تحتل 0.15% من المساحة، مع 27% صغيرة جدًا عند 0.01% من المساحة)، مما يحاكي ظروف نسبة الإشارة إلى الضوضاء المنخفضة.
يتم تنفيذ SAMamba في PyTorch على وحدة معالجة الرسوميات NVIDIA RTX 3090، مع معالجة جميع الصور بدقة 1024×1024 من خلال التعديل الديناميكي والتقطيع. يستخدم التدريب مُحسِّن آدم بمعدل تعلم ابتدائي قدره $1 \times 10^{-4}$، والذي يتم تقليله بمقدار 0.1 كل 100 دورة، على مدار 300 دورة بمعدل دفعة قدره 2. يتم تهيئة هيكل Hiera بأوزان SAM2-S المدربة مسبقًا، ويتم استخدام FS-Adapter المقترح للتعديل الدقيق الخاص بالمجال، مما يضمن أن النموذج مستعد جيدًا لتعقيدات مجموعات البيانات.
مناقشة
تناقش ورقة البحث التقدم في الكشف عن الأهداف الصغيرة بالأشعة تحت الحمراء (ISTD) من خلال تطوير إطار عمل SAMamba، الذي يدمج بين نموذج تقسيم أي شيء الإصدار 2 (SAM2) وهياكل Vision Mamba (ViM). تعتمد طرق ISTD التقليدية، رغم فعاليتها في سيناريوهات معينة، غالبًا على افتراضات قوية حول تجانس الخلفية وخصائص الأهداف، مما يحد من قابليتها للتطبيق في العالم الحقيقي. بالمقابل، حسنت أساليب التعلم العميق الأداء من خلال الاستفادة من تمثيلات الميزات المتعلمة، ومع ذلك لا تزال تواجه صعوبة في الحفاظ على معلومات الأهداف الصغيرة والتقاط الاعتماد على المدى الطويل. يعالج إطار عمل SAMamba هذه التحديات من خلال استخدام هيكل هرمي يعزز استخراج الميزات متعددة المقاييس ويشمل نمذجة فعالة للسياق العالمي من خلال وحدة تفاعل حالة الفضاء عبر القنوات (CSI).
تستخدم شبكة SAMamba محول اختيار الميزات (FS-Adapter) لتكييف الميزات المدربة مسبقًا للصور تحت الحمراء، مع التركيز على الخصائص المحددة للمهام المتعلقة بالأهداف الصغيرة. تعزز وحدة CSI اتصالات التخطي في المشفر من خلال التقاط الاعتماد على المدى الطويل مع الحفاظ على الكفاءة الحسابية. بالإضافة إلى ذلك، تخفف وحدة دمج السياق المحفوظ للتفاصيل (DPCF) من فقدان المعلومات أثناء دمج الميزات في وحدة فك التشفير، مما يسمح بدمج دقيق للميزات عالية الدقة والغنية بالسياق. تظهر النتائج التجريبية أن SAMamba يتفوق بشكل كبير على الطرق الحالية في عدة معايير، محققًا دقة رائدة مع الحفاظ على كفاءة حسابية معقولة. ستسعى الأعمال المستقبلية إلى تعزيز قدرات الإطار بشكل أكبر، خاصة من خلال دمج المعلومات الزمنية من بيانات الفيديو.
القيود
تحدد ورقة البحث القيود الرئيسية لنموذج SAMamba في سيناريوهات الكشف عن الأهداف في ظروف صعبة. يتم تسليط الضوء على منطقتين رئيسيتين من القلق:
1. **الخلفيات المعقدة للغاية**: يواجه النموذج صعوبة مع الأهداف المدمجة في قوام معقد، مثل حواف السحب الكثيفة أو الفوضى الأرضية المعقدة. يمكن أن تقلل هذه التعقيدات من تمييز الميزات، مما يؤدي إلى عدم الكشف عن الأهداف على الرغم من تطبيق التكيف بين المجالات ونمذجة السياق العالمي. تزيد آثار الفجوة المتبقية بين المجالات والإحصائيات المحلية المماثلة بين الأهداف والفوضى من تعقيد جهود الكشف.
2. **نسب الإشارة إلى الضوضاء المنخفضة للغاية (SCR)**: يتأثر أداء SAMamba بشكل كبير عندما تكون الأهداف مميزة بنسب SCR منخفضة جدًا أو عندما تكون مدمجة بشكل كبير مع خلفيات متجانسة. في مثل هذه الحالات، يمكن أن تؤدي الغموض الكامن في الإشارة إلى عدم الكشف، خاصة عندما يتم فرض قيود صارمة على الإنذارات الكاذبة. تؤكد هذه القيود على التحديات التي تواجه الكشف الفعال عن الأهداف في البيئات المعقدة.
DOI: https://doi.org/10.1016/j.inffus.2025.103338
Publication Date: 2025-06-02
Author(s): Zhenyun Du et al.
Primary Topic: Infrared Target Detection Methodologies
Overview
The section presents an overview of infrared small target detection (ISTD), emphasizing its critical role in long-range surveillance applications such as military defense and maritime monitoring. The challenges in ISTD arise from the targets occupying less than 0.15% of the image area and their low distinguishability against complex backgrounds. Although deep learning advancements have been made, existing methods face issues related to information loss during downsampling and inadequate global context modeling.
To address these challenges, the paper introduces SAMamba, a novel framework that combines the hierarchical feature learning of SAM2 with the selective sequence modeling of Mamba. Key innovations include the Feature Selection Adapter (FS-Adapter), which facilitates efficient domain adaptation from natural to infrared imagery through a dual-stage selection mechanism. The framework also incorporates modules like CSI and DPCF to tackle issues of scale discrepancy and low signal-to-clutter ratio while maintaining computational efficiency. Evaluation results on benchmark datasets (NUAA-SIRST, IRSTD-1k, and NUDT-SIRST) indicate that SAMamba significantly outperforms existing methods, highlighting its effectiveness for complex perception tasks. Future research will aim to enhance SAMamba’s capabilities by integrating temporal information, optimizing for resource-limited deployment, and exploring multi-modal sensor fusion for improved detection performance across diverse environmental conditions.
Introduction
The introduction of the research paper discusses the significance of Infrared Small Target Detection (ISTD) in various applications such as military surveillance, maritime monitoring, and aerospace operations. The ability to detect small targets in infrared imagery is critical, especially under challenging conditions characterized by low visibility and complex backgrounds. The paper identifies two primary challenges in ISTD: the extreme scale discrepancy, where targets occupy less than 0.15% of the image area, and the homogeneous thermal signatures that complicate target-background discrimination. Traditional detection methods have limitations in complex environments, prompting the exploration of deep learning techniques that have shown promise in enhancing detection capabilities.
Recent advancements in deep learning, particularly through models like the Segment Anything Model v2 (SAM2) and Vision Mamba (Vim), offer new opportunities for ISTD by providing robust multi-scale representations and efficient long-range dependency modeling. However, the paper highlights challenges in adapting these models to infrared imagery due to domain gaps and the unique characteristics of small targets. To address these issues, the authors propose a novel framework named SAMamba, which integrates the strengths of SAM2 and Mamba. This framework includes innovative components such as the Feature Selection Adapter (FS-Adapter) for domain adaptation, the Cross-Channel State-Space Interaction (CSI) module for global context modeling, and the Detail-Preserving Contextual Fusion (DPCF) module for effective feature aggregation. The proposed SAMamba framework demonstrates significant improvements in detection performance across various datasets, showcasing its effectiveness in overcoming the inherent challenges of ISTD.
Methods
In this section, the authors detail the experimental setup used to evaluate the performance of SAMamba across three challenging Infrared Small Target Detection (ISTD) benchmarks: NUAA-SIRST, IRSTD-1k, and NUDT-SIRST. The NUAA-SIRST dataset includes 427 real infrared images characterized by targets occupying less than 0.1% of the image area amidst complex and cluttered backgrounds. The IRSTD-1k dataset features 1,001 real images from varied environments, such as maritime and urban settings, which introduce diverse background textures and noise. The NUDT-SIRST dataset, comprising 1,327 high-quality synthetic images, predominantly contains small targets (96% occupy 0.15% of the area, with 27% being extremely small at 0.01% area), simulating low signal-to-noise ratio conditions.
The implementation of SAMamba is conducted in PyTorch on an NVIDIA RTX 3090 GPU, with all images processed at a resolution of 1024×1024 through dynamic scaling and cropping. The training utilizes the Adam optimizer with an initial learning rate of $1 \times 10^{-4}$, which is reduced by a factor of 0.1 every 100 epochs, over a total of 300 epochs with a batch size of 2. The Hiera backbone is initialized with pre-trained SAM2-S weights, and the proposed FS-Adapter is employed for domain-specific fine-tuning, ensuring the model is well-prepared for the complexities of the datasets.
Discussion
The research paper discusses advancements in infrared small target detection (ISTD) through the development of the SAMamba framework, which integrates the Segment Anything Model version 2 (SAM2) and Vision Mamba (ViM) architectures. Traditional ISTD methods, while effective in specific scenarios, often rely on strong assumptions about background uniformity and target characteristics, limiting their real-world applicability. In contrast, deep learning approaches have improved performance by leveraging learned feature representations, yet they still struggle with preserving small target information and capturing long-range dependencies. The SAMamba framework addresses these challenges by employing a hierarchical architecture that enhances multi-scale feature extraction and incorporates efficient global context modeling through its Cross-Channel State-Space Interaction (CSI) module.
The SAMamba network utilizes a Feature Selection Adapter (FS-Adapter) to adapt pre-trained features for infrared imagery, focusing on task-specific characteristics relevant to small targets. The CSI module enhances the encoder’s skip connections by capturing long-range dependencies while maintaining computational efficiency. Additionally, the Detail-Preserving Contextual Fusion (DPCF) module mitigates information loss during feature fusion in the decoder, allowing for a nuanced integration of high-resolution and context-rich features. Experimental results demonstrate that SAMamba significantly outperforms existing methods on multiple benchmarks, achieving state-of-the-art accuracy while maintaining reasonable computational efficiency. Future work will aim to further enhance the framework’s capabilities, particularly through the incorporation of temporal information from video data.
Limitations
The research paper identifies key limitations of the SAMamba model in challenging Image Signal Target Detection (ISTD) scenarios. Two primary areas of concern are highlighted:
1. **Highly Complex Backgrounds**: The model struggles with targets that are embedded in intricate textures, such as dense cloud edges or complex ground clutter. This complexity can reduce feature discriminability, resulting in missed detections despite the application of domain adaptation and global context modeling. The presence of residual domain gap effects and similar local statistics between targets and clutter further complicates detection efforts.
2. **Extremely Low Signal-to-Clutter Ratios (SCR)**: The performance of SAMamba is significantly hindered when targets are characterized by very low SCRs or when they are heavily blended with uniform backgrounds. In such cases, the inherent ambiguity of the signal can lead to non-detections, particularly when strict constraints on false alarms are enforced. These limitations underscore the challenges faced in effectively detecting targets in complex environments.