DOI: https://doi.org/10.1007/s11263-026-02733-2
تاريخ النشر: 2026-03-06
المؤلف: Yanfang Li وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
في هذه الورقة، يقدم المؤلفون نهجًا جديدًا لاكتشاف الأجسام الجوية يسمى اكتشاف الأجسام الجوية مفتوح المفردات (OVAD)، والذي يعالج قيود الخوارزميات الحالية التي يمكنها فقط اكتشاف الفئات المحددة مسبقًا. الطريقة المقترحة، CastDet، تستخدم إطار عمل للكشف يعتمد على نموذج الطالب-المعلم مفعل بواسطة CLIP، مصمم خصيصًا للبيئات الجوية، حيث غالبًا ما تظهر الأجسام ميزات مظهر ضعيفة واتجاهات عشوائية. يتضمن هذا الإطار معلم موثوق للتحديد واستراتيجيات اختيار صناديق متنوعة لإنتاج مقترحات عالية الجودة للأجسام الجديدة، مما يلغي الحاجة إلى بيانات موسومة جديدة بشكل واسع.
لتحسين قدرات التصنيف لهذه الفئات الجديدة، يستخدم المؤلفون نموذج RemoteCLIP كمعلم شامل، والذي يوفر معرفة شاملة خلال عملية الكشف. بالإضافة إلى ذلك، يتم تنفيذ قائمة انتظار ديناميكية للتسميات لضمان الحفاظ على تسميات زائفة عالية الجودة طوال فترة التدريب. لا يحسن إطار عمل CastDet فقط من توليد مقترحات الأجسام الجديدة ولكن أيضًا يعزز دقة التصنيف. يقوم المؤلفون أيضًا بتكييف نهجهم لاستيعاب OVAD الموجه، مع تعديلات خوارزمية محددة لتمثيل صناديق الحدود وتوليد التسميات الزائفة. تجارب شاملة أجريت على مجموعات بيانات جوية متعددة تؤكد فعالية الطريقة المقترحة في كل من اكتشاف وتصنيف الأجسام الجوية.
مقدمة
تناقش مقدمة ورقة البحث الدور الحاسم لاكتشاف الأجسام في الصور الجوية لمجموعة متنوعة من تطبيقات الاستشعار عن بعد، بما في ذلك التخطيط الحضري، ورصد البيئة، وإدارة الكوارث. بينما تقدم التعلم العميق تقدمًا كبيرًا في اكتشاف الأجسام الجوية، تكافح النماذج الحالية لتحديد الأجسام التي تقع خارج فئاتها المدربة. نهج شائع لمعالجة هذه القيود هو جمع وتوسيم مجموعات بيانات كبيرة من الصور الجوية التي تحتوي على فئات متنوعة من الأجسام. ومع ذلك، غالبًا ما تكون هذه الطريقة غير عملية بسبب التكاليف العالية وكثافة العمل المرتبطة بالحصول على تسميات دقيقة، والتي تتطلب عادةً مشاركة خبراء بشريين. وبالتالي، على الرغم من الجهود الكبيرة في هذا المجال، تبقى التحديات قائمة في تعزيز قدرة كاشفات الأجسام على التكيف مع الفئات الجديدة.
طرق
في هذا القسم، يوضح المؤلفون منهجيتهم لمعالجة مشكلة اكتشاف الأجسام مفتوحة المفردات. يقدمون إطار عمل CastDet، الذي يتكون من ثلاثة مكونات رئيسية: (i) وحدة طالب تعمل ككاشف مفتوح المفردات على مرحلتين، (ii) نموذج معلم للتحديد مصمم لتعزيز دقة الكشف، و(iii) قائمة انتظار ديناميكية للتسميات الزائفة تضمن الاحتفاظ بتسميات زائفة عالية الثقة لأغراض التدريب.
تُفصَّل المنهجية بشكل أكبر من خلال مهمتين محددتين: اكتشاف مفتوح المفردات الأفقي واكتشاف مفتوح المفردات الموجه، والتي يتم مناقشتها في الأقسام 3.3 و3.4، على التوالي. يهدف المؤلفون إلى وضع نهجهم بالنسبة للأساليب الحالية الرائدة، مع تسليط الضوء على الجوانب الابتكارية لإطار عملهم ومزاياه المحتملة في مجال اكتشاف الأجسام.
نقاش
في هذا القسم، يناقش المؤلفون التحديات والتقدم في اكتشاف الأجسام الجوية مفتوحة المفردات (OVAD)، خصوصًا من خلال إطار عملهم المقترح، CastDet. يبرزون معدلات الاسترجاع المنخفضة بشكل ملحوظ لفئات الأجسام الجديدة في الصور الجوية (48%) مقارنة بالصور الطبيعية (77%)، ويعزون هذا التفاوت إلى الخلفيات المعقدة والافتقار إلى تنوع مجموعات البيانات الجوية الحالية. يجادل المؤلفون بضرورة وجود كاشفات أجسام مرنة يمكنها تحديد الفئات الجديدة دون تسميات إضافية، مؤكدين على الحاجة إلى نموذج تعلم الطالب-المعلم لتعزيز قدرات الكشف في السياقات الجوية.
يتكون إطار عمل CastDet من نموذج طالب ونموذجي معلم، مع التركيز على مهام التحديد والتصنيف. تم تصميم نموذج الطالب للتعامل مع كل من صناديق الحدود الأفقية والموجهة، مع معالجة التحديات الفريدة للصور الجوية، مثل تنوع الاتجاهات ومظاهر الميزات الضعيفة. يستخدم المؤلفون قائمة انتظار ديناميكية للحفاظ على تسميات زائفة عالية الجودة التي تنتجها نماذج المعلم، والتي تعتبر حاسمة لتدريب نموذج الطالب بشكل فعال. من خلال الاستفادة من RemoteCLIP كمعلم خارجي، يهدف الإطار إلى تحسين اكتشاف الأجسام الجديدة في الصور الجوية، مما يساهم في تطوير نظام كشف مفتوح المفردات قوي يمكنه التكيف مع مجموعة متزايدة من فئات الأجسام.
DOI: https://doi.org/10.1007/s11263-026-02733-2
Publication Date: 2026-03-06
Author(s): Yanfang Li et al.
Primary Topic: Advanced Neural Network Applications
Overview
In this paper, the authors introduce a novel approach to aerial object detection termed open-vocabulary aerial object detection (OVAD), which addresses the limitations of existing algorithms that can only detect pre-annotated categories. The proposed method, CastDet, employs a CLIP-activated student-teacher detection framework specifically tailored for aerial environments, where objects often present weak appearance features and arbitrary orientations. This framework incorporates a robust localization teacher and various box selection strategies to produce high-quality proposals for novel objects, thereby eliminating the need for extensive new labeled data.
To enhance classification capabilities for these novel categories, the authors utilize the RemoteCLIP model as an omniscient teacher, which provides comprehensive knowledge during the detection process. Additionally, a dynamic label queue is implemented to ensure the maintenance of high-quality pseudo-labels throughout training. The CastDet framework not only improves the generation of novel object proposals but also enhances classification accuracy. The authors further adapt their approach to accommodate oriented OVAD, with specific algorithmic modifications for bounding box representation and pseudo-label generation. Comprehensive experiments conducted on multiple aerial datasets validate the effectiveness of the proposed method in both detecting and classifying aerial objects.
Introduction
The introduction of the research paper discusses the critical role of object detection in aerial images for various remote sensing applications, including urban planning, environmental monitoring, and disaster management. While deep learning has significantly advanced aerial object detection, current models struggle to identify objects that fall outside their trained categories. A common approach to address this limitation is to gather and annotate large datasets of aerial images containing diverse object categories. However, this method is often impractical due to the high costs and labor intensity associated with obtaining accurate annotations, which typically necessitate the involvement of human experts. Consequently, despite considerable efforts in this area, challenges remain in enhancing the adaptability of object detectors to novel categories.
Methods
In this section, the authors outline their methodology for addressing the open-vocabulary object detection problem. They introduce the CastDet framework, which consists of three primary components: (i) a student module that functions as a two-stage open-vocabulary detector, (ii) a localization teacher model designed to enhance detection accuracy, and (iii) a dynamic pseudo-label queue that ensures the retention of high-confidence pseudo-labels for training purposes.
The methodology is further detailed through two specific tasks: horizontal open-vocabulary detection and oriented open-vocabulary detection, which are discussed in Sections 3.3 and 3.4, respectively. The authors aim to position their approach in relation to existing state-of-the-art methods, highlighting the innovative aspects of their framework and its potential advantages in the field of object detection.
Discussion
In this section, the authors discuss the challenges and advancements in open vocabulary aerial object detection (OVAD), particularly through their proposed framework, CastDet. They highlight the significantly lower recall rates for novel object categories in aerial images (48%) compared to natural images (77%), attributing this disparity to complex backgrounds and the limited diversity of existing aerial datasets. The authors argue for the necessity of flexible object detectors that can identify novel categories without additional annotations, emphasizing the need for a student-teacher learning paradigm to enhance detection capabilities in aerial contexts.
The CastDet framework consists of a student model and two teacher models, focusing on both localization and classification tasks. The student model is designed to handle both horizontal and oriented bounding boxes, addressing the unique challenges of aerial imagery, such as orientation diversity and weak feature appearances. The authors employ a dynamic label queue to maintain high-quality pseudo-labels generated by the teacher models, which are crucial for training the student model effectively. By leveraging RemoteCLIP as an external teacher, the framework aims to improve the detection of novel objects in aerial images, ultimately contributing to the development of a robust open-vocabulary detection system that can adapt to an expanding set of object categories.