بدون بيانات ملصقة مزدوجة: التعلم الذاتي من النهاية إلى النهاية لتحديد المواقع الجغرافية من منظور الطائرات بدون طيار Without Paired Labeled Data: End-to-End Self-Supervised Learning for Drone-View Geo-Localization

شارك:
المجلة: IEEE Transactions on Neural Networks and Learning Systems، المجلد: 0
DOI: https://doi.org/10.1109/tnnls.2026.3696684
PMID: https://pubmed.ncbi.nlm.nih.gov/42213548
تاريخ النشر: 2026-01-01
المؤلف: Zhongwei Chen وآخرون
الموضوع الرئيسي: تقنيات استرجاع الصور والفيديو المتقدمة

نظرة عامة

يقدم القسم نظرة عامة على نهج تحديد المواقع الجغرافية من منظور الطائرات بدون طيار (DVGL)، الذي يركز على تحديد مواقع الطائرات بدقة باستخدام صور الأقمار الصناعية المميزة بنظام تحديد المواقع العالمي (GPS). تعتمد الطرق التقليدية على صور الطائرات والأقمار الصناعية المتزاوجة مسبقًا للتعلم تحت الإشراف، مما يتطلب عينات جديدة عندما يتغير المنطقة المستهدفة، وهو ما يكون مكلفًا ويحد من القدرة على التكيف في سيناريوهات العالم المفتوح. للتغلب على هذه التحديات، يقدم المؤلفون طريقة جديدة للتعلم الذاتي تحت الإشراف تُسمى التعلم المدفوع بالذاكرة الديناميكية ومعلومات الجوار (DMNIL).

تستخدم DMNIL شبكة هيكلية ضحلة وتستفيد من خوارزمية تجميع لتوليد تسميات زائفة، إلى جانب إطار عمل للتعلم التبايني ذو مسارين لتعزيز تمثيلات العرض الداخلي. تشمل المكونات الرئيسية لـ DMNIL وحدة التعلم الديناميكي للذاكرة الهرمية (DHML)، التي تدمج الذاكرة القصيرة والطويلة الأجل لتحسين اتساق الميزات، ووحدة التعلم لتطور اتساق المعلومات (ICEL)، التي تلتقط العلاقات الدلالية عبر العرض من خلال آلية قيود ديناميكية مدفوعة بالجوار. بالإضافة إلى ذلك، تم تنفيذ استراتيجية تعزيز التسمية الزائفة لتحسين جودة الإشراف الزائف. تشير النتائج التجريبية على ثلاثة مجموعات بيانات معيارية عامة إلى أن DMNIL يتفوق على الطرق الذاتية الحالية وحتى بعض التقنيات الحديثة تحت الإشراف، مما يوضح فعاليتها لتطبيقات DVGL العملية.

مقدمة

تؤسس مقدمة ورقة البحث السياق الأساسي للدراسة، موضحة أهمية الموضوع والأسئلة البحثية المحددة التي تم تناولها. تسلط الضوء على الفجوات الموجودة في الأدبيات والدافع وراء التحقيق الحالي. يؤكد المؤلفون على صلة عملهم في تعزيز الفهم داخل هذا المجال ويقترحون نهجًا أو منهجية جديدة لمعالجة القضايا المحددة. يتم ذكر النتائج الرئيسية أو الفرضيات بإيجاز، مما يمهد الطريق للأقسام التالية من الورقة. بشكل عام، تؤطر المقدمة بفعالية أهداف البحث وتبرز المساهمة في النقاش الأكاديمي.

طرق البحث

في هذا القسم، يوضح المؤلفون منهجيتهم التجريبية لتقييم الطريقة المقترحة، DMNIL، باستخدام ثلاث مجموعات بيانات معيارية: University-1652 وSUES-200 وDenseUAV. تتكون University-1652 من صور متعددة المناظر لـ 1,652 مبنى من 72 جامعة، مع مجموعة تدريب تضم 701 مبنى ومجموعة اختبار تضم 951. تركز SUES-200 على تنوع الارتفاع مع 200 موقع، بينما تتضمن DenseUAV أكثر من 27,000 صورة طائرة بدون طيار-قمر صناعي، مما يقدم تحديات مثل عدم المحاذاة عبر المناظر. يتم استخدام مقاييس التقييم مثل Recall@K (R@K) وAverage Precision (AP)، التي تقيم دقة توقعات النموذج، إلى جانب كفاءة النموذج المقاسة بعدد المعلمات.

يقارن المؤلفون DMNIL مع مجموعة متنوعة من الطرق الحديثة تحت الإشراف والذاتية، مشيرين إلى أدائها المتفوق. على وجه التحديد، تحقق DMNIL درجات R@1/AP تبلغ 90.17%/91.67% و95.01%/88.95% لإعدادات Drone→Satellite وSatellite→Drone، على التوالي. من الجدير بالذكر أن DMNIL يتفوق على الطريقة الذاتية EM-CVGL بحوالي 20% في R@1 و17% في AP، كما أنها تتجاوز CDIKTNet، التي تستخدم بيانات متزاوجة للتعديل الدقيق. تنبع فعالية الطريقة من قدرتها على التقاط التغيرات عبر المناظر بشكل ضمني من خلال اتساق مدفوع بالجوار وقيود المعلومات المتبادلة، مما يؤدي إلى تحسينات كبيرة على كل من الطرق الذاتية والعديد من الطرق تحت الإشراف.

النتائج

تسلط النتائج المقدمة في هذا القسم الضوء على أداء نموذج DMNIL عبر مجموعات بيانات وسيناريوهات مختلفة. في مجموعة بيانات SUES-200، يتفوق DMNIL على جميع الطرق الذاتية الحالية ويظهر نتائج تنافسية ضد بعض الطرق تحت الإشراف، مثل MCCG وSDPL، حتى أنه يحقق أداءً متفوقًا بعد فترة واحدة فقط من التعديل الدقيق. هذا يبرز فعالية DMNIL في التعلم الذاتي تحت الإشراف، والتعلم الانتقالي، والتعديل الدقيق الفعال.

فيما يتعلق بالتعميم عبر المجالات، يتجاوز DMNIL باستمرار الطرق الذاتية الحالية عبر ارتفاعات مختلفة في كل من إعدادات Drone → Satellite وSatellite → Drone. من الجدير بالذكر أن التحسينات في Recall عند 1 (R@1) وAverage Precision (AP) كانت كبيرة، مع زيادات تصل إلى 22% و20% عند 150 مترًا في سيناريو Drone → Satellite. علاوة على ذلك، يظهر DMNIL أداءً قويًا في مجموعة بيانات DenseUAV الصعبة، محققًا 73.79% R@1 و90.69% R@5، مما يعالج بفعالية التعقيدات المرتبطة بالصور المأخوذة بكثافة والتغير الزماني المكاني. تؤكد هذه النتائج على قدرات DMNIL القوية في التعلم الذاتي تحت الإشراف والتعميم عبر المجالات.

المناقشة

يناقش هذا القسم التحديات والتقدم في تحديد المواقع الجغرافية من منظور الطائرات بدون طيار (DVGL)، لا سيما في البيئات التي تفتقر إلى نظام تحديد المواقع العالمي. استخدمت الطرق التقليدية لـ DVGL بشكل أساسي التعلم تحت الإشراف مع صور الطائرات والأقمار الصناعية المتزاوجة، وهو ما يكون مكلفًا وغير عملي بسبب الصعوبات في الحصول على مثل هذه المجموعات البيانية. يحد الاعتماد على عمليات التزاوج والتحقق اليدوي من قابلية توسيع هذه الطرق ويبرز الاستخدام غير الكافي لموارد الصور غير المتزاوجة. تهدف الجهود الأخيرة لتطوير طرق التعلم الذاتي إلى التخفيف من هذه القضايا، ومع ذلك لا تزال الطرق الحالية تواجه قيودًا كبيرة، مثل الحاجة إلى بيانات متزاوجة أولية وعدم القدرة على التعامل بفعالية مع التباينات عبر المناظر.

تعالج الطريقة المقترحة، التعلم المدفوع بالذاكرة الديناميكية ومعلومات الجوار (DMNIL)، هذه التحديات من خلال استخدام إطار عمل جديد للتعلم الذاتي تحت الإشراف. تدمج DMNIL شبكة هيكلية خفيفة مع التعلم التبايني ذو المسارين، والتعلم الديناميكي للذاكرة الهرمية (DHML)، والتعلم لتطور اتساق المعلومات (ICEL). يعزز هذا النهج تمييز الميزات واتساقها عبر كل من التمثيلات الداخلية وعبر المناظر. تلتقط وحدة DHML ديناميات الميزات داخل الفئة، بينما تركز وحدة ICEL على محاذاة الميزات عبر المناظر من خلال قيود مدفوعة بالجوار. تظهر النتائج التجريبية أن DMNIL يتفوق على الطرق الذاتية الحالية ويحقق أداءً قابلًا للمقارنة مع التقنيات تحت الإشراف، مما يوفر حلاً قويًا لـ DVGL في التطبيقات الواقعية.

Journal: IEEE Transactions on Neural Networks and Learning Systems, Volume: 0
DOI: https://doi.org/10.1109/tnnls.2026.3696684
PMID: https://pubmed.ncbi.nlm.nih.gov/42213548
Publication Date: 2026-01-01
Author(s): Zhongwei Chen et al.
Primary Topic: Advanced Image and Video Retrieval Techniques

Overview

The section presents an overview of the Drone-view Geo-Localization (DVGL) approach, which focuses on accurately localizing drones using relevant GPS-tagged satellite images. Traditional methods rely on pre-paired drone-satellite images for supervised learning, necessitating new samples when the target region changes, which is costly and limits adaptability in open-world scenarios. To overcome these challenges, the authors introduce a novel self-supervised learning method named dynamic memory-driven and neighborhood information learning (DMNIL).

DMNIL employs a shallow backbone network and utilizes a clustering algorithm to generate pseudo-labels, alongside a dual-path contrastive learning framework to enhance intra-view representations. Key components of DMNIL include the dynamic hierarchical memory learning (DHML) module, which integrates short- and long-term memory to improve feature consistency, and the information consistency evolution learning (ICEL) module, which captures cross-view semantic correlations through a neighborhood-driven dynamic constraint mechanism. Additionally, a pseudo-label enhancement strategy is implemented to improve the quality of pseudo supervision. Experimental results on three public benchmark datasets indicate that DMNIL outperforms existing self-supervised methods and even some state-of-the-art supervised techniques, demonstrating its effectiveness for practical DVGL applications.

Introduction

The introduction of the research paper establishes the foundational context for the study, outlining the significance of the topic and the specific research questions addressed. It highlights the existing gaps in the literature and the motivation behind the current investigation. The authors emphasize the relevance of their work in advancing understanding within the field and propose a novel approach or methodology to tackle the identified issues. Key findings or hypotheses are briefly mentioned, setting the stage for the subsequent sections of the paper. Overall, the introduction effectively frames the research objectives and underscores the contribution to the academic discourse.

Methods

In this section, the authors detail their experimental methodology for evaluating the proposed method, DMNIL, using three benchmark datasets: University-1652, SUES-200, and DenseUAV. University-1652 comprises multi-view images of 1,652 buildings from 72 universities, with a training set of 701 buildings and a test set of 951. SUES-200 focuses on altitude diversity with 200 locations, while DenseUAV includes over 27,000 drone-satellite images, presenting challenges such as cross-view misalignment. The evaluation metrics employed are Recall@K (R@K) and Average Precision (AP), which assess the accuracy of the model’s predictions, alongside model efficiency measured by the number of parameters.

The authors compare DMNIL against various state-of-the-art supervised and self-supervised methods, highlighting its superior performance. Specifically, DMNIL achieves R@1/AP scores of 90.17%/91.67% and 95.01%/88.95% for the Drone→Satellite and Satellite→Drone settings, respectively. Notably, DMNIL outperforms the self-supervised method EM-CVGL by approximately 20% in R@1 and 17% in AP, and it also surpasses CDIKTNet, which utilizes paired data for fine-tuning. The method’s effectiveness stems from its ability to implicitly capture cross-view variations through neighborhood-guided consistency and mutual information constraints, leading to significant improvements over both self-supervised and several supervised methods.

Results

The results presented in this section highlight the performance of the DMNIL model across various datasets and scenarios. In the SUES-200 dataset, DMNIL outperforms all existing self-supervised methods and shows competitive results against some supervised methods, such as MCCG and SDPL, even achieving superior performance after just one epoch of fine-tuning. This underscores DMNIL’s effectiveness in self-supervised learning, transfer learning, and efficient fine-tuning.

In terms of cross-domain generalization, DMNIL consistently surpasses existing self-supervised methods across different altitudes in both Drone → Satellite and Satellite → Drone settings. Notably, improvements in Recall at 1 (R@1) and Average Precision (AP) are significant, with increases of up to 22% and 20% at 150 meters in the Drone → Satellite scenario. Furthermore, DMNIL demonstrates robust performance in the challenging DenseUAV dataset, achieving 73.79% R@1 and 90.69% R@5, effectively addressing the complexities associated with densely sampled images and spatio-temporal variability. These findings affirm DMNIL’s strong capabilities in self-supervised learning and cross-domain generalization.

Discussion

The section discusses the challenges and advancements in Drone-View Geo-Localization (DVGL), particularly in GPS-denied environments. Traditional DVGL methods have primarily utilized supervised learning with paired drone-satellite images, which is costly and impractical due to the difficulties in acquiring such datasets. The reliance on manual pairing and verification processes limits the scalability of these methods and highlights the underutilization of unpaired image resources. Recent efforts to develop self-supervised learning approaches aim to mitigate these issues, yet existing methods still face significant limitations, such as the need for initial paired data and the inability to effectively handle cross-view discrepancies.

The proposed method, Dynamic Memory-driven and Neighborhood Information Learning (DMNIL), addresses these challenges by employing a novel end-to-end self-supervised learning framework. DMNIL integrates a lightweight backbone network with dual-path contrastive learning, dynamic hierarchical memory learning (DHML), and information consistency evolution learning (ICEL). This approach enhances feature discriminability and consistency across both intra-view and cross-view representations. The DHML module captures the dynamics of intra-class features, while the ICEL module focuses on aligning cross-view features through neighborhood-driven constraints. Experimental results demonstrate that DMNIL outperforms existing self-supervised methods and achieves performance comparable to supervised techniques, thereby providing a robust solution for DVGL in real-world applications.