DOI: https://doi.org/10.1016/j.image.2026.117483
تاريخ النشر: 2026-01-16
المؤلف: Francesco Barbato وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
يقدم القسم Fly-AwareV2، مجموعة بيانات متعددة الوسائط شاملة مصممة لتطبيقات الطائرات بدون طيار (UAV) في البيئات الحضرية، مع معالجة التحديات المتعلقة بجمع البيانات الحقيقية وتوضيحها. تعتمد هذه المجموعة على الموارد الموجودة مثل SynDrone وFlyAware، وتقدم تقدمًا كبيرًا، بما في ذلك دمج RGB، والعمق، والتسميات الدلالية عبر ظروف بيئية متنوعة. تشمل الميزات الرئيسية خرائط العمق المستمدة من تقنيات تقدير العمق أحادية العين المتطورة ومعايير لتجزئة RGB والدلالية متعددة الوسائط باستخدام هياكل قياسية. بالإضافة إلى ذلك، تسهل مجموعة البيانات الدراسات حول التكيف بين المجالات الاصطناعية والحقيقية، مما يعزز قدرات التعميم للنماذج المدربة على البيانات الاصطناعية.
في الاستنتاجات، يبرز المؤلفون فعالية Fly-AwareV2 في تدريب نماذج التجزئة التي تؤدي بشكل جيد على الصور الحقيقية، مما يظهر فائدة البيانات الاصطناعية في تحسين أداء النموذج عبر ظروف متنوعة مثل الطقس، ووقت اليوم، وارتفاعات الطيران. كما يشير المؤلفون إلى خطط للعمل المستقبلي، والذي سيوسع مجموعة البيانات لتشمل مهام رؤية الكمبيوتر الأخرى مثل اكتشاف الكائنات والتجزئة البانوبتيكية، بالإضافة إلى زيادة حجم البيانات الحقيقية المتاحة للبحث.
مقدمة
تناقش مقدمة الورقة التأثير التحويلي للطائرات بدون طيار (UAV) عبر مختلف القطاعات، بما في ذلك المراقبة، والزراعة، وصناعة السينما. يتطلب الانتشار المتزايد للطائرات بدون طيار أداءً موثوقًا ومحسنًا، والذي يمكن تحقيقه من خلال دمج المستشعرات متعددة الوسائط والأنظمة الذكية المتقدمة. ومع ذلك، فإن تطوير خوارزميات رؤية الكمبيوتر القوية لصور الطائرات بدون طيار يعيقه نقص مجموعات البيانات الكبيرة والدقيقة التوضيح، خاصةً للمهام التي تتطلب توضيحات على مستوى البكسل الكثيف وتلك التي تأخذ في الاعتبار الظروف الجوية السيئة.
لمعالجة هذه التحديات، يقدم المؤلفون FlyAwareV2، مجموعة بيانات متعددة الوسائط جديدة تجمع بين البيانات الاصطناعية والحقيقية لتسهيل فهم المشهد الحضري من الصور الجوية تحت ظروف بيئية متنوعة. تشمل المساهمات الرئيسية لـ FlyAwareV2 توفير صور RGB متطابقة، وخرائط عمق، وتسميات دلالية عبر سيناريوهات جوية مختلفة، بالإضافة إلى تقييمات شاملة لمهام التجزئة الدلالية متعددة الوسائط. تهدف مجموعة البيانات إلى سد الفجوة في مجموعات بيانات الطائرات بدون طيار الحالية من خلال تقديم موارد شاملة تدعم تطوير أنظمة الإدراك المتقدمة القادرة على العمل بفعالية في الظروف الحقيقية، مما يسرع من التقدم في تكنولوجيا الطائرات بدون طيار وتطبيقاتها.
الطرق
في قسم الطرق لتجزئة الدلالية للطائرات بدون طيار، يبرز المؤلفون التحديات التي تطرحها محدودية توفر مجموعات البيانات الكبيرة من العالم الحقيقي، مما يدفع إلى استكشاف تقنيات التكيف غير الخاضع للإشراف (UDA) لاستخدام البيانات الاصطناعية في تدريب النماذج القابلة للتطبيق على الصور الحقيقية. تم استخدام استراتيجيات متنوعة، بما في ذلك التعلم المعاكس والتدريب الذاتي، لمحاذاة الميزات بين المجالات الاصطناعية والحقيقية، بينما تهدف طرق ترجمة البيانات إلى تقديم البيانات الاصطناعية بأساليب واقعية. ومع ذلك، تركز معظم الأساليب الحالية على المنظورات الأرضية وظروف النهار الواضحة، مع قلة من تعالج الاحتياجات المحددة لتجزئة الدلالية للطائرات بدون طيار. ومن الجدير بالذكر أن مجموعة بيانات FlyAwareV2 تم تقديمها كمعيار شامل متعدد الوسائط مصمم لمعالجة الظروف التشغيلية المتنوعة التي تواجهها الطائرات بدون طيار، بما في ذلك التغيرات في الطقس، والإضاءة، ووجهات النظر.
يستعرض قسم التقييم التجريبي سلسلة من التجارب التي أجريت باستخدام مجموعة بيانات FlyAwareV2 لتقييم فعاليتها في تدريب نماذج التعلم العميق لتجزئة الدلالية متعددة الوسائط في البيئات الحضرية. يوضح المؤلفون عملية التنفيذ الخاصة بهم ويقيمون أداء النموذج على البيانات الاصطناعية قبل تحليل قابلية نقل النموذج إلى البيانات الحقيقية، سواء في شكلها الأصلي أو مع تطبيق تقنيات UDA. بالإضافة إلى ذلك، يستكشفون أداء الاستراتيجيات متعددة الوسائط التي تتضمن معلومات العمق، مما يوفر رؤى حول فائدة مجموعة البيانات في تعزيز تحليل صور الطائرات بدون طيار تحت ظروف صعبة.
المناقشة
في هذا القسم، يناقش المؤلفون التحديات والتقدم في رؤية الكمبيوتر المعتمدة على الطائرات بدون طيار، مع التركيز بشكل خاص على التجزئة الدلالية. يبرزون قيود مجموعات البيانات الحالية، مثل Aeroscapes وICG Drone، التي تعاني من صغر الحجم ونقص التنوع البيئي. تقدم الورقة مجموعة بيانات FlyAwareV2، التي تعزز بشكل كبير مجموعة بيانات FlyAware الأصلية من خلال دمج خرائط عمق عالية الدقة وإدخال ظروف جوية متنوعة. تتكون من حوالي 290,000 إطار، مع 288,000 تم إنشاؤها اصطناعيًا و2,000 عينة من العالم الحقيقي، تلتقط مجموعة البيانات مجموعة واسعة من البيئات الحضرية والريفية تحت ظروف متنوعة، مما يعالج قيود مجموعات البيانات السابقة.
يصف المؤلفون عملية توليد البيانات الاصطناعية باستخدام محاكي CARLA، الذي يتضمن 24,000 مشهد فريد تم تقديمه تحت ظروف جوية مختلفة وارتفاعات طيران. كما يصفون استراتيجيات التعزيز المستخدمة للبيانات الحقيقية، بما في ذلك استخدام تقنيات تقدير العمق أحادية العين لتوليد خرائط العمق وتعزيز الطقس الاصطناعي لزيادة تنوع البيئة. تظهر النتائج التجريبية أن النماذج المدربة على بيانات FlyAwareV2 الاصطناعية يمكن أن تعمم بفعالية على السيناريوهات الحقيقية، مع تباين الأداء بناءً على ظروف الطقس وارتفاعات طيران الطائرات بدون طيار. تؤكد النتائج على أهمية بيانات التدريب المتنوعة في تحسين قوة أنظمة إدراك الطائرات بدون طيار، مما يمهد الطريق للبحث المستقبلي في مهام رؤية الكمبيوتر ذات الصلة.
DOI: https://doi.org/10.1016/j.image.2026.117483
Publication Date: 2026-01-16
Author(s): Francesco Barbato et al.
Primary Topic: Advanced Neural Network Applications
Overview
The section presents Fly-AwareV2, a comprehensive multimodal dataset designed for Unmanned Aerial Vehicle (UAV) applications in urban environments, addressing the challenges of collecting and annotating real-world data. This dataset builds on existing resources like SynDrone and FlyAware, offering significant advancements, including the integration of RGB, depth, and semantic labels across diverse environmental conditions. Key features include depth maps derived from state-of-the-art monocular depth estimation techniques and benchmarks for RGB and multimodal semantic segmentation using standard architectures. Additionally, the dataset facilitates studies on synthetic-to-real domain adaptation, enhancing the generalization capabilities of models trained on synthetic data.
In the conclusions, the authors highlight the effectiveness of Fly-AwareV2 in training segmentation models that perform well on real-world imagery, demonstrating the utility of synthetic data in improving model performance across various conditions such as weather, time of day, and flying heights. The authors also indicate plans for future work, which will expand the dataset to include other computer vision tasks like object detection and panoptic segmentation, as well as increase the volume of real-world data available for research.
Introduction
The introduction of the paper discusses the transformative impact of Unmanned Aerial Vehicles (UAVs) across various sectors, including surveillance, agriculture, and cinematography. The increasing deployment of UAVs necessitates enhanced performance and reliability, which can be achieved through the integration of multimodal sensors and advanced intelligent systems. However, the development of robust computer vision algorithms for UAV imagery is hindered by the lack of large-scale, accurately annotated datasets, particularly for tasks requiring dense pixel-level annotations and those that account for adverse weather conditions.
To address these challenges, the authors present FlyAwareV2, a novel multimodal dataset that combines synthetic and real data to facilitate urban scene understanding from aerial imagery under diverse environmental conditions. Key contributions of FlyAwareV2 include the provision of co-registered RGB images, depth maps, and semantic labels across various weather scenarios, as well as extensive benchmarking for multimodal semantic segmentation tasks. The dataset aims to bridge the gap in existing UAV datasets by offering comprehensive resources that support the development of advanced perception systems capable of operating effectively in real-world conditions, thereby accelerating progress in UAV technology and applications.
Methods
In the section on methods for UAV semantic segmentation, the authors highlight the challenges posed by the limited availability of large real-world datasets, prompting the exploration of unsupervised domain adaptation (UDA) techniques to utilize synthetic data for training models applicable to real imagery. Various strategies, including adversarial learning and self-training, have been employed to align features between synthetic and real domains, while data translation methods aim to render synthetic data in realistic styles. However, most existing approaches focus on ground-level perspectives and clear daytime conditions, with few addressing the specific needs of UAV semantic segmentation. Notably, the FlyAwareV2 dataset is introduced as a comprehensive multimodal benchmark designed to address the diverse operational conditions encountered by UAVs, including variations in weather, lighting, and viewpoints.
The experimental evaluation section outlines a series of experiments conducted using the FlyAwareV2 dataset to assess its effectiveness in training deep learning models for multimodal semantic segmentation in urban environments. The authors detail their implementation process and evaluate model performance on synthetic data before analyzing the transferability of the model to real-world data, both in its original form and with the application of UDA techniques. Additionally, they explore the performance of multimodal strategies that incorporate depth information, providing insights into the dataset’s utility for enhancing UAV imagery analysis under challenging conditions.
Discussion
In this section, the authors discuss the challenges and advancements in UAV-based computer vision, particularly focusing on semantic segmentation. They highlight the limitations of existing datasets, such as Aeroscapes and ICG Drone, which suffer from small scale and lack of environmental diversity. The paper introduces the FlyAwareV2 dataset, which significantly enhances the original FlyAware dataset by incorporating high-resolution depth maps and introducing diverse weather conditions. Comprising approximately 290,000 frames, with 288,000 synthetically generated and 2,000 real-world samples, the dataset captures a wide range of urban and rural environments under various conditions, thereby addressing the limitations of previous datasets.
The authors detail the synthetic data generation process using the CARLA simulator, which includes 24,000 unique scenes rendered under different weather conditions and flight altitudes. They also describe the augmentation strategies employed for real-world data, including the use of monocular depth estimation techniques to generate depth maps and synthetic weather augmentation to enhance environmental variability. Experimental results demonstrate that models trained on the synthetic FlyAwareV2 data can effectively generalize to real-world scenarios, with performance varying based on weather conditions and UAV flight heights. The findings underscore the importance of diverse training data in improving the robustness of UAV perception systems, paving the way for future research in related computer vision tasks.