DOI: https://doi.org/10.1016/j.isprsjprs.2025.01.003
تاريخ النشر: 2025-01-31
المؤلف: Hao Li وآخرون
الموضوع الرئيسي: تقنيات استرجاع الصور والفيديو المتقدمة
نظرة عامة
تقدم البحث CVDisaster، وهو إطار مبتكر مصمم لرسم الخرائط في حالات الكوارث يتناول نوعين حرجين من المعلومات: إدراك أضرار الكوارث ووعي الجغرافيا. من خلال الاستفادة من صور الشارع المتقاطعة (SVI) وصور الأقمار الصناعية عالية الدقة جداً (VHR)، يتكون CVDisaster من نموذجين: CVDisaster-Geoloc، الذي يستخدم هدف التعلم التبايني مع مشفر الصور Siamese ConvNeXt لتحديد المواقع الجغرافية، وCVDisaster-Est، الذي يستخدم محول رؤية السياق العالمي المزدوج (CGCViT) لتقدير إدراك الأضرار.
تم تقييمه من خلال دراسة حالة على إعصار إيان، حيث يظهر الإطار أداءً مثيرًا للإعجاب، محققًا دقة تزيد عن 80% في تحديد المواقع الجغرافية و75% في تقدير إدراك الأضرار مع الحد الأدنى من التعديل. يتجاوز هذا الأداء الطرق التقليدية مثل نظام تحديد المواقع العالمي (GPS) وتحديد المواقع عبر الواي فاي، بالإضافة إلى تقييمات الأضرار المعتمدة فقط على صور الأقمار الصناعية عالية الدقة جداً. تؤكد النتائج على إمكانيات CVDisaster في تعزيز النماذج المتقاطعة والتطبيقات داخل مجتمع أبحاث GeoAI، مع توفير البيانات والكود المرتبطين للجمهور لمزيد من الاستكشاف.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التقدم في تكنولوجيا الاستشعار عن بعد (RS) وزيادة فائدة بيانات مراقبة الأرض (EO) للاستجابة الإنسانية للكوارث الطبيعية. تؤكد على الأهمية المتزايدة لصور الشارع (SVI) في الدراسات الحضرية ورؤية الكمبيوتر، مشيرة إلى إمكانياتها في تعزيز تحليل صور الأقمار الصناعية التقليدية من خلال تقديم منظور فريد على مستوى الأرض. تحدد الورقة نوعين حرجين من المعلومات لرسم الخرائط الفعالة في حالات الكوارث: إدراك أضرار الكوارث ووعي الجغرافيا. يتعلق الأول بكيفية تقييم الأفراد للأضرار في البيئات الحضرية، والتي تُستمد عادةً من بيانات الاستشعار عن بعد، بينما يتعلق الثاني بدقة تحديد المواقع الجغرافية الذاتية للأفراد.
يجادل المؤلفون بأن بناء إطار شامل لرسم الخرائط في حالات الكوارث يمثل تحديًا بسبب القيود المفروضة على بيانات الاستشعار عن بعد التقليدية لتقييم الأضرار بالتفصيل وعدم كفاية الطرق الحالية لتحديد المواقع، التي تعتمد غالبًا على أنظمة الملاحة عبر الأقمار الصناعية التي قد تفشل في البيئات الحضرية. لمعالجة هذه التحديات، تقدم الورقة إطارًا جديدًا، CVDisaster، الذي يدمج صور الأقمار الصناعية من منظور الرأس وصور الشارع باستخدام نماذج الذكاء الاصطناعي الجغرافي المتقدمة (GeoAI). توضح دراسة حالة أجريت على جزيرة سانيبيل، فلوريدا، بعد إعصار إيان في عام 2022، فعالية الإطار في توفير إدراك الأضرار في الوقت المناسب ووعي الجغرافيا. كما يجعل المؤلفون مجموعة بيانات دراسة الحالة، CVIAN، متاحة للجمهور لتعزيز المزيد من البحث في المجالات ذات الصلة. ستتناول الأقسام التالية من الورقة الأعمال ذات الصلة، والمنهجية، والنتائج التجريبية، واتجاهات البحث المستقبلية.
النتائج
في قسم النتائج، يقيم البحث أداء نماذج تحديد المواقع الجغرافية المتقاطعة المتطورة، وتحديدًا TransGeo وSAIG-D وSample4Geo، التي تم تدريبها مسبقًا على مجموعة بيانات CVUSA وتم تطبيقها لاحقًا على مجموعة بيانات CVIAN. تعمل النماذج كخط أساس لأداء تحديد المواقع الجغرافية المتقاطعة، محققة Recall@10 بحوالي 80%. من الجدير بالذكر أن الفروق الكبيرة بين مجموعتي بيانات CVUSA وCVIAN تبرز قدرة النماذج على التكيف مع المناطق غير المرئية، مما يؤكد إمكانياتها كبدائل قائمة على الرؤية لطرق تحديد المواقع التقليدية، خاصة في سيناريوهات الاستجابة للكوارث. أدى تعديل نموذج CVDisaster-Geoloc باستخدام 30% من أزواج صور CVIAN إلى تحسينات كبيرة في الأداء عبر معظم مقاييس Recall@K، مما يوضح إمكانية تكييف النماذج المدربة مسبقًا لتطبيقات محددة مع الحد الأدنى من الجهد الإضافي.
علاوة على ذلك، تم تقييم نموذج CVDisaster-Est لتقدير إدراك الأضرار عبر المناظر المتقاطعة من خلال مقارنة أدائه مع نماذج المناظر الفردية المدربة على صور SVI وصور الأقمار الصناعية عالية الدقة جداً. تم إجراء دراسة إلغاء لتقييم تأثير نسب التعديل المختلفة على أداء النموذج، مع التركيز على مقاييس التصنيف المتعدد مثل الدقة، والاسترجاع، والدقة العامة، ودرجة F1. تشير النتائج إلى أن نموذج CVDisaster-Est يستفيد بفعالية من الصور المتقاطعة لتقييم الأضرار، مما يعزز فائدة هذه النماذج في تطبيقات رسم الخرائط في حالات الكوارث في العالم الحقيقي.
المناقشة
تسلط قسم المناقشة في الورقة الضوء على التقدم والتحديات في تطبيق GeoAI لرسم الخرائط وتحديد المواقع في حالات الكوارث، مع التأكيد على الحاجة إلى أطر متكاملة مثل CVDisaster. غالبًا ما تفشل طرق رسم الخرائط التقليدية في الكفاءة والسرعة، خاصة في سيناريوهات الكوارث الكبيرة. لقد أظهر دمج صور الأقمار الصناعية عالية الدقة مع تقنيات GeoAI وعدًا في تعزيز سرعة ودقة تقييم الأضرار، كما يتضح من التطبيقات الناجحة خلال كوارث كبيرة مثل إعصار هارفي وزلزال تركيا-سوريا. تركز الأساليب الحالية بشكل أساسي على إما تحليل صور الأقمار الصناعية بعد الكارثة أو تحليل بيانات وسائل التواصل الاجتماعي، مما يشير إلى وجود فجوة لحل موحد يمكنه معالجة إدراك الأضرار وتحديد المواقع في الوقت نفسه.
علاوة على ذلك، تناقش الورقة دور صور الشارع (SVI) في التحليلات الحضرية والاستجابة للكوارث، مشيرة إلى أهميتها المتزايدة في فهم البيئات الحضرية ودعم جهود التعافي. تم استخدام SVI في دراسات حضرية متنوعة، بما في ذلك تحليل تدفق المرور وتقييمات الصحة العامة، وقد أثبتت فائدتها في سيناريوهات ما بعد الكارثة من خلال تقديم معلومات تفصيلية على مستوى الأرض. ومع ذلك، لا يزال دمج SVI مع بيانات الاستشعار عن بعد في سياقات الكوارث محدودًا. تختتم القسم بتقديم مفهوم تحديد المواقع الجغرافية المتقاطعة، الذي يعزز خدمات الموقع التقليدية من خلال مطابقة الصور على مستوى الأرض مع الصور العلوية، مما يحسن دقة تحديد المواقع في البيئات التي تفتقر إلى نظام تحديد المواقع العالمي. تفترض الورقة أن إطار CVDisaster يمثل تقدمًا كبيرًا في معالجة هذه التحديات، مما يمكّن من رسم الخرائط وتحديد المواقع في حالات الكوارث بكفاءة من خلال نهج متماسك يستفيد من كل من SVI وصور الأقمار الصناعية.
DOI: https://doi.org/10.1016/j.isprsjprs.2025.01.003
Publication Date: 2025-01-31
Author(s): Hao Li et al.
Primary Topic: Advanced Image and Video Retrieval Techniques
Overview
The research introduces CVDisaster, an innovative framework designed for disaster mapping that addresses two critical types of information: disaster damage perception and geolocation awareness. By leveraging cross-view Street-View Imagery (SVI) and Very High-Resolution (VHR) satellite imagery, CVDisaster comprises two models: CVDisaster-Geoloc, which utilizes a contrastive learning objective with a Siamese ConvNeXt image encoder for geolocalization, and CVDisaster-Est, which employs a Couple Global Context Vision Transformer (CGCViT) for damage perception estimation.
Evaluated through a case study on Hurricane IAN, the framework demonstrates impressive performance metrics, achieving over 80% accuracy in geolocalization and 75% in damage perception estimation with minimal fine-tuning. This performance surpasses traditional methods such as GPS and Wi-Fi positioning, as well as damage assessments based solely on VHR satellite imagery. The findings underscore the potential of CVDisaster to advance cross-view models and applications within the GeoAI research community, with the associated data and code made publicly available for further exploration.
Introduction
The introduction of this research paper highlights the advancements in Remote Sensing (RS) technology and the increasing utility of Earth observation (EO) data for humanitarian responses to natural disasters. It emphasizes the growing importance of Street View imagery (SVI) in urban studies and computer vision, noting its potential to enhance traditional satellite imagery analysis by offering a unique ground-level perspective. The paper identifies two critical types of information for effective disaster mapping: disaster damage perception and geolocation awareness. The former pertains to how individuals assess damage to urban environments, typically derived from RS data, while the latter involves the accuracy of individuals’ geographic self-location.
The authors argue that constructing a comprehensive disaster mapping framework is challenging due to limitations in traditional RS data for detailed damage assessments and the inadequacies of existing geolocation methods, which often rely on satellite navigation systems that may falter in urban settings. To address these challenges, the paper introduces a novel framework, CVDisaster, which integrates head-view satellite and street-view imagery using advanced Geospatial Artificial Intelligence (GeoAI) models. A case study conducted on Sanibel Island, Florida, post-Hurricane Ian in 2022, demonstrates the framework’s effectiveness in providing timely damage perception and geolocation awareness. The authors also make the case study dataset, CVIAN, publicly available to foster further research in related fields. Subsequent sections of the paper will elaborate on related works, methodology, experimental results, and future research directions.
Results
In the results section, the study evaluates the performance of state-of-the-art cross-view geolocalization models, specifically TransGeo, SAIG-D, and Sample4Geo, which were pretrained on the CVUSA dataset and subsequently applied to the CVIAN dataset. The models serve as a baseline for cross-view geolocalization performance, achieving a Recall@10 of approximately 80%. Notably, the significant differences between the CVUSA and CVIAN datasets highlight the models’ adaptability to unseen areas, confirming their potential as vision-based alternatives to traditional positioning methods, particularly in disaster response scenarios. Fine-tuning the CVDisaster-Geoloc model with 30% of CVIAN imagery pairs resulted in substantial performance improvements across most Recall@K metrics, demonstrating the feasibility of adapting pretrained models for specific applications with minimal additional effort.
Furthermore, the CVDisaster-Est model was assessed for cross-view damage perception estimation by comparing its performance against single-view models trained on SVI and VHR satellite imagery. An ablation study was conducted to analyze the impact of different fine-tuning ratios on model performance, focusing on multi-classification metrics such as Precision, Recall, Overall Accuracy, and F1 score. The results indicate that the CVDisaster-Est model effectively leverages cross-view imagery for damage assessment, reinforcing the utility of these models in real-world disaster mapping applications.
Discussion
The discussion section of the paper highlights the advancements and challenges in the application of GeoAI for disaster mapping and localization, emphasizing the need for integrated frameworks like CVDisaster. Traditional disaster mapping methods often fall short in efficiency and timeliness, particularly in large-scale disaster scenarios. The integration of high-resolution satellite imagery with GeoAI techniques has shown promise in enhancing the speed and accuracy of damage assessments, as evidenced by successful applications during significant disasters such as Hurricane Harvey and the Turkey-Syria earthquake. Existing approaches primarily focus on either post-disaster satellite imagery analysis or geoparsing social media data, indicating a gap for a unified solution that can simultaneously address damage perception and geolocation.
Furthermore, the paper discusses the role of street-view imagery (SVI) in urban analytics and disaster response, noting its increasing importance in understanding urban environments and aiding recovery efforts. SVI has been utilized for various urban studies, including traffic flow analysis and public health assessments, and has proven beneficial in post-disaster scenarios by providing detailed ground-level information. However, the integration of SVI with remote sensing data in disaster contexts remains limited. The section concludes by introducing the concept of cross-view geolocalization, which enhances traditional location-based services by matching ground-level imagery with overhead imagery, thus improving positioning accuracy in GNSS-denied environments. The paper posits that the CVDisaster framework represents a significant advancement in addressing these challenges, enabling efficient disaster mapping and localization through a cohesive approach that leverages both SVI and satellite imagery.