DOI: https://doi.org/10.21105/joss.09497
تاريخ النشر: 2026-03-23
المؤلف: Minyoung Jung وآخرون
الموضوع الرئيسي: الحوسبة العلمية وإدارة البيانات
نظرة عامة
يوفر هذا القسم نظرة عامة على نظام بيانات إلى علم (D2S)، وهو حزمة مفتوحة المصدر مصممة لتسهيل إدارة وتحليل البيانات الجغرافية الكبيرة وغير المنظمة عبر مجالات البحث المختلفة. مع الاعتراف بالتحديات التي تطرحها حجم وتعقيد مجموعات البيانات الجغرافية، وخاصة تلك القادمة من الأنظمة الجوية غير المأهولة (UAS)، يتضمن نظام D2S تطبيق ويب سهل الاستخدام يعمل كواجهة رئيسية لأرشفة وتصوير هذه البيانات.
بالإضافة إلى تطبيق الويب، يتكون نظام D2S من ثلاثة مكونات إضافية: وحدة بايثون D2S (d2spy)، وملحق QGIS (D2S Browser)، وكاتالوج الأصول الزمانية المكانية العامة (STAC) الذي يمكن الوصول إليه من خلال واجهة API وواجهة متصفح. تعزز هذه المكونات مجتمعة قدرة الباحثين على تحليل البيانات المؤرشفة ضمن نظام D2S جنبًا إلى جنب مع مجموعات البيانات الجغرافية الخارجية، مما يعزز التعاون بين التخصصات وتحليل البيانات الشامل.
نقاش
يسلط النقاش الضوء على الأهمية المتزايدة للبيانات الجغرافية في البحث، خاصة مع ارتفاع تقنيات الاستشعار والعلم المفتوح. بينما يتم إدارة مجموعات البيانات المتاحة للجمهور مثل Landsat وSentinel بشكل جيد، فإن إدارة البيانات الجغرافية المستندة إلى الأنظمة الجوية غير المأهولة (UAS) تطرح تحديات كبيرة بسبب طبيعتها غير المنظمة وحجمها الكبير. غالبًا ما تعيق هذه التعقيدات جهود البحث التعاوني، مما يبرز الحاجة إلى بنية تحتية قوية لتسهيل إدارة ومشاركة هذه البيانات. استجابةً لذلك، تم تطوير نظام إدارة البيانات الجغرافية المستند إلى الويب Data-to-Science (D2S) لتبسيط هذه العمليات.
يستخدم D2S خلفية بايثون مع واجهة برمجة تطبيقات REST ويستخدم قاعدة بيانات PostgreSQL مع PostGIS لإدارة البيانات بكفاءة. يتميز النظام بواجهة أمامية بديهية مصممة للباحثين في مجال الجغرافيا، حيث تقدم وظائف مثل الفهرسة الزمانية المكانية الديناميكية، وإمكانيات مشاركة البيانات، وأدوات المعالجة المسبقة والمعالجة اللاحقة، ونشر البيانات العامة إلى كاتالوج الأصول الزمانية المكانية D2S (STAC). بالإضافة إلى ذلك، يتضمن نظام D2S وحدة بايثون d2spy وملحق QGIS، مما يعزز القدرات التحليلية للمستخدمين من خلال دمج مجموعات البيانات الخارجية. يتم حاوية التطبيق باستخدام Docker، مما يضمن نشرًا متسقًا عبر بيئات مختلفة، ويتم توفير أدلة المستخدم الشاملة والدروس لتسهيل مشاركة المستخدمين وتعليمهم.
DOI: https://doi.org/10.21105/joss.09497
Publication Date: 2026-03-23
Author(s): Minyoung Jung et al.
Primary Topic: Scientific Computing and Data Management
Overview
The section provides an overview of the Data-to-Science (D2S) ecosystem, an open-source package designed to facilitate the management and analysis of large and unstructured geospatial data across various research fields. Recognizing the challenges posed by the size and complexity of geospatial datasets, particularly those from uncrewed aerial systems (UAS), the D2S ecosystem includes a user-friendly web application that serves as the primary interface for archiving and visualizing such data.
In addition to the web application, the D2S ecosystem comprises three supplementary components: the D2S Python module (d2spy), the QGIS plugin (D2S Browser), and a public SpatioTemporal Asset Catalog (STAC) that can be accessed through both an API and a browser interface. These components collectively enhance the capability of researchers to analyze archived data within the D2S ecosystem alongside external geospatial datasets, thereby promoting interdisciplinary collaboration and comprehensive data analysis.
Discussion
The discussion highlights the increasing importance of geospatial data in research, particularly with the rise of sensor technologies and open science. While publicly available datasets like Landsat and Sentinel are well-managed, the management of Unmanned Aerial Systems (UAS)-based geospatial data poses significant challenges due to their unstructured nature and large size. This complexity often impedes collaborative research efforts, underscoring the need for a robust infrastructure to facilitate the management and sharing of such data. In response, the Data-to-Science (D2S) web-based geospatial data management system was developed to streamline these processes.
D2S employs a Python backend with a REST API and utilizes a PostgreSQL database with PostGIS for efficient data management. The system features an intuitive frontend designed for geospatial researchers, offering functionalities such as dynamic spatiotemporal cataloging, data sharing capabilities, preprocessing and postprocessing tools, and public data publishing to the D2S SpatioTemporal Asset Catalog (STAC). Additionally, the D2S ecosystem includes the Python module d2spy and a QGIS plugin, enhancing the analytical capabilities of users by integrating external datasets. The application is containerized using Docker, ensuring consistent deployment across various environments, and comprehensive user manuals and tutorials are provided to facilitate user engagement and education.