DOI: https://doi.org/10.1038/s40494-025-01546-9
تاريخ النشر: 2025-03-18
المؤلف: Xiuhui Wu وآخرون
الموضوع الرئيسي: تقنيات الحفظ والدراسات
نظرة عامة
في هذه الدراسة، يقدم المؤلفون نموذج دمج ميزات الحدود والمناطق متعدد المقاييس (MBRF) الذي يهدف إلى الكشف عن الأضرار في الجداريات القديمة. يعمل النموذج كشبكة من مرحلتين تتكون من مولد معلومات عالمي (GIG) ومولد معلومات تفصيلية (DIG). يتحمل GIG مسؤولية التقاط الميزات العالمية وتوقع خريطة قناع للمناطق المتضررة، بينما يستخدم DIG هذه الخريطة لتحديد المناطق المتضررة بالكامل بدقة. تظهر التقييمات التي أجريت على مجموعات بيانات DHMural وYNMural أن نموذج MBRF يتفوق بشكل كبير على الشبكات الأساسية، محققًا تحسينات في معامل Dice بمقدار 5.2 و6.2 نقطة مئوية على التوالي، إلى جانب مقاييس تقييم بصرية وموضوعية متفوقة مقارنة بأربعة طرق موجودة.
تركز البحث على الجداريات من كهوف موغاو في دونغوانغ والجداريات الخاصة بالأقليات العرقية في يونان، مما يبرز التنوع في الأنماط وخصائص الأضرار عبر مناطق مختلفة من الصين. على الرغم من استخدام تقنيات زيادة البيانات لمعالجة محدودية توفر بيانات الجداريات القديمة، يعترف المؤلفون بأن التكرار في البيانات المعززة قد يعيق أداء النموذج وقدرته على التعميم. يؤكدون على الحاجة إلى مجموعات بيانات عالية الجودة لتعزيز قوة النموذج وقدرته على الكشف عن أنماط الجداريات المختلفة. لا تساهم هذه العمل فقط في تقديم نهج جديد للكشف التلقائي عن أضرار الجداريات باستخدام التعلم العميق، بل تمهد أيضًا الطريق للتقدم المستقبلي في قابلية تكيف النموذج وتوسيع مجموعة البيانات.
الطرق
في هذا القسم، يوضح المؤلفون المنهجية التجريبية المستخدمة لتقييم أداء الكشف عن الأضرار في الجداريات القديمة باستخدام النموذج المقترح. تؤطر الدراسة المشكلة كمسألة تقسيم الصور وتقارن النموذج المقترح بأربعة تقنيات تقسيم معروفة: U-Net وEGE-UNet وM²SNet وPraNet. لضمان تقييم عادل، تم تدريب جميع النماذج على نفس مجموعة بيانات صور الجداريات.
يتم قياس فعالية الكشف عن أضرار الجداريات باستخدام أربعة مقاييس موضوعية: معامل Dice، الدقة، الاسترجاع، ومتوسط الخطأ المطلق (MAE). بالإضافة إلى ذلك، يقوم المؤلفون بإجراء تجارب إلغاء لتحديد مساهمة كل وحدة ضمن النموذج المقترح، مما يوفر رؤى حول أدائه وأهمية مكوناته.
المناقشة
في هذه الدراسة، يقدم المؤلفون نموذج دمج ميزات الحدود والمناطق متعدد المقاييس (MBRF) الذي يهدف إلى الكشف عن الأضرار في الجداريات القديمة، والتي غالبًا ما تظهر أشكالًا غير منتظمة وخلفيات معقدة. يتكون نموذج MBRF من مكونين رئيسيين: مولد المعلومات العالمي (GIG) ومولد المعلومات التفصيلية (DIG). يقوم GIG باستخراج ميزات متعددة المستويات من صورة الجداريات المدخلة وينتج خريطة قناع عالمية تتوقع المواقع الخشنة للمناطق المتضررة. بعد ذلك، يقوم DIG بتحسين هذه التوقعات، مع التركيز على استخراج ميزات الحدود والمناطق التفصيلية من خلال سلسلة من وحدات الدمج الموجهة ثنائية الاتجاه (BGF). يعزز هذا النهج ذو المرحلتين قدرة النموذج على تحديد وتحديد المناطق المتضررة بدقة في الجداريات.
تظهر التقييمات التجريبية التي أجريت على مجموعات بيانات DHMural وYNMural أن نموذج MBRF يتفوق بشكل كبير على الطرق الموجودة، محققًا تحسينات في المقاييس الرئيسية مثل معامل Dice بمقدار 5.2 إلى 6.2 نقطة مئوية. يدمج هيكل النموذج بشكل فعال الميزات العالمية والمحلية، مما يعالج التحديات مثل تشويش الحدود وفقدان المعلومات السياقية. على الرغم من النتائج الواعدة، يعترف المؤلفون بالقيود المتعلقة بحجم مجموعة البيانات وتنوعها، مما قد يؤثر على قدرات التعميم للنموذج. ستركز الأعمال المستقبلية على توسيع مجموعة البيانات وتعزيز قابلية تكيف النموذج مع أنماط الجداريات المختلفة، مما يساهم في الكشف الذكي عن أضرار الجداريات عبر سياقات ثقافية مختلفة.
DOI: https://doi.org/10.1038/s40494-025-01546-9
Publication Date: 2025-03-18
Author(s): Xiuhui Wu et al.
Primary Topic: Conservation Techniques and Studies
Overview
In this study, the authors introduce a multi-scale boundary and region feature fusion (MBRF) model aimed at detecting damage in ancient murals. The model operates as a two-stage network comprising a global information generator (GIG) and a detail information generator (DIG). The GIG is responsible for capturing global features and predicting a mask map of damaged regions, while the DIG utilizes this map to accurately identify completely damaged areas. Evaluations conducted on the DHMural and YNMural datasets demonstrate that the MBRF model significantly outperforms baseline networks, achieving improvements in the Dice coefficient by 5.2 and 6.2 percentage points, respectively, alongside superior visual and objective evaluation metrics compared to four existing methods.
The research focuses on murals from the Mogao Grottoes in Dunhuang and ethnic minority murals in Yunnan, highlighting the diversity in styles and damage characteristics across different regions of China. Despite employing data augmentation techniques to address the limited availability of ancient mural data, the authors acknowledge that redundancy in the augmented data may hinder the model’s performance and generalization. They emphasize the need for high-quality datasets to enhance the model’s robustness and its ability to detect various mural styles. This work not only contributes a novel approach to the automatic detection of mural damage using deep learning but also sets the stage for future advancements in model adaptability and dataset expansion.
Methods
In this section, the authors detail the experimental methodology employed to assess the detection performance of their proposed model for identifying damage in ancient murals. The study frames the problem as an image segmentation task and compares the proposed model against four established segmentation techniques: U-Net, EGE-UNet, M²SNet, and PraNet. To ensure a fair evaluation, all models were trained on the same dataset of mural images.
The effectiveness of the mural damage detection is quantified using four objective metrics: the Dice coefficient, Precision, Recall, and Mean Absolute Error (MAE). Additionally, the authors conduct ablation experiments to analyze the contribution of each module within their proposed model, thereby providing insights into its performance and the significance of its components.
Discussion
In this study, the authors introduce a multi-scale boundary and region feature fusion (MBRF) model aimed at detecting damage in ancient murals, which often exhibit irregular shapes and complex backgrounds. The MBRF model comprises two primary components: the global information generator (GIG) and the detail information generator (DIG). The GIG extracts multi-level features from the input mural image and generates a global mask map that predicts the coarse locations of damaged regions. Subsequently, the DIG refines these predictions, focusing on extracting detailed boundary and region features through a series of bilateral guided fusion (BGF) modules. This two-stage approach enhances the model’s ability to accurately identify and delineate damaged areas in the murals.
Experimental evaluations conducted on the DHMural and YNMural datasets demonstrate that the MBRF model significantly outperforms existing methods, achieving improvements in key metrics such as the Dice coefficient by 5.2 to 6.2 percentage points. The model’s architecture effectively integrates global and local features, addressing challenges such as boundary blurring and contextual information loss. Despite the promising results, the authors acknowledge limitations related to the dataset’s size and diversity, which may affect the model’s generalization capabilities. Future work will focus on expanding the dataset and enhancing the model’s adaptability to various mural styles, thereby contributing to the intelligent detection of mural damage across different cultural contexts.