DOI: https://doi.org/10.1038/s40494-025-01607-z
تاريخ النشر: 2025-03-28
المؤلف: Le Chen وآخرون
الموضوع الرئيسي: المسح ثلاثي الأبعاد والتراث الثقافي
نظرة عامة
تقدم هذه الورقة البحثية نهجًا جديدًا في التعلم العميق للكشف السريع والدقيق وإعادة بناء اللوحات الجدارية التالفة رقميًا. يتضمن خوارزمية الكشف عن تلف اللوحات الجدارية YOLO، وهي تحسين لـ YOLOv10، وحدة Star Block وآلية الانتباه SimAM لتحسين التعرف على ميزات التلف الدقيقة. بالإضافة إلى ذلك، يتم استخدام شبكة دمج الميزات Efficient-RepGFPN لدمج الميزات منخفضة المستوى ومرتفع المستوى، مما يعزز قدرات استخراج الميزات للنموذج. يعزز تحسين دالة الخسارة من خلال Inner-SIoU تركيز النموذج على تحديد المناطق التالفة بدقة. تشير النتائج التجريبية إلى أن نموذج YOLO Mural يحقق دقة كشف تبلغ 72.7% ومعدل استرجاع يبلغ 60.1%، متفوقًا على YOLOv10 ونسخ YOLO الأخرى من حيث الدقة وكفاءة المعلمات.
علاوة على ذلك، يتم استخدام شبكة AOT-GAN التوليدية التنافسية لإعادة بناء الأقسام التالفة من اللوحات الجدارية رقميًا، محققة نسبة إشارة إلى ضوضاء ذروية (PSNR) تبلغ 34.842 ومقياس مؤشر التشابه الهيكلي (SSIM) يبلغ 0.9832، مما يبرز فعاليتها في استعادة جودة الصورة. تؤكد الدراسة على أهمية تطوير أدوات تكنولوجية لحماية واستعادة اللوحات الجدارية، التي تعد مكونات حيوية من التراث الثقافي. تشمل اتجاهات البحث المستقبلية توسيع مجموعات البيانات عالية الجودة لأنواع التلف المتنوعة واستكشاف دمج التعلم العميق مع التعلم المعزز لتعزيز تكيف النموذج وأدائه في مهام الكشف عن التلف والاستعادة.
طرق
في هذا القسم، يوضح المؤلفون التحليل التجريبي المقارن الذي تم إجراؤه لتقييم أداء نموذج YOLO Mural مقابل مختلف إصدارات سلسلة YOLO (من YOLOv3 إلى YOLOv10) ونماذج RT-DETR. تشير النتائج، الملخصة في الجدول 1، إلى أن YOLO Mural هو النموذج الأكثر كفاءة، حيث يحتوي على أقل عدد من المعلمات وFLOPs، بحجم نموذج يبلغ 202.3 ميجابايت أقل من YOLOv3. ومن الجدير بالذكر أن وقت تدريب YOLO Mural قد تم تقليله بشكل كبير إلى 0.743 ساعة، بانخفاض قدره 14.288 ساعة مقارنة بـ RT-DETR، مع تحقيق سرعة كشف في الوقت الحقيقي تبلغ 289.32 إطارًا في الثانية (fps). يضع هذا التصميم الخفيف YOLO Mural في موقع مناسب للنشر على الأجهزة ذات الموارد الحاسوبية المحدودة.
أظهرت خوارزمية YOLO Mural دقة تبلغ 72.7%، متجاوزة أداء YOLOv7 وRT-DETR وYOLOv9 وYOLOv10 بمقدار 56.68 و17.25 و9.32 و4.30 و4.15 نقطة مئوية، على التوالي. بالإضافة إلى ذلك، حسنت معدل الاسترجاع بحوالي 12.12 نقطة مئوية ومتوسط الدقة العامة (mAP@0.5) بحوالي 10.22 نقطة مئوية مقارنة بـ YOLOv9. كما أجرى المؤلفون مزيدًا من التحقق من خلال إعادة إنتاج ومقارنة YOLOv5s وYOLOv7n وخوارزميات أخرى من الأدبيات، مؤكدين أن YOLO Mural يحافظ على توازن متفوق بين الكفاءة الحاسوبية وسرعة الكشف والدقة في الكشف عن أنماط التلف المختلفة في اللوحات الجدارية.
نتائج
تكشف نتائج الدراسة حول نموذج الكشف عن تلف اللوحات الجدارية عن تقدم كبير تم تحقيقه من خلال خوارزمية YOLO Mural، التي تبني على إطار عمل YOLOv10. شمل عملية تدريب النموذج حساب دالة خسارة شاملة تتضمن خسائر الصندوق المحيط والفئة والثقة، مما يسهل تعديلات الوزن التكيفية لتحسين دقة التصنيف. من الجدير بالذكر أن خوارزمية YOLO Mural أظهرت خصائص تقارب متفوقة ومتوسط دقة عامة (mAP@0.5) يبلغ 64.73%، متفوقة على 59.28% لـ YOLOv10 بمقدار 5.45 نقطة مئوية. يُعزى هذا التحسن إلى دمج دالة خسارة محسنة وهندسة خفيفة الوزن، مما يسرع من سرعة الكشف – معالجة الإطارات في 3-4 مللي ثانية – ولكنه يحافظ أيضًا على معدلات دقة واسترجاع عالية، كما يتضح من المساحات الأكبر تحت منحنيات الدقة والاسترجاع (P-R).
تشير المقارنات البصرية لنتائج الكشف عبر نماذج YOLO المختلفة إلى أن خوارزمية YOLO Mural تتفوق في تحديد وتحديد مواقع التلف بدقة، خاصة الشقوق الدقيقة، مع إظهار مستويات ثقة أعلى في اكتشافاتها. عزز إدخال شبكة دمج الميزات Efficient-RepGFPN بشكل كبير قدرة النموذج على الكشف عن التفاصيل الدقيقة، مما يقلل من الإيجابيات الخاطئة ويعزز موثوقية الكشف بشكل عام. علاوة على ذلك، قامت الدراسة بتقييم فعالية خوارزميات الاستعادة المختلفة على اللوحات الجدارية التالفة الفعلية، حيث حققت خوارزمية AOT-GAN أفضل مقاييس الأداء من حيث PSNR وSSIM، مما يشير إلى نتائج استعادة عالية الجودة. بشكل عام، تؤكد النتائج على إمكانيات خوارزمية YOLO Mural وتقنيات إعادة البناء الرقمية في الحفاظ على التراث الثقافي من خلال منهجيات الرؤية الحاسوبية المتقدمة.
مناقشة
في هذه الدراسة، يقدم المؤلفون خوارزمية متقدمة، YOLO Mural، للكشف عن التلف في اللوحات الجدارية، مستفيدين من أحدث هندسة YOLOv10. تتضمن الخوارزمية ميزات مبتكرة مثل وحدة StarBlock-SimAM، التي تعزز استخراج الميزات من خلال آلية انتباه خفيفة الوزن، و Efficient-RepGFPN لدمج الميزات المحسن. تهدف هذه التحسينات إلى تحسين دقة النموذج وأدائه في الوقت الحقيقي مع معالجة التحديات مثل الحجب والإضاءة غير المتساوية في قوام اللوحات الجدارية المعقدة بشكل فعال. يعزز دمج دالة خسارة Inner-SIoU قدرة النموذج على التعميم وتحديد مواقع التلف بدقة.
تظهر النتائج التجريبية أن خوارزمية YOLO Mural تتفوق بشكل كبير على النماذج الأساسية، محققة تحسينات ملحوظة في معدلات الدقة والاسترجاع. تكشف دراسات الإزالة أن كل وحدة تساهم بشكل إيجابي في الأداء العام، حيث تحقق وحدة StarBlock-SimAM أكبر مكاسب في دقة الكشف. تعتبر مجموعة البيانات التي تم إنشاؤها من لوحات يونغوانغ الجدارية موردًا قيمًا للبحث المستقبلي في الحفاظ على التراث الرقمي، مما يبرز إمكانيات الخوارزمية للتطبيقات العملية في الحفاظ على التراث الثقافي. بشكل عام، تشير النتائج إلى أن النموذج المقترح لا يعزز فقط قدرات الكشف عن التلف، بل يؤسس أيضًا لأسس مزيد من التقدم في هذا المجال.
DOI: https://doi.org/10.1038/s40494-025-01607-z
Publication Date: 2025-03-28
Author(s): Le Chen et al.
Primary Topic: 3D Surveying and Cultural Heritage
Overview
This research paper presents a novel deep learning approach for the rapid and precise detection and digital reconstruction of damaged grotto murals. The proposed YOLO Mural breakage detection algorithm, an enhancement of YOLOv10, incorporates a Star Block module and the SimAM attention mechanism to improve the identification of subtle damage features. Additionally, an Efficient-RepGFPN feature fusion network is utilized to combine low-level and high-level features, enriching the model’s feature extraction capabilities. The optimization of the loss function through Inner-SIoU further enhances the model’s focus on accurately locating damaged areas. Experimental results indicate that the YOLO Mural model achieves a detection precision of 72.7% and a recall rate of 60.1%, outperforming YOLOv10 and other YOLO variants in terms of precision and parameter efficiency.
Furthermore, the AOT-GAN generative adversarial network is employed for the digital reconstruction of damaged mural sections, achieving a Peak Signal-to-Noise Ratio (PSNR) of 34.842 and a Structural Similarity Index Measure (SSIM) of 0.9832, which underscores its effectiveness in restoring image quality. The study emphasizes the importance of developing technological tools for the protection and restoration of grotto murals, which are vital components of cultural heritage. Future research directions include expanding high-quality datasets for diverse damage types and exploring the integration of deep learning with reinforcement learning to enhance model adaptability and performance in damage detection and restoration tasks.
Methods
In this section, the authors detail the comparative experimental analysis conducted to evaluate the performance of the YOLO Mural model against various iterations of the YOLO series (YOLOv3 to YOLOv10) and the RT-DETR models. The results, summarized in Table 1, indicate that YOLO Mural is the most efficient model, featuring the fewest parameters and FLOPs, with a model size of 202.3 MB less than YOLOv3. Notably, YOLO Mural’s training time was significantly reduced to 0.743 hours, a decrease of 14.288 hours compared to RT-DETR, while achieving a real-time detection speed of 289.32 frames per second (fps). This lightweight design positions YOLO Mural as suitable for deployment on devices with limited computational resources.
The YOLO Mural algorithm demonstrated a precision of 72.7%, surpassing the performance of YOLOv7, RT-DETR, YOLOv9, and YOLOv10 by 56.68, 17.25, 9.32, 4.30, and 4.15 percentage points, respectively. Additionally, it improved Recall by approximately 12.12 percentage points and mean Average Precision (mAP@0.5) by about 10.22 percentage points compared to YOLOv9. The authors also conducted further validation by reproducing and comparing YOLOv5s, YOLOv7n, and other algorithms from the literature, confirming that YOLO Mural maintains a superior balance of computational efficiency, detection speed, and precision in detecting various damage patterns in grotto murals.
Results
The results of the study on the grotto mural damage detection model reveal significant advancements achieved through the YOLO Mural algorithm, which builds upon the YOLOv10 framework. The model’s training process involved calculating a comprehensive loss function that incorporates bounding box, category, and confidence losses, facilitating adaptive weight adjustments for improved classification accuracy. Notably, the YOLO Mural algorithm demonstrated superior convergence characteristics and a mean average precision (mAP@0.5) of 64.73%, outperforming YOLOv10’s 59.28% by 5.45 percentage points. This improvement is attributed to the integration of an enhanced loss function and a lightweight architecture, which not only accelerates detection speed—processing frames in 3-4 ms—but also maintains high precision and recall rates, as evidenced by larger areas under the precision-recall (P-R) curves.
Visual comparisons of detection results across various YOLO models indicate that the YOLO Mural algorithm excels in accurately identifying and localizing damage, particularly subtle cracks, while exhibiting higher confidence levels in its detections. The introduction of an Efficient-RepGFPN feature fusion network significantly bolstered the model’s ability to detect fine details, reducing false negatives and enhancing overall detection reliability. Furthermore, the study evaluated the effectiveness of different restoration algorithms on actual damaged murals, with the AOT-GAN algorithm achieving the best performance metrics in terms of PSNR and SSIM, indicating high-quality restoration outcomes. Overall, the findings underscore the potential of the YOLO Mural algorithm and digital reconstruction techniques in the conservation of cultural heritage through advanced computer vision methodologies.
Discussion
In this study, the authors present an advanced algorithm, YOLO Mural, for detecting damage in grotto murals, leveraging the latest YOLOv10 architecture. The algorithm incorporates innovative features such as the StarBlock-SimAM module, which enhances feature extraction through a lightweight attention mechanism, and the Efficient-RepGFPN for optimized feature fusion. These enhancements aim to improve the model’s precision and real-time performance while effectively addressing challenges such as occlusion and uneven illumination in complex mural textures. The integration of the Inner-SIoU loss function further refines the model’s ability to generalize and accurately locate damage.
The experimental results demonstrate that the YOLO Mural algorithm significantly outperforms baseline models, achieving notable improvements in precision and recall rates. The ablation studies reveal that each module contributes positively to the overall performance, with the StarBlock-SimAM module yielding the most substantial gains in detection accuracy. The dataset created from the Yungang Grotto murals serves as a valuable resource for future research in digital heritage preservation, highlighting the algorithm’s potential for practical applications in cultural heritage conservation. Overall, the findings indicate that the proposed model not only enhances damage detection capabilities but also sets a foundation for further advancements in the field.