DOI: https://doi.org/10.1038/s40494-025-01565-6
تاريخ النشر: 2025-03-11
المؤلف: Jiaquan Shen وآخرون
الموضوع الرئيسي: معالجة الصور وإعادة البناء ثلاثي الأبعاد
نظرة عامة
تناقش هذه القسم أهمية اللوحات الجدارية القديمة من الصين كتراث ثقافي لا يقدر بثمن يوفر رؤى حول السياقات التاريخية والهياكل الاجتماعية. قام المؤلفون بإنشاء مجموعة بيانات شاملة لاكتشاف عناصر الجدارية، تشمل مجموعة متنوعة من الفئات المعلّمة من فترات تاريخية ومناطق مختلفة. تعتبر هذه المجموعة أداة مهمة لتقدم دراسة التاريخ الصيني القديم.
لتحسين تحليل هذه الجداريات، قدم المؤلفون خوارزمية تعزيز مسح عشوائي تكيفي مصممة لتحسين قوة النموذج ضد العيوب في اللوحات. بالإضافة إلى ذلك، قاموا بتطوير نموذج استخراج ميزات دلالية يستفيد من المعلومات السياقية وآلية انتباه متبقية لتحسين دقة اكتشاف عناصر الجدارية. تظهر التحليلات المقارنة أن طريقتهم تتفوق على العديد من خوارزميات اكتشاف الأهداف الحديثة، كما يتضح من نتائج التصوير المتفوقة.
النتائج
في هذا القسم، يتم التحقق من فعالية نموذج اكتشاف عناصر الأهداف المقترح للجداريات الصينية القديمة من خلال تجارب إبطال شاملة. تقيم الدراسة مساهمات ثلاثة مكونات رئيسية: نموذج تعزيز الصورة من خلال مسح المناطق العشوائية التكيفية، شبكة استخراج الميزات متعددة المقاييس الخفيفة الوزن، ونموذج تعزيز الميزات الدلالية. تشير النتائج إلى أن نموذج المسح العشوائي التكيفي يعزز دقة الاكتشاف بنسبة 5.9% من خلال محاكاة العيوب الواقعية في اكتشاف الجداريات. تحسن شبكة العمود الفقري الخفيفة الوزن الدقة بنسبة 2.3% مع تقليل الحمل الحسابي بنسبة 47.1%، ويعزز نموذج دمج المعلومات السياقية القوة في البيئات المعقدة بتكلفة حسابية إضافية ضئيلة. بشكل عام، يحقق النموذج دقة اكتشاف تبلغ 87.5% بتكلفة حسابية تبلغ 268 مليون FLOPs.
تظهر التحليلات المقارنة مع خوارزميات اكتشاف الكائنات الحديثة أن النموذج المقترح يتفوق في كل من الدقة والسرعة، حيث يحقق معدل استرجاع يبلغ 87.6%، ومعدل دقة يبلغ 89.3%، ودرجة F1 تبلغ 0.884، مع متوسط وقت اكتشاف يبلغ 0.022 ثانية لكل صورة. ومن الجدير بالذكر أن أداء الاكتشاف يختلف عبر فئات عناصر الجدارية المختلفة، مع ملاحظة دقة أعلى في الفئات التي تحتوي على المزيد من العينات وأقل تباين داخل الفئة، مثل الذكور والإناث. تؤكد النتائج على إمكانية النموذج في دعم أبحاث الجداريات والحفاظ عليها، بينما تهدف الأعمال المستقبلية إلى تعزيز القابلية للتعميم من خلال دمج أنماط جدارية متنوعة وتحسين تصنيفات العناصر.
المناقشة
في هذا القسم، يناقش المؤلفون أهمية الجداريات القديمة كتراث ثقافي وضرورة الحفاظ عليها من خلال التقنيات الرقمية. يسلطون الضوء على تطوير مجموعات بيانات وخوارزميات متنوعة تهدف إلى الاستعادة الافتراضية واكتشاف العيوب في الجداريات، مشيرين إلى أن المجموعات الحالية غالبًا ما تفتقر إلى تغطية شاملة من حيث العمر والتوزيع الجغرافي. لمعالجة هذه الفجوات، يقدم المؤلفون مجموعة بيانات كبيرة لاكتشاف الأهداف للجداريات الصينية القديمة، والتي تشمل مجموعة متنوعة من العناصر والفترات التاريخية، مما يوفر موارد قيمة للبحوث المستقبلية وجهود الحفظ.
كما يؤكد البحث على أهمية تقنيات تعزيز البيانات في تعزيز قوة نماذج الرؤية الحاسوبية. يقترح المؤلفون نموذج تعزيز مسح المناطق العشوائية التكيفية الذي يحاكي التحديات الواقعية مثل الحجب والأضرار، مما يحسن قدرة النموذج على التعرف على ميزات الجداريات غير المكتملة. بالإضافة إلى ذلك، يقدمون شبكة استخراج ميزات متعددة المقاييس خفيفة الوزن مصممة لمعالجة صور الجداريات بكفاءة مع الحفاظ على دقة عالية في اكتشاف عناصر متنوعة. تهدف هذه الطريقة المبتكرة إلى تسهيل اكتشاف وتحليل عناصر الجداريات القديمة بشكل أكثر فعالية، مما يساهم في الحفاظ على وفهم هذا الجانب الحيوي من التراث الثقافي.
DOI: https://doi.org/10.1038/s40494-025-01565-6
Publication Date: 2025-03-11
Author(s): Jiaquan Shen et al.
Primary Topic: Image Processing and 3D Reconstruction
Overview
This section discusses the significance of ancient mural paintings from China as invaluable cultural heritage that provides insights into historical contexts and societal structures. The authors have created a comprehensive dataset for target detection of mural elements, encompassing a diverse array of labeled categories from various historical periods and regions. This dataset is instrumental for advancing the study of ancient Chinese history.
To enhance the analysis of these murals, the authors introduced an adaptive random erasing augmentation algorithm designed to improve model robustness against defects in the paintings. Additionally, they developed a target semantic feature extraction model that leverages contextual information and a residual attention mechanism to improve the accuracy of detecting mural elements. A comparative analysis demonstrates that their method outperforms several state-of-the-art target detection algorithms, as evidenced by superior visualization results.
Results
In this section, the effectiveness of the proposed element target detection model for ancient Chinese murals is validated through extensive ablation experiments. The study evaluates the contributions of three key components: the adaptive random region erasure image augmentation model, the lightweight multi-scale feature extraction backbone network, and the semantic feature enhancement model. Results indicate that the adaptive random erasure model enhances detection accuracy by 5.9% by simulating real-world deficiencies in mural detection. The lightweight backbone network improves accuracy by 2.3% while reducing computational load by 47.1%, and the context information fusion module bolsters robustness in complex environments with minimal additional computational cost. Overall, the model achieves a detection accuracy of 87.5% with a computational cost of 268 million FLOPs.
Comparative analysis with state-of-the-art object detection algorithms reveals that the proposed model excels in both accuracy and speed, achieving a recall rate of 87.6%, a precision rate of 89.3%, and an F1-score of 0.884, with an average detection time of 0.022 seconds per image. Notably, the detection performance varies across different mural element categories, with higher accuracy observed in categories with more samples and less intra-class variation, such as Male and Female. The findings underscore the model’s potential for aiding mural research and conservation, while future work aims to enhance generalizability by incorporating diverse mural styles and refining element classifications.
Discussion
In this section, the authors discuss the significance of ancient murals as cultural heritage and the necessity for their preservation through digital technologies. They highlight the development of various datasets and algorithms aimed at the virtual restoration and defect detection of murals, noting that existing datasets often lack comprehensive coverage in terms of age and geographical distribution. To address these gaps, the authors introduce a large-scale target detection dataset for ancient Chinese murals, which encompasses a diverse range of elements and historical periods, thus providing valuable resources for future research and conservation efforts.
The paper also emphasizes the importance of data augmentation techniques in enhancing the robustness of computer vision models. The authors propose an adaptive random region erasing augmentation model that simulates real-world challenges such as occlusion and damage, thereby improving the model’s ability to recognize incomplete mural features. Additionally, they present a lightweight multi-scale feature extraction backbone network designed to efficiently process mural images while maintaining high accuracy in detecting various elements. This innovative approach aims to facilitate more effective detection and analysis of ancient mural elements, ultimately contributing to the preservation and understanding of this vital aspect of cultural heritage.