DOI: https://doi.org/10.1038/s40494-026-02385-y
تاريخ النشر: 2026-03-21
المؤلف: Kaiyi Fang وآخرون
الموضوع الرئيسي: المسح ثلاثي الأبعاد والتراث الثقافي
نظرة عامة
تناقش هذه القسم أهمية الجداريات كتراث ثقافي والتحديات التي تطرحها تدهورها، مما يبرز الحاجة الملحة للت digitization. غالبًا ما تكافح تقنيات الهيكل من الحركة التقليدية (SfM) مع بيانات الجداريات بسبب مشكلات مثل القوام المتكررة، والمناطق ذات القوام المنخفض، ونقص بيانات التعريف الخاصة بالكاميرا، مما يؤدي إلى تطابق غير كافٍ للميزات وإعادة بناء غير مستقرة.
لتجاوز هذه التحديات، يقترح المؤلفون نظام SfM موجه نحو الجداريات يستخدم خوارزمية تطابق ميزات موجهة بالاهتمام جنبًا إلى جنب مع خط أنابيب إعادة بناء متناثر مصمم خصيصًا. يتضمن هذا الخط أنابيب تقدير البعد البؤري وضبط الحزمة القائم على الحواف. تشير النتائج التجريبية من مجموعات بيانات الجداريات المستمدة من كهوف موغاو إلى أن النظام المقترح يعزز بشكل كبير كل من دقة إعادة البناء والموثوقية، مما يضع أساسًا تقنيًا موثوقًا للت digitization الواسع النطاق للجداريات ويساهم في الحفاظ على التراث الجداري ودراسته.
طرق
في هذا القسم، يصف المؤلفون نظام الهيكل من الحركة (SfM) المصمم خصيصًا للت digitization لبيانات الجداريات، مع معالجة التحديات التي تطرحها هندسة جدران الكهوف غير المتساوية التي يمكن أن تعطل طرق تجميع الصور التقليدية. يركز بروتوكول الاستحواذ المقترح على أهمية ضمان تداخل كافٍ بين المشاهد المجاورة لتسهيل إعادة البناء المستقرة، بينما يتم تقديم وحدة تطابق موجهة بالاهتمام لتقليل المتطلبات الحسابية وتعزيز النتائج المتسقة هندسيًا.
يتكون نظام SfM من وحدتين رئيسيتين: استخراج نقاط الميزات والتطابق، وإعادة البناء المتناثرة. تستخدم وحدة تطابق الميزات خوارزمية تعتمد على آلية الاهتمام، مما يعزز كل من دقة وكفاءة تطابق الميزات. في الوقت نفسه، تستخدم وحدة إعادة البناء المتناثرة استراتيجيات تقدير البعد البؤري المخصصة وضبط الحزمة، مما يساهم في تحسين جودة إعادة البناء. تهدف هذه الطريقة المخصصة إلى تحسين عملية SfM لبيئات الجداريات المعقدة، مما يضمن نتائج موثوقة وقوية.
النتائج
تركز نتائج هذه الدراسة على تحليل صور الجداريات من كهوف موغاو الواقعة في دونغوانغ، مقاطعة قانسو. تتكون مجموعة البيانات المستخدمة للاختبار من 9 مجموعات تمثيلية من صور الجداريات المستمدة من أكاديمية دونغوانغ، تشمل الكهوف 12، 19، 72، 148، 172، 322، 390، و428، بالإضافة إلى جداريات مختارة من كهوف في مقاطعة سوباي. تم تحليل ما مجموعه 1800 صورة، تمثل مجموعة متنوعة من فئات الجداريات النموذجية. تم توثيق إجراءات التنفيذ والتدريب بالتفصيل في الملحق ب.
المناقشة
يقدم قسم المناقشة في ورقة البحث إطار عمل جديد لتطابق الميزات الموجه بالاهتمام مصمم خصيصًا لصور الجداريات، مع معالجة التحديات مثل القوام المتكررة والطلبات الحسابية العالية. تستخدم الطريقة المقترحة تجسيدات عالية الأبعاد لنقاط الميزات، والتي تتم معالجتها من خلال شبكة متعددة الحلقات موجهة بالاهتمام لتعزيز التجميع السياقي وكبح التوافقات غير المعقولة. تشمل الابتكارات الرئيسية استبدال خوارزمية سينكهورن التقليدية بحساب تشابه منتج متجه خفيف الوزن، مما يؤدي إلى تقليل الحمل الحسابي بنسبة 77% مع الحفاظ على الدقة. بالإضافة إلى ذلك، يسمح دمج بوابات الاهتمام المكاني القابلة للتعلم بإدخال قيود هندسية، مما يحسن درجات التطابق من خلال إعطاء الأولوية للتطابقات المتسقة مكانيًا.
تظهر تقييم خوارزمية التطابق المعتمدة على الاهتمام أدائها المتفوق مقارنة بالطرق الكلاسيكية مثل تطابق الجار الأقرب، SuperGlue، وLightGlue، محققة أعلى معدلات دقة واسترجاع على مجموعات بيانات الجداريات. تؤكد دراسة الإزالة أن كل من استبدال خوارزمية سينكهورن وإدخال الوعي بموقع نقاط الميزات يعززان بشكل كبير مقاييس الأداء. علاوة على ذلك، فإن خط أنابيب إعادة البناء المتناثر المقترح، الذي يتضمن وحدة تقدير البعد البؤري الخاصة بالجداريات واستراتيجية ضبط الحزمة القائم على الحواف، يعالج بفعالية القيود في الأنظمة الحالية. تكشف التجارب المقارنة أن الطريقة المقترحة تتفوق على الأساليب التقليدية من حيث دقة إعادة البناء والموثوقية، مما يثبت قابليتها للتطبيق في digitization الواسع النطاق للجداريات.
DOI: https://doi.org/10.1038/s40494-026-02385-y
Publication Date: 2026-03-21
Author(s): Kaiyi Fang et al.
Primary Topic: 3D Surveying and Cultural Heritage
Overview
The section discusses the significance of murals as cultural heritage and the challenges posed by their deterioration, emphasizing the urgent need for digitization. Traditional Structure-from-Motion (SfM) techniques often struggle with mural data due to issues such as repetitive textures, low-texture areas, and lack of camera metadata, which lead to inadequate feature matching and unstable reconstructions.
To overcome these challenges, the authors propose a mural-oriented SfM system that employs an attention-guided feature matching algorithm alongside a tailored sparse reconstruction pipeline. This pipeline includes focal length estimation and edge-based bundle adjustment. Experimental results from mural datasets sourced from the Mogao Grottoes indicate that the proposed system significantly enhances both reconstruction accuracy and robustness, thereby establishing a reliable technical foundation for large-scale mural digitization and contributing to the preservation and study of mural heritage.
Methods
In this section, the authors describe a Structure from Motion (SfM) system specifically designed for the digitization of mural data, addressing the challenges posed by uneven grotto wall geometries that can disrupt traditional image stitching methods. The proposed acquisition protocol emphasizes the importance of ensuring sufficient overlap between adjacent views to facilitate stable reconstruction, while an attention-guided matching module is introduced to reduce computational demands and promote geometrically consistent results.
The SfM system comprises two primary modules: feature point extraction and matching, and sparse reconstruction. The feature matching module employs an attention mechanism-based algorithm, which enhances both the accuracy and efficiency of feature matching. Concurrently, the sparse reconstruction module utilizes custom focal length estimation and bundle adjustment strategies, contributing to improved reconstruction quality. This tailored approach aims to optimize the SfM process for complex mural environments, ensuring robust and reliable outcomes.
Results
The results of this study focus on the analysis of mural images from the Mogao Grottoes located in Dunhuang, Gansu Province. The dataset utilized for testing consists of 9 representative sets of mural images sourced from the Dunhuang Academy, encompassing Caves 12, 19, 72, 148, 172, 322, 390, and 428, along with selected murals from grottoes in Subei County. In total, 1800 images were analyzed, representing a diverse array of typical mural categories. Detailed implementation and training procedures are documented in Supplementary B.
Discussion
The discussion section of the research paper presents a novel attention-guided feature matching framework specifically designed for mural images, addressing challenges such as repetitive textures and high computational demands. The proposed method utilizes high-dimensional embeddings for feature points, which are processed through a Multi-loop Attention network to enhance contextual aggregation and suppress implausible correspondences. Key innovations include the replacement of the traditional Sinkhorn algorithm with a lightweight vector cross-product similarity computation, resulting in a 77% reduction in computational overhead while maintaining accuracy. Additionally, the integration of learnable spatial attention gates allows for the incorporation of geometric constraints, improving matching scores by prioritizing spatially consistent matches.
The evaluation of the attention-based matching algorithm demonstrates its superior performance compared to classical methods like Nearest Neighbor Matching, SuperGlue, and LightGlue, achieving the highest accuracy and recall rates on mural datasets. An ablation study confirms that both the replacement of the Sinkhorn algorithm and the introduction of feature point location awareness significantly enhance performance metrics. Furthermore, the proposed sparse reconstruction pipeline, which includes a mural-specific focal length estimation module and an edge-based bundle adjustment strategy, effectively addresses limitations in existing systems. Comparative experiments reveal that the proposed method outperforms traditional approaches in terms of reconstruction accuracy and robustness, validating its applicability for large-scale mural digitization.
