DOI: https://doi.org/10.1038/s41598-026-35056-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41501147
تاريخ النشر: 2026-01-07
المؤلف: Baggam Swathi وآخرون
الموضوع الرئيسي: الشبكات التنافسية التوليدية وتوليد الصور
نظرة عامة
تقدم ورقة البحث تقنية HDLIP-SHAR، وهي نموذج هجين للتعلم العميق مصمم لاستعادة الآثار التاريخية رقمياً. غالباً ما تكون طرق الاستعادة التقليدية كثيفة العمالة وعرضة للأخطاء البشرية، بينما تسمح الأساليب الرقمية بإجراء إصلاحات غير جراحية وقابلة للعكس. يستخدم نموذج HDLIP-SHAR تصفية الوسيط التكيفية (AMF) وتعزيز التباين لتحسين جودة الصورة، تليها بنية شبكة CNN الهجينة SqueezeNet لاستخراج الميزات الدلالية العميقة لتحديد الشقوق والأجزاء المفقودة والقوام الباهت. ثم يتم استخدام نموذج U-Net لتقسيم الصورة وتحديد مواقع المناطق التالفة، مما يؤدي إلى استخدام شبكة GAN القائمة على المحولات لملء المناطق المفقودة.
تم تقييم أداء نموذج HDLIP-SHAR مقابل مجموعة بيانات MuralDH، مما أسفر عن نتائج مثيرة للإعجاب بمتوسط نسبة ذروة الإشارة إلى الضوضاء (PSNR) تبلغ 64.59 ديسيبل، ومؤشر التشابه الهيكلي (SSIM) يبلغ 0.945، ودرجة التشابه البصري المدروسة (LPIPS) تبلغ 0.0401، متجاوزة الأساليب الحالية. ومع ذلك، تعترف الدراسة بالقيود، بما في ذلك الاعتماد على صور مرجعية عالية الجودة، والتحديات في استعادة الآثار المتدهورة بشدة، وكثافة الحوسبة عند معالجة الصور الكبيرة. بالإضافة إلى ذلك، يركز النموذج بشكل أساسي على الاستعادة البصرية، مما قد يتجاهل السياقات التاريخية والمادية التي يمكن أن تعزز الأصالة. يمكن أن تتضمن التحسينات المستقبلية زيادة المتانة عبر أنواع الآثار المتنوعة ودمج مصادر البيانات متعددة الأنماط لتعزيز موثوقية الاستعادة.
مقدمة
تسلط مقدمة ورقة البحث الضوء على أهمية الجداريات كآثار تاريخية وثقافية حيوية تعرضت للتدهور بسبب النشاط البشري والتآكل الطبيعي. تشكل طرق الاستعادة التقليدية، التي تعتمد على الخبرة اليدوية عبر مجالات متعددة، مخاطر حدوث أضرار لا يمكن عكسها لهذه الموارد غير القابلة للتجديد. استجابةً لذلك، ظهرت تقنيات الاستعادة الرقمية، مستفيدة من تقنيات الكمبيوتر لاستعادة وحفظ الجداريات بشكل فعال دون المساس بسلامتها. لا تساعد هذه الطريقة فقط في الاستعادة اليدوية ولكنها تسهل أيضًا إنشاء مجموعات بيانات قابلة للتكرار لحفظ التراث الثقافي.
تناقش الورقة تطور طرق استعادة الصور، مصنفة إياها إلى تقنيات تقليدية وأساليب مدفوعة بالتعلم العميق (DL). تواجه الطرق التقليدية، بما في ذلك التقنيات المعتمدة على الرقع والتقنيات المعتمدة على الانتشار، قيودًا في توليد بيانات جديدة واستعادة المناطق المتدهورة بشكل فعال. في المقابل، أثبتت طرق DL فعاليتها في التقاط المحتوى الدلالي والهيكلي من خلال التعلم من النهاية إلى النهاية، مما يجعلها مناسبة بشكل خاص لمهام الملء المعقدة. يمثل دمج الذكاء الاصطناعي وDL في الاستعادة الرقمية طريقًا واعدًا لحماية التراث الثقافي، مما يمكّن من تقنيات دقيقة وغير جراحية يمكنها إعادة بناء المناطق التالفة مع الحفاظ على الميزات الأصلية للدراسة والعرض في المستقبل.
طرق
تتناول قسم تحليل نتائج التجارب تقييم نموذج HDLIP-SHAR، الذي تم التحقق منه باستخدام مجموعة بيانات MuralDH، وهي مجموعة قوية من الصور عالية الجودة مصممة خصيصًا لاستعادة لوحات دونغوانغ رقمياً. تم إجراء المحاكاة باستخدام Python 3.6.5 على جهاز كمبيوتر مزود بمعالج Intel i5-8600k، وقرص SSD سعة 250 جيجابايت، وبطاقة رسومات GeForce، مما يشير إلى التركيز على الأداء الحوسبي الفعال لمهام معالجة الصور.
بالإضافة إلى ذلك، يشير القسم إلى أن المواد المستخدمة في هذا البحث يمكن الحصول عليها من المؤلف المقابل عند الطلب، مما يضمن الشفافية والوصول لمزيد من التحقيق أو تكرار نتائج الدراسة.
مناقشة
تقدم ورقة البحث تقنية HDLIP-SHAR، وهي نموذج هجين للتعلم العميق مصمم لاستعادة وملء صور الآثار التاريخية. يدمج هذا النموذج عدة منهجيات متقدمة، بما في ذلك شبكة CNN الهجينة SqueezeNet لاستخراج الميزات الدلالية العميقة، وU-Net لتقسيم دقيق للمناطق التالفة، وشبكة GAN القائمة على المحولات لعملية الملء. تعزز تقنية HDLIP-SHAR جودة الصورة المدخلة من خلال تحسين الميزات المتعددة التكيفية (AMF) وتعزيز التباين، مما يضمن أن النموذج يمكنه تحديد وإعادة بناء المناطق المفقودة أو التالفة بشكل فعال. تُظهر التحقق باستخدام مجموعة بيانات MuralDH أن HDLIP-SHAR يتفوق على الأساليب الحالية عبر مجموعة متنوعة من مقاييس الأداء.
تسلط مراجعة الأدبيات الضوء على مجموعة من الأبحاث السابقة في استعادة الصور، مع عرض تقنيات متنوعة مثل الملء متعدد المقاييس، والملء الشرطي، وطرق إعادة البناء ثلاثية الأبعاد. تشمل المساهمات البارزة استخدام GANs، ونماذج الانتشار، وآليات الانتباه لتحسين جودة الاستعادة وسلامة السياق. تؤكد الورقة على أهمية هذه التقدمات في تحقيق إعادة بناء عالية الدقة للآثار التاريخية، مما يبرز أهمية دمج أساليب التعلم العميق لتعزيز دقة وتماسك الاستعادة البصرية. بشكل عام، يمثل نموذج HDLIP-SHAR خطوة كبيرة إلى الأمام في مجال الاستعادة الرقمية، حيث يجمع بين تقنيات متطورة لمعالجة تحديات الحفاظ على الآثار التاريخية.
DOI: https://doi.org/10.1038/s41598-026-35056-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41501147
Publication Date: 2026-01-07
Author(s): Baggam Swathi et al.
Primary Topic: Generative Adversarial Networks and Image Synthesis
Overview
The research paper presents the HDLIP-SHAR technique, a hybrid deep learning model designed for the digital restoration of historical artefacts. Traditional restoration methods are often labor-intensive and susceptible to human error, whereas digital approaches allow for noninvasive and reversible repairs. The HDLIP-SHAR model employs adaptive median filtering (AMF) and contrast enhancement to enhance image quality, followed by a hybrid SqueezeNet CNN architecture to extract deep semantic features for identifying cracks, missing parts, and faded textures. The U-Net model is then utilized for image segmentation and localization of damaged regions, culminating in the use of a transformer-based Generative Adversarial Network (GAN) for inpainting the missing areas.
The performance of the HDLIP-SHAR model was evaluated against the MuralDH dataset, yielding impressive results with an average Peak Signal-to-Noise Ratio (PSNR) of 64.59 dB, Structural Similarity Index (SSIM) of 0.945, and Learned Perceptual Image Patch Similarity (LPIPS) of 0.0401, surpassing existing methods. However, the study acknowledges limitations, including dependence on high-quality reference images, challenges in restoring severely degraded artefacts, and computational intensity when processing large images. Additionally, the model focuses primarily on visual restoration, potentially neglecting historical and material contexts that could enhance authenticity. Future improvements could involve increasing robustness across diverse artefact types and integrating multimodal data sources to bolster restoration reliability.
Introduction
The introduction of the research paper highlights the significance of murals as vital historical and cultural artifacts that have suffered degradation due to human activity and natural erosion. Traditional restoration methods, which rely on manual expertise across various disciplines, pose risks of irreversible damage to these non-renewable resources. In response, digital restoration techniques have emerged, leveraging computer technologies to effectively restore and preserve murals without compromising their integrity. This approach not only aids in manual restoration but also facilitates the creation of replicable datasets for cultural heritage preservation.
The paper discusses the evolution of image restoration methods, categorizing them into traditional techniques and deep learning (DL)-driven approaches. Traditional methods, including patch-driven and diffusion-driven techniques, face limitations in generating novel data and efficiently restoring extensively degraded areas. In contrast, DL methods have proven effective in capturing semantic and structural content through end-to-end learning, making them particularly suitable for complex inpainting tasks. The integration of AI and DL in digital restoration presents a promising avenue for safeguarding cultural heritage, enabling precise, non-invasive techniques that can reconstruct damaged regions while maintaining original features for future study and display.
Methods
The section on Experimental Result Analysis details the evaluation of the HDLIP-SHAR model, which was validated using the MuralDH dataset, a robust collection of high-quality images specifically designed for the digital restoration of Dunhuang paintings. The simulations were conducted using Python 3.6.5 on a computer equipped with an Intel i5-8600k processor, a 250GB SSD, and a GeForce graphics card, indicating a focus on efficient computational performance for image processing tasks.
Additionally, the section notes that materials utilized in this research can be obtained from the corresponding author upon request, ensuring transparency and accessibility for further investigation or replication of the study’s findings.
Discussion
The research paper introduces the HDLIP-SHAR technique, a hybrid deep learning model designed for the restoration and inpainting of historical artefact images. This model integrates several advanced methodologies, including a hybrid SqueezeNet CNN for deep semantic feature extraction, U-Net for precise segmentation of damaged areas, and a transformer-based GAN for the inpainting process. The HDLIP-SHAR technique enhances input image quality through Adaptive Multi-Feature (AMF) and contrast enhancement, ensuring that the model can effectively identify and reconstruct missing or damaged regions. Validation using the MuralDH dataset demonstrates that HDLIP-SHAR outperforms existing methods across various performance metrics.
The literature review highlights a range of prior research in image restoration, showcasing diverse techniques such as multiscale inpainting, conditional inpainting, and 3D reconstruction methods. Notable contributions include the use of GANs, diffusion models, and attention mechanisms to improve restoration quality and contextual integrity. The paper emphasizes the significance of these advancements in achieving high-fidelity reconstructions of historical artefacts, underscoring the importance of integrating deep learning approaches to enhance the accuracy and visual coherence of restoration efforts. Overall, the HDLIP-SHAR model represents a significant step forward in the field of digital restoration, combining state-of-the-art techniques to address the challenges of preserving historical artefacts.