DOI: https://doi.org/10.1109/access.2025.3579076
تاريخ النشر: 2025-01-01
المؤلف: Lingxi Liu وآخرون
الموضوع الرئيسي: تحليل مواد التراث الثقافي
نظرة عامة
تقدم هذه الدراسة خط أنابيب جديد لمعالجة البيانات يدمج تقنيات التجميع المكاني والطيفي لاستخراج ورسم التوقيعات الطيفية من مجموعات بيانات متنوعة، بما في ذلك الأفلام السينمائية ولوحات النقطة. تؤكد الدراسة على فعالية الميزات المكانية في سياقات مثل التخطيط الحضري واكتشاف الأجسام، بينما يتم تسليط الضوء على الميزات الطيفية لدقتها في تحديد المواد، وخاصة في البيانات الطيفية الفائقة. إن تنفيذ خوارزمية التجميع البسيط الخطي التكراري (SLIC) يقلل بشكل كبير من حجم البيانات مع الحفاظ على غنى الطيف، مما يمكّن من تطبيق خوارزميات التعلم الآلي مثل Fuzzy C-Means (FCM) ونماذج المزيج الغاوسي (GMM) لتصنيف الأطياف إلى مجموعات ملونة متميزة وتحديد الخلطات المعقدة ومناطق التدهور.
تؤكد النتائج على إمكانيات تقنيات التعلم الآلي في تحسين تشخيص الأعمال الفنية، والحفاظ عليها، وترميمها، مع إمكانية نقل النماذج المطورة إلى سيناريوهات تحليلية مماثلة. تشمل اتجاهات البحث المستقبلية استكشاف إعدادات معلمات متقدمة لخوارزميات التجميع، مثل الطرق المعتمدة على مسافة ماهالانوبس، وتقييم تحليل الطيف المتعدد الفراكتل كنهج تكميلي للتجميع التقليدي. تهدف هذه التطورات إلى تحسين التعامل مع هياكل البيانات المتنوعة وتعزيز فهم الأنماط المعقدة داخل مجموعات البيانات، مما يسهم في استراتيجيات تحليل وترميم أكثر فعالية في الحفاظ على الفن.
مقدمة
تتناول مقدمة هذه الورقة البحثية التعقيدات المتعلقة بالحفاظ على الفن وترميمه، مع التأكيد على الاعتماد التقليدي على طرق أخذ العينات التي قد تكون محفوفة بالمخاطر للأعمال الفنية القيمة. لقد مكنت التطورات الأخيرة في التصوير الطيفي غير الجراحي، وخاصة التصوير الطيفي الفائق (HSI)، من تحديد ورسم مختلف المركبات الكيميائية من خلال ميزاتها الطيفية. ومع ذلك، فإن الطبيعة غير المتجانسة للأعمال الفنية تعقد تحديد خلطات المواد واكتشاف التدهور، مما يتطلب تقنيات تقسيم بيانات أكثر كفاءة. تسلط الورقة الضوء على قيود أساليب التعلم الآلي والإحصائية الحالية في تطبيقات التراث الثقافي (CH)، خاصة بسبب الخصائص الفريدة لبيانات التراث الثقافي، التي غالبًا ما تتضمن استجابات طيفية معقدة ومختلطة.
لمواجهة هذه التحديات، يقترح المؤلفون نهجًا جديدًا لتقسيم البيانات المكانية والطيفية المشتركة يستخدم خوارزمية التجميع البسيط الخطي التكراري (SLIC) لتعزيز تحليل بيانات HSI. يهدف هذا الأسلوب إلى تحقيق توازن بين تقليل تعقيد البيانات مع الاحتفاظ بالتفاصيل الطيفية، يتبعه تطبيق تقنيات التجميع غير الخاضعة للإشراف المتقدمة مثل Fuzzy C-Means ونماذج المزيج الغاوسي. سيتم إثبات فعالية هذا النهج من خلال تطبيقه على عملين فنيين تاريخيين، مع معايير أداء مقارنة مع تقنيات راسخة مثل خريطة زاوية الطيف وخوارزميات التجميع الصعبة. تهدف الدراسة إلى تحسين فهم مادة الفن، وتسهيل تحديد المواد بكفاءة، وتحديد مناطق التدهور، مما يسهم بشكل كبير في مجالات تشخيص الفن، والحفاظ عليه، وترميمه.
الطرق
تحدد قسم الورقة البحثية الطرق المستخدمة في الدراسة، مع التركيز على مجموعة البيانات والتقنيات التحليلية المستخدمة في الترميم الرقمي للأفلام التاريخية والأعمال الفنية. يتميز عينات الأفلام، المستمدة من مختبر ترميم الأفلام L’immagine Ritrovata، بهيكل ثلاثي الألوان مع طبقات متميزة من الأصباغ الصفراء، والمجنطة، والسماوية، التي تظهر معدلات تدهور متفاوتة مع مرور الوقت. تسلط الدراسة الضوء على التحديات التي تطرحها أنماط التدهور غير المتجانسة في ممارسات الترميم التقليدية، داعية إلى تقنيات الترميم الرقمي التي تسهل تحديد وتقسيم المناطق المتدهورة.
تشمل المنهجية خط أنابيب شامل لمعالجة البيانات، بدءًا من التجميع المكاني لبيانات التصوير الطيفي الفائق (HSI) باستخدام خوارزمية التجميع البسيط الخطي التكراري (SLIC). تقوم هذه التقنية بتقسيم الصورة إلى مناطق متراصة ومتجانسة، مما يسمح بتقليل البيانات بشكل فعال مع الحفاظ على التوقيعات الطيفية. تستخدم الدراسة طرق التجميع اللينة المتقدمة، مثل Fuzzy C-means ونماذج المزيج الغاوسي، لتعزيز مرونة حدود التجمع. تعمل مصفوفة المركز الناتجة، المستمدة من مناطق السوبر بكسل، كمدخل للتجميع الطيفي اللاحق، مما يضمن الاحتفاظ بالمعلومات الحيوية لتحديد المواد بدقة. تم تصميم النهج لتحسين عملية الترميم مع الحفاظ على سلامة الأعمال الفنية الأصلية.
النتائج
في قسم النتائج، تقدم الدراسة النتائج المستخلصة من تقسيم السوبر بكسل SLIC المطبق على كل من إطارات الأفلام ولوحة سيغناك. تؤكد التحليل على أهمية اختيار عدد مناسب من السوبر بكسل (k) لتحقيق توازن بين الكفاءة الحاسوبية ودقة التقسيم. بالنسبة لإطارات الأفلام، تم اختبار قيم k تتراوح من 500 إلى 2,000، مما يكشف أنه بينما كانت قيمة k الأعلى (2,000) تلتقط التفاصيل الدقيقة مثل خطوط الأشكال البشرية وإطارات اللوحات بشكل فعال، أدت قيمة k الأقل إلى تقسيمات أكبر وأقل تحديدًا تدمج الميزات المهمة مع الخلفية. أسفر التقسيم عن متوسط من 1,822 إلى 1,898 سوبر بكسل لكل إطار، مما قلل بشكل كبير من مجموعة البيانات من 4.8 مليون طيف إلى 7,466 مع الحفاظ على دقة طيفية كاملة.
بالنسبة للوحة سيغناك، تم تحديد القيمة المثلى لـ k لتكون 75,000، مما أسفر عن 74,697 سوبر بكسل متماسكة بصريًا من حجم صورة أصلي يقارب 29 مليون طيف. هذه السوبر بكسل، التي يبلغ متوسط حجمها 387 بكسل، حددت بفعالية نقاط الطلاء المختلفة وضربات الفرشاة، مع فصل متميز للألوان، كما هو موضح في الأشكال. ومع ذلك، واجهت الخوارزمية صعوبة مع الخطوط الرفيعة جدًا، خاصة في الشكل الذكري، وظلت بعض التفاصيل المعقدة غير محددة بشكل كافٍ بسبب قيود الخوارزمية ودقة التصوير الطيفي الفائق (HSI). بشكل عام، تسلط النتائج الضوء على التوازن بين تحميل السوبر بكسل والحفاظ على التفاصيل.
المناقشة
في قسم المناقشة، توضح الدراسة المنهجيات المستخدمة في الحصول على البيانات والتجميع الطيفي لعينات الأفلام ولوحة من القرن التاسع عشر، مع تسليط الضوء على استخدام تقنيات التصوير المتقدمة وخوارزميات التجميع. تم التقاط البيانات الطيفية باستخدام كاميرا طيفية مخصصة، والتي قدمت صورًا عالية الدقة عبر نطاق طيفي واسع. خضعت البيانات الأولية لعمليات معالجة مسبقة كبيرة لتحسين الجودة الطيفية، بما في ذلك تقليل الضوضاء وقص المناطق غير المفيدة. استخدمت الدراسة Fuzzy C-Means (FCM) ونماذج المزيج الغاوسي (GMM) للتجميع اللين، والتي أثبتت فعاليتها أكثر من طرق التجميع الصعبة التقليدية مثل K-means وتحليل التجميع الهرمي (HCA) في تمييز الفروق الطيفية الدقيقة في مناطق الأفلام المتدهورة.
أظهرت النتائج أن FCM وGMM حددت وقطعت بنجاح مناطق ذات مستويات تدهور متفاوتة في مجموعة بيانات الأفلام، حيث تفوقت GMM على جميع الطرق من خلال التقاط خطوط المناطق المتدهورة بشكل دقيق دون تصنيفات خاطئة. في المقابل، واجهت طرق التجميع الصعبة صعوبة في الغموض، خاصة في المناطق ذات التغيرات الطيفية الدقيقة. بالنسبة لتحليل اللوحة النيو-انطباعية، وجدت الدراسة أنه بينما قدمت خريطة زاوية الطيف (SAM) تحديدًا أوليًا للأصباغ، فإن قيودها في التعامل مع مجموعة البيانات الكبيرة وحساسيتها للتغيرات الطيفية استدعت تطبيق تقنيات التجميع غير الخاضعة للإشراف. في النهاية، تؤكد الدراسة على مزايا أساليب التجميع اللينة في إدارة البيانات الطيفية المعقدة بشكل فعال، مما يسهل تحديد ورسم خلطات الأصباغ وحالات التدهور في كل من مجموعات بيانات الأفلام واللوحات.
DOI: https://doi.org/10.1109/access.2025.3579076
Publication Date: 2025-01-01
Author(s): Lingxi Liu et al.
Primary Topic: Cultural Heritage Materials Analysis
Overview
This research presents a novel data processing pipeline that integrates spatial and spectral clustering techniques to extract and map spectral signatures from diverse datasets, including cinematic films and pointillism paintings. The study emphasizes the effectiveness of spatial features in contexts like urban planning and object detection, while spectral features are highlighted for their precision in material identification, particularly in hyperspectral data. The implementation of the Simple Linear Iterative Clustering (SLIC) superpixel algorithm significantly reduces data size while preserving spectral richness, enabling the application of machine learning algorithms such as Fuzzy C-Means (FCM) and Gaussian Mixture Models (GMM) for classifying spectra into distinct colorant groups and identifying complex mixtures and degradation areas.
The findings underscore the potential of machine learning techniques in enhancing artwork diagnostics, conservation, and restoration, with the developed models being transferable to similar analytical scenarios. Future research directions include exploring advanced parameter settings for clustering algorithms, such as Mahalanobis distance-based methods, and evaluating multifractal spectrum analysis as a complementary approach to traditional clustering. These advancements aim to improve the handling of diverse data structures and enhance the understanding of intricate patterns within the datasets, ultimately contributing to more effective analysis and restoration strategies in art conservation.
Introduction
The introduction of this research paper addresses the complexities involved in art conservation and restoration, emphasizing the traditional reliance on sampling methods that can be risky for valuable artworks. Recent advancements in non-invasive spectral imaging, particularly Hyperspectral Imaging (HSI), have enabled the identification and mapping of various chemical compounds through their spectral features. However, the heterogeneous nature of artworks complicates the identification of material mixtures and degradation detection, necessitating more efficient data segmentation techniques. The paper highlights the limitations of existing machine learning and statistical methods in cultural heritage (CH) applications, particularly due to the unique characteristics of CH data, which often involve complex and intermixed spectral responses.
To tackle these challenges, the authors propose a novel joint spatial-spectral data segmentation approach that utilizes the Simple Linear Iterative Clustering (SLIC) Superpixel algorithm to enhance the analysis of HSI data. This method aims to balance data complexity reduction with the retention of spectral details, followed by the application of advanced unsupervised clustering techniques such as Fuzzy C-Means and Gaussian Mixture Models. The effectiveness of this approach will be demonstrated through its application to two historical artworks, with performance benchmarks against established techniques like Spectral Angle Mapper and hard clustering algorithms. The study aims to improve the understanding of art materiality, facilitate efficient material identification, and localize areas of degradation, thereby contributing significantly to the fields of art diagnostics, conservation, and restoration.
Methods
The research paper section outlines the methods employed in the study, focusing on the dataset and the analytical techniques used for digital restoration of historical film and artwork. The film samples, sourced from the L’immagine Ritrovata Film Restoration Laboratory, are characterized by their trichromatic structure with distinct layers of yellow, magenta, and cyan dyes, which exhibit varying degradation rates over time. The study highlights the challenges posed by inhomogeneous degradation patterns in traditional restoration practices, advocating for digital restoration techniques that facilitate the identification and segmentation of degraded areas.
The methodology involves a comprehensive data processing pipeline, beginning with the spatial clustering of hyperspectral imaging (HSI) data using the Simple Linear Iterative Clustering (SLIC) algorithm. This technique segments the image into compact, homogeneous regions, allowing for effective data reduction while preserving spectral signatures. The study employs advanced soft clustering methods, such as Fuzzy C-means and Gaussian Mixture Models, to enhance cluster boundary flexibility. The resulting centroid matrix, derived from the superpixel regions, serves as input for subsequent spectral clustering, ensuring the retention of critical information for accurate material identification. The approach is designed to optimize the restoration process while maintaining the integrity of the original artworks.
Results
In the results section, the study presents findings from the SLIC superpixel segmentation applied to both film frames and Signac’s painting. The analysis emphasizes the importance of selecting an appropriate number of superpixels (k) to balance computational efficiency and segmentation accuracy. For the film frames, k values ranging from 500 to 2,000 were tested, revealing that while a higher k value (2,000) effectively captured fine details such as the contours of human figures and painting frames, a lower k value resulted in larger, less defined segments that merged important features with the background. The segmentation yielded an average of 1,822 to 1,898 superpixels per frame, significantly reducing the dataset from 4.8 million spectra to 7,466 while preserving full spectral resolution.
For Signac’s painting, the optimal k value was determined to be 75,000, resulting in 74,697 visually coherent superpixels from an original image size of nearly 29 million spectra. These superpixels, averaging 387 pixels in size, effectively delineated various paint dots and brush strokes, with distinct separation of colors, as illustrated in the figures. However, the algorithm struggled with very thin outlines, particularly in the male figure, and certain intricate details remained inadequately defined due to the limitations of the algorithm and the spatial resolution of hyperspectral imaging (HSI) data. Overall, the findings highlight the trade-offs in superpixel segmentation between computational load and detail preservation.
Discussion
In the discussion section, the research outlines the methodologies employed for data acquisition and spectral clustering of film samples and a 19th-century painting, highlighting the use of advanced imaging techniques and clustering algorithms. The spectral data were captured using a custom hyperspectral camera, which provided high-resolution images across a broad spectral range. The initial data underwent significant preprocessing to enhance spectral quality, including noise reduction and cropping of uninformative areas. The study utilized Fuzzy C-Means (FCM) and Gaussian Mixture Models (GMM) for soft clustering, which proved more effective than traditional hard clustering methods like K-means and Hierarchical Clustering Analysis (HCA) in distinguishing subtle spectral differences in degraded film areas.
The results demonstrated that FCM and GMM successfully identified and segmented regions of varying degradation levels in the film dataset, with GMM outperforming all methods by accurately capturing the contours of extensively degraded regions without misclassifications. In contrast, hard clustering methods struggled with ambiguity, particularly in regions with subtle spectral variations. For the analysis of the neo-impressionist painting, the study found that while the Spectral Angle Mapper (SAM) provided initial pigment identification, its limitations in handling the vast dataset and sensitivity to spectral variations necessitated the application of unsupervised clustering techniques. Ultimately, the research emphasizes the advantages of soft clustering approaches in effectively managing complex spectral data, facilitating better identification and mapping of pigment mixtures and degradation states in both film and painting datasets.