DOI: https://doi.org/10.3389/fmats.2026.1815017
تاريخ النشر: 2026-05-21
المؤلف: Ali Riza Durmaz وآخرون
الموضوع الرئيسي: تقنيات استرجاع الصور والفيديو المتقدمة
نظرة عامة
تقيّم هذه الدراسة أداء نماذج الأساس الناشئة، وبشكل خاص MatchAnything RoMa و ELoFTR، في مطابقة الصور متعددة الأنماط والتسجيل ضمن مجال علوم وهندسة المواد (MSE). تبرز الدراسة التحديات التي تطرحها المجهرية المترابطة للمواد، حيث غالبًا ما تظهر الصور معلومات متبادلة محدودة واختلافات كبيرة في مقاييس الطول. باستخدام مجموعة بيانات AmalgaMatch، التي تتكون من 187 زوجًا من الصور عبر مواد وأنماط مجهرية مختلفة، يقيم المؤلفون قدرات النماذج في معالجة مهام المطابقة النموذجية. تشير النتائج إلى أن MatchAnything RoMa يتفوق على ELoFTR في العديد من السيناريوهات، خاصة في المهام المتعلقة بتخطيط الاتجاه، والتقطيع التسلسلي، والكسور. ومع ذلك، لا تزال هناك تحديات في مهام معينة، مثل توصيف الانزياحات وتقسيم الانزلاق، حيث تظهر أزواج الصور اختلافات كبيرة في مجال الرؤية ومعلومات متبادلة منخفضة.
تؤكد الخاتمة على إمكانية التطبيق الأوسع لـ MatchAnything RoMa في MSE، نظرًا لأدائه المرضي عبر حالات استخدام متنوعة. كما تحدد الدراسة القيود، خاصة في سيناريوهات المطابقة التي تحتوي على اختلافات كبيرة في مجال الرؤية ونسب إشارة إلى ضوضاء منخفضة. يقترح المؤلفون استراتيجيات استدلال لتعزيز جودة المطابقة والموثوقية، ويقترحون أن تحسين النموذج في المستقبل قد يحسن أدائه في السياقات الصعبة. يدعون إلى تطوير نماذج مطابقة الصور المتخصصة المصممة لتطبيقات MSE، والتي يمكن أن تقلل من الحاجة إلى التدخل البشري وتحسن تعميم النموذج عبر مهام متنوعة.
مقدمة
تسلط المقدمة الضوء على الحاجة الملحة لفهم التفاعل بين التركيب، والميكروهيكل، والعيوب، وتضاريس العينة في تصميم المواد. نظرًا لقيود تقنيات القياس، غالبًا ما يستخدم الباحثون سير العمل المجهرية المترابطة التي تدمج طرق توصيف متعددة لالتقاط العلاقات المعقدة التي تؤثر على خصائص المواد. أحد التحديات الرئيسية في هذه السير هو مطابقة الصور، خاصة في السياقات متعددة الأنماط حيث complicate factors مثل المعلومات المتبادلة المحدودة، واختلافات التكبير، ومستويات الضوضاء، وتغيرات المنظور من محاذاة الصور. تتفاقم هذه التحديات في علوم وهندسة المواد (MSE)، حيث تحتوي الصور المجهرية غالبًا على معلومات تكاملية ضرورية لتحليل تفاعلات العيوب عبر مقاييس الطول المختلفة.
تناقش المقدمة أيضًا ظهور نماذج الأساس لمطابقة الصور، التي أظهرت وعدًا في التعميم ولكن لم يتم اختبارها في سياق المجهرية للمواد. لقد سهلت المطابقة الناجحة للصور متعددة الأنماط تقدمًا كبيرًا في فهم الظواهر مثل تقسيم الانزلاق البلاستيكي وهياكل الانزياح. ومع ذلك، لا تزال أتمتة مطابقة الصور عقبة كبيرة، حيث تتطلب غالبًا تدخلًا يدويًا، خاصة في السيناريوهات التي تتضمن تشوهات معقدة أو تشوهات شديدة في العينة. يهدف المؤلفون إلى التحقيق في إمكانية أتمتة سير العمل لمطابقة الصور باستخدام نماذج الأساس الحالية، استجابةً للحاجة المتزايدة للمعالجة الفعالة في ظل زيادة معدلات اكتساب الصور في المختبرات المستقلة.
طرق
في هذا القسم، يناقش المؤلفون المنهجيات المستخدمة في المجهرية للمواد، مع التركيز بشكل خاص على تقنيات المجهر الإلكتروني مثل المجهر الإلكتروني الماسح (SEM) والتشتت الخلفي الإلكتروني (EBSD). يوفر SEM دقة مكانية فائقة وعمق تركيز مقارنةً بالمجهر الضوئي، مما يسمح بتصوير مفصل لتضاريس السطح والاتجاه البلوري. يبرز المؤلفون أهمية أوضاع التصوير واختيارات الكاشف في توصيف المواد، مشيرين إلى أن EBSD يمكن أن يوفر قياسات كمية للاتجاه البلوري من خلال أنماط كيكوتشي. كما يصفون استخدام مقاييس مختلفة، مثل جودة الصورة (IQ) ومؤشر الثقة (CI)، لتقييم موثوقية البيانات المستمدة من هذه التقنيات.
يتناول القسم أيضًا منهجية مطابقة الصور والتسجيل، موضحًا نهجًا منهجيًا لتقييم أداء النموذج في مطابقة الصور المجهرية. يحدد المؤلفون خطوات المعالجة المسبقة، بما في ذلك تطبيع الصورة وإعادة الحجم، ويصفون أربعة أساليب مطابقة تم تقييمها: SIFT، ELoFTR، MA RoMa S، و MA RoMa P. يؤكدون على أهمية المطابقة القوية، خاصة في وجود تشوهات محلية، ويناقشون استخدام نموذج تجانس ثنائي الأبعاد لتصفية القيم الشاذة أثناء عملية المطابقة. يقدم المؤلفون أيضًا نهج أخذ عينات متوازن لاشتقاق تطابقات نقاط عالية الثقة، والتي تعتبر حاسمة لتقييم دقة المطابقات. أخيرًا، يستكشفون العلاقة بين خرائط الثقة للنموذج والميزات الميكروهيكلية المميزة، مشيرين إلى أن فعالية النموذج يمكن أن تختلف بناءً على وجود المعلومات المتبادلة في أزواج الصور ومستويات الضوضاء في البيانات.
نتائج
في هذا القسم، يقيم المؤلفون أداء نماذج MatchAnything الأساسية المختلفة باستخدام مجموعة بيانات AmalgaMatch، مقارنةً بها مع خوارزمية المطابقة SIFT، التي تعمل كخط أساس. تركز التقييمات على تطابقات النقاط المعلّمة يدويًا وامتثال النماذج لنموذج التجانس الملائم للتحقق. تشير النتائج إلى أن خوارزمية SIFT تعاني بشكل كبير، حيث تحقق ثلاث مطابقات ناجحة فقط من 187 زوجًا من الصور، ويرجع ذلك أساسًا إلى المعلومات المتبادلة المحدودة والمطابقات الفريدة غير الكافية. بالمقابل، يتفوق نموذج MA RoMa باستمرار على نموذج MA ELoFTR عبر مجموعات فرعية متعددة، على الرغم من أن كلا النموذجين يظهران تحديات مع بعض أزواج الصور، خاصة تلك التي تحتوي على تغييرات كبيرة في المظهر أو تشوهات هندسية معقدة.
تسلط النتائج الضوء على أنه بينما تظهر متغيرات MA RoMa معدلات نجاح عالية في مهام المجهرية للمواد، فإن أداء ELoFTR يتعطل بسبب نهجه في المطابقة شبه الكثيفة، الذي يكون أقل قوة أمام التغيرات الكبيرة في المنظور. يشير المؤلفون إلى أن النماذج تظهر تحملًا لضوضاء الصور، مما يشير إلى أن التحضير الأمثل للعينة قد لا يكون حاسمًا لأداء المطابقة. لوحظت تقلبات في جودة المطابقة عبر مجموعات المواد المختلفة، حيث تحقق بعض الأنماط مثل خرائط PRIAS نتائج أفضل. يستنتج المؤلفون أنه بينما تظهر النماذج الحالية وعدًا، خاصة في التعامل مع التشوهات الهندسية، فإن تحسين نماذج التحويل وتوسيع مجموعة البيانات ضروريان لتحسين دقة المطابقة في السيناريوهات الصعبة.
نقاش
في قسم النقاش، يتناول البحث قيود طرق تسجيل الصور التقليدية، خاصة تلك التي تعتمد على خوارزميات قائمة على القواعد مثل تحويل الميزات غير القابلة للتغيير (SIFT). بينما يحدد SIFT النقاط الرئيسية التي لا تتأثر بالقياس، والدوران، والإضاءة، إلا أنه يعاني من مهام تسجيل الصور متعددة الأنماط المعقدة، مثل تلك التي يتم مواجهتها في التصوير الطبي والمجهرية للمواد، بسبب التغيرات الكبيرة في المظهر والضوضاء. يبرز المؤلفون ظهور مطابقي الصور المعتمدين على التعلم العميق، مثل RoMa و ELoFTR، التي تظهر قوة وموثوقية وقدرات تعميم متفوقة عبر أنماط التصوير المختلفة. تستفيد هذه النماذج من التدريب المسبق عبر الأنماط الكبيرة لتحسين أداء المطابقة في مهام متنوعة، بما في ذلك تسجيل CT-MRI الطبي ومحاذاة الحراري-المرئي.
يناقش البحث أيضًا مساهمات مبادرة نموذج الأساس MatchAnything، التي تعزز أداء RoMa و ELoFTR من خلال التدريب المكثف على مجموعات بيانات غير متجانسة. تشير النتائج التجريبية إلى تحسينات كبيرة، حيث حقق RoMa تحسينًا يصل إلى 76.9% على مجموعات البيانات الطبية و ELoFTR أكثر من 400% في مهام CT-MR للكبد. يقترح المؤلفون تقييمًا منهجيًا لهذه النماذج على مجموعة بيانات AmalgaMatch، التي تشمل تقنيات المجهرية للمواد المختلفة، لتقييم قدرتها على التعميم وفعاليتها في سيناريوهات المطابقة متعددة الأنماط النموذجية. كما يحددون التحديات التي تطرحها المعلومات المتبادلة المتغيرة عبر أزواج الصور ويقترحون استراتيجيات لتحسين سير العمل لتسجيل الصور، مؤكدين على الحاجة إلى الأتمتة والكفاءة في تطبيقات علوم المواد.
DOI: https://doi.org/10.3389/fmats.2026.1815017
Publication Date: 2026-05-21
Author(s): Ali Riza Durmaz et al.
Primary Topic: Advanced Image and Video Retrieval Techniques
Overview
This research evaluates the performance of emerging foundation models, specifically MatchAnything RoMa and ELoFTR, in multimodal image matching and registration within the materials science and engineering (MSE) domain. The study highlights the challenges posed by correlative materials microscopy, where images often exhibit limited mutual information and significant differences in length scales. Using the AmalgaMatch dataset, which consists of 187 image pairs across various materials and microscopy modalities, the authors assess the models’ capabilities in addressing typical matching tasks. The findings indicate that MatchAnything RoMa outperforms ELoFTR in many scenarios, particularly in tasks related to Orientation Mapping, Serial Sectioning, and Fractography. However, challenges remain in specific tasks, such as dislocation characterization and slip partitioning, where image pairs demonstrate substantial field of view mismatches and low mutual information.
The conclusion emphasizes the potential for broader application of MatchAnything RoMa in MSE, given its satisfactory performance across diverse use cases. The study also identifies limitations, particularly in matching scenarios with large field of view discrepancies and low signal-to-noise ratios. The authors propose inference strategies to enhance matching quality and robustness and suggest that future fine-tuning of the model could improve its performance in challenging contexts. They advocate for the development of specialized image matching models tailored for MSE applications, which could reduce the need for human intervention and improve model generalization across various tasks.
Introduction
The introduction highlights the critical need for understanding the interplay between composition, microstructure, defects, and specimen topography in materials design. Due to the limitations of measurement techniques, researchers often employ correlative microscopy workflows that integrate multiple characterization methods to capture the complex relationships influencing material properties. A key challenge in these workflows is image matching, particularly in multimodal contexts where factors such as limited mutual information, magnification differences, noise levels, and perspective changes complicate the alignment of images. These challenges are exacerbated in materials science and engineering (MSE), where micrographs often contain complementary information essential for analyzing defect interactions across various length scales.
The introduction also discusses the emergence of foundation models for image matching, which have shown promise in generalization but have not been tested in the context of materials microscopy. Successful multimodal image matching has facilitated significant advancements in understanding phenomena such as plastic slip partitioning and dislocation structures. However, the automation of image matching remains a significant hurdle, as it often requires manual intervention, particularly in scenarios involving complex distortions or severe specimen deformations. The authors aim to investigate the potential for automating image matching workflows using current foundation models, addressing the growing need for efficient processing in the face of increasing image acquisition rates in autonomous laboratories.
Methods
In this section, the authors discuss the methodologies employed in materials microscopy, particularly focusing on electron microscopy techniques such as scanning electron microscopy (SEM) and electron backscatter diffraction (EBSD). SEM offers superior spatial resolution and depth of focus compared to light-optical microscopy, allowing for detailed imaging of surface topography and crystallographic orientation. The authors highlight the importance of imaging modes and detector choices in materials characterization, noting that EBSD can provide quantitative measurements of crystal orientation through Kikuchi patterns. They also describe the use of various metrics, such as image quality (IQ) and confidence index (CI), to assess the reliability of the data obtained from these techniques.
The section further elaborates on the image matching and registration methodology, detailing a systematic approach for evaluating model performance in matching micrographs. The authors outline the preprocessing steps, including image normalization and resizing, and describe the four matching approaches evaluated: SIFT, ELoFTR, MA RoMa S, and MA RoMa P. They emphasize the importance of robust matching, particularly in the presence of local distortions, and discuss the use of a 2D homography model to filter outliers during the matching process. The authors also introduce a balanced sampling approach to derive high-confidence point correspondences, which are crucial for assessing the accuracy of the matches. Finally, they explore the correlation between the model’s confidence maps and characteristic microstructural features, noting that the effectiveness of the model can vary based on the presence of mutual information in image pairs and the noise levels in the data.
Results
In this section, the authors evaluate the performance of various MatchAnything foundational model variants using the AmalgaMatch dataset, comparing them against the SIFT matching algorithm, which serves as a baseline. The evaluation focuses on hand-annotated point correspondences and the models’ adherence to a fitted homography model for validation. Results indicate that the SIFT algorithm struggles significantly, achieving only three successful matches out of 187 image pairs, primarily due to limited mutual information and insufficient unique matches. In contrast, the MA RoMa model consistently outperforms the MA ELoFTR model across multiple subsets, although both models exhibit challenges with certain image pairs, particularly those with significant appearance changes or complex geometrical distortions.
The findings highlight that while the MA RoMa variants demonstrate high success rates in materials microscopy tasks, the performance of ELoFTR is hindered by its semi-dense matching approach, which is less robust to large perspective changes. The authors note that the models show tolerance to image noise, suggesting that optimal specimen preparation may not be critical for matching performance. Variability in matching quality is observed across different material subsets, with certain modalities like PRIAS maps yielding better results. The authors conclude that while the current models show promise, particularly in handling geometric distortions, further optimization of transformation models and dataset expansion are necessary for improved matching accuracy in challenging scenarios.
Discussion
In the discussion section, the paper addresses the limitations of classical image registration methods, particularly those relying on rule-based algorithms like the Scale-Invariant Feature Transform (SIFT). While SIFT effectively identifies keypoints that are invariant to scale, rotation, and illumination, it struggles with complex multimodal image registration tasks, such as those encountered in medical imaging and materials microscopy, due to significant appearance variations and noise. The authors highlight the emergence of deep learning-based image matchers, such as RoMa and ELoFTR, which demonstrate superior robustness and generalization capabilities across various imaging modalities. These models leverage large-scale cross-modality pretraining to synthesize pixel-aligned image pairs, significantly improving performance on diverse tasks, including medical CT-MRI registration and thermal-visible alignment.
The paper further discusses the contributions of the MatchAnything foundation model initiative, which enhances the performance of RoMa and ELoFTR through extensive training on heterogeneous datasets. Empirical results indicate substantial improvements, with RoMa achieving up to 76.9% enhancement on medical datasets and ELoFTR over 400% on liver CT-MR tasks. The authors propose a systematic evaluation of these models on the AmalgaMatch dataset, which encompasses various materials microscopy techniques, to assess their generalization ability and effectiveness in typical multimodal matching scenarios. They also outline the challenges posed by varying mutual information across image pairs and suggest strategies for optimizing image registration workflows, emphasizing the need for automation and efficiency in materials science applications.