DOI: https://doi.org/10.1016/j.engappai.2025.110571
تاريخ النشر: 2025-03-22
المؤلف: Amirreza Mahbod وآخرون
الموضوع الرئيسي: تقنيات استرجاع الصور وتصنيفها
نظرة عامة
تقدم هذه القسم نظرة عامة على الدراسة حول استرجاع الصور الطبية المعتمد على المحتوى (CBMIR)، والتي تهدف إلى تحديد الصور الطبية المشابهة من قاعدة بيانات بناءً على ميزات الصورة بدلاً من البيانات الوصفية السريرية. تقيم الأبحاث بشكل خاص أداء الشبكات العصبية التلافيفية المدربة مسبقًا (CNNs) ونماذج الأساس على ثمانية أنواع من الصور الطبية ثنائية الأبعاد (2D) وثلاثية الأبعاد (3D) المستمدة من مجموعة بيانات MedMNIST V2. كما تفحص الدراسة تأثير حجم الصورة على أداء الاسترجاع.
تشير النتائج إلى أن نماذج الأساس، وخاصة UNI وCONCH، تتفوق على CNNs التقليدية عبر جميع مجموعات البيانات، مع ملاحظة ميزة أكثر وضوحًا في الصور ثنائية الأبعاد. بالإضافة إلى ذلك، تكشف التحليلات أن أحجام الصور الأكبر تميل إلى تعزيز أداء الاسترجاع قليلاً، على الرغم من أن الصور الأصغر لا تزال تحافظ على نتائج تنافسية. تختتم الدراسة بالاعتراف بحدودها وتقترح سبلًا للبحث المستقبلي، بما في ذلك تحسينات في طرق استخراج الميزات، وتحسين عمليات الاسترجاع للصور ثلاثية الأبعاد، وتطبيقات أوسع لنماذج الأساس في مهام التصوير الطبي.
مقدمة
تناقش مقدمة الورقة تطور تقنيات استرجاع الصور، مع تسليط الضوء على الانتقال من الطرق التقليدية المعتمدة على البيانات الوصفية إلى استرجاع الصور المعتمد على المحتوى (CBIR)، والذي يستخدم الميزات الكامنة للصور دون الحاجة إلى تصنيف موسع. هذا التحول ذو صلة خاصة في المجال الطبي، حيث يوفر استرجاع الصور الطبية المعتمد على المحتوى (CBMIR) مزايا كبيرة على نماذج التصنيف من خلال تقديم قائمة بأكثر الصور صلة بدلاً من علامة واحدة، مما يعزز سير العمل التشخيصي للمهنيين الطبيين. تؤكد الورقة أن CBMIR لا يساعد فقط في التشخيص ولكن أيضًا يدعم التدريب الطبي وتخطيط العلاج.
يشير المؤلفون إلى وجود فجوة بحثية في تطبيق نماذج الأساس – النماذج الكبيرة المدربة مسبقًا التي تم تدريبها بطريقة ذاتية الإشراف – ضمن CBMIR، خاصة فيما يتعلق بأدائها عبر أنواع التصوير الطبي المختلفة وتأثير حجم الصورة على فعالية الاسترجاع. تهدف الدراسة إلى سد هذه الفجوة من خلال مقارنة أداء استرجاع الشبكات العصبية التلافيفية المدربة مسبقًا (CNNs) المعروفة ونماذج الأساس المطورة حديثًا على كل من الصور الطبية ثنائية وثلاثية الأبعاد. تشير النتائج الرئيسية إلى أن نماذج الأساس تتفوق على CNNs لمجموعات البيانات ثنائية الأبعاد، بينما الأداء متقارب لمجموعات البيانات ثلاثية الأبعاد. بالإضافة إلى ذلك، تكشف التحليلات أن أحجام الصور الأكبر تعزز عمومًا أداء الاسترجاع، خاصة للصور ثنائية الأبعاد. تم جعل تنفيذ الدراسة متاحًا للجمهور لتعزيز إمكانية التكرار والتطبيق على مجموعات بيانات جديدة.
طرق البحث
توضح قسم الطرق سير العمل المستخدم في الدراسة، كما هو موضح في الشكل 1. تم هيكلة المنهجية لضمان نهج منهجي لتحقيق أهداف البحث. يتم تقديم أوصاف مفصلة لكل مكون من مكونات سير العمل، مع التأكيد على البروتوكولات والتقنيات المستخدمة طوال الدراسة. يعمل هذا القسم كأساس لفهم التصميم التجريبي والاستراتيجيات التحليلية المنفذة لتحقيق نتائج الدراسة.
النتائج
تسلط نتائج الدراسة الضوء على أداء نماذج مختلفة في استرجاع الصور الطبية عبر مجموعات البيانات ثنائية وثلاثية الأبعاد، مع تقديم تقييمات مفصلة في الجداول والأشكال التكميلية. لمجموعات البيانات ثنائية الأبعاد، تفوقت نماذج الأساس عمومًا على نماذج CNN المدربة مسبقًا، حيث حققت UNI أعلى أداء في الاسترجاع، متجاوزة DenseNet121 بفارق كبير عبر مقاييس تقييم متعددة (مثل، mAP@5، ACC@1). ومن الجدير بالذكر أن MedCLIP، على الرغم من مجموعة بيانات التدريب الأصغر، أدت أداءً استثنائيًا على مجموعة بيانات PneumoniaMNIST الفرعية بسبب توافق بيانات تدريبها مع مجال مجموعة البيانات. كما وجدت الدراسة أن حجم الصورة أثر إيجابًا على أداء ACC@1، على الرغم من أن النتائج التنافسية تم الحفاظ عليها حتى مع الصور الأصغر.
في تقييمات مجموعة البيانات ثلاثية الأبعاد، كان الفارق في الأداء بين نماذج الأساس وCNNs أضيق، حيث كانت CONCH تتصدر بشكل عام ولكن بفارق ضئيل فقط عن DenseNet121. تشير النتائج إلى أن تدريب CONCH على الصور النسيجية سمح لها بالتعميم بفعالية على صور الأشعة المقطعية ثلاثية الأبعاد وصور المجهر الإلكتروني. كشفت تحليل قوة النموذج أن OpenCLIP كان الأكثر استقرارًا عبر أحجام الصور المتغيرة، بينما كانت MedCLIP الأكثر حساسية. بالإضافة إلى ذلك، قامت الدراسة بتقييم سرعة النماذج، مشيرة إلى أنه بينما كانت CNNs عمومًا أسرع في أوقات التدريب، أظهرت نماذج الأساس مثل UNI سرعات اختبار تنافسية، خاصة على مجموعة بيانات PathMNIST. بشكل عام، تؤكد الأبحاث على إمكانيات نماذج الأساس في استرجاع الصور الطبية، خاصة عند تدريبها على أنماط محددة، وتبرز أهمية مراعاة كل من الأداء والكفاءة الحاسوبية في اختيار النموذج.
المناقشة
في هذه الدراسة، قام المؤلفون بإجراء تقييم شامل لاسترجاع الصور الطبية المعتمد على المحتوى (CBMIR) باستخدام مجموعة فرعية من ثمانية مجموعات بيانات من مجموعة MedMNIST V2، تشمل أنماط تصوير مختلفة مثل علم الأمراض القولوني، والتصوير الجلدي، وأشعة الصدر. تضمنت مجموعات البيانات كل من الصور ثنائية وثلاثية الأبعاد، حيث استخدم المؤلفون مجموعة من الشبكات العصبية التلافيفية المدربة مسبقًا (CNNs) ونماذج الأساس كمستخلصات للميزات. ومن الجدير بالذكر أنه تم تقييم نماذج مثل VGG19 وResNet50 وEfficientNetV2M مقابل نماذج الأساس الأحدث مثل MedCLIP وUNI، التي تم اختيارها لإمكاناتها في استرجاع الصور الطبية. سلطت الدراسة الضوء على مقاييس الأداء المستخدمة في التقييم، بما في ذلك متوسط الدقة (mAP@k) ودقة أعلى-k (ACC@k)، مع التأكيد على أهمية هذه المقاييس في تقييم فعالية الاسترجاع.
كشفت النتائج أن نماذج الأساس، وخاصة UNI وCONCH، أظهرت أداءً متفوقًا عبر مجموعات البيانات، خاصة للصور ثنائية الأبعاد. كما لاحظت الدراسة أن أحجام الصور الأكبر عمومًا حسنت أداء الاسترجاع، على الرغم من أن الصور الأصغر ظلت تنافسية. ومع ذلك، اعترف المؤلفون بالقيود، خاصة في استرجاع الصور ثلاثية الأبعاد والتكاليف الحاسوبية المرتبطة بتدريب نماذج الأساس. اختتموا باقتراح سبل للبحث المستقبلي، بما في ذلك تحسين تقنيات استخراج الميزات وتحسين طرق الاسترجاع للصور الطبية ثلاثية الأبعاد، مما يوسع تطبيق نماذج الأساس في مهام التصوير الطبي.
القيود
تقدم الدراسة الحالية عدة قيود يمكن معالجتها في الأبحاث المستقبلية. أولاً، بينما استخدمت الشبكات العصبية التلافيفية البارزة (CNNs) ونماذج الأساس المعروفة بفعاليتها في مهام رؤية الكمبيوتر اللاحقة، فإن استكشاف نماذج إضافية يمكن أن يعزز النتائج. ركزت الدراسة على نماذج الأساس ذات الأداء المثبت في استرجاع الصور الطبية، مستبعدة تلك التي حققت نتائج أقل من الأبحاث السابقة. على الرغم من استخدام نماذج CNN المدربة مسبقًا المستندة إلى مجموعة بيانات ImageNet كمعايير، إلا أن هناك إمكانية لتضمين CNNs المدربة خصيصًا على الصور الطبية لمقارنة أدائها مع نماذج الأساس. هذا ذو صلة خاصة حيث تفوقت النماذج المستندة إلى ViT بشكل متزايد على CNNs في مهام التدريب المسبق.
تتعلق قيود أخرى بالكفاءة الحاسوبية لدمج الميزات من الشرائح ثنائية الأبعاد في مجموعات البيانات ثلاثية الأبعاد. بينما استكشفت الدراسات السابقة طرقًا مثل أخذ عينات الشرائح وتقنيات تقليل الميزات، لا يزال هناك مجال كبير للتحسين. يمثل الفقدان الكامن للمعلومات المكانية بين الشرائح عند استخدام الصور ثنائية الأبعاد تحديات؛ ومع ذلك، لا يعني ذلك بالضرورة تقويض الأداء، كما يتضح من النتائج القابلة للمقارنة التي حققتها نماذج U-Net ثنائية الأبعاد/2.5D في مهام التقسيم. علاوة على ذلك، كان الحد الأقصى لحجم الصورة الذي تم فحصه في هذه الدراسة هو 224×224 بكسل، وهو ما يتماشى مع قيود مجموعة بيانات MedM-NIST V2. يمكن أن تستكشف الأبحاث المستقبلية أحجام صور أكبر، على الرغم من أن النتائج السابقة تشير إلى أن الأحجام الأصغر لا تزال يمكن أن تحقق أداء استرجاع تنافسي. أخيرًا، يمكن إجراء دراسات شاملة مماثلة عبر مهام رؤية الكمبيوتر الطبية المختلفة لتقييم أداء وقدرات تعميم نماذج الأساس خارج استرجاع الصور الطبية.
DOI: https://doi.org/10.1016/j.engappai.2025.110571
Publication Date: 2025-03-22
Author(s): Amirreza Mahbod et al.
Primary Topic: Image Retrieval and Classification Techniques
Overview
The section provides an overview of the study on content-based medical image retrieval (CBMIR), which aims to identify similar medical images from a database based on image features rather than clinical metadata. The research specifically evaluates the performance of various pre-trained convolutional neural networks (CNNs) and foundation models on eight types of two-dimensional (2D) and three-dimensional (3D) medical images sourced from the MedMNIST V2 dataset. The study also examines the impact of image size on retrieval performance.
The findings indicate that foundation models, particularly UNI and CONCH, outperform traditional CNNs across all datasets, with a more pronounced advantage observed in 2D images. Additionally, the analysis reveals that larger image sizes tend to enhance retrieval performance slightly, although smaller images still maintain competitive results. The study concludes by acknowledging its limitations and suggesting avenues for future research, including enhancements in feature extraction methods, optimization of retrieval processes for 3D images, and broader applications of foundation models in medical imaging tasks.
Introduction
The introduction of the paper discusses the evolution of image retrieval techniques, highlighting the transition from traditional metadata-based methods to content-based image retrieval (CBIR), which utilizes the inherent features of images without the need for extensive labeling. This shift is particularly relevant in the medical domain, where content-based medical image retrieval (CBMIR) offers significant advantages over classification models by providing a list of the most relevant images rather than a single label, thereby enhancing the diagnostic workflow for medical professionals. The paper emphasizes that CBMIR not only aids in diagnostics but also supports medical training and treatment planning.
The authors note a research gap in the application of foundation models—large-scale pre-trained models trained in a self-supervised manner—within CBMIR, particularly regarding their performance across various medical imaging types and the impact of image size on retrieval efficacy. The study aims to fill this gap by comparing the retrieval performance of well-known pre-trained convolutional neural networks (CNNs) and recently developed foundation models on both 2D and 3D medical images. Key findings indicate that foundation models outperform CNNs for 2D datasets, while performance is comparable for 3D datasets. Additionally, the analysis reveals that larger image sizes generally enhance retrieval performance, especially for 2D images. The implementation of the study is made publicly available to promote reproducibility and application to new datasets.
Methods
The Methods section outlines the workflow employed in the study, as illustrated in Figure 1. The methodology is structured to ensure a systematic approach to the research objectives. Detailed descriptions of each component of the workflow are provided, emphasizing the protocols and techniques utilized throughout the study. This section serves as a foundation for understanding the experimental design and analytical strategies implemented to achieve the study’s findings.
Results
The results of the study highlight the performance of various models in medical image retrieval across 2D and 3D datasets, with detailed evaluations presented in supplementary tables and figures. For 2D datasets, foundation models generally outperformed pre-trained CNN models, with UNI achieving the highest retrieval performance, surpassing DenseNet121 by significant margins across multiple evaluation metrics (e.g., mAP@5, ACC@1). Notably, MedCLIP, despite its smaller training dataset, performed exceptionally well on the PneumoniaMNIST sub-dataset due to the alignment of its training data with the dataset’s domain. The study also found that image size positively influenced ACC@1 performance, although competitive results were maintained even with smaller images.
In the 3D dataset evaluations, the performance gap between foundation models and CNNs was narrower, with CONCH leading overall but only marginally ahead of DenseNet121. The findings suggest that CONCH’s training on histological images allowed it to generalize effectively to 3D CT and electron microscopy images. The analysis of model robustness revealed that OpenCLIP was the most stable across varying image sizes, while MedCLIP was the most sensitive. Additionally, the study assessed the speed of models, noting that while CNNs generally had faster training times, foundation models like UNI demonstrated competitive testing speeds, particularly on the PathMNIST dataset. Overall, the research underscores the potential of foundation models in medical image retrieval, especially when trained on specific modalities, and highlights the importance of considering both performance and computational efficiency in model selection.
Discussion
In this study, the authors conducted a comprehensive evaluation of content-based medical image retrieval (CBMIR) using a subset of eight datasets from the MedMNIST V2 collection, encompassing various imaging modalities such as colon pathology, dermatoscopy, and chest X-ray. The datasets included both 2D and 3D images, with the authors employing a range of pre-trained convolutional neural networks (CNNs) and foundation models as feature extractors. Notably, models like VGG19, ResNet50, and EfficientNetV2M were benchmarked against newer foundation models such as MedCLIP and UNI, which were selected for their potential in medical image retrieval. The study highlighted the performance metrics used for evaluation, including mean average precision (mAP@k) and top-k accuracy (ACC@k), emphasizing the importance of these metrics in assessing retrieval effectiveness.
The findings revealed that foundation models, particularly UNI and CONCH, exhibited superior performance across the datasets, especially for 2D images. The study also noted that larger image sizes generally improved retrieval performance, although smaller images remained competitive. However, the authors acknowledged limitations, particularly in the retrieval of 3D images and the computational costs associated with training foundation models. They concluded by suggesting avenues for future research, including enhancing feature extraction techniques and optimizing retrieval methods for 3D medical images, thereby expanding the application of foundation models in medical imaging tasks.
Limitations
The current study presents several limitations that could be addressed in future research. Firstly, while it utilized prominent convolutional neural networks (CNNs) and foundation models known for their efficacy in downstream computer vision tasks, the exploration of additional models could enhance the findings. The study focused on foundation models with proven performance in medical image retrieval, excluding those with inferior results from prior research. Although well-established pretrained CNN models based on the ImageNet dataset were used as benchmarks, there is potential for incorporating CNNs specifically trained on medical images to compare their performance against foundation models. This is particularly relevant as ViT-based models have increasingly outperformed CNNs in pre-training tasks.
Another limitation pertains to the computational efficiency of merging features from 2D slices in 3D datasets. While previous studies have explored methods such as slice sampling and feature reduction techniques, there remains significant scope for improvement. The inherent loss of spatial information between slices when using 2D images poses challenges; however, it does not necessarily compromise performance, as evidenced by comparable results achieved by 2D/2.5D U-Net models in segmentation tasks. Furthermore, the maximum image size examined in this study was 224×224 pixels, which aligns with the MedM-NIST V2 dataset’s constraints. Future research could investigate larger image sizes, although previous findings suggest that smaller sizes can still yield competitive retrieval performance. Lastly, similar comprehensive studies could be conducted across various downstream medical computer vision tasks to assess the performance and generalization capabilities of foundation models beyond medical image retrieval.