DOI: https://doi.org/10.1038/s41598-026-38422-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41876591
تاريخ النشر: 2026-03-24
المؤلف: Surbhi Tyagi وآخرون
الموضوع الرئيسي: تقنيات استرجاع الصور وتصنيفها
نظرة عامة
تقدم هذه الدراسة CTD-Net (شبكة التعلم العميق للألوان والملمس)، وهو نظام جديد لاسترجاع الصور المعتمد على المحتوى (CBIR) يجمع بين الميزات اليدوية وميزات التعلم العميق لتحسين أداء الاسترجاع. تعتمد أنظمة CBIR التقليدية عادةً على ميزات يدوية أو نماذج تعلم عميق، مما يحد من قدرتها على التقاط المعلومات البصرية والدلالية المعقدة. يتغلب CTD-Net على هذه القيود من خلال دمج ميزات اللون من هيستوغرام اللون (CH) ولحظات اللون (CM)، وميزات الملمس من الأنماط الثنائية المحلية (LBP) وتحويل المويجات (WT)، وميزات عميقة مستخرجة من نموذج EfficientNet-B7. يساهم دمج الميزات الهجين هذا بشكل كبير في تحسين دقة الاسترجاع، محققًا معدلات تصل إلى 98.85%، 92.40%، و88.94% على مجموعات بيانات Corel-1K وCorel-10K وCaltech-101، على التوالي، متجاوزًا الطرق الحالية.
تؤكد الدراسة أيضًا على التطبيقات العملية لـ CTD-Net في مجالات متنوعة، بما في ذلك تحليل الصور الطبية، والحفاظ على التراث الثقافي، والاستشعار عن بعد، والتفتيش الصناعي، وأنظمة التوصية متعددة الوسائط. إن بنية النظام جاهزة لتحسينات مستقبلية، مثل دمج الدمج الهجين مع المحولات البصرية لتحسين الفهم الدلالي ونشر EfficientNet الكمي لاسترجاع الصور في الوقت الحقيقي على الهواتف المحمولة. ستركز الأبحاث المستقبلية أيضًا على التكيف مع المجالات عبر مجموعات البيانات وتقنيات الفهرسة على نطاق واسع لتسهيل الاسترجاع من قواعد بيانات الصور الكبيرة. الشيفرة المصدرية ومجموعات البيانات المستخدمة في هذه الدراسة متاحة للجمهور، مما يعزز المزيد من الاستكشاف وتطبيق إطار عمل CTD-Net.
مقدمة
في العصر الرقمي، أدت زيادة تقنيات التقاط الصور إلى حجم هائل من الصور الفوتوغرافية، مما يستدعي طرقًا فعالة لاسترجاع الصور من قواعد بيانات واسعة. استرجاع الصور، وهو مفهوم تم تقديمه في السبعينيات، يعتمد تقليديًا على البيانات الوصفية مثل العناوين أو الكلمات الرئيسية لتحديد مواقع الصور. ومع ذلك، فإن عملية التوصيف اليدوي تستغرق وقتًا طويلاً وتكون مكلفة، مما دفع إلى إجراء أبحاث كبيرة في التوصيف التلقائي للصور. تسمح هذه العملية، التي تستخدم استرجاع الصور المعتمد على النص (TBIR) واسترجاع الصور المعتمد على المحتوى (CBIR)، للأنظمة بإضافة البيانات الوصفية تلقائيًا إلى الصور. يتطابق TBIR مع استفسارات المستخدم مع العلامات ولكنه غالبًا ما ينتج نتائج غير دقيقة، بينما يركز CBIR على خصائص الصورة مثل اللون والشكل والملمس، مما يوفر نتائج استرجاع أكثر دقة.
على الرغم من التقدم في تقنيات استرجاع الصور على مدار الثلاثين عامًا الماضية، بما في ذلك الطرق المعتمدة على المحتوى والطرق المعتمدة على الكائنات، تواجه طرق CBIR الحالية قيودًا ملحوظة. تعتمد الطرق التقليدية على ميزات مستخرجة يدويًا تكون غالبًا محددة المجال، مما يحد من قابليتها العامة. بالإضافة إلى ذلك، تواجه هذه الطرق تحديات تتعلق بالقدرة على التوسع بسبب المتطلبات الحاسوبية لاستخراج الميزات. لا يزال هناك فجوة دلالية كبيرة بين الميزات منخفضة المستوى والفهم الدلالي عالي المستوى، مما يبرز الحاجة إلى مزيد من البحث والابتكار في مجال استرجاع الصور.
طرق
تتناول المنهجية المقترحة لأنظمة استرجاع الصور تحدي تحديد الصور الفوتوغرافية التي تشترك في علاقات دلالية مع صورة استعلام مقدمة من المستخدم. أحد المكونات الرئيسية لهذا النهج هو استخدام هيستوغرامات اللون، التي تمثل بصريًا توزيع كثافات الألوان داخل الصورة. تُستخدم هذه التقنية على نطاق واسع في رؤية الكمبيوتر ومعالجة الصور لفعاليتها في تبسيط معلومات الصورة، مما يسهل المقارنة والتصنيف.
تم تقييم أداء نظام CTD-Net المقترح بدقة مقارنةً بأحدث طرق استرجاع الصور المعتمدة على المحتوى (CBIR) عبر مجموعات بيانات متعددة، بما في ذلك Corel-1K وCorel-10K وCaltech-101. أظهر CTD-Net تحسينات كبيرة، متفوقًا على أفضل الطرق اليدوية بفارق 14.47% و29.09% على Corel-1K وCorel-10K، على التوالي. بالإضافة إلى ذلك، تفوق على نماذج التعلم العميق المختلفة والتقنيات الهجينة، مؤكدًا استراتيجيته القوية في الدمج التي تدمج بشكل فعال الميزات اليدوية مع ميزات التعلم العميق من EfficientNet-B7. على الرغم من معدلات الدقة العالية، فإن متطلبات النظام للطاقة الحاسوبية الكبيرة تشير إلى أنه الأنسب للاستخدام في بيئات موثوقة. يُوصى بإجراء أبحاث مستقبلية لاستكشاف تطبيقه على مجموعات بيانات الصور المتنوعة والمعاصرة، مما قد يعزز من فائدته العملية.
النتائج
يقدم قسم “النتائج” تحليلًا شاملاً لمجموعة البيانات المستخدمة في الدراسة، موضحًا خصائصها ونتائج التجارب التي تم إجراؤها. تتكون مجموعة البيانات من ميزات متنوعة تم تقييمها بشكل منهجي لتقييم تأثيرها على أهداف البحث. تم استخدام مقاييس رئيسية لتQuantify الأداء، وتشير النتائج إلى وجود ارتباطات كبيرة بين متغيرات معينة والنتائج المرغوبة.
تسلط نتائج التجارب الضوء على فعالية المنهجية المقترحة، مما يظهر تحسينات على النماذج الأساسية. تكشف التحليلات الإحصائية أن التحسينات التي تم تحقيقها ليست فقط ذات دلالة إحصائية ولكن أيضًا ذات صلة عملية، مما يشير إلى أن النهج قد يكون مفيدًا في التطبيقات الواقعية. بشكل عام، تؤكد النتائج على أهمية خصائص مجموعة البيانات في التأثير على النتائج وتوفر أساسًا للبحوث المستقبلية في هذا المجال.
نقاش
يسلط قسم النقاش في ورقة البحث الضوء على التحديات والتقدم في استرجاع الصور المعتمد على المحتوى (CBIR)، مؤكدًا الحاجة إلى أنظمة يمكنها تحليل الصور بدقة تشبه البشر. تعتمد طرق CBIR التقليدية على ميزات يدوية، والتي يمكن أن تكون محدودة من حيث التخصص في المجال ومتطلبات الحوسبة. يستفيد نظام CTD-Net المقترح من نموذج EfficientNet-B7 لاستخراج الميزات المحلية والعالمية، مما يحسن بشكل كبير من دقة الاسترجاع عبر مجموعات بيانات متنوعة، بما في ذلك Corel-1K وCorel-10K وCaltech-101. يهدف هذا النهج إلى سد الفجوة الدلالية بين الميزات التي تولدها الآلة والإدراك البصري البشري، مستفيدًا من التعلم العميق لتعزيز استخراج الميزات وأداء الاسترجاع.
تحدد الورقة أهدافًا محددة، بما في ذلك تحليل مقارن للميزات اليدوية وميزات التعلم العميق، ودمج هذه الميزات لتعزيز فعالية الاسترجاع، وتقييم مقاييس التشابه المختلفة. تشير النتائج إلى أن نموذج CTD-Net يتفوق على الطرق التقليدية، محققًا معدلات دقة واسترجاع أعلى. تناقش الدراسة أيضًا تطور تقنيات استرجاع الصور، مشيرة إلى الأهمية التاريخية للصور في مجالات متنوعة والاستكشاف المستمر للنهج الهجين الذي يجمع بين نقاط القوة في كل من الميزات اليدوية وميزات التعلم العميق لمعالجة التحديات مثل اختلافات الإضاءة وتنوع مجموعات البيانات. بشكل عام، تؤكد النتائج على إمكانيات الهياكل المتقدمة للتعلم العميق في تعزيز كفاءة ودقة أنظمة استرجاع الصور.
DOI: https://doi.org/10.1038/s41598-026-38422-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41876591
Publication Date: 2026-03-24
Author(s): Surbhi Tyagi et al.
Primary Topic: Image Retrieval and Classification Techniques
Overview
This research introduces CTD-Net (Color, Texture, and Deep Learning-Network), a novel Content-Based Image Retrieval (CBIR) system that synergizes handcrafted and deep learning features to enhance retrieval performance. Traditional CBIR systems typically rely on either handcrafted features or deep learning models, which limits their ability to capture complex visual and semantic information. CTD-Net overcomes these limitations by integrating color features from Color Histogram (CH) and Color Moments (CM), texture features from Local Binary Patterns (LBP) and Wavelet Transform (WT), and deep features extracted from the EfficientNet-B7 model. This hybrid feature fusion significantly improves retrieval precision, achieving rates of 98.85%, 92.40%, and 88.94% on the Corel-1K, Corel-10K, and Caltech-101 datasets, respectively, thereby surpassing existing methods.
The study further emphasizes the practical applications of CTD-Net in various domains, including medical image analysis, cultural heritage preservation, remote sensing, industrial inspection, and multimedia recommendation systems. The system’s architecture is poised for future enhancements, such as integrating hybrid fusion with Vision Transformers for improved semantic understanding and deploying quantized EfficientNet for real-time mobile retrieval. Future research will also focus on domain adaptation across datasets and large-scale indexing techniques to facilitate retrieval from extensive image databases. The source code and datasets used in this study are publicly available, promoting further exploration and application of the CTD-Net framework.
Introduction
In the digital age, the proliferation of image capturing technologies has led to an overwhelming volume of photographs, necessitating efficient methods for image retrieval from extensive databases. Image retrieval, a concept introduced in the 1970s, traditionally relies on metadata such as captions or keywords for locating images. However, the manual annotation process is both time-consuming and costly, prompting significant research into automatic image annotation. This process, which employs Text-Based Image Retrieval (TBIR) and Content-Based Image Retrieval (CBIR), allows systems to autonomously add metadata to images. TBIR matches user queries with tags but often yields inaccurate results, while CBIR focuses on image characteristics like color, shape, and texture, providing more precise retrieval outcomes.
Despite advancements in image retrieval techniques over the past three decades, including content-based and object-based methods, existing CBIR approaches encounter notable limitations. Traditional methods rely on manually extracted features that are often domain-specific, limiting their general applicability. Additionally, these methods face challenges related to scalability due to the computational demands of feature extraction. A significant semantic gap remains between low-level features and high-level semantic understanding, highlighting the need for further research and innovation in the field of image retrieval.
Methods
The proposed methodology for image retrieval systems addresses the challenge of identifying photographs that share semantic relations with a user-provided query image. A key component of this approach is the use of Color Histograms, which visually represent the distribution of color intensities within an image. This technique is widely utilized in computer vision and image processing for its effectiveness in simplifying image information, thereby facilitating comparison and classification.
The performance of the proposed CTD-Net system was rigorously evaluated against recent state-of-the-art content-based image retrieval (CBIR) methods across multiple datasets, including Corel-1K, Corel-10K, and Caltech-101. CTD-Net demonstrated significant improvements, outperforming the best handcrafted methods by margins of 14.47% and 29.09% on Corel-1K and Corel-10K, respectively. Additionally, it surpassed various deep learning models and hybrid techniques, confirming its robust fusion strategy that effectively integrates handcrafted features with EfficientNet-B7 deep learning features. Despite its high accuracy rates, the system’s requirement for substantial processing power suggests it is best suited for reliable environments. Future research is recommended to explore its application on diverse and contemporary image datasets, which may further enhance its practical utility.
Results
The section on “Results” presents a comprehensive analysis of the dataset utilized in the study, detailing its characteristics and the outcomes of the experimentation conducted. The dataset comprises various features that were systematically evaluated to assess their impact on the research objectives. Key metrics were employed to quantify performance, and the results indicate significant correlations between specific variables and the desired outcomes.
The experimentation results highlight the effectiveness of the proposed methodology, demonstrating improvements over baseline models. Statistical analyses reveal that the enhancements achieved are not only statistically significant but also practically relevant, suggesting that the approach could be beneficial in real-world applications. Overall, the findings underscore the importance of the dataset’s attributes in influencing the results and provide a foundation for future research in this domain.
Discussion
The discussion section of the research paper highlights the challenges and advancements in Content-Based Image Retrieval (CBIR), emphasizing the need for systems that can analyze images with human-like accuracy. Traditional CBIR methods rely on handcrafted features, which can be limited by domain specificity and computational demands. The proposed CTD-Net system leverages the EfficientNet-B7 model to extract both local and global features, significantly improving retrieval accuracy across various datasets, including Corel-1K, Corel-10K, and Caltech-101. This approach aims to bridge the semantic gap between machine-generated features and human visual perception, utilizing deep learning to enhance feature extraction and retrieval performance.
The paper outlines specific objectives, including a comparative analysis of handcrafted and deep learning features, the fusion of these features to enhance retrieval effectiveness, and an evaluation of various similarity metrics. The results indicate that the CTD-Net model outperforms traditional methods, achieving higher precision and recall rates. The study also discusses the evolution of image retrieval techniques, noting the historical significance of images in various fields and the ongoing exploration of hybrid approaches that combine the strengths of both handcrafted and deep learning features to address challenges such as illumination variations and dataset diversity. Overall, the findings underscore the potential of advanced deep learning architectures in enhancing the efficiency and accuracy of image retrieval systems.