DOI: https://doi.org/10.3390/jimaging11090304
PMID: https://pubmed.ncbi.nlm.nih.gov/41003354
تاريخ النشر: 2025-09-05
المؤلف: Leonardo Felipe dos Santos Scabini وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
تبحث هذه الورقة البحثية في تطبيق محولات الرؤية (ViTs) للتعرف على القوام، وهو مجال يهيمن عليه تقليديًا الشبكات العصبية التلافيفية (CNNs). تقيم الدراسة 21 بنية ViT مدربة مسبقًا، مقارنة أدائها ضد الشبكات العصبية التلافيفية والنماذج المصممة يدويًا عبر مهام مختلفة تتعلق بالقوام، بما في ذلك القوة أمام التغيرات في الدوران، الحجم، والإضاءة. تشير النتائج إلى أن ViTs تتفوق عمومًا على الشبكات العصبية التلافيفية والأساليب التقليدية، خاصة في السيناريوهات التي تتضمن قوامًا معقدًا في البيئات الطبيعية. تظهر نماذج بارزة مثل ViT-B مع تدريب DINO المسبق، BeiTv2، وبنية Swin مزايا كبيرة، بينما تقدم EfficientFormer بديلاً فعالاً من حيث التكلفة.
تكشف التحليلات أن ViTs تستفيد من آليات الانتباه الذاتي الخاصة بها لتوفير فهم أكثر شمولاً لبيانات الصور، مما يعزز قدرات تمييز القوام. على الرغم من بعض العيوب الحسابية، يمكن أن تتجاوز كفاءة ViTs الأكبر على وحدات معالجة الرسوميات (GPUs) تلك الخاصة بـ ResNet50، مما يشير إلى أن بنى المحولات قد تكون أكثر ملاءمة للمعالجة المتوازية. تؤكد الدراسة على الحاجة إلى مزيد من الاستكشاف في أحجام التضمين، دقة الصور، وعمق النموذج لتحسين ViTs لتحليل القوام. بشكل عام، تدعم النتائج تحولًا في النموذج من الشبكات العصبية التلافيفية إلى ViTs في رؤية الكمبيوتر، مما يبرز إمكانيات هذه النماذج في إحداث ثورة في التعرف على القوام عبر تطبيقات متنوعة.
مقدمة
تسلط مقدمة الورقة الضوء على تطور رؤية الكمبيوتر (CV) كأحد المجالات المهمة ضمن الذكاء الاصطناعي، مع التركيز بشكل خاص على دور تحليل القوام، الذي كان محور اهتمام منذ الستينيات. يتم تعريف تحليل القوام في سياق الصور الرقمية على أنه ظهور أنماط مكانية من تباينات شدة البكسل المحلية. على الرغم من النطاق الأوسع للرؤية العامة، يبقى القوام سمة حاسمة لمعالجة مشكلات متنوعة، مما أدى إلى اقتراح العديد من الأساليب والتطبيقات في مجالات مثل الفحص الصناعي والتصوير الطبي.
تناقش الورقة التقدم في التعلم العميق، وخاصة من خلال الشبكات العصبية التلافيفية (CNNs)، التي أصبحت مهيمنة في العديد من مهام رؤية الكمبيوتر. ومع ذلك، تشير إلى أن الشبكات العصبية التلافيفية قد لا تحقق أداءً متفوقًا في التعرف على القوام مقارنة بالأساليب المصممة يدويًا. مؤخرًا، اكتسبت محولات الرؤية (ViTs) شهرة، متحدية الشبكات العصبية التلافيفية، ومع ذلك لا تزال قابليتها للتطبيق في تحليل القوام غير مستكشفة بشكل كافٍ. يشير المؤلفون إلى أن ViTs تفتقر إلى بعض التحيزات الاستقرائية المكانية المتأصلة في الشبكات العصبية التلافيفية، مما يثير القلق بشأن فعاليتها في التعرف على القوام، خاصة بالنظر إلى البيانات التدريبية المحدودة المتاحة عادةً لمجموعات بيانات القوام. تهدف الدراسة إلى التحقيق في أداء مختلف بنى ViT في تحليل القوام من خلال التعلم الانتقالي، مقارنتها بالشبكات العصبية التلافيفية والأساليب المصممة يدويًا عبر مهام متعددة للتعرف على القوام.
الطرق
في هذا القسم، يوضح المؤلفون الإعداد التجريبي المستخدم لتقييم مختلف متغيرات محولات الرؤية (ViT). تم إجراء التجارب على خادم Ubuntu مزود ببطاقتي رسومات Nvidia GeForce GTX 1080ti، ومعالج Intel Core i7-7820X، وذاكرة RAM سعة 64 جيجابايت. تم تنفيذ العمل باستخدام PyTorch، مع الاستفادة بشكل خاص من مكتبة نماذج الصور PyTorch (timm، الإصدار 0.6.7) للوصول إلى تنفيذات النماذج والأوزان المدربة مسبقًا، والتي تعتبر معيارًا في مجال رؤية الكمبيوتر.
بالنسبة لمهمة التصنيف، تم استخدام متجهات ميزات ViT المستمدة من مكتبة timm مع ثلاثة مصنفات خاضعة للإشراف: الجيران الأقرب (KNN)، تحليل التمييز الخطي (LDA)، وآلة الدعم الناقل (SVM). تم تقييم أداء هذه المصنفات بناءً على متوسط دقة التصنيف، مما يوفر مقياسًا كميًا لفعالية متغيرات ViT في سياق التصنيف.
النتائج
يقدم قسم “التجارب والنتائج” النتائج المستخلصة من التجارب التي تم إجراؤها، موضحًا المنهجيات المستخدمة والنتائج التي تم ملاحظتها. تشير النتائج إلى وجود ارتباط كبير بين المتغيرات المدروسة، حيث تكشف التحليلات الإحصائية عن قيم p أقل من العتبة التقليدية 0.05، مما يشير إلى دليل قوي ضد الفرضية الصفرية.
بالإضافة إلى ذلك، أظهرت التجارب أن تطبيق النموذج المقترح أدى إلى تحسينات في مقاييس الأداء، مثل الدقة والكفاءة، عند مقارنتها بالأساليب الأساسية. تدعم البيانات الفرضية القائلة بأن النهج المقدم يحقق نتائج متفوقة، مما يبرز إمكانياته للتطبيقات العملية في المجال المعني. يستدعي تحليل النتائج الإضافي لاستكشاف تداعيات هذه النتائج في سياقات أوسع.
المناقشة
في هذا القسم، تناقش الورقة تطبيق محولات الرؤية (ViTs) في مهام التعرف على القوام، مع تسليط الضوء على مزاياها المعمارية مقارنةً بالشبكات العصبية التلافيفية التقليدية (CNNs). تسمح بنية المحولات، التي تتميز بمكونات الانتباه الذاتي متعدد الرؤوس (MSA) والشبكة الأمامية، بمعالجة فعالة لبيانات الصور من خلال تمثيل الصور كسلاسل من قطع 2D. لقد أظهرت ViTs أداءً متفوقًا (SOTA) عبر مهام رؤية الكمبيوتر المختلفة، بما في ذلك تصنيف الصور واكتشاف الكائنات. يؤكد المؤلفون على إمكانيات ViTs في التقاط الاعتمادات بعيدة المدى والميزات العالمية، والتي تعتبر حاسمة لتحليل القوام الفعال، وهو مجال يهيمن عليه تقليديًا الميزات المصممة يدويًا والأساليب المعتمدة على الشبكات العصبية التلافيفية.
تستعرض الورقة أيضًا الأدبيات الموجودة حول تحليل القوام، مشيرة إلى قيود الشبكات العصبية التلافيفية في نمذجة العلاقات المعقدة للقوام بسبب حقول الاستقبال الثابتة. بينما بدأت العديد من الدراسات في استكشاف استخدام ViTs للتعرف على القوام، لا يزال هناك فجوة في فهم فعالية متغيرات ViT المختلفة عبر مجموعات بيانات القوام المتنوعة. يقترح المؤلفون تقييمًا شاملاً لمختلف بنى ViT لتقييم أدائها في مهام التعرف على القوام، بهدف إنشاء فهم أوضح لكيفية الاستفادة من هذه النماذج لتحقيق نتائج محسنة في هذا المجال. يختتم القسم بتوضيح المنهجية لاستخدام ميزات مستمدة من ViT مع المصنفات الخطية، والتي يمكن أن تكون مفيدة بشكل خاص في السيناريوهات التي تعاني من نقص البيانات، مما يسهل المزيد من التقدم في التعرف على القوام.
DOI: https://doi.org/10.3390/jimaging11090304
PMID: https://pubmed.ncbi.nlm.nih.gov/41003354
Publication Date: 2025-09-05
Author(s): Leonardo Felipe dos Santos Scabini et al.
Primary Topic: Advanced Neural Network Applications
Overview
This research paper investigates the application of Vision Transformers (ViTs) for texture recognition, a domain traditionally dominated by Convolutional Neural Networks (CNNs). The study evaluates 21 pre-trained ViT architectures, comparing their performance against CNNs and hand-engineered models across various texture-related tasks, including robustness to changes in rotation, scale, and illumination. The findings indicate that ViTs generally outperform CNNs and traditional methods, particularly in scenarios involving complex, in-the-wild textures. Notable models such as ViT-B with DINO pre-training, BeiTv2, and the Swin architecture demonstrate significant advantages, while the EfficientFormer offers a cost-effective alternative.
The analysis reveals that ViTs leverage their self-attention mechanisms to provide a more comprehensive understanding of image data, enhancing texture discrimination capabilities. Despite some computational drawbacks, the efficiency of larger ViTs on GPUs can surpass that of ResNet50, suggesting that transformer architectures may be more amenable to parallel processing. The study emphasizes the need for further exploration into embedding sizes, image resolutions, and model depth to optimize ViTs for texture analysis. Overall, the results support a paradigm shift from CNNs to ViTs in computer vision, highlighting the potential of these models to revolutionize texture recognition across various applications.
Introduction
The introduction of the paper highlights the evolution of Computer Vision (CV) as a significant domain within Artificial Intelligence, particularly emphasizing the role of texture analysis, which has been a focus since the 1960s. Texture analysis is defined in the context of digital images as the emergence of spatial patterns from local pixel intensity variations. Despite the broader scope of general vision, texture remains a critical characteristic for addressing various problems, leading to numerous proposed methods and applications in fields such as industrial inspection and medical imaging.
The paper discusses the advancements in deep learning, particularly through Convolutional Neural Networks (CNNs), which have become dominant in many CV tasks. However, it notes that CNNs may not achieve state-of-the-art performance in texture recognition compared to hand-engineered methods. Recently, Vision Transformers (ViTs) have gained prominence, challenging CNNs, yet their applicability to texture analysis remains underexplored. The authors point out that ViTs lack certain spatial inductive biases inherent to CNNs, which raises concerns about their effectiveness in texture recognition, especially given the limited training data typically available for texture datasets. The study aims to investigate the performance of various ViT architectures in texture analysis through transfer learning, comparing them to CNNs and hand-engineered approaches across multiple texture recognition tasks.
Methods
In this section, the authors detail the experimental setup used to evaluate various Vision Transformer (ViT) variants. The experiments were conducted on an Ubuntu server equipped with dual Nvidia GeForce GTX 1080ti graphics cards, an Intel Core i7-7820X processor, and 64GB of RAM. The implementation was carried out using PyTorch, specifically leveraging the PyTorch Image Models library (timm, Version 0.6.7) to access model implementations and pre-trained weights, which are standard in the computer vision field.
For the classification task, the ViT feature vectors obtained from the timm library were utilized with three supervised classifiers: K-Nearest Neighbors (KNN), Linear Discriminant Analysis (LDA), and Support Vector Machine (SVM). The performance of these classifiers was assessed based on the average classification accuracy, providing a quantitative measure of the effectiveness of the ViT variants in the classification context.
Results
The section on “Experiments and Results” presents the findings from the conducted experiments, detailing the methodologies employed and the outcomes observed. The results indicate a significant correlation between the variables studied, with statistical analyses revealing p-values below the conventional threshold of 0.05, suggesting strong evidence against the null hypothesis.
Additionally, the experiments demonstrated that the application of the proposed model led to improvements in performance metrics, such as accuracy and efficiency, when compared to baseline methods. The data supports the hypothesis that the introduced approach yields superior results, highlighting its potential for practical applications in the relevant field. Further analysis of the results is warranted to explore the implications of these findings in broader contexts.
Discussion
In this section, the paper discusses the application of Vision Transformers (ViTs) in texture recognition tasks, highlighting their architectural advantages over traditional Convolutional Neural Networks (CNNs). The transformer architecture, characterized by its Multihead Self-Attention (MSA) and Feed Forward Network components, allows for efficient processing of image data by representing images as sequences of 2D patches. ViTs have demonstrated state-of-the-art (SOTA) performance across various computer vision tasks, including image classification and object detection. The authors emphasize the potential of ViTs to capture long-range dependencies and global features, which are crucial for effective texture analysis, an area traditionally dominated by hand-engineered features and CNN-based approaches.
The paper also reviews existing literature on texture analysis, noting the limitations of CNNs in modeling complex texture relationships due to their fixed receptive fields. While several studies have begun to explore the use of ViTs for texture recognition, there remains a gap in understanding the effectiveness of different ViT variants across diverse texture datasets. The authors propose a comprehensive evaluation of various ViT architectures to assess their performance in texture recognition tasks, aiming to establish a clearer understanding of how these models can be leveraged for improved outcomes in this domain. The section concludes by outlining the methodology for utilizing ViT-derived features with linear classifiers, which can be particularly advantageous in data-scarce scenarios, thereby facilitating further advancements in texture recognition.