DOI: https://doi.org/10.1038/s41598-026-36492-4
PMID: https://pubmed.ncbi.nlm.nih.gov/41667616
تاريخ النشر: 2026-02-11
المؤلف: Amr Aboghanem وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
يقدم هذا القسم نظرة عامة على دراسة تتناول تحديات تصنيف الصور الجوية، والتي تتعقد بسبب تنوع وتعقيد الصور الجوية. لمواجهة هذه المشكلة، يقترح المؤلفون نموذجين هجينين يدمجان استخراج الميزات من ResNet-50 و Vision Transformer (ViT). يستخدم النموذج الأول الانتباه متعدد الرؤوس (MHA) لتحديد الميزات الأكثر إفادة، بينما يستخدم الثاني الانتباه المتقاطع لدمج الميزات.
تم تقييم كلا النموذجين على مجموعة بيانات الصور الجوية في سيكيم لاكتشاف الكائنات (SAIOD) باستخدام مقاييس الأداء القياسية مثل الدقة، والاسترجاع، ودرجة F1، ومنحنى ROC. تكشف النتائج أن النموذج القائم على MHA يحقق أعلى دقة بنسبة 95.80%، متجاوزًا دقة النموذج الثاني البالغة 95.52% ومتجاوزًا الأساليب الحالية في هذا المجال. وهذا يدل على فعالية الأساليب الهجينة المقترحة في تعزيز أداء تصنيف الصور الجوية.
طرق
في هذا القسم، يقدم المؤلفون تحليلًا مقارنًا لطريقتهم المقترحة مقابل النماذج المتطورة من حيث الدقة، كما هو موضح في الجدول 4. تتضمن الجزء الأول من المقارنة نماذج التعلم العميق الأساسية مثل AlexNet و SqueezeNet و GoogleNet و ResNet-50، التي حققت دقة بلغت 85.92% و 88.52% و 89.40% و 86.40% على التوالي، وجميعها تقع تحت عتبة 90%.
بالمقابل، يبرز الجزء الثاني النماذج المعتمدة على المحولات، بما في ذلك Vision Transformer (ViT) و Swin Transformer، التي تظهر أداءً متفوقًا بدقة تبلغ 90% أو أعلى. ومن الجدير بالذكر أن SwinSight Net حقق دقة قدرها 93.16%، بينما وصلت نماذج YOLO إلى 95.33%. علاوة على ذلك، حققت نموذجين هجينين يدمجان مزايا ResNet-50 و ViT، باستخدام آليات الانتباه متعدد الرؤوس أو الانتباه المتقاطع، دقة ملحوظة بلغت 95.52% و 95.80%. وهذا يدل على أن الاستفادة من المزايا التكميلية للهياكل المختلفة تعزز الدقة بشكل كبير من خلال التركيز على الميزات الأكثر صلة.
نتائج
في هذا القسم، يستكشف المؤلفون فعالية آليات الانتباه المختلفة في تعزيز أداء نموذج هجين لمهام التصنيف. يركز النقاش على تحديد نوع الانتباه الأكثر فعالية، مثل الانتباه متعدد الرؤوس أو الانتباه المتقاطع، من خلال مقارنة تأثيراتها على دقة تصنيف النموذج. يتم إجراء التقييم في ظل ظروف مضبوطة، كما هو موضح في الجدول 2، لضمان مقارنة عادلة عبر أنواع الانتباه المختلفة.
تشمل عملية التدريب اختيار عشوائي لعينات مجموعة البيانات، والتي يتم تمثيلها بصريًا في الشكل 3. تتيح هذه الطريقة تقييمًا شاملاً لكيفية تأثير كل آلية انتباه على قدرة النموذج على تحقيق معدلات تصنيف عالية، مما يوجه في النهاية اختيار نوع الانتباه الأكثر فائدة للنموذج الهجين.
نقاش
في هذا القسم، يناقش المؤلفون هيكل وأداء نموذجين هجينين مقترحين لتصنيف الصور الجوية، مستفيدين من أطر ResNet-50 و Vision Transformer (ViT). يسهل ResNet-50، الذي يتميز بكتل البناء المتبقية (RBB)، الشبكات العصبية الأعمق من خلال السماح بتجاوز بعض الطبقات، مما يعزز استخراج الميزات ودقة التصنيف. يتكون النموذج من 51 طبقة، بما في ذلك الطبقات التلافيفية والطبقات المتصلة بالكامل، ويستخدم لاستخراج الميزات الحيوية من الصور الجوية. تعالج ViT الصور عن طريق تقسيمها إلى قطع غير متداخلة، وتحويلها إلى تسلسل من الرموز للتصنيف، وهو أمر أساسي للتعامل مع بيانات الصور ثنائية الأبعاد بشكل فعال.
تتكون النماذج الهجينة المقترحة من ثلاث خطوات رئيسية: استخراج الميزات من ResNet-50 و ViT، وتطبيق الانتباه متعدد الرؤوس (MHA) أو الانتباه المتقاطع لتحديد الميزات المهمة، والتصنيف النهائي من خلال الطبقات المتصلة بالكامل. تم تقييم النماذج باستخدام مجموعة بيانات SAIOD، التي تشمل عشر فئات متميزة من الصور الجوية. تشير النتائج إلى أن كلا النموذجين يحققان دقة عالية، حيث يظهر النموذج الأول استقرارًا وأداءً أفضل قليلاً مقارنة بالنموذج الثاني. تسلط مقاييس التقييم، بما في ذلك الدقة والاسترجاع ودرجة F1، الضوء على نقاط القوة لكل نموذج عبر الفئات المختلفة، مع توضيح مصفوفات الالتباس ومنحنيات ROC قدراتهم التصنيفية بشكل أكبر. يؤكد المؤلفون على الآثار الاقتصادية لنماذجهم، مقترحين إمكانية دمجها في تطبيقات المدن الذكية، مما يساهم في التنمية الحضرية المستدامة.
DOI: https://doi.org/10.1038/s41598-026-36492-4
PMID: https://pubmed.ncbi.nlm.nih.gov/41667616
Publication Date: 2026-02-11
Author(s): Amr Aboghanem et al.
Primary Topic: Advanced Neural Network Applications
Overview
The section presents an overview of a study addressing the challenges of aerial image classification, which is complicated by the diversity and complexity of aerial imagery. To tackle this issue, the authors propose two hybrid models that integrate feature extraction from ResNet-50 and the Vision Transformer (ViT). The first model employs multi-head attention (MHA) to identify the most informative features, while the second utilizes cross-attention for feature integration.
Both models are evaluated on the Sikkim Aerial Images Dataset for Object Detection (SAIOD) using standard performance metrics such as precision, recall, F1-score, and the ROC curve. The findings reveal that the MHA-based model achieves the highest accuracy of 95.80%, surpassing the second model’s accuracy of 95.52% and outperforming existing methods in the field. This indicates the effectiveness of the proposed hybrid approaches in enhancing aerial image classification performance.
Methods
In this section, the authors present a comparative analysis of their proposed method against state-of-the-art models in terms of accuracy, as detailed in Table 4. The first part of the comparison includes basic deep learning models such as AlexNet, SqueezeNet, GoogleNet, and ResNet-50, which achieved accuracies of 85.92%, 88.52%, 89.40%, and 86.40%, respectively, all falling below the 90% threshold.
In contrast, the second part highlights transformer-based models, including Vision Transformer (ViT) and Swin Transformer, which demonstrate superior performance with accuracies of 90% or higher. Notably, the SwinSight Net achieved an accuracy of 93.16%, while YOLO-based models reached 95.33%. Furthermore, two hybrid models that integrate the strengths of ResNet-50 and ViT, utilizing multi-head attention or cross-attention mechanisms, achieved remarkable accuracies of 95.52% and 95.80%. This indicates that leveraging the complementary advantages of different architectures significantly enhances accuracy by focusing on the most relevant features.
Results
In this section, the authors investigate the efficacy of various attention mechanisms in enhancing the performance of a hybrid model for classification tasks. The focus is on identifying the most effective attention type, such as multi-head attention or cross attention, by comparing their impacts on the model’s classification accuracy. The evaluation is conducted under controlled conditions, as detailed in Table 2, ensuring a fair comparison across different attention types.
The training process involves random selection of dataset samples, which are visually represented in Figure 3. This approach allows for a comprehensive assessment of how each attention mechanism influences the model’s ability to achieve high classification rates, ultimately guiding the selection of the most advantageous attention type for the hybrid model.
Discussion
In this section, the authors discuss the architecture and performance of two proposed hybrid models for aerial image classification, leveraging ResNet-50 and Vision Transformer (ViT) frameworks. ResNet-50, characterized by its residual building blocks (RBB), facilitates deeper neural networks by allowing certain layers to be bypassed, thus enhancing feature extraction and classification accuracy. The model comprises 51 layers, including convolutional and fully connected layers, and is utilized to extract critical features from aerial images. The ViT processes images by dividing them into non-overlapping patches, transforming them into a sequence of tokens for classification, which is essential for handling 2D image data effectively.
The proposed hybrid models consist of three main steps: feature extraction from ResNet-50 and ViT, application of multi-headed attention (MHA) or cross-attention to identify significant features, and final classification through fully connected layers. The models were evaluated using the SAIOD dataset, which includes ten distinct aerial image classes. Results indicate that both models achieve high accuracy, with the first model demonstrating slightly better stability and performance metrics compared to the second. The evaluation metrics, including precision, recall, and F1 score, highlight the strengths of each model across different classes, with confusion matrices and ROC curves further illustrating their classification capabilities. The authors emphasize the economic implications of their models, suggesting their potential integration into smart city applications, thereby contributing to sustainable urban development.