تجميع الصور المعتمد على التماثل العميق مع تحسين الكشف عن الأجسام الصغيرة Deep homography-based image stitching with enhanced small object detection

شارك:
المجلة: Scientific Reports، المجلد: 16، العدد: 1
DOI: https://doi.org/10.1038/s41598-026-58267-7
PMID: https://pubmed.ncbi.nlm.nih.gov/42321286
تاريخ النشر: 2026-06-19
المؤلف: Jicheng Cong وآخرون
الموضوع الرئيسي: تقنيات استرجاع الصور والفيديو المتقدمة

نظرة عامة

تقدم هذه البحث منهجية مبتكرة لدمج الصور تستخدم بنية YOLOv8 كمستخرج ميزات لمعالجة تحديات الكشف عن الأجسام الصغيرة والخلفيات المعقدة في تقنيات الدمج التقليدية. تتضمن الطريقة المقترحة تحسين خريطة الميزات منخفضة الدقة باستخدام آلية ضغط وتحفيز (SE) التكيفية، واستراتيجية استخراج ميزات متعددة المقاييس تستخدم تجميع الهرم المكاني، ووحدة تقدير التجانس العميق التي تدمج الشبكات الانحدارية مع خوارزميات التحويل الخطي المباشر (DLT). تعمل هذه التطورات على تحسين دقة الكشف عن الأجسام الصغيرة وتعزيز محاذاة الميزات عبر الصور ذات القوام والتباينات المعقدة. كما أن وظيفة الخسارة الموزونة المصممة خصيصًا تعزز من محاذاة مناطق الأجسام الصغيرة، مما يقلل بشكل فعال من عيوب الدمج.

تظهر التحقق التجريبي على مجموعات بيانات UDIS وMVS-Synth أن الطريقة المقترحة تتفوق على الطرق الأساسية والمقارنة، حيث تحقق قيم أعلى لنسبة ذروة الإشارة إلى الضوضاء (PSNR) تبلغ 26.36 و26.42، وقيم مؤشر التشابه الهيكلي (SSIM) تبلغ 0.8414 و0.8494، بينما تقلل أيضًا من حجم النموذج إلى 188 ميغابايت وتعقيد الحسابات إلى 14.5 GFLOPs. تؤكد دراسات الإزالة مساهمات كل وحدة في دقة وكفاءة الدمج العامة. تهدف الأعمال المستقبلية إلى تعزيز قدرة النموذج على التكيف مع التطبيقات في الوقت الحقيقي في البيئات الديناميكية وتوسيع مجموعة البيانات لتقييمات أكثر شمولاً، خاصة في السيناريوهات الواقعية التي تتضمن صورًا تم التقاطها بواسطة الطائرات بدون طيار.

مقدمة

تسلط مقدمة هذه الورقة البحثية الضوء على الأهمية المتزايدة لتقنيات التعلم العميق في دمج الصور، لا سيما للكشف عن الأجسام الصغيرة والدقة في الخلفيات المعقدة. تكافح الطرق التقليدية المعتمدة على الهندسة مع المشاهد المعقدة والتباينات الكبيرة، مما يؤدي إلى انخفاض الأداء. في المقابل، أظهرت طرق التعلم العميق وعدًا من خلال تعلم ميزات الصورة والمعلومات الدلالية بشكل تكيفي، كما يتضح من التقدم مثل نموذج الكشف عن الخوذة في الوقت الحقيقي الذي قدمه أباو وآخرون باستخدام YOLOv8، والذي يعزز دقة الكشف وسرعة المعالجة مع تقليل تداخل الأجسام غير ذات الصلة. ومع ذلك، لا تزال الطرق الحالية للتعلم العميق تواجه تحديات تتعلق بمحاذاة الأجسام الصغيرة، وجودة الدمج، وكفاءة الحساب.

يحدد المؤلفون ثلاثة دوافع رئيسية لعملهم: عدم كفاية محاذاة الأجسام الصغيرة في الطرق التقليدية والحالية للتعلم العميق، الاعتماد على الميزات الخام في الشبكات العميقة للتجانس التي تتجاهل معلومات الأجسام الصغيرة، وعدم جدوى الشبكات الثقيلة لإعادة البناء للتطبيقات ذات الموارد المحدودة. لمعالجة هذه القضايا، تقترح الورقة طريقة جديدة لدمج الصور تجمع بين تحسين خريطة الميزات منخفضة الدقة، واستخراج الميزات متعددة المقاييس، ووحدة تجانس عميق، تستهدف بشكل خاص الأجسام الصغيرة في الخلفيات المعقدة. تستخدم الطريقة المقترحة آلية ضغط وتحفيز (SE) التكيفية لتعزيز محاذاة الأجسام الصغيرة ووحدة تقدير التجانس العميق التي تستخدم ميزات معززة بواسطة SE، جنبًا إلى جنب مع وظيفة خسارة موزونة لإعطاء الأولوية لمناطق الأجسام الصغيرة. لا تعمل هذه الطريقة على تحسين جودة الدمج فحسب، بل تحقق أيضًا توازنًا جيدًا بين كفاءة النموذج والأداء، مع حجم نموذج أصغر بكثير مقارنة بالطرق الحالية بينما تتفوق عليها من حيث مقاييس PSNR وSSIM.

طرق

في قسم الطرق، يوضح المؤلفون الإعداد التجريبي، بما في ذلك مجموعة البيانات، والمنصة، ومقاييس التقييم، والنتائج المقارنة التي تتحقق من فعالية النموذج المقترح لدمج الصور. تتكون الأجهزة المستخدمة من معالج Intel(R) Xeon(R) Platinum 8255C، و بطاقة الرسوميات NVIDIA GeForce RTX 3090، و 24 جيجابايت من ذاكرة النظام، مع تنفيذ البرمجيات في PyTorch 1.11.0 على Ubuntu 18.04. تشمل مقاييس التقييم الرئيسية نسبة ذروة الإشارة إلى الضوضاء (PSNR)، ومؤشر التشابه الهيكلي (SSIM)، وGFLOPs، حيث تشير قيم PSNR الأعلى إلى تحسين جودة الصورة وقيم SSIM الأقرب إلى 1 تعكس تشابهًا أكبر مع الصورة الأصلية.

يتم حساب PSNR باستخدام متوسط الخطأ التربيعي (MSE) بين الصورة المرجعية \( T \) والصورة المدمجة \( F \)، المحددة كما يلي:

\[
\text{MSE} = \frac{1}{m \cdot n} \sum_{i=0}^{m-1} \sum_{j=0}^{n-1} [T(i,j) – F(i,j)]^2
\]

ثم يتم اشتقاق PSNR من MSE كما يلي:

\[
\text{PSNR}(I_A, I_B) = 10 \cdot \log_{10}\left(\frac{MAX_I^2}{\text{MSE}}\right)
\]

حيث \( MAX_I \) هو الحد الأقصى لقيمة البكسل. تم تحسين المعامل الفائق \( \alpha \)، الذي يوازن بين خرائط الميزات الأصلية والمعززة، من خلال البحث الشبكي، مما أسفر عن قيم \( \alpha = 0.3 \) لتحسين الدقة المنخفضة و \( \alpha = 0.5 \) للاندماج متعدد المقاييس، وكلاهما حقق أقصى PSNR على مجموعة التحقق. تشير هذه النتائج إلى أن قيم \( \alpha \) بين 0.3 و 0.5 فعالة عمومًا لمهام دمج الصور المماثلة.

نقاش

يسلط قسم النقاش في الورقة البحثية الضوء على التقدم في تقنيات دمج الصور، مع التركيز بشكل خاص على الطرق التقليدية وطرق التعلم العميق. تعمل طرق دمج الصور التقليدية، مثل تشويه التجانس المزدوج (DHW) والتكيفي المشروع حسب الإمكان (APAP)، على محاذاة طائرات المشهد بشكل فعال ولكنها تكافح في البيئات المعقدة ذات معلومات العمق المتغيرة. تم اقتراح تقنيات مثل التحويل المتجانس المتغير بسلاسة (SVA) وتشويه متعدد التجانس لتعزيز المحاذاة المحلية، ومع ذلك، لا تزال التحديات قائمة بالقرب من حدود الأجسام وفي المناطق ذات التباين الكبير في العمق. تهدف الطرق المدفوعة بالخياطة إلى تقليل عيوب الدمج، بينما حولت التقدمات الأخيرة في التعلم العميق النموذج من خلال تمكين الاستخراج التلقائي للميزات الدلالية عالية المستوى، مما يحسن التكيف مع السيناريوهات المعقدة.

أظهرت الطرق المعتمدة على التعلم العميق، مثل تلك التي تستخدم شبكة مجموعة الهندسة البصرية (VGG)، وعدًا في توقع التجانس ومعالجة التباينات الكبيرة. ومع ذلك، يمكن أن تقدم هذه الطرق ضبابية في مناطق التباين أثناء إعادة البناء. ظهرت ابتكارات مثل خوارزميات الاختيار التكيفية وإطارات دمج الصور غير المراقبة لتعزيز استخراج الميزات ودقة المحاذاة. أدى دمج التعلم العميق مع التقنيات التقليدية إلى تحسينات كبيرة في جودة الدمج، لا سيما للأجسام الصغيرة في البيئات المعقدة. تؤكد الورقة على أهمية استخراج الميزات متعددة المقاييس وآليات الانتباه في تعزيز الكشف والمحاذاة للأجسام الصغيرة، مما يساهم في تحقيق نتائج متقدمة في مهام دمج الصور.

Journal: Scientific Reports, Volume: 16, Issue: 1
DOI: https://doi.org/10.1038/s41598-026-58267-7
PMID: https://pubmed.ncbi.nlm.nih.gov/42321286
Publication Date: 2026-06-19
Author(s): Jicheng Cong et al.
Primary Topic: Advanced Image and Video Retrieval Techniques

Overview

This research introduces an innovative image stitching methodology that utilizes the YOLOv8 architecture as a feature extractor to address the challenges of small object detection and complex backgrounds in traditional stitching techniques. The proposed method incorporates a low-resolution feature map enhancement using an adaptive Squeeze-and-Excitation (SE) mechanism, a multi-scale feature extraction strategy employing Spatial Pyramid Pooling, and a deep homography estimation module that integrates regression networks with Direct Linear Transformation (DLT) algorithms. These advancements significantly improve the precision of small object detection and enhance feature alignment across images with intricate textures and disparities. A specially designed weighted loss function further emphasizes the alignment of small object regions, effectively minimizing stitching artifacts.

Experimental validation on the UDIS and MVS-Synth datasets demonstrates that the proposed approach outperforms baseline and comparative methods, achieving higher Peak Signal-to-Noise Ratio (PSNR) values of 26.36 and 26.42, and Structural Similarity Index Measure (SSIM) values of 0.8414 and 0.8494, while also reducing model size to 188 MB and computational complexity to 14.5 GFLOPs. Ablation studies confirm the contributions of each module to the overall stitching accuracy and efficiency. Future work aims to enhance the model’s adaptability for real-time applications in dynamic environments and to expand the dataset for more comprehensive evaluations, particularly in real-world scenarios involving drone-captured images.

Introduction

The introduction of this research paper highlights the growing significance of deep learning techniques in image stitching, particularly for small object detection and accuracy in complex backgrounds. Traditional geometry-based methods struggle with intricate scenes and significant disparities, leading to diminished performance. In contrast, deep learning approaches have shown promise by adaptively learning image features and semantic information, as evidenced by advancements such as Aboah et al.’s real-time helmet detection model using YOLOv8, which enhances detection accuracy and processing speed while minimizing irrelevant object interference. However, existing deep learning methods still face challenges regarding small object alignment, stitching quality, and computational efficiency.

The authors identify three primary motivations for their work: the inadequate alignment of small objects in traditional and current deep learning methods, the reliance on raw features in deep homography networks that neglect small-object information, and the impracticality of heavy reconstruction networks for resource-constrained applications. To address these issues, the paper proposes a novel image stitching method that integrates low-resolution feature map enhancement, multi-scale feature extraction, and a deep homography module, specifically targeting small objects in complex backgrounds. The proposed method employs an adaptive Squeeze-and-Excitation mechanism to enhance small object alignment and a deep homography estimation module that utilizes SE-enhanced features, combined with a weighted loss function to prioritize small-object regions. This approach not only improves stitching quality but also achieves a favorable balance between model efficiency and performance, with a significantly smaller model size compared to existing methods while outperforming them in terms of PSNR and SSIM metrics.

Methods

In the Methods section, the authors detail the experimental setup, including the dataset, platform, evaluation metrics, and comparative results that validate the effectiveness of their proposed model for image stitching. The hardware utilized comprises an Intel(R) Xeon(R) Platinum 8255C processor, a NVIDIA GeForce RTX 3090 GPU, and 24 GB of system memory, with software implemented in PyTorch 1.11.0 on Ubuntu 18.04. Key evaluation metrics include Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM), and GFLOPs, where higher PSNR values indicate improved image quality and SSIM values closer to 1 reflect greater similarity to the original image.

The PSNR is calculated using the Mean Squared Error (MSE) between the reference image \( T \) and the stitched image \( F \), defined as:

\[
\text{MSE} = \frac{1}{m \cdot n} \sum_{i=0}^{m-1} \sum_{j=0}^{n-1} [T(i,j) – F(i,j)]^2
\]

The PSNR is then derived from the MSE as:

\[
\text{PSNR}(I_A, I_B) = 10 \cdot \log_{10}\left(\frac{MAX_I^2}{\text{MSE}}\right)
\]

where \( MAX_I \) is the maximum pixel value. The hyperparameter \( \alpha \), which balances original and enhanced feature maps, was optimized through grid search, yielding values of \( \alpha = 0.3 \) for low-resolution enhancement and \( \alpha = 0.5 \) for multi-scale fusion, both of which maximized PSNR on the validation set. These findings suggest that \( \alpha \) values between 0.3 and 0.5 are generally effective for similar image stitching tasks.

Discussion

The discussion section of the research paper highlights advancements in image stitching techniques, particularly focusing on traditional methods and deep learning approaches. Traditional image stitching methods, such as Dual-Homography Warping (DHW) and Adaptive Projective As-Possible (APAP), effectively align scene planes but struggle in complex environments with varying depth information. Techniques like Smoothly Varying Affine (SVA) and multihomography deformation have been proposed to enhance local alignment, yet challenges persist near object boundaries and in regions with significant depth variation. Seam-driven methods aim to minimize stitching artifacts, while recent advancements in deep learning have shifted the paradigm by enabling automatic extraction of high-level semantic features, improving adaptability to complex scenarios.

Deep learning-based methods, such as those utilizing the Visual Geometry Group (VGG) network, have shown promise in predicting homographies and addressing large disparities. However, these methods can introduce blurring in disparity regions during reconstruction. Innovations like adaptive selection algorithms and unsupervised image stitching frameworks have emerged to enhance feature extraction and alignment precision. The integration of deep learning with traditional techniques has led to significant improvements in stitching quality, particularly for small objects in complex environments. The paper emphasizes the importance of multi-scale feature extraction and attention mechanisms in enhancing the detection and alignment of small objects, ultimately contributing to state-of-the-art results in image stitching tasks.