DOI: https://doi.org/10.1109/tmm.2026.3651066
تاريخ النشر: 2026-01-01
المؤلف: Baiang Li وآخرون
الموضوع الرئيسي: تقنيات تحسين الصور
نظرة عامة
في هذا البحث، يقدم المؤلفون Regformer، وهي طريقة جديدة تعتمد على Transformer لإزالة المطر من صورة واحدة (SID) مصممة لتحسين جودة الصورة من خلال معالجة التحديات التي تطرحها المناطق المتأثرة وغير المتأثرة بالمطر. غالبًا ما تعالج الطرق الحالية SID هذه المناطق في وقت واحد، مما يؤدي إلى ارتباك بين خطوط المطر وعناصر الخلفية، مما يعيق فعالية إزالة المطر. يقدم Regformer كتلة Transformer الإقليمية (RTB)، التي تستخدم آلية الانتباه المقنع الإقليمي (RMA) وكتلة التقدم ذات البوابة المختلطة (MGFB) لمعالجة هذه المناطق بشكل مستقل مع مراعاة تفاعلاتها. تسمح هذه الطريقة بخرائط انتباه مصممة خصيصًا تلتقط الميزات الأساسية لإزالة المطر وتحسن استعادة القوام عالي التردد.
تشير النتائج إلى أن Regformer يتفوق بشكل كبير على الطرق الحالية في كل من التقييمات الكمية والنوعية لإزالة خطوط المطر وقطرات المطر. من خلال دمج الميزات المحلية وغير المحلية من خلال آلية قناع المنطقة المدمجة، يميز النموذج بشكل فعال بين المناطق المتأثرة وغير المتأثرة بالمطر، مما ينتج خريطة ميزات غنية بخصائص محددة إقليميًا. بشكل عام، يظهر Regformer أداءً متفوقًا في مهام إزالة المطر من الصور، مما يبرز إمكانية دمج هياكل Transformer وU-Net مع استراتيجية فعالة تركز على المنطقة. الشيفرة والنماذج المدربة متاحة للجمهور، مما يسهل المزيد من البحث في هذا المجال.
مقدمة
في مقدمة هذه الورقة البحثية، يتناول المؤلفون التحديات الكبيرة التي تطرحها إزالة المطر من صورة واحدة (SID) في رؤية الكمبيوتر، مع تسليط الضوء على أهميتها في التطبيقات مثل المراقبة، القيادة الذاتية، والاستشعار عن بعد. وجود المطر في الصور لا يؤدي فقط إلى تدهور الجودة البصرية ولكن يؤثر أيضًا سلبًا على أداء المهام البصرية عالية المستوى. يشير المؤلفون إلى أن تعقيد إزالة المطر ينشأ من الطبيعة غير المحددة للمشكلة، التي تتميز بأنماط معقدة، وحجب، وكثافات متغيرة من قطرات المطر.
تناقش الورقة التقدم في SID من خلال التعلم العميق، وخاصة استخدام الشبكات العصبية التلافيفية (CNNs) والشبكات التنافسية التوليدية (GANs)، التي أظهرت نتائج واعدة. ومع ذلك، غالبًا ما تكافح الطرق الحالية مع السيناريوهات الواقعية حيث تشبه خطوط المطر بقع الضوء في الصور. يقترح المؤلفون نهجًا جديدًا يسمى Transformer الإقليمي (Regformer)، الذي يعالج المناطق المتأثرة وغير المتأثرة بالمطر بشكل منفصل مع مراعاة تفاعلاتها. في قلب Regformer توجد كتلة Transformer الإقليمية (RTB) مع آلية الانتباه المقنع الإقليمي (RMA)، المصممة للتركيز بشكل انتقائي على الميزات ذات الصلة من كلا المنطقتين. بالإضافة إلى ذلك، تعزز كتلة التقدم ذات البوابة المختلطة (MGFB) استخراج الميزات عبر مجالات استقبالية متغيرة، مما يحسن قدرة النموذج على استعادة القوام والحفاظ على التفاصيل المحلية. يؤكد المؤلفون أن نموذجهم يحقق أداءً متفوقًا على أحدث التقنيات في مجموعات بيانات متنوعة، مع توفير نماذجهم المدربة مسبقًا والشيفرة للجمهور.
طرق
في هذا القسم، يوضح المؤلفون الإعدادات التجريبية والمنهجيات المستخدمة لتقييم أداء نموذجهم المقترح، Regformer، عبر مجموعات بيانات عامة متنوعة. تشمل مجموعات البيانات معايير اصطناعية مثل Rain200L، Rain200H، DID-Data، DDN-Data، SPA-Data، وHQ-RAIN، بالإضافة إلى مجموعة بيانات قطرات المطر الواقعية، AGAN-Data. توفر مجموعات البيانات الاصطناعية آلاف أزواج الصور الممطرة للتدريب والاختبار، بينما تقدم SPA-Data مجموعة بيانات واقعية أكبر بكثير. يقارن المؤلفون Regformer ضد العديد من الطرق الحديثة، بما في ذلك الأساليب المعتمدة على المعرفة السابقة والأساليب المعتمدة على CNN، بالإضافة إلى النماذج المعتمدة على Transformer، باستخدام نسبة ذروة الإشارة إلى الضوضاء (PSNR) ومقياس مؤشر التشابه الهيكلي (SSIM) كمعايير تقييم رئيسية.
كما تم توضيح تفاصيل تنفيذ Regformer، مع تحديد تكوين الطبقات ورؤوس الانتباه، بالإضافة إلى معلمات التدريب. يستخدم النموذج مُحسِّن AdamW مع معلمات فرعية محددة ويستخدم خسارة L1 للتدريب، وفقًا للإعدادات التي وضعتها DRSformer. تتضمن عملية التدريب ما مجموعه 300,000 تكرار لـ Regformer و400,000 لـ Regformer-L، مع إجراء تعديلات على المعلمات الفرعية بناءً على مجموعة البيانات أو متطلبات المهمة. يستخدم المؤلفون وحدات معالجة الرسوميات عالية الأداء لتسهيل عملية التدريب، مما يضمن حسابًا فعالًا. يتم مقارنة نتائج هذه التجارب كميًا في جداول، مما يبرز الأداء المتفوق لـ Regformer في مهام إزالة خطوط المطر.
مناقشة
في مناقشة الورقة البحثية، يبرز المؤلفون التقدم في تقنيات إزالة خطوط المطر وقطرات المطر، مع التأكيد على تفوق طرق التعلم العميق على الأساليب التقليدية. يشيرون إلى أنه بينما أظهرت نماذج متنوعة، بما في ذلك الأساليب شبه المشروطة والأساليب المعتمدة على GAN، وعدًا في إزالة خطوط المطر، تظل إزالة قطرات المطر تحديًا يتطلب تقنيات متخصصة. لقد حول إدخال Transformers البصرية (ViTs) مهام إزالة المطر من الصور، مع نماذج مثل Swin Transformer وRestormer التي تعزز الكفاءة الحسابية وقدرات استخراج الميزات. ومع ذلك، غالبًا ما تكافح الطرق الحالية للتفريق بشكل فعال بين المناطق المتأثرة وغير المتأثرة بالمطر، مما يحد من أدائها العام.
لمعالجة هذه القيود، يقترح المؤلفون نموذج Regformer، الذي يتضمن كتلة Transformer الإقليمية (RTB) وكتلة التقدم ذات البوابة المختلطة (MGFB). تستخدم RTB آلية الانتباه المقنع الإقليمي (RMA) للتركيز على مناطق الصورة المتميزة، بينما تعزز MGFB قدرة النموذج على التقاط الميزات متعددة المقاييس. تظهر النتائج التجريبية أن Regformer يتفوق بشكل كبير على الطرق الحالية في كل من المقاييس الكمية (مثل PSNR وSSIM) والتقييمات النوعية، مما يبرز فعاليته في الحفاظ على تفاصيل الصورة أثناء إزالة عيوب المطر بشكل فعال. تؤكد النتائج على إمكانية Regformer كحل قوي لمهام إزالة المطر من صورة واحدة، مستفيدة من نقاط القوة في هياكل Transformer المدمجة مع استراتيجيات القناع المبتكرة.
DOI: https://doi.org/10.1109/tmm.2026.3651066
Publication Date: 2026-01-01
Author(s): Baiang Li et al.
Primary Topic: Image Enhancement Techniques
Overview
In this research, the authors present Regformer, a novel Transformer-based Single Image Deraining (SID) method designed to enhance image quality by addressing the challenges posed by rain-affected and unaffected regions. Current SID methods often process these regions simultaneously, leading to confusion between rain streaks and background elements, which hampers effective deraining. Regformer introduces the Region Transformer Block (RTB), which employs a Region Masked Attention (RMA) mechanism and a Mixed Gate Forward Block (MGFB) to independently process these regions while considering their interactions. This approach allows for tailored attention maps that capture essential features for rain removal and improves the recovery of high-frequency textures.
The findings indicate that Regformer significantly outperforms existing methods in both quantitative and qualitative evaluations of rain streak and raindrop removal. By integrating local and non-local features through an embedded region mask mechanism, the model effectively differentiates between rain-affected and unaffected areas, yielding a feature map enriched with region-specific characteristics. Overall, Regformer demonstrates superior performance in image deraining tasks, showcasing the potential of combining Transformer and U-Net architectures with an effective region-focused strategy. The code and trained models are publicly accessible, facilitating further research in this domain.
Introduction
In the introduction of this research paper, the authors address the significant challenges posed by Single Image Deraining (SID) in computer vision, highlighting its importance in applications such as surveillance, autonomous driving, and remote sensing. The presence of rain in images not only degrades visual quality but also adversely affects the performance of high-level vision tasks. The authors note that the complexity of deraining arises from the ill-posed nature of the problem, characterized by intricate patterns, occlusions, and varying densities of raindrops.
The paper discusses advancements in SID through deep learning, particularly the use of Convolutional Neural Networks (CNNs) and Generative Adversarial Networks (GANs), which have shown promising results. However, existing methods often struggle with real-world scenarios where rain streaks closely resemble light spots in images. The authors propose a novel approach called Region Transformer (Regformer), which processes rain-affected and unaffected regions separately while considering their interactions. Central to Regformer is the Region Transformer Block (RTB) with a Region Masked Attention (RMA) mechanism, designed to selectively focus on relevant features from both regions. Additionally, the Mixed Gate Forward Block (MGFB) enhances feature extraction across varying receptive fields, improving the model’s ability to recover textures and preserve local details. The authors assert that their model achieves state-of-the-art performance on various datasets, with their pretrained models and code made publicly available.
Methods
In this section, the authors detail the experimental settings and methodologies employed to evaluate the performance of their proposed model, Regformer, across various public datasets. The datasets include synthetic benchmarks such as Rain200L, Rain200H, DID-Data, DDN-Data, SPA-Data, and HQ-RAIN, as well as a real-world raindrop dataset, AGAN-Data. The synthetic datasets provide a total of thousands of rainy image pairs for training and testing, while SPA-Data offers a significantly larger real-world dataset. The authors compare Regformer against numerous state-of-the-art methods, including both prior knowledge-based and CNN-based approaches, as well as Transformer-based models, using Peak Signal-to-Noise Ratio (PSNR) and Structural Similarity Index Measure (SSIM) as primary evaluation metrics.
The implementation details of Regformer are also outlined, specifying the configuration of layers and attention heads, as well as the training parameters. The model employs the AdamW optimizer with specific hyperparameters and utilizes L1 loss for training, following the settings established by DRSformer. The training process involves a total of 300,000 iterations for Regformer and 400,000 for Regformer-L, with adjustments made to hyperparameters based on the dataset or task requirements. The authors utilize high-performance GPUs to facilitate the training process, ensuring efficient computation. The results of these experiments are quantitatively compared in tables, highlighting the superior performance of Regformer in rain streak removal tasks.
Discussion
In the discussion of the research paper, the authors highlight the advancements in rain streak and raindrop removal techniques, emphasizing the superiority of deep learning methods over traditional approaches. They note that while various models, including semi-supervised and GAN-based methods, have shown promise in rain streak removal, raindrop removal remains a challenge requiring specialized techniques. The introduction of Vision Transformers (ViTs) has further transformed image deraining tasks, with models like the Swin Transformer and Restormer enhancing computational efficiency and feature extraction capabilities. However, existing methods often struggle to effectively differentiate between rain-affected and unaffected regions, which limits their overall performance.
To address these limitations, the authors propose the Regformer model, which incorporates a Region Transformer Block (RTB) and a Mixed Gate Forward Block (MGFB). The RTB utilizes a Region Masked Attention (RMA) mechanism to focus on distinct image regions, while the MGFB enhances the model’s ability to capture mixed-scale features. Experimental results demonstrate that Regformer significantly outperforms existing methods in both quantitative metrics (e.g., PSNR and SSIM) and qualitative assessments, showcasing its effectiveness in preserving image details while effectively removing rain artifacts. The findings underscore the potential of Regformer as a robust solution for single image deraining tasks, leveraging the strengths of Transformer architectures combined with innovative masking strategies.