DOI: https://doi.org/10.1016/j.neucom.2025.129509
تاريخ النشر: 2025-01-28
المؤلف: Miao Zhang وآخرون
الموضوع الرئيسي: تقنيات تحسين الصور
نظرة عامة
تقدم البحث إطارًا جديدًا لتعزيز الصور في الإضاءة المنخفضة من خلال التعلم العميق، معالجًا القيود التي تفرضها الطرق التقليدية التي تعتمد على خرائط ثابتة من واحد إلى واحد. من خلال تقديم نهج مدفوع بالتوجيه، يسمح الإطار بالتحكم المخصص في الإضاءة وفقًا للتفضيلات الفردية. المركز في هذا الابتكار هو دمج نموذج لغة كبير (LLM) يقوم بتفسير التوجيهات باللغة الطبيعية لتحديد الأجسام المستهدفة لتعديلات السطوع. يتم استخدام وحدة التفكير القائمة على Retinex (RRS) لإنشاء أقنعة تحديد دقيقة، مما يسهل التحسينات الدقيقة.
تشير النتائج التجريبية إلى أن الطريقة المقترحة تتجاوز التقنيات الحالية الرائدة في مجموعة بيانات LOL و MIT-Adobe FiveK، كما تم قياسه بواسطة مقاييس PSNR و SSIM و LPIPS. بالإضافة إلى ذلك، يظهر الإطار قابلية التحكم على المستوى الدلالي، مما يمكّن التوجيهات المعقدة المدفوعة بالنص من توجيه تحسين الإضاءة بشكل فعال. ومع ذلك، فإن نجاح النهج يعتمد على قدرة LLM على ترجمة اللغة الطبيعية بدقة إلى تعديلات كمية قابلة للتنفيذ، مع وجود غموض محتمل في اللغة مما يشكل تحديات لتحديد المواقع المستهدفة وتقدير السطوع. ستسعى الأبحاث المستقبلية لاستكشاف دمج اللغة الطبيعية لتصحيح الألوان لتعزيز جمالية الصورة بشكل أكبر.
مقدمة
تناقش مقدمة هذه الورقة البحثية الحاجة الملحة لتحسين الصور في الإضاءة المنخفضة (LLIE) في تطبيقات متنوعة مثل المراقبة والقيادة الليلية. يمكن تصنيف تقنيات LLIE إلى تحسينات على المستوى العالمي والمستوى الإقليمي، حيث تركز الأولى على سطوع الصورة بشكل عام والأخيرة على مناطق محددة. غالبًا ما تؤدي الطرق التقليدية لتحسين المستوى العالمي، على الرغم من فعاليتها في تحسين توزيع البكسل، إلى تشويه الألوان وفقدان التفاصيل. أدت التقدمات الأخيرة في التعلم العميق إلى تقديم نماذج مثل LightenNet، التي تعزز الصور في الإضاءة المنخفضة ولكن قد تضخم الضوضاء عن غير قصد. علاوة على ذلك، تعتمد الطرق الحالية للتحسين الإقليمي بشكل كبير على التعليقات اليدوية، مما يحد من مرونتها وقابليتها للتوسع.
لمعالجة هذه القيود، يقترح المؤلفون مهمة جديدة تُسمى مهمة تحسين الإضاءة على المستوى الدلالي المدفوعة بالنص، والتي تتيح للمستخدمين ضبط السطوع من خلال أوامر اللغة الطبيعية. تستخدم الطريقة المقترحة، TSCnet، نموذج لغة كبير لتفكيك تعليمات المستخدم إلى مهام تحديد المواقع المستهدفة وتحسين السطوع. تشمل المكونات الرئيسية لـ TSCnet وحدة التفكير القائمة على Retinex (RRS) لإنشاء أقنعة بدون إدخال يدوي، ووحدة التحكم في السطوع القائمة على النص (TBC) لتوجيه التعديلات المحلية في الإضاءة. بالإضافة إلى ذلك، تعزز وحدة التعويض السياقي التكيفية (ACC) دمج معلومات الإضاءة مع الأجسام المستهدفة من خلال آليات الانتباه المتبادل. يذكر المؤلفون تجارب شاملة تُظهر تفوق طريقتهم على التقنيات الحالية، مع تسليط الضوء على قدراتها على التعميم وفعاليتها في التعديلات الشخصية للإضاءة.
طرق
في هذه الدراسة، تم تقسيم المنهجية التجريبية إلى مرحلتين متميزتين. تضمنت المرحلة الأولى تحسين نموذج U-Net المدرب مسبقًا، باستخدام مُحسِّن AdamW مع معدل تعلم محدد عند 0.0003، بدون تآكل للوزن، وحجم دفعة 6. كانت هذه المرحلة تهدف إلى تحسين أداء النموذج قبل مرحلة الشبكة التحكم التالية.
في المرحلة الثانية، تم تدريب الشبكة التحكم باستخدام مُحسِّن Adam، بدءًا بمعدل تعلم أولي قدره \(1 \times 10^{-4}\)، والذي تآكل إلى \(1 \times 10^{-6}\) من خلال التدفئة الكوسينية. استخدمت هذه المرحلة حجم دفعة قدره 8 ودمجت تآكل الوزن بمقدار \(1 \times 10^{-5}\)، ممتدة على مدى 1000 دورة. تم تصميم النهج المنظم عبر هاتين المرحلتين لتحسين قدرات النموذج بشكل فعال.
مناقشة
تحدد قسم المناقشة في الورقة البحثية مشهد تقنيات تحسين الصور في الإضاءة المنخفضة (LLIE)، مصنفة إياها إلى تحسينات على المستوى العالمي والمستوى الإقليمي. تستفيد الطرق على المستوى العالمي، مثل DMPH-Net و EnlightenGAN، من الهياكل المصممة لتقليل الضوضاء والحفاظ على التفاصيل في ظروف الإضاءة المنخفضة، وغالبًا ما تستخدم الشبكات التنافسية التوليدية (GANs) لتحسين جودة الصورة بشكل فعال. من الجدير بالذكر أن التقدم في وظائف الخسارة المستهدفة ومنهجيات التدريب قد عزز أداء هذه النماذج. بالمقابل، تسمح التقنيات على المستوى الإقليمي، مثل ReCoRo و CLE Diffusion، بتعديلات الإضاءة المحددة من قبل المستخدم ولكن تواجه تحديات تتعلق بإدخال المستخدم الذاتي والحاجة إلى تعليقات يدوية للأقنعة.
يسلط القسم الضوء أيضًا على فعالية نماذج الانتشار في LLIE، التي تتعلم توزيعات البيانات من خلال إضافة الضوضاء تدريجيًا وتدريب الشبكات لعكس هذه العملية. تم تقديم تقنيات مثل تحسين المتغيرات الكامنة التكرارية (ILVR) ووحدات استعادة التردد العالي لتحسين إعادة بناء التفاصيل في الصور ذات الإضاءة المنخفضة. تدمج الطريقة المقترحة في الورقة نموذج لغة كبير (LLM) لتفسير أوامر اللغة الطبيعية لتحقيق التحكم في الإضاءة على المستوى الدلالي، باستخدام وحدات مثل وحدة التفكير القائمة على Retinex (RRS) لتحديد المواقع المستهدفة ووحدة التحكم في السطوع القائمة على النص (TBC) للتعديلات الدقيقة في السطوع. تعزز وحدة التعويض السياقي التكيفية (ACC) الأداء من خلال دمج المدخلات متعددة الأنماط، مما يظهر إمكانيات الإطار لتعديلات الإضاءة الديناميكية والواعية للسياق في سيناريوهات متنوعة. بشكل عام، تتفوق الطريقة المقترحة على الطرق الحالية في المقاييس الكمية بينما تعالج تعقيدات معالجة اللغة الطبيعية في مهام تحسين الصور.
DOI: https://doi.org/10.1016/j.neucom.2025.129509
Publication Date: 2025-01-28
Author(s): Miao Zhang et al.
Primary Topic: Image Enhancement Techniques
Overview
The research presents a novel framework for enhancing low-light images through deep learning, addressing the limitations of traditional methods that rely on fixed one-to-one mappings. By introducing a prompt-driven approach, the framework allows for customized lighting control tailored to individual preferences. Central to this innovation is the integration of a Large Language Model (LLM) that interprets natural language prompts to identify target objects for brightness adjustments. The Retinex-based Reasoning Segment (RRS) module is employed to create accurate localization masks, facilitating precise enhancements.
Experimental results indicate that the proposed method surpasses existing state-of-the-art techniques on the LOL and MIT-Adobe FiveK datasets, as measured by PSNR, SSIM, and LPIPS metrics. Additionally, the framework demonstrates semantic-level controllability, enabling complex text-driven prompts to guide light enhancement effectively. However, the success of the approach is contingent upon the LLM’s capability to accurately translate natural language into actionable quantitative adjustments, with potential ambiguities in language posing challenges for target localization and brightness estimation. Future research will aim to explore the incorporation of natural language for color correction to further enhance image aesthetics.
Introduction
The introduction of this research paper addresses the critical need for low-light image enhancement (LLIE) in various applications such as surveillance and nighttime driving. LLIE techniques can be categorized into global-level and regional-level enhancements, with the former focusing on overall image brightness and the latter on specific areas. Traditional global enhancement methods, while effective in optimizing pixel distribution, often lead to color distortion and detail loss. Recent advancements in deep learning have introduced models like LightenNet, which enhance low-light images but may inadvertently amplify noise. Furthermore, existing regional enhancement methods rely heavily on manual annotations, limiting their flexibility and scalability.
To address these limitations, the authors propose a novel task termed the Text-driven Semantic-level Light Enhancement task, which allows users to adjust brightness through natural language commands. The proposed method, TSCnet, employs a large language model to break down user instructions into target localization and brightness enhancement tasks. Key components of TSCnet include the Retinex-based Reasoning Segment (RRS) module for generating masks without manual input, and the Text-based Brightness Controllable (TBC) module for guiding local lighting adjustments. Additionally, the Adaptive Contextual Compensation (ACC) module enhances the integration of lighting information with target objects through cross-attention mechanisms. The authors report comprehensive experiments demonstrating the superiority of their method over existing techniques, highlighting its generalization capabilities and effectiveness in personalized lighting adjustments.
Methods
In this study, the experimental methodology was divided into two distinct stages. The first stage involved the refinement of a pre-trained U-Net model, utilizing the AdamW optimizer with a learning rate set at 0.0003, no weight decay, and a batch size of 6. This stage aimed to enhance the model’s performance prior to the subsequent control net phase.
In the second stage, the control net was trained using the Adam optimizer, starting with an initial learning rate of \(1 \times 10^{-4}\), which decayed to \(1 \times 10^{-6}\) through cosine annealing. This stage employed a batch size of 8 and incorporated a weight decay of \(1 \times 10^{-5}\), spanning a total of 1000 epochs. The structured approach across these two stages was designed to optimize the model’s capabilities effectively.
Discussion
The discussion section of the research paper delineates the landscape of Low-Light Image Enhancement (LLIE) techniques, categorizing them into global-level and regional-level enhancements. Global-level methods, such as DMPH-Net and EnlightenGAN, leverage architectures designed to reduce noise and preserve details in low-light conditions, often employing generative adversarial networks (GANs) for effective image quality improvement. Notably, advancements in targeted loss functions and training methodologies have further enhanced the performance of these models. Conversely, regional-level techniques, exemplified by ReCoRo and CLE Diffusion, allow for user-defined illumination adjustments but face challenges related to subjective user input and the need for manual mask annotations.
The section also highlights the efficacy of diffusion models in LLIE, which learn data distributions by progressively adding noise and training networks to reverse this process. Techniques such as Iterative Latent Variable Refinement (ILVR) and high-frequency restoration modules have been introduced to improve detail reconstruction in low-light images. The proposed method in the paper integrates a Large Language Model (LLM) for interpreting natural language commands to achieve semantic-level lighting control, utilizing modules like the Retinex-based Reasoning Segment (RRS) for target localization and the Text-based Brightness Controllable (TBC) module for precise brightness adjustments. The Adaptive Contextual Compensation (ACC) module further enhances performance by integrating multimodal inputs, demonstrating the framework’s potential for dynamic, context-aware lighting adjustments in various scenarios. Overall, the proposed approach outperforms existing methods in quantitative metrics while addressing the complexities of natural language processing in image enhancement tasks.