DOI: https://doi.org/10.1109/tpami.2026.3660066
PMID: https://pubmed.ncbi.nlm.nih.gov/41628043
تاريخ النشر: 2026-02-02
المؤلف: Worameth Chinchuthakun وآخرون
الموضوع الرئيسي: تقنيات الرسوميات الحاسوبية والتصور
نظرة عامة
في هذا البحث، تم تقديم نهج جديد لتقدير الضوء عالي الديناميكية (HDR)، باستخدام نموذج انتشار مدرب مسبقًا لنطاق ديناميكي منخفض (LDR) لطلاء كرات الكروم في المشاهد. يقترح المؤلفون خوارزمية تكرارية مصممة لتحديد حيّز الضوضاء الأولي المناسب، وهو أمر حاسم لتحقيق تجسيدات عالية الجودة ومتسقة لكرات الكروم. يتم تكملة هذه العملية من خلال ضبط مستمر منخفض الرتبة (LoRA) عبر تعريضات مختلفة، مما يسهل التداخل الفعال وتوليد كرات الكروم HDR.
علاوة على ذلك، يقدم الدراسة خطوة ضبط LoRA مبتكرة ثانية تحاكي وظيفة الخوارزمية التكرارية ضمن عملية إزالة الضوضاء الواحدة. لا يسرع هذا التقدم فقط من توليد كرات الكروم، بل يحافظ أيضًا على مستويات الأداء مع الحد الأدنى من التدهور. تظهر الطريقة المقترحة نتائج تنافسية، مما يشير إلى فعاليتها المحتملة في مهام تقدير الضوء HDR.
مقدمة
تؤكد مقدمة هذه الورقة البحثية على أهمية تقدير الإضاءة بدقة لتطبيقات الواقع المختلط، خاصة عندما تكون صورة واحدة فقط ذات نطاق ديناميكي منخفض (LDR) متاحة. تتطلب هذه القيود الانحدار من خرائط البيئة عالية الديناميكية (HDR) من صور LDR، وهي تحدٍ يتعقد بسبب مجال الرؤية المحدود (FOV) للصورة المدخلة. تستخدم التقنيات الحالية، مثل StyleLight وEverlight، الانحدارات العصبية المدربة على مجموعات بيانات محدودة من بانورامات HDR، التي غالبًا ما تفتقر إلى تمثيلات مشهد متنوعة. لمعالجة هذه التحديات، يقترح المؤلفون DiffusionLight، الذي يعيد صياغة مهمة تقدير الإضاءة كطلاء كرة كروم باستخدام نموذج انتشار نص إلى صورة مدرب مسبقًا، Stable Diffusion XL.
تحدد الورقة ثلاث ابتكارات رئيسية في DiffusionLight: (1) تحسين جودة كرات الكروم LDR المطلية من خلال الاعتماد على معلومات العمق وأولوية إضاءة قوية؛ (2) توليد كرات الكروم HDR من خلال التداخل التعرض، باستخدام LoRA تعريض مدرب للتحكم في قيم التعرض؛ و(3) تسريع عملية الطلاء باستخدام Turbo LoRA، الذي يحسن الخوارزمية التكرارية من خلال دمج تمريرات إزالة الضوضاء. تظهر النتائج التجريبية أن DiffusionLight يتفوق على الطرق الحالية في المعايير القياسية مع الحفاظ على أداء تنافسي في سيناريوهات أكثر تعقيدًا في العالم الحقيقي. كما تسلط الورقة الضوء على مساهمات النسخة الموسعة، بما في ذلك تقديم Turbo LoRA، وتبديل LoRA لكفاءة وقت التشغيل، وتجارب إضافية للتحقق من التقنيات المقترحة.
طرق
في هذا القسم، يصف المؤلفون الإعدادات التجريبية المستخدمة في دراستهم، مع التركيز على أربع طرق: Blended Diffusion، IP-Adapter، Paint-by-Example، وSDXL. تم تحفيز جميع الطرق بنفس إدخال النص، “كرة كروم عاكسة مثالية”، بينما تم تطبيق تحفيز سلبي، “غير لامع، منتشر، مسطح، باهت”، على طريقتي IP-Adapter وSDXL. يوضح المؤلفون تكوينات العينة لكل طريقة، بما في ذلك نوع العينة، عدد خطوات العينة، ومقياس توجيه المصنف (CFG)، كما هو ملخص في الجدول X.
على وجه التحديد، استخدمت Blended Diffusion عينة DDIM مع 50 خطوة وCFG قدره 7.5، بينما استخدمت كل من Paint-by-Example وIP-Adapter عينات PLMS وUniPC، على التوالي، مع 50 و30 خطوة وCFGs قدرها 5.0. شمل الإعداد التجريبي أيضًا توليد كرات كروم مرجعية من خمسة خرائط بيئية HDR مختارة عشوائيًا مأخوذة من مجموعة بيانات Poly Haven. بالإضافة إلى ذلك، استخدم المؤلفون واجهة برمجة التطبيقات الرسمية لـ OpenAI لـ DALL•E2 وميزة التعبئة التوليدية في Adobe Firefly، مع الالتزام بالتكوينات الافتراضية الموضحة في تنفيذات الطرق الرسمية.
نتائج
في قسم النتائج، يقدم المؤلفون نتائج نوعية من طريقتهم المطبقة على مشاهد متنوعة في البرية، باستخدام صور مأخوذة من Unsplash ومواقع أخرى مرخصة CC4.0. تظهر النتائج، الموضحة في الشكل 9 والمفصلة في الملحق XIII-B، أن نهجهم يولد كرات كروم تعكس بدقة عناصر من الصور المدخلة، مثل سقف السيارة، وممر المشاة، وملابس المتزلج الحمراء. بالإضافة إلى ذلك، تنجح الطريقة في استعادة التفاصيل المفرطة التعرض، بما في ذلك إطارات النوافذ وأشعة الشمس، كما هو موضح في الشكل 1. تسلط هذه النتائج الضوء على الأداء المتفوق للتقنية المقترحة مقارنة بالطرق الحالية في تجسيد الانعكاسات الواقعية واستعادة تفاصيل الصورة.
نقاش
في مناقشة الأعمال ذات الصلة بتقدير الإضاءة، تصنف الورقة الطرق الحالية إلى نوعين رئيسيين: تلك التي تتطلب كائنات استكشافية وتلك التي لا تتطلب. تقع الفئة الأخيرة، التي تقع ضمنها طريقة المؤلفين، في تطور من استخدام تعليقات الإضاءة الأساسية والإشارات الفيزيائية إلى تقنيات أكثر تطورًا تتنبأ بخرائط البيئة HDR بزاوية 360°. تشمل التطورات الأخيرة الشبكات العصبية التي تنحدر المدخلات ذات النطاق الديناميكي المنخفض (LDR) إلى خرائط HDR، مع استخدام أساليب مختلفة مثل الشبكات العصبية التلافيفية (CNNs)، والمشفّرات التلقائية، والشبكات التنافسية التوليدية (GANs). ومع ذلك، فإن العديد من هذه الطرق محدودة بسبب اعتمادها على مجموعات بيانات محددة وغالبًا ما تفشل في التعميم على مشاهد متنوعة في العالم الحقيقي.
يسلط المؤلفون الضوء على نهجهم، DiffusionLight، الذي يستخدم نماذج انتشار مدربة على مجموعات بيانات واسعة لتعزيز التعميم عبر بيئات متنوعة. يقارنون عملهم بأساليب حديثة تركز على الداخل تستخدم Gaussian كروية لتمثيل الضوء، مشيرين إلى أن هذه الأساليب تكافح مع التعميم وتفتقر إلى الوصول العام إلى منهجياتها. تناقش الورقة أيضًا التحديات المتعلقة بتوليد كرات كروم متسقة لتقدير الإضاءة HDR وتقدم تقنية طلاء تكرارية لتحسين جودة هذه الكرات الكروم، بهدف إنشاء إطار عمل أكثر قوة لتقدير الإضاءة قابل للتطبيق على مجموعة واسعة من الصور.
DOI: https://doi.org/10.1109/tpami.2026.3660066
PMID: https://pubmed.ncbi.nlm.nih.gov/41628043
Publication Date: 2026-02-02
Author(s): Worameth Chinchuthakun et al.
Primary Topic: Computer Graphics and Visualization Techniques
Overview
In this research, a novel approach for high dynamic range (HDR) light estimation is introduced, utilizing a pretrained low dynamic range (LDR) diffusion model to inpaint chrome balls into scenes. The authors propose an iterative algorithm designed to identify an appropriate initial noise neighborhood, which is crucial for achieving consistent high-quality renderings of chrome balls. This process is complemented by continuous Low-Rank Adaptation (LoRA) fine-tuning across various exposures, facilitating effective bracketing and HDR chrome ball generation.
Furthermore, the study presents an innovative second LoRA fine-tuning step that mimics the iterative algorithm’s functionality within a single denoising process. This advancement not only accelerates the generation of chrome balls but also maintains performance levels with minimal degradation. The proposed method demonstrates competitive results, indicating its potential effectiveness in HDR light estimation tasks.
Introduction
The introduction of this research paper emphasizes the significance of accurate lighting estimation for mixed reality applications, particularly when only a single low-dynamic-range (LDR) image is available. This limitation necessitates the regression of high dynamic range (HDR) environment maps from LDR images, a challenge compounded by the restricted field of view (FOV) of the input image. Existing techniques, such as StyleLight and Everlight, utilize neural regressors trained on limited datasets of HDR panoramas, which often lack diverse scene representations. To address these challenges, the authors propose DiffusionLight, which reframes the lighting estimation task as inpainting a chrome ball using a pre-trained text-to-image diffusion model, Stable Diffusion XL.
The paper outlines three key innovations in DiffusionLight: (1) enhancing the quality of inpainted LDR chrome balls by conditioning on depth information and a robust lighting prior; (2) generating HDR chrome balls through exposure bracketing, utilizing a fine-tuned Exposure LoRA to control exposure values; and (3) accelerating the inpainting process with a Turbo LoRA, which optimizes the iterative algorithm by merging denoising passes. The experimental results demonstrate that DiffusionLight outperforms existing methods on standard benchmarks while maintaining competitive performance in more complex, real-world scenarios. The paper also highlights the contributions of the extended version, including the introduction of Turbo LoRA, LoRA swapping for runtime efficiency, and additional experiments to validate the proposed techniques.
Methods
In this section, the authors describe the experimental setups utilized for their study, focusing on four methods: Blended Diffusion, IP-Adapter, Paint-by-Example, and SDXL. All methods were prompted with the same text input, “a perfect mirrored reflective chrome ball sphere,” while a negative prompt, “matte, diffuse, flat, dull,” was applied to the IP-Adapter and SDXL methods. The authors detail the sampling configurations for each method, including the sampler type, number of sampling steps, and classifier guidance scale (CFG), as summarized in Table X.
Specifically, Blended Diffusion employed the DDIM sampler with 50 steps and a CFG of 7.5, while both Paint-by-Example and IP-Adapter utilized the PLMS and UniPC samplers, respectively, with 50 and 30 steps and CFGs of 5.0. The experimental setup also involved generating reference chrome balls from five randomly selected HDR environment maps sourced from the Poly Haven dataset. Additionally, the authors utilized the official OpenAI API for DALL•E2 and the Generative Fill feature in Adobe Firefly, adhering to the default configurations outlined in the methods’ official implementations.
Results
In the results section, the authors present qualitative findings from their method applied to various in-the-wild scenes, utilizing images sourced from Unsplash and other CC4.0 licensed websites. The results, illustrated in Figure 9 and detailed in Appendix XIII-B, demonstrate that their approach effectively generates chrome balls that accurately reflect elements from the input images, such as the car’s ceiling, zebra crossing, and the snowboarder’s red garment. Additionally, the method successfully recovers overexposed details, including window frames and sunlight, as evidenced in Figure 1. These findings highlight the superior performance of the proposed technique compared to existing methods in rendering realistic reflections and recovering image details.
Discussion
In the discussion of related work on lighting estimation, the paper categorizes existing methods into two main types: those requiring probing objects and those that do not. The latter category, which the authors’ method falls under, has evolved from using basic lighting annotations and physical cues to more sophisticated techniques that predict 360° HDR environment maps. Recent advancements involve neural networks that regress low dynamic range (LDR) inputs into HDR maps, with various approaches employing convolutional neural networks (CNNs), autoencoders, and generative adversarial networks (GANs). However, many of these methods are limited by their reliance on specific datasets and often fail to generalize to diverse, real-world scenes.
The authors highlight their approach, DiffusionLight, which utilizes diffusion models trained on extensive datasets to enhance generalization across various environments. They contrast their work with recent indoor-focused methods that utilize Spherical Gaussians for light representation, noting that these approaches struggle with generalization and lack public access to their methodologies. The paper also discusses the challenges of generating consistent chrome balls for HDR lighting estimation and introduces an iterative inpainting technique to improve the quality of these chrome balls, ultimately aiming to create a more robust framework for lighting estimation applicable to a wide range of images.