DOI: https://doi.org/10.1038/s41377-024-01569-0
PMID: https://pubmed.ncbi.nlm.nih.gov/39152120
تاريخ النشر: 2024-08-16
المؤلف: Haishan Liu وآخرون
الموضوع الرئيسي: الليزر العشوائي ووسائط التشتت
نظرة عامة
في هذا القسم، يتناول المؤلفون التحدي المعقد للتصوير من خلال وسائط التشتت الديناميكية، والتي لها آثار كبيرة على مجالات مثل الكشف البيولوجي والاستشعار عن بعد. يقدمون تقنية جديدة قائمة على التعلم مصممة للتصوير غير الغازي وغير المتماسك للأجسام المخفية بواسطة مواد تشتت كثيفة.
تشمل الدراسة تحققًا تجريبيًا واسعًا، مما يبرز فعالية التقنية في اختراق المياه المعكرة والضباب الطبيعي. تشير النتائج إلى أن هذه الطريقة تتفوق على الأساليب الحالية في مقاييس مختلفة، مما يبرز إمكاناتها الكبيرة لتطبيقات التصوير المتنوعة عبر مجالات متعددة.
مقدمة
ت outlines مقدمة ورقة البحث التحديات المرتبطة بالتصوير من خلال وسائط التشتت، مثل الأنسجة البيولوجية والمياه المعكرة، حيث تفشل طرق التصوير البصري التقليدية غالبًا بسبب التشويه والضوضاء الناتجة عن التشتت. يبرز المؤلفون أن الأساليب التقليدية تركز عادةً على عزل الضوء الذي يصل مبكرًا أو تعزيز نسب الإشارة إلى الضوضاء، باستخدام تقنيات مثل طرق البوابة والترشيح المكاني. ومع ذلك، فإن هذه الأساليب محدودة بسبب الانخفاض الأسي للضوء الباليستي مع زيادة السماكة البصرية، مما يقيد استعادة جودة الصورة واختراق العمق.
لمعالجة هذه التحديات، يقترح المؤلفون طريقة جديدة قائمة على التعلم تُسمى DescatterNet، والتي تم تصميمها للتصوير غير المتماسك من خلال وسائط التشتت غير الثابتة وغير المتجانسة. على عكس نماذج التعلم العميق الحالية التي تعتمد على مجموعات بيانات تدريب متسقة، تتعامل DescatterNet بفعالية مع تعقيدات المشاهد الطبيعية، متجاوزة القضايا المتعلقة بتغير مصفوفات النقل في التطبيقات الواقعية. يوضح المؤلفون تفوق الطريقة على تقنيات تحسين الصور التقليدية من خلال تجارب واسعة، مما يظهر تحسينات كبيرة في جودة الصورة المعاد بناؤها، وسرعة الاستدلال، وكفاءة الذاكرة.
طرق
في هذا القسم، يصف المؤلفون إعداد التجربة المستخدمة لتدريب DescatterNet المقترحة وتطبيقها للتصوير في الهواء الطلق من خلال الضباب. تم الحصول على مجموعة بيانات التدريب في بيئة محكومة باستخدام خزان تشتت مصمم خصيصًا مليء بمستحلب دهني (Intralipid 20%). كانت الخصائص البصرية لهذه الوسيلة موثقة جيدًا، مما يسمح بإجراء تعديلات في السماكة البصرية من خلال تغيير كمية Intralipid الممزوجة بالمياه المصفاة. تم تصميم مصدر الضوء لإضاءة الوسيلة والأجسام المستهدفة، مع التقاط الصور بواسطة كاميرا sCMOS وعدسة نيكون. تتكون مجموعة التدريب من صور مزدوجة للأجسام المستهدفة وأنماط التشتت المقابلة لها، مع صور الحقيقة الأرضية المستمدة من ImageNet وDIV2K.
للتصوير في الهواء الطلق، قام المؤلفون بتكييف إعدادهم من خلال دمج جهاز اختيار زاوي في تلسكوب Celestron، مما يتيح التقاط الأجسام الواقعية المخفية بواسطة الضباب. تم استخدام هذا النظام التلسكوبي، المجهز بنفس كاميرا sCMOS، لتصوير الأجسام البعيدة، مثل منزل وفيللا تقع على بعد 5.9 كم. يقوم جهاز اختيار الزاوية بتصفية الضوء الوارد بناءً على زاوية السقوط، مما يعزز قدرة النظام على التقاط الضوء المتشتت بفعالية. تُظهر هذه الطريقة المبتكرة إمكانيات DescatterNet للتطبيقات العملية في ظروف التصوير الصعبة.
نتائج
في هذا القسم، يقدم المؤلفون نتائج DescatterNet المقترحة، والتي تعالج التحديات الحرجة في استعادة الصور المخفية بواسطة التشتت. جمعوا مجموعات بيانات واسعة من أزواج الصور “الحقيقية” الواضحة المتشتتة تحت ظروف متغيرة وطوروا طريقة معالجة مسبقة لتعزيز تعميم النموذج على الأجسام الواقعية غير المرئية، بما في ذلك المشاهد الخارجية. تم تحسين بنية DescatterNet ومقارنتها بشبكات عصبية بديلة، مما يظهر أداءً متفوقًا في استعادة الصور من بيئات التشتت العالية، مثل وسط مستحلب دهني بسماكة بصرية تبلغ 5.51.
تشير النتائج إلى أن خوارزميات تحسين الصور التقليدية، مثل القناة المظلمة السابقة (DCP) وRetinex، تنتج استعادة منخفضة الجودة مع قيم نسبة الإشارة إلى الضوضاء القصوى (PSNR) أقل من 10 ديسيبل. بالمقابل، تفوقت DescatterNet بشكل كبير على هذه الأساليب، محققة قيم PSNR ومعاملات ارتباط أعلى مع صور الحقيقة الأرضية، لا سيما في المناطق عالية الدقة. علاوة على ذلك، أظهرت التجارب الخارجية أن DescatterNet يمكن أن تعيد بناء الصور بفعالية من خلال الضباب الطبيعي، محققة قيم PSNR تبلغ حوالي 17 ديسيبل لمشاهد الغابات و14 ديسيبل لفيللا، على الرغم من عدم وجود هذه المشاهد المحددة في مجموعة بيانات التدريب. بشكل عام، تُظهر DescatterNet قدرات واعدة للتطبيقات العملية في ظروف التصوير الصعبة.
مناقشة
في هذا القسم، يتم تقييم أداء DescatterNet المقترحة من حيث قدرتها على إعادة بناء الصور من خلال سماكات بصرية متغيرة لوسط التشتت، تحديدًا مستحلب دهني في الماء. شملت الدراسة تدريب خمسة نماذج مختلفة من الشبكات العصبية العميقة (DNN) على مجموعات بيانات تتوافق مع أحجام مختلفة من المستحلب الدهني (1.8 مل إلى 3.6 مل). تشير النتائج إلى أن جودة الصورة تتدهور مع زيادة قوة التشتت، مما يصبح فاسدًا تمامًا بين 2.8 مل و3.2 مل، مما يشير إلى حد أعلى لفعالية الطريقة. يقترح المؤلفون أن هذه القيود ليست قيدًا فيزيائيًا أساسيًا ولكنها تحدٍ هندسي يمكن معالجته من خلال تحسين تكنولوجيا التصوير والأساليب.
تم تقييم قدرات تعميم DescatterNet على بعدين: تعميم عبر التركيز وتعميم عبر الوسائط. أظهر النموذج تكيفًا فعالًا مع تركيزات متغيرة من نفس وسط التشتت دون إعادة تدريب، كما يتضح من تحسين معاملات الارتباط وقيم PSNR. علاوة على ذلك، أظهرت DescatterNet نتائج واعدة عند تطبيقها على وسائط تشتت مختلفة، مثل الحليب والضباب الاصطناعي، مما يعزز جودة الصورة بشكل كبير حتى عند تدريبها على مجموعة بيانات مستحلب دهني. لعبت طريقة المعالجة المسبقة، التي تجمع بين تقنيات Retinex وCLAHE، دورًا حاسمًا في تحسين قوة النموذج ضد ظروف تجريبية متنوعة، مما يسهل استخراج الميزات بشكل أفضل والتعميم عبر سيناريوهات متغيرة. بشكل عام، تؤكد النتائج على إمكانيات DescatterNet لتطبيقات التصوير في الوقت الحقيقي في بيئات التشتت الديناميكية.
DOI: https://doi.org/10.1038/s41377-024-01569-0
PMID: https://pubmed.ncbi.nlm.nih.gov/39152120
Publication Date: 2024-08-16
Author(s): Haishan Liu et al.
Primary Topic: Random lasers and scattering media
Overview
In this section, the authors address the complex challenge of imaging through dynamic scattering media, which has significant implications for fields such as biological detection and remote sensing. They introduce a novel learning-based technique designed for real-time, non-invasive, incoherent imaging of objects obscured by dense scattering materials.
The study includes extensive experimental validation, showcasing the technique’s effectiveness in penetrating turbid water and natural fog. The results indicate that this approach outperforms existing methods in various metrics, highlighting its substantial potential for diverse imaging applications across multiple disciplines.
Introduction
The introduction of the research paper outlines the challenges associated with imaging through scattering media, such as biological tissues and turbid water, where traditional optical imaging methods often fail due to distortion and noise from scattering. The authors highlight that conventional approaches typically focus on isolating early-arriving light or enhancing signal-to-noise ratios, employing techniques like gating methods and spatial filtering. However, these methods are limited by the exponential decay of ballistic light with increasing optical thickness, which restricts image quality restoration and depth penetration.
To address these challenges, the authors propose a novel learning-based method called DescatterNet, which is designed for incoherent imaging through non-static and inhomogeneous scattering media. Unlike existing deep learning models that rely on consistent training datasets, DescatterNet effectively handles the complexities of natural scenes, overcoming issues related to the variability of transmission matrices in real-world applications. The authors demonstrate the method’s superiority over traditional image enhancement techniques through extensive experiments, showcasing significant improvements in reconstructed image quality, inference speed, and memory efficiency.
Methods
In this section, the authors describe the experimental setup used to train the proposed DescatterNet and its application for outdoor imaging through fog. The training dataset was acquired in a controlled environment using a custom-built scattering tank filled with a fat emulsion (Intralipid 20%). The optical properties of this medium were well-documented, allowing for adjustments in optical thickness by varying the amount of Intralipid mixed with purified water. The light source was designed to illuminate the medium and the target objects, with images captured by an sCMOS camera and a Nikon lens. The training set consisted of paired images of target objects and their corresponding scattered patterns, with ground truth images sourced from ImageNet and DIV2K.
For outdoor imaging, the authors adapted their setup by integrating an angular selection device into a Celestron telescope, enabling the capture of real-world objects obscured by fog. This telescope system, equipped with the same sCMOS camera, was used to image distant objects, such as a house and a villa located 5.9 km away. The angular selection device filters incoming light based on the angle of incidence, enhancing the system’s ability to capture scattered light effectively. This innovative approach demonstrates the potential of DescatterNet for practical applications in challenging imaging conditions.
Results
In this section, the authors present the results of their proposed DescatterNet, which addresses critical challenges in recovering images obscured by scattering. They collected extensive datasets of “real” scattered-clear image pairs under varying conditions and developed a preprocessing method to enhance the model’s generalization to unseen real-world objects, including outdoor scenes. The architecture of DescatterNet was optimized and compared against alternative neural networks, demonstrating superior performance in recovering images from highly scattering environments, such as a fat emulsion medium with an optical thickness of 5.51.
The results indicate that traditional image enhancement algorithms, such as dark channel prior (DCP) and Retinex, yield low-quality reconstructions with peak signal-to-noise ratio (PSNR) values below 10 dB. In contrast, DescatterNet significantly outperformed these methods, achieving higher PSNR and correlation coefficients with ground truth images, particularly in high-resolution areas. Furthermore, outdoor experiments showed that DescatterNet could effectively reconstruct images through natural fog, achieving PSNR values of approximately 17 dB for forest scenes and 14 dB for a villa, despite the absence of these specific scenes in the training dataset. Overall, DescatterNet demonstrates promising capabilities for practical applications in challenging imaging conditions.
Discussion
In this section, the performance of the proposed DescatterNet is evaluated in terms of its ability to reconstruct images through varying optical thicknesses of a scattering medium, specifically a fat emulsion in water. The study involved training five distinct deep neural network (DNN) models on datasets corresponding to different volumes of fat emulsion (1.8 ml to 3.6 ml). Results indicate that image quality deteriorates with increasing scattering strength, becoming entirely corrupted between 2.8 ml and 3.2 ml, suggesting an upper limit for the method’s effectiveness. The authors propose that this limitation is not a fundamental physical constraint but rather an engineering challenge that could be addressed through improved imaging technology and methodologies.
The generalization capabilities of DescatterNet were assessed along two dimensions: cross-concentration and cross-media generalization. The model demonstrated effective adaptation to varying concentrations of the same scattering medium without retraining, as evidenced by improved correlation coefficients and PSNR values. Furthermore, DescatterNet showed promising results when applied to different scattering media, such as milk and artificial fog, significantly enhancing image quality even when trained on a fat emulsion dataset. The preprocessing method, which combines Retinex and CLAHE techniques, played a crucial role in improving the model’s robustness against diverse experimental conditions, thereby facilitating better feature extraction and generalization across varying scenarios. Overall, the findings underscore the potential of DescatterNet for real-time imaging applications in dynamic scattering environments.