DOI: https://doi.org/10.1038/s41377-024-01721-w
PMID: https://pubmed.ncbi.nlm.nih.gov/39915449
تاريخ النشر: 2025-02-07
المؤلف: Bowen Wang وآخرون
الموضوع الرئيسي: تقنيات القياس البصري والتداخل
نظرة عامة
تقدم البحث تقنية تصوير ثلاثية الأبعاد فائقة السرعة جديدة تُدعى قياس نمط الشريط الفائق الدقة من لقطة واحدة (SSSR-FPP)، والتي تحقق سرعة تصوير غير مسبوقة تبلغ 100,000 هرتز. تستخدم هذه الطريقة زوجًا واحدًا من أنماط الشريط ذات نسبة إشارة إلى ضوضاء منخفضة (SNR) ودقة منخفضة، مما يسمح بإعادة بناء الطور غير الملفوف وترتيب الشريط بدقة عالية من خلال شبكة عصبية عميقة مدربة خصيصًا. من خلال تقليل نافذة التصوير بشكل كبير لكاميرات السرعة العالية التقليدية واستخدام التعلم العميق لاستعادة الدقة المكانية المفقودة، تعزز SSSR-FPP معدل الإطارات ثلاثية الأبعاد بأكثر من ترتيب من حيث الحجم دون التضحية بالوفاء المكاني.
تظهر النتائج قدرة SSSR-FPP على التقاط الأحداث العابرة المعقدة، مثل شفرات المروحة الدوارة وحركة محرك البخار، والتي كانت صعبة التصور باستخدام الطرق التقليدية. لا تقلل هذه التقنية من أخطاء تغيير الطور المرتبطة بحركة الجسم بسبب طبيعتها ذات اللقطة الواحدة فحسب، بل لديها أيضًا القدرة على زيادة معدلات الإطارات إلى نطاق مليون إطار في الثانية من خلال الاستفادة من حساسات ذات معدلات إطارات أعلى ومصادر ضوء قوية. بشكل عام، تمثل SSSR-FPP تقدمًا كبيرًا في الاستشعار البصري ثلاثي الأبعاد، مما يعد بتعميق فهمنا للعمليات الديناميكية عبر مجالات علمية متنوعة.
مقدمة
تناقش المقدمة الحاجة الملحة لتقنيات التصوير المتقدمة القادرة على التقاط الأحداث السريعة الحدوث في ثلاثة أبعاد (3D) بدقة زمنية فائقة، وهو أمر أساسي لمعالجة الاستفسارات العلمية الأساسية عبر الميكانيكا والفيزياء وعلم الأحياء. تقتصر طرق التصوير التقليدية، مثل أجهزة الاستشعار CCD وأجهزة الاستشعار CMOS، على تسلسلات ثنائية الأبعاد (2D) وتكافح مع معدلات الإطارات والدقة، خاصة عند محاولة التقاط الأحداث الديناميكية. ظهرت تقنية قياس نمط الشريط (FPP) كطريقة بارزة للاستشعار ثلاثي الأبعاد، ومع ذلك، فإن سرعتها مقيدة بالقيود المادية وعدد الأنماط المطلوبة لإعادة البناء.
لقد حولت التطورات الأخيرة في التعلم العميق (DL) القياس البصري من خلال تمكين استخراج معلومات الطور عالية الدقة من بيانات قليلة. تبرز المقدمة تطوير طريقة جديدة تُدعى قياس نمط الشريط الفائق الدقة من لقطة واحدة (SSSR-FPP)، والتي يمكن أن تعيد بناء صور ثلاثية الأبعاد للأحداث الديناميكية غير المتكررة بمعدل غير مسبوق يبلغ 100,000 إطار في الثانية (fps) باستخدام زوج واحد فقط من أنماط الشريط ذات الدقة المنخفضة. تستفيد هذه الطريقة من التعلم العميق لاستعادة الدقة المكانية المفقودة، وبالتالي تتغلب على قيود كاميرات السرعة العالية التقليدية وتعزز بشكل كبير قدرات التصوير ثلاثي الأبعاد. ستفصل الأقسام التالية المبادئ وإعداد التجارب ومقاييس الأداء وتطبيقات SSSR-FPP في التقاط الظواهر العابرة.
طرق
في هذا القسم، يقدم المؤلفون المنهجية والنتائج التجريبية لتقنية قياس نمط الشريط الفائق الدقة من الإضاءة المهيكلة (SSSR-FPP)، التي تظهر دقة زمنية عالية في التقاط المشاهد الديناميكية. تضمنت التجارب تصوير فيديو ثلاثي الأبعاد لمروحة كمبيوتر تدور بسرعة وموديل جبس ثابت، مما يكشف عن تفاصيل سطحية معقدة على الرغم من الضوضاء الخلفية. تم قياس فترة دوران المروحة بحوالي 9.81 مللي ثانية، مما يتوافق مع سرعة 6,116 دورة في الدقيقة، مع ملاحظات لتغيرات عمق كبيرة. بالإضافة إلى ذلك، تم إعادة بناء نموذج محرك توربيني بسرعة دوران قصوى، محققًا فترة دوران تبلغ حوالي 6.14 مللي ثانية (9771 دورة في الدقيقة). تمكنت تقنية SSSR-FPP من حل التفاصيل عالية التردد وملمس السطح، مؤكدة قدرتها على قياسات الشكل ثلاثي الأبعاد فائقة الدقة عبر حجم 400 مم × 180 مم × 210 مم.
تشمل المنهجية إطار عمل للتعلم العميق حيث يتم توليد مجموعات بيانات التدريب من البيانات التجريبية بدلاً من المحاكاة، مما يعزز موثوقية إطار عمل SSSR-FPP. يتم استخدام شبكتين عصبيتين تلافيفيتين (CNNs): تقوم CNN1 باسترجاع الطور الفائق الدقة من صور الشريط ذات الدقة المنخفضة، بينما تقوم CNN2 بخرائط الطور الملفوف الغامض إلى خريطة طور مطلقة باستخدام قيود هندسية. يسمح هذا الهيكل المزدوج بإعادة بناء الطور بدقة عالية، مما يمكّن التصوير ثلاثي الأبعاد الفائق الدقة بسرعة ملحوظة تبلغ 100 كيلو هرتز. يتم التحقق من قوة تقنية SSSR-FPP من خلال تجارب إضافية تلتقط أحداث ديناميكية متنوعة، مما يظهر مرونتها في قياس الأجسام سريعة الحركة ذات الهندسة المعقدة وخصائص السطح.
نتائج
يظهر نظام SSSR-FPP نهجًا جديدًا للتصوير ثلاثي الأبعاد عالي السرعة من خلال استخدام زوج من أنماط الشريط ذات SNR المنخفض والدقة المنخفضة الملتقطة عند 100,000 إطار في الثانية. يتضمن النظام كاميرتين عاليتي السرعة ونظام عرض DLP، مما يمكّن من استرجاع صور عالية الجودة من خلال تقنيات التعلم العميق. على وجه التحديد، يتم استخدام شبكتين عصبيتين تلافيفيتين (CNN1 وCNN2): تعزز CNN1 دقة أنماط الشريط، بينما تتنبأ CNN2 بمرحلة مطلقة منخفضة الدقة تساعد في حل الطور الملفوف عالي الدقة الناتج عن CNN1. يعالج هذا الهيكل الشبكي الشامل بفعالية تحديات فك الطور ويحسن دقة الطور المعاد بناؤه.
تؤكد النتائج التجريبية باستخدام نموذج جبس ثابت فعالية طريقة SSSR-FPP، محققة خطأ متوسط الطور المطلق (MAE) يبلغ فقط 0.0257 راديان. يتم تأكيد أداء النظام من خلال تقييمات كمية، مما يؤدي إلى مؤشر التشابه الهيكلي (SSIM) يبلغ 0.92 ونسبة ذروة الإشارة إلى الضوضاء (PSNR) تبلغ 26.81 ديسيبل، مما يشير إلى وفاء متفوق مقارنة بالطرق التقليدية. لا تعزز طريقة SSSR-FPP فقط دقة وجودة إعادة البناء ثلاثي الأبعاد، بل تظهر أيضًا قوة عبر عينات معقدة متنوعة، كل ذلك مع الحفاظ على الأتمتة الكاملة وتقليل الحاجة إلى تعديلات يدوية على المعلمات. وهذا يضع SSSR-FPP كحل واعد لتطبيقات التصوير ثلاثي الأبعاد عالي السرعة وعالي الدقة.
مناقشة
تقيّم قسم المناقشة من ورقة البحث دقة وأداء نظام SSSR-FPP (قياس نمط الشريط الفائق الدقة من لقطة واحدة) في التصوير ثلاثي الأبعاد. تم إجراء تحليل كمي باستخدام كرات خزفية قياسية وكرة تنس الطاولة لتقييم دقة القياس، مما يكشف عن أخطاء جذر متوسط المربعات تبلغ 77.74 ميكرومتر و57.34 ميكرومتر للكرات، مع دقة قياس إجمالية أفضل من 80 ميكرومتر. أظهر النظام دقة مكانية محسّنة، محققًا ما يصل إلى 0.891 زوج من الخطوط/مم وزيادة في نسبة الإشارة إلى الضوضاء (SNR) من 28.57 ديسيبل إلى 33.51 ديسيبل، مما يبرز قدرته في سيناريوهات التصوير عالي السرعة.
علاوة على ذلك، تمت مقارنة طريقة SSSR-FPP مع تقنيات إعادة البناء ثلاثي الأبعاد التقليدية، مثل الهيكل من الحركة (SfM) والتحديد والملاحة المتزامنة (SLAM)، مما يظهر أداءً متفوقًا من حيث سرعة التصوير والدقة وعدد سحب النقاط المعاد بناؤها. على الرغم من مزاياها، تواجه الطريقة تحديات تتعلق بحدود التعلم العميق، بما في ذلك الحساسية لجودة بيانات التدريب والحاجة إلى تقنيات توليد مجموعات بيانات قوية. يؤكد المؤلفون على أهمية معالجة هذه التحديات لتحسين نظام SSSR-FPP لتطبيقات أوسع في مجالات مثل الفضاء والطب الحيوي، مع الاعتراف أيضًا بإمكانية تحقيق مزيد من التقدم في سرعة التصوير والدقة من خلال تحسين الإعدادات البصرية وتقنيات الحوسبة.
DOI: https://doi.org/10.1038/s41377-024-01721-w
PMID: https://pubmed.ncbi.nlm.nih.gov/39915449
Publication Date: 2025-02-07
Author(s): Bowen Wang et al.
Primary Topic: Optical measurement and interference techniques
Overview
The research introduces a novel ultrafast 3D imaging technique called single-shot super-resolved fringe projection profilometry (SSSR-FPP), which achieves an unprecedented imaging speed of 100,000 Hz. This method utilizes a single pair of low signal-to-noise ratio (SNR), low-resolution, and pixelated fringe patterns as input, allowing for high-resolution unwrapped phase and fringe order reconstruction through a specifically trained deep neural network. By significantly reducing the imaging window of conventional high-speed cameras and employing deep learning to regenerate lost spatial resolution, SSSR-FPP enhances the 3D frame rate by over an order of magnitude without sacrificing spatial fidelity.
The findings demonstrate SSSR-FPP’s capability to capture complex transient events, such as rotating turbofan blades and the motion of a steam engine, which were previously difficult to visualize with traditional methods. This technique not only mitigates phase-shifting errors associated with object motion due to its single-shot nature but also has the potential to further increase frame rates into the million-frames-per-second range by leveraging higher frame rate sensors and powerful light sources. Overall, SSSR-FPP represents a significant advancement in 3D optical sensing, promising to deepen our understanding of dynamic processes across various scientific fields.
Introduction
The introduction discusses the critical need for advanced imaging techniques capable of capturing fast-occurring events in three dimensions (3D) with ultrafast temporal resolution, which is essential for addressing fundamental scientific inquiries across mechanics, physics, and biology. Traditional imaging methods, such as charge-coupled device (CCD) and complementary metal-oxide-semiconductor (CMOS) sensors, are limited to two-dimensional (2D) sequences and struggle with frame rates and resolution, particularly when attempting to capture dynamic events. Fringe projection profilometry (FPP) has emerged as a prominent 3D sensing technique, yet its speed is constrained by hardware limitations and the number of patterns required for reconstruction.
Recent advancements in deep learning (DL) have transformed optical metrology by enabling the extraction of high-precision phase information from minimal data. The introduction highlights the development of a novel method called single-shot super-resolved FPP (SSSR-FPP), which can reconstruct 3D images of non-repetitive dynamic events at an unprecedented rate of 100,000 frames per second (fps) using only one pair of low-resolution fringe patterns. This method leverages deep learning to regenerate lost spatial resolution, thus overcoming the limitations of conventional high-speed cameras and significantly enhancing the capabilities of 3D imaging. The subsequent sections will detail the principles, experimental setup, performance metrics, and applications of SSSR-FPP in capturing transient phenomena.
Methods
In this section, the authors present the methodology and experimental results of the Super-Resolution Structured-Illumination Fringe Phase Profiling (SSSR-FPP) technique, which demonstrates high temporal resolution in capturing dynamic scenes. The experiments involved 3D videography of a rapidly spinning computer fan and a static plaster model, revealing intricate surface details despite background noise. The fan’s rotation period was measured at approximately 9.81 ms, corresponding to a speed of 6,116 RPM, with significant depth variations observed. Additionally, a turbofan engine model was reconstructed at maximum rotational speed, achieving a rotational period of about 6.14 ms (9771 RPM). The SSSR-FPP technique effectively resolved high-frequency details and surface textures, confirming its capability for high-resolution ultrafast 3D shape measurements across a volume of 400 mm × 180 mm × 210 mm.
The methodology involves a deep learning framework where training datasets are generated from experimental data rather than simulations, enhancing the reliability of the SSSR-FPP framework. Two convolutional neural networks (CNNs) are employed: CNN1 performs super-resolved phase retrieval from low-resolution fringe images, while CNN2 maps the ambiguous wrapped phase to an absolute phase map using geometric constraints. This dual architecture allows for high-precision phase reconstruction, enabling super-resolved 3D imaging at a remarkable speed of 100 kHz. The robustness of the SSSR-FPP technique is further validated through additional experiments capturing various dynamic events, showcasing its versatility in measuring fast-moving objects with complex geometries and surface characteristics.
Results
The SSSR-FPP system demonstrates a novel approach to high-speed 3D imaging by utilizing a pair of low-SNR, low-resolution fringe patterns captured at 100,000 fps. The system incorporates two high-speed cameras and a DLP projection system, enabling the retrieval of high-quality images through deep learning techniques. Specifically, two convolutional neural networks (CNN1 and CNN2) are employed: CNN1 enhances the resolution of the fringe patterns, while CNN2 predicts a low-precision absolute phase that aids in resolving the high-precision wrapped phase generated by CNN1. This end-to-end network structure effectively addresses the challenges of phase unwrapping and improves the accuracy of the reconstructed phase.
Experimental results using a static plaster model validate the efficacy of the SSSR-FPP method, achieving a mean absolute phase error (MAE) of only 0.0257 rad. The system’s performance is further corroborated through quantitative assessments, yielding a Structural Similarity Index (SSIM) of 0.92 and a Peak Signal-to-Noise Ratio (PSNR) of 26.81 dB, indicating superior fidelity compared to conventional methods. The SSSR-FPP method not only enhances the resolution and quality of 3D reconstructions but also demonstrates robustness across various complex samples, all while maintaining full automation and minimizing the need for manual parameter adjustments. This positions SSSR-FPP as a promising solution for high-speed, high-resolution 3D imaging applications.
Discussion
The discussion section of the research paper evaluates the accuracy and performance of the SSSR-FPP (Single-Shot Super-Resolution Fringe Pattern Projection) system in 3D imaging. A quantitative analysis was conducted using standard ceramic spheres and a table tennis ball to assess measurement precision, revealing root mean square errors of 77.74 μm and 57.34 μm for the spheres, with an overall measurement accuracy better than 80 μm. The system demonstrated enhanced spatial resolution, achieving up to 0.891 line pairs/mm and an improved signal-to-noise ratio (SNR) from 28.57 dB to 33.51 dB, highlighting its capability in high-speed imaging scenarios.
Furthermore, the SSSR-FPP method was compared with traditional 3D reconstruction techniques, such as structure from motion (SfM) and simultaneous localization and mapping (SLAM), showcasing superior performance in terms of imaging speed, accuracy, and the number of reconstructed point clouds. Despite its advantages, the method faces challenges related to deep learning limitations, including sensitivity to training data quality and the need for robust dataset generation techniques. The authors emphasize the importance of addressing these challenges to optimize the SSSR-FPP system for broader applications in fields such as aerospace and biomedicine, while also acknowledging the potential for further advancements in imaging speed and resolution through improved optical setups and computational techniques.