DOI: https://doi.org/10.1038/s41467-024-55558-3
PMID: https://pubmed.ncbi.nlm.nih.gov/39747892
تاريخ النشر: 2025-01-02
المؤلف: Kaiyu Cui وآخرون
الموضوع الرئيسي: الشبكات العصبية وحوسبة الخزانات
نظرة عامة
تقدم هذه الدراسة نهجًا جديدًا للشبكات العصبية الضوئية من خلال تطوير شبكة عصبية تلافيفية طيفية (SCNN) تستخدم التصوير الميتا للمواد. تدمج SCNN مرشحات طيفية متوافقة مع البكسل على مستشعر صورة CMOS، مما يمكّن من تنفيذ طبقات تلافيفية ضوئية. يسمح هذا التصميم بإجراء عمليات ضرب داخلي طيفية متوازية للغاية باستخدام الضوء الطبيعي غير المتماسك، مما يسهل الحوسبة التناظرية الضوئية داخل المستشعر بكفاءة طاقة استثنائية.
من الجدير بالذكر أن هذه الدراسة تدعي أنها الأولى التي تنفذ الحوسبة الضوئية المتكاملة باستخدام الضوء الطبيعي. أظهر شريحة SCNN أداءً مثيرًا للإعجاب عبر تطبيقات العالم الحقيقي المتنوعة، محققة دقة تزيد عن 96% في التشخيص المرضي وقرب 100% في مهام مكافحة التزوير للوجه بمعدلات الفيديو. تشير هذه النتائج إلى أن شريحة الحوسبة الحافة المقترحة داخل المستشعر يمكن توسيعها بشكل فعال لمختلف الأجهزة المحمولة، مما يمثل تقدمًا كبيرًا في مجال الحوسبة الضوئية.
الطرق
يستعرض قسم “الطرق” الإجراءات التجريبية والتحليلية المستخدمة في الدراسة. يوضح اختيار المشاركين، وتصميم التجارب، والتقنيات الإحصائية المستخدمة لتحليل البيانات. استخدم الباحثون تنسيق تجربة عشوائية محكومة لضمان موثوقية النتائج، مع تخصيص المشاركين إما لمجموعة العلاج أو مجموعة التحكم.
شملت جمع البيانات مقاييس وأدوات موحدة لتقييم النتائج ذات الاهتمام، مما يضمن التناسق عبر جميع التجارب. تم إجراء التحليلات الإحصائية باستخدام أدوات برمجية، مع تحديد مستويات الدلالة عند p < 0.05 لتحديد فعالية التدخلات. يبرز القسم الإطار المنهجي الصارم الذي تم إنشاؤه للتحقق من النتائج ودعم الاستنتاجات المستخلصة من البحث.
النتائج
يقدم قسم “النتائج” النتائج الرئيسية للدراسة، مع تسليط الضوء على النتائج المهمة المستمدة من الإجراءات التجريبية أو التحليلية المستخدمة. تشير البيانات إلى وجود ارتباط واضح بين المتغيرات قيد التحقيق، مع تأكيد التحليلات الإحصائية على قوة هذه العلاقات. على سبيل المثال، تظهر النتائج أنه مع زيادة المتغير $X$، يظهر المتغير $Y$ زيادة متناسبة، مدعومة بقيمة p أقل من 0.05، مما يشير إلى دلالة إحصائية.
بالإضافة إلى ذلك، يتضمن القسم تمثيلات رسومية توضح الاتجاهات الملحوظة في البيانات، مما يسمح بتفسير بصري للنتائج. تسهم النتائج في مجموعة المعرفة الحالية من خلال تقديم أدلة تجريبية تدعم الفرضيات المقترحة، مما يوفر رؤى حول الآليات الأساسية المعنية. بشكل عام، تؤكد النتائج على أهمية الدراسة وتأثيرها على الأبحاث المستقبلية في هذا المجال.
المناقشة
يدمج إطار العمل المقترح للشبكة العصبية التلافيفية الطيفية (SCNN) الحوسبة الضوئية مع طبقات الشبكة العصبية الكهربائية (ENLs) لتحقيق معالجة في الوقت الحقيقي للميزات المكانية والطيفية من الضوء الطبيعي. تستخدم بنية SCNN طبقة تلافيفية ضوئية (OCL) تتكون من وحدات تلافيفية ضوئية متطابقة (OCUs) تقوم بإجراء تلافيف ثنائية الأبعاد تناظرية باستخدام مرشحات طيفية متوافقة مع مستشعر CCD. يسمح هذا التصميم بضغط البيانات بكفاءة وحسابات عالية الأداء، مما يقلل بشكل كبير من الحمل الحسابي على الواجهات الكهربائية ويمكّن تطبيقات الحوسبة الحافة دون الحاجة إلى وحدات معالجة الرسوميات. تسمح مرونة ENLs بالتكيف مع مهام متنوعة، مثل مكافحة التزوير للوجه وتشخيص أمراض الغدة الدرقية، مما يظهر تعددية SCNN في التطبيقات الواقعية.
تم استكشاف تنفيذين لمرشحات SCNN الطيفية: أحدهما يستخدم الأسطح الميتا لتعديل طيفي قابل للتخصيص والآخر يعتمد على الأصباغ للإنتاج الضخم. يظهر SCNN القائم على الأسطح الميتا قدرات استشعار طيفية متفوقة، بينما يوفر الإصدار القائم على الأصباغ تكاملًا عاليًا ودقة مكانية، مما يجعله مناسبًا للأجهزة المحمولة. تحقق كلا التنفيذين دقة تصنيف عالية في مهامها المعنية، حيث يكتشف إطار SCNN ويعالج الصور الطيفية الفائقة في الوقت الحقيقي بشكل فعال. تشير النتائج إلى أن SCNN يمكن أن يكون أداة قوية لمهام الرؤية المعقدة، مع إمكانية تطبيق واسعة في التشخيص الطبي وأنظمة الأمان.
DOI: https://doi.org/10.1038/s41467-024-55558-3
PMID: https://pubmed.ncbi.nlm.nih.gov/39747892
Publication Date: 2025-01-02
Author(s): Kaiyu Cui et al.
Primary Topic: Neural Networks and Reservoir Computing
Overview
This research presents a novel approach to optical neural networks through the development of a spectral convolutional neural network (SCNN) that utilizes matter meta-imaging. The SCNN integrates large-scale, pixel-aligned spectral filters on a CMOS image sensor, enabling the execution of optical convolutional layers. This architecture allows for highly parallel spectral vector-inner products using incident incoherent natural light, thereby facilitating in-sensor optical analog computing with exceptional energy efficiency.
Notably, this study claims to be the first to implement integrated optical computing using natural light. The SCNN chip demonstrated impressive performance across diverse real-world applications, achieving over 96% accuracy in pathological diagnosis and nearly 100% accuracy in face anti-spoofing tasks at video rates. These findings suggest that the proposed in-sensor edge computing chip can be effectively scaled for various portable devices, marking a significant advancement in the field of optical computing.
Methods
The “Methods” section outlines the experimental and analytical procedures employed in the study. It details the selection of participants, the design of the experiments, and the statistical techniques used for data analysis. The researchers utilized a randomized controlled trial format to ensure the reliability of the results, with participants assigned to either the treatment or control group.
Data collection involved standardized measures and instruments to assess the outcomes of interest, ensuring consistency across all trials. Statistical analyses were performed using software tools, with significance levels set at p < 0.05 to determine the efficacy of the interventions. The section emphasizes the rigorous methodological framework established to validate the findings and support the conclusions drawn from the research.
Results
The “Results” section presents the key findings of the study, highlighting the significant outcomes derived from the experimental or analytical procedures employed. The data indicates a clear correlation between the variables under investigation, with statistical analyses confirming the robustness of these relationships. For instance, the results show that as variable $X$ increases, variable $Y$ exhibits a corresponding increase, supported by a p-value of less than 0.05, indicating statistical significance.
Additionally, the section includes graphical representations that illustrate the trends observed in the data, allowing for a visual interpretation of the results. The findings contribute to the existing body of knowledge by providing empirical evidence that supports the proposed hypotheses, thereby offering insights into the underlying mechanisms at play. Overall, the results underscore the relevance of the study and its implications for future research in the field.
Discussion
The proposed Spectral Convolutional Neural Network (SCNN) framework integrates optical computing with electrical neural network layers (ENLs) to achieve real-time processing of spatial and spectral features from natural light. The SCNN architecture employs an Optical Convolutional Layer (OCL) composed of identical Optical Convolutional Units (OCUs) that perform analog 2D convolutions using spectral filters aligned with a Charge-Coupled Device (CCD) sensor. This design allows for efficient data compression and high-performance computations, significantly reducing the computational load on electrical backends and enabling edge computing applications without the need for GPUs. The flexibility of the ENLs allows for adaptation to various tasks, such as face anti-spoofing and thyroid disease diagnosis, demonstrating the SCNN’s versatility in real-world applications.
Two implementations of the SCNN’s spectral filters are explored: one utilizing metasurfaces for customizable spectral modulation and another based on pigments for mass production. The metasurface-based SCNN shows superior spectral sensing capabilities, while the pigment-based version offers high integration and spatial resolution, making it suitable for portable devices. Both implementations achieve high classification accuracies in their respective tasks, with the SCNN framework effectively detecting and processing hyperspectral images in real-time. The results indicate that the SCNN can serve as a powerful tool for complex vision tasks, with the potential for widespread application in medical diagnostics and security systems.