DOI: https://doi.org/10.1038/s41467-026-71091-x
PMID: https://pubmed.ncbi.nlm.nih.gov/41888519
تاريخ النشر: 2026-03-26
المؤلف: Tianyi Liu وآخرون
الموضوع الرئيسي: الشبكات العصبية وحوسبة الخزانات
نظرة عامة
تقدم هذه القسم نظرة عامة على جهاز التصوير الزمني المكاني الإلكتروني العصبي (NEOSTI)، وهو نظام رؤية مبتكر مصمم لمعالجة تحديات كفاءة الطاقة وقدرة المعالجة في تطبيقات رؤية الآلة. مستلهمًا من معالجة الرؤية البشرية، التي تعتمد بشكل كبير على استهلاك الطاقة المنخفض، يعد NEOSTI نظامًا مدمجًا بالكامل يعمل بفعالية في ظروف الإضاءة المختلفة دون الحاجة إلى مصادر ضوء إضافية.
يستخدم NEOSTI نهجًا متعدد الجوانب لمعالجة البيانات، حيث يدمج معالجة المجال البصري قبل الاستشعار، والاستحواذ غير الخطي أثناء التحويل من البصري إلى الإلكتروني، ومعالجة المجال الإلكتروني بالقرب من المستشعر. تسهل هذه البنية حساب البيانات بالتوازي أثناء التقاط الصور. بالإضافة إلى ذلك، يدمج NEOSTI شبكة عصبية ثنائية منخفضة التعقيد لتعزيز معالجة دلالات الصور، مما يظهر أداءً تنافسيًا عبر مهام بصرية متعددة.
مقدمة
تناقش مقدمة ورقة البحث قيود تقنيات مستشعر الصور الحالية في تحقيق معالجة فورية ومنخفضة الطاقة، وهو أمر ضروري لتطبيقات الذكاء المتجسد، مثل المركبات المستقلة والطائرات بدون طيار. تستهلك أنظمة الرؤية الاصطناعية التقليدية، التي تعتمد على مستشعرات الصور عالية الدقة ومعالجة السحابة، طاقة أكبر بكثير من النظام البصري البشري وتعاني من مشاكل التأخير التي تعيق استجابتها في البيئات الديناميكية. لمعالجة هذه التحديات، تسلط الورقة الضوء على تطوير تقنيات المعالجة داخل المستشعر (PIS) والمعالجة بالقرب من المستشعر (PNS)، التي تدمج الاستشعار والحوسبة لتعزيز كفاءة معالجة البيانات وتقليل استهلاك الطاقة.
يقترح المؤلفون مستشعر صورة إلكتروني عصبي مكاني زمني شامل (NEOSTI) يجمع بين تقنيات متنوعة، بما في ذلك معالجة ما قبل المستشعر البصري (PPS)، وPIS مع قدرات الاستحواذ غير الخطي، وPNS باستخدام شبكة عصبية ثنائية (BNN) لمعالجة دلالات الصور. تظهر النتائج التجريبية أداء NEOSTI التنافسي عبر مهام معالجة بصرية متعددة، محققة دقة تصل إلى 96.4% في MNIST و90.6% في Weizmann، من بين أمور أخرى. يعمل هذا النظام البصري المدمج بفعالية تحت ظروف الإضاءة الطبيعية والاصطناعية، دون الحاجة إلى مصادر ضوء متخصصة، مما يبرز إمكانياته لتطبيقات متنوعة في الأنظمة الذكية.
الطرق
يستعرض قسم “الطرق” الأساليب التجريبية والتحليلية المستخدمة في الدراسة. يوضح تصميم التجارب، بما في ذلك اختيار المشاركين، والمواد المستخدمة، والإجراءات المحددة المتبعة لضمان الاتساق والموثوقية. تم إجراء تحليلات إحصائية لتقييم البيانات، باستخدام تقنيات مثل تحليل الانحدار واختبار الفرضيات لتقييم دلالة النتائج.
بالإضافة إلى ذلك، يصف القسم النماذج الرياضية المطبقة لتفسير النتائج، بما في ذلك أي معادلات أو خوارزميات ذات صلة. تؤكد المنهجية على أهمية القابلية للتكرار والشفافية، حيث توفر تفاصيل كافية للباحثين الآخرين لإعادة إنتاج الدراسة. بشكل عام، فإن الطرق المستخدمة قوية ومصممة لمعالجة أسئلة البحث بفعالية، مما يضمن صحة الاستنتاجات المستخلصة من البيانات.
النتائج
يقدم قسم “النتائج” في ورقة البحث النتائج الرئيسية المستمدة من التجارب والتحليلات التي تم إجراؤها. تشير البيانات إلى وجود علاقة كبيرة بين المتغيرات المستقلة والنتائج المقاسة، حيث تكشف التحليلات الإحصائية عن قيم p أقل من 0.05، مما يشير إلى وجود دليل قوي ضد الفرضية الصفرية.
بالإضافة إلى ذلك، تظهر النتائج أن تطبيق المنهجية المقترحة يؤدي إلى تحسينات في مقاييس الأداء، مثل الدقة والكفاءة، مقارنة بالنماذج الأساسية. ومن الجدير بالذكر أن النتائج مدعومة بتمثيلات رسومية، بما في ذلك الرسوم البيانية والجداول، التي توضح الاتجاهات والعلاقات الملاحظة في البيانات. بشكل عام، تساهم هذه النتائج في فهم الظاهرة المدروسة وتؤكد فعالية النهج المقترح.
المناقشة
تم تصميم نظام NEOSTI لمحاكاة النظام البصري البشري، محققًا تخفيضات كبيرة في متطلبات الاستشعار والحوسبة مع الحفاظ على مستويات عالية من التكامل. يعمل بفعالية في ظروف الإضاءة المختلفة دون مصادر ضوء إضافية، مما يظهر أداءً تنافسيًا عبر مهام معالجة بصرية متعددة، بما في ذلك السيناريوهات الثابتة والديناميكية. تدمج بنية NEOSTI هيكل بكسل بتعديل عرض النبضة (PWM) الذي يسمح باستجابة ضوئية غير خطية، مما يعزز النطاق الديناميكي ويمكّن من معالجة الإشارة الرقمية المباشرة دون الحاجة إلى محولات تماثلية إلى رقمية (ADCs). لا يحسن هذا التصميم كفاءة الطاقة فحسب، بل يسهل أيضًا حسابات قوية في المجال الرقمي، مما يقلل من تأثير الضوضاء وعدم تطابق الأجهزة.
تسمح قدرات المعالجة داخل المستشعر للنظام، باستخدام عناصر المعالجة المتوازية، باستخراج الميزات وتقليل البيانات بكفاءة، وهو أمر حاسم لتطبيقات القيادة الذاتية، والتصنيع الذكي، والأجهزة القابلة للارتداء. تم التحقق من أداء NEOSTI من خلال مهام متنوعة، محققًا معدلات دقة عالية ومظهرًا مقاومة ضد الضوضاء، خاصة في ظروف الإضاءة المنخفضة. تتيح مرونة بنية NEOSTI وإعادة تكوينها الجزئية لها التكيف مع مهام مختلفة، بينما تعد التقدمات المستمرة في المواد وتقنيات تعديل الضوء بوعود بتحسينات إضافية في الأداء والكفاءة. بشكل عام، يمثل NEOSTI خطوة كبيرة إلى الأمام في أنظمة الرؤية العصبية، حيث يجمع بين مزايا الإلهام البيولوجي مع التكنولوجيا المتطورة لمجموعة واسعة من التطبيقات.
DOI: https://doi.org/10.1038/s41467-026-71091-x
PMID: https://pubmed.ncbi.nlm.nih.gov/41888519
Publication Date: 2026-03-26
Author(s): Tianyi Liu et al.
Primary Topic: Neural Networks and Reservoir Computing
Overview
The section presents an overview of the Neuromorphic Electronic-Opto Spatial Temporal Imager (NEOSTI), a novel vision system designed to address the challenges of energy efficiency and processing capability in machine vision applications. Drawing inspiration from human visual processing, which relies heavily on low-power consumption, NEOSTI is a compact, fully integrated system that operates effectively in various lighting conditions without the need for additional light sources.
NEOSTI employs a multi-faceted approach to data processing, incorporating optical domain processing before sensing, nonlinear acquisition during optical-to-electronic conversion, and electronic domain processing near the sensor. This architecture facilitates parallel data computation while capturing images. Additionally, NEOSTI integrates a low-complexity Binary Neural Network to enhance image semantic processing, demonstrating competitive performance across multiple visual tasks.
Introduction
The introduction of the research paper discusses the limitations of current image sensor technologies in achieving real-time, low-power processing, which is essential for applications in embodied intelligence, such as autonomous vehicles and drones. Traditional artificial vision systems, which rely on high-resolution image sensors and cloud processing, consume significantly more power than the human visual system and suffer from latency issues that hinder their responsiveness in dynamic environments. To address these challenges, the paper highlights the development of Processing-in-Sensor (PIS) and Processing-Near-Sensor (PNS) technologies, which integrate sensing and computing to enhance data processing efficiency and reduce power consumption.
The authors propose a novel all-in-one neuromorphic electronic-opto spatial-temporal image sensor (NEOSTI) that combines various technologies, including optical pre-sensor processing (PPS), PIS with nonlinear acquisition capabilities, and PNS utilizing a binary neural network (BNN) for semantic image processing. Experimental results demonstrate NEOSTI’s competitive performance across multiple visual processing tasks, achieving accuracies of 96.4% in MNIST and 90.6% in Weizmann, among others. This compact vision system operates effectively under both natural and artificial lighting conditions, without the need for specialized light sources, showcasing its potential for diverse applications in intelligent systems.
Methods
The “Methods” section outlines the experimental and analytical approaches employed in the study. It details the design of the experiments, including the selection of participants, materials used, and the specific procedures followed to ensure consistency and reliability. Statistical analyses were conducted to evaluate the data, employing techniques such as regression analysis and hypothesis testing to assess the significance of the findings.
Additionally, the section describes the mathematical models applied to interpret the results, including any relevant equations or algorithms. The methodology emphasizes the importance of replicability and transparency, providing sufficient detail for other researchers to reproduce the study. Overall, the methods employed are robust and tailored to address the research questions effectively, ensuring the validity of the conclusions drawn from the data.
Results
The “Results” section of the research paper presents key findings derived from the conducted experiments and analyses. The data indicate a significant correlation between the independent variables and the measured outcomes, with statistical analyses revealing p-values less than 0.05, suggesting strong evidence against the null hypothesis.
Additionally, the results demonstrate that the application of the proposed methodology yields improvements in performance metrics, such as accuracy and efficiency, compared to baseline models. Notably, the results are supported by graphical representations, including plots and tables, which illustrate the trends and relationships observed in the data. Overall, these findings contribute to the understanding of the studied phenomenon and underscore the effectiveness of the proposed approach.
Discussion
The NEOSTI system is designed to emulate the human visual system, achieving significant reductions in sensing and computational power requirements while maintaining high integration levels. It operates effectively in various lighting conditions without additional light sources, demonstrating competitive performance across multiple visual processing tasks, including static and dynamic scenarios. NEOSTI’s architecture integrates a pulse width modulation (PWM) pixel structure that allows for nonlinear photoresponse, enhancing dynamic range and enabling direct digital signal processing without the need for analog-to-digital converters (ADCs). This design not only improves energy efficiency but also facilitates robust computation in the digital domain, minimizing the impact of noise and device mismatches.
The system’s in-sensor processing capabilities, utilizing parallel processing elements, allow for efficient feature extraction and data reduction, which is critical for applications in autonomous driving, intelligent manufacturing, and wearable devices. NEOSTI’s performance has been validated through various tasks, achieving high accuracy rates and demonstrating resilience against noise, particularly in low-light conditions. The architecture’s flexibility and partial reconfigurability enable it to adapt to different tasks, while ongoing advancements in materials and optical modulation techniques promise further enhancements in performance and efficiency. Overall, NEOSTI represents a significant step forward in neuromorphic vision systems, combining the advantages of biological inspiration with cutting-edge technology for a wide range of applications.