DOI: https://doi.org/10.1038/s41377-025-01814-0
PMID: https://pubmed.ncbi.nlm.nih.gov/40122842
تاريخ النشر: 2025-03-24
المؤلف: Wencan Liu وآخرون
الموضوع الرئيسي: الشبكات العصبية وحوسبة الخزانات
نظرة عامة
تقدم هذه البحث بنية شبكة جديدة تهدف إلى تحسين الكثافة الحسابية وكفاءة الطاقة للأجهزة العصبية على الشريحة من خلال الحوسبة الضوئية في الذاكرة. تعالج البنية المقترحة قيود قابلية التوسع والمهام المتعددة للشبكات العصبية الضوئية الحالية من خلال استخدام مبادئ التعلم الانتقالي. على وجه التحديد، تقوم بتضمين غالبية المعلمات في مكونات ضوئية ثابتة بينما تخصص أقلية للمكونات الكهربائية القابلة للتعديل. يتم استخدام خوارزمية انحدار عميق لنمذجة عمليات الانتشار الفيزيائية، مما يمكّن الشبكة العصبية الضوئية المدمجة من إدارة مهام متنوعة بشكل فعال.
تقرير الدراسة عن تصنيع شريحتين فائقتي الصغر، تعتمد على الانكسار في الذاكرة، كل منهما يدمج أكثر من 60,000 معلمة لكل مليمتر مربع. تستخدم هذه الشرائح نموذج شبكة عصبية عميقة إلى جانب خوارزمية مشاركة معلمات صعبة لتنفيذ مهام تصنيف وانحدار متعددة الأوجه. تشير النتائج التجريبية إلى أن الشرائح تحقق دقة مقارنة بالشبكات الكهربائية التقليدية بينما تقلل بشكل كبير من الحسابات الرقمية التي تستهلك الطاقة بنسبة 90%. يبرز هذا العمل إمكانيات أطر الحوسبة الضوئية في الذاكرة لدفع الجيل التالي من منصات الذكاء الاصطناعي.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التقدم السريع في الذكاء الاصطناعي (AI) الذي تسهلّه الشبكات العصبية العميقة (DNNs) عبر مجالات مختلفة، بما في ذلك رؤية الكمبيوتر ومعالجة اللغة الطبيعية. ومع ذلك، تشير إلى قيود المنصات الإلكترونية التقليدية، مثل وحدات المعالجة المركزية (CPUs) ووحدات معالجة الرسوميات (GPUs)، التي تقيدها بنية فون نيومان، مما يؤدي إلى استهلاك طاقة مرتفع وعدم كفاءة في معالجة البيانات. بالمقابل، تقدم الشبكات العصبية الضوئية (ONNs) بديلاً واعدًا، مستفيدة من تفاعلات الضوء لأداء الحسابات في خطوة واحدة، مما يعزز كفاءة الطاقة وسرعة الحساب.
تقدم الورقة بنية جديدة للشبكات العصبية الضوئية الانكسارية (DONNs) تعتمد على منصة السيليكون على العازل (SOI)، والتي تستخدم شبكة نقل خفيفة الوزن (LTN) لتسهيل الحوسبة في الذاكرة. تتيح هذه البنية رسم المعلمات المدربة على شريحة DONN، مما يمكّن من إجراء عمليات سريعة وفعالة من حيث الطاقة دون الحاجة للوصول التقليدي إلى الذاكرة. يذكر المؤلفون نتائج تجريبية توضح أن تكوينهم SOC+LTN يحقق دقة تصنيف متوسطة تبلغ 95.9% عبر ثلاثة مجموعات بيانات، بينما يقلل بشكل كبير من معلمات الحساب الرقمي بنسبة تقارب 90%. بالإضافة إلى ذلك، تم التحقق من أداء النظام في مهام الانحدار من خلال عمليات الالتفاف على مجموعة بيانات MNIST، محققًا دقة تبلغ 95.0%. يضع هذا العمل الأساس للتطورات المستقبلية في بنى الحوسبة الضوئية، مما قد يحول تطبيقات الذكاء الاصطناعي.
طرق
في هذا القسم، يوضح المؤلفون الطرق التجريبية المستخدمة لتقييم قدرات المهام المتعددة لنظام الحوسبة الضوئية المقترح من خلال مهام التصنيف والانحدار. استخدمت تجارب التصنيف ثلاث مجموعات بيانات: مجموعة بيانات بطريق بالمر، مجموعة بيانات بذور القمح، ومجموعة بيانات زهور السوسن. تشمل بنية النظام وحدة معالجة الإشارة (SOC) التي تحول الإشارات المدخلة إلى ضوء معدل الطور عند 1550 نانومتر، والذي يمر بعد ذلك عبر هيكل انكساري ويتم اكتشافه بواسطة كواشف الضوء (PDs). تشير النتائج إلى دقة تصنيف عالية تبلغ 98.55%، 96.67%، و92.50% للمجموعات البيانات المعنية، مما يظهر أداء النظام القوي. من الجدير بالذكر أن دمج SOC مع الشبكات النقل الخفيفة الوزن (LTNs) قلل بشكل كبير من عدد المعلمات الرقمية بينما عزز الدقة، محققًا متوسطًا قدره 95.9% عبر المهام، مقارنة بأداء أقل من الشبكات العصبية التقليدية.
بالنسبة لمهام الانحدار، تم تكوين النظام لأداء عمليات الالتفاف باستخدام نوى التفاف متنوعة. تم معالجة الصور المدخلة إلى تدرج الرمادي وتم تقسيمها، مما سمح لـ SOC بتنفيذ عمليات الالتفاف متعددة النوى ديناميكيًا. تم إعادة بناء المخرجات باستخدام شبكات متصلة بالكامل خفيفة الوزن، مما أدى إلى خرائط ميزات التفاف فعالة. أظهرت النتائج التجريبية قدرة النظام على التكيف وكفاءته في التعامل مع مهام الالتفاف، مع نسب إشارة إلى ضوضاء ذروة تشير إلى أداء قوي مقارنة بالعمليات الإلكترونية الالتفافية. بشكل عام، تؤكد النتائج على إمكانيات إطار الحوسبة الضوئية المقترح لدمج العمليات الضوئية بشكل فعال مع استراتيجيات التعلم الانتقالي، مما يعزز كل من قدرات التصنيف والانحدار.
نتائج
يقدم قسم “النتائج” النتائج الرئيسية للدراسة، مسلطًا الضوء على النتائج المهمة المستمدة من الإجراءات التجريبية أو التحليلية التي تم إجراؤها. تشير البيانات إلى وجود ارتباط قوي بين المتغيرات قيد البحث، مع تأكيد التحليلات الإحصائية على قوة هذه العلاقات. على وجه التحديد، تظهر النتائج أن التدخل المطبق يؤدي إلى تحسين قابل للقياس في النتائج المستهدفة، كما يتضح من المقاييس الكمية المبلغ عنها.
بالإضافة إلى ذلك، يتضمن القسم تمثيلات رسومية للبيانات، والتي توضح بشكل أكبر الاتجاهات الملحوظة. يتم وضع النتائج في سياق الأدبيات الحالية، مما يشير إلى أن النتائج لا تساهم فقط في فهم الظاهرة ولكن لها أيضًا آثار عملية للبحوث والتطبيقات المستقبلية في المجال المعني. بشكل عام، تؤكد النتائج على أهمية مساهمات الدراسة في تقدم المعرفة وإبلاغ الممارسة.
مناقشة
ت outlines قسم المناقشة في هذه الورقة البحثية النهج المبتكر لدمج الحوسبة الضوئية في الذاكرة مع الشبكات العصبية، من خلال تصميم نظام على شريحة (SOC) يدمج أوزان الشبكة العصبية المدربة كعناصر انكسارية دون الطول الموجي. تتيح هذه البنية حسابات فعالة من خلال تعديل بيانات الإدخال دون الحاجة للوصول إلى الأوزان من الذاكرة، مما يعزز السرعة ويقلل من استهلاك الطاقة. تم تصميم SOC للتعامل مع مهام حسابية متنوعة، مما يظهر مرونته مقارنة بالشبكات العصبية الضوئية التقليدية ذات الوظائف الثابتة (DONNs).
تؤكد الدراسة على التقدم الكبير المحقق في كثافة التكامل وكفاءة الحساب، حيث تظهر شرائح SOC كثافة معلمات ملحوظة تبلغ 62,893 معلمة/mm². يسمح استخدام الشبكات العصبية الانحدارية العميقة (DRNNs) لنمذجة انتشار الضوء داخل SOC بعملية تحسين أكثر دقة وكفاءة، مما يقلل من فقد الإدخال الكلي ويعزز من الإنتاجية الحسابية. تم التحقق من أداء SOC من خلال مهام التصنيف والانحدار المختلفة، محققًا معدلات دقة عالية بينما يقلل بشكل كبير من تعقيد الحسابات الإلكترونية. لا تعمل البنية المقترحة على تبسيط تصميم الشبكات العصبية الضوئية فحسب، بل تضع أيضًا أساسًا للتطورات المستقبلية في أنظمة الحوسبة الضوئية عالية الأداء، مما يبرز الإمكانيات لقدر أكبر من المهام المتعددة وكفاءة الطاقة في الأجهزة المدمجة.
DOI: https://doi.org/10.1038/s41377-025-01814-0
PMID: https://pubmed.ncbi.nlm.nih.gov/40122842
Publication Date: 2025-03-24
Author(s): Wencan Liu et al.
Primary Topic: Neural Networks and Reservoir Computing
Overview
This research presents a novel network architecture aimed at improving the computational density and energy efficiency of on-chip neuromorphic hardware through in-memory optical computing. The proposed architecture addresses the scalability and multitasking limitations of existing optical neural networks by utilizing transfer learning principles. Specifically, it embeds the majority of parameters in fixed optical components while allocating a minority to adjustable electrical components. A deep regression algorithm is employed to model the physical propagation processes, enabling the compact optical neural network to effectively manage diverse tasks.
The study reports the fabrication of two ultra-compact, in-memory diffraction-based chips, each integrating over 60,000 parameters per square millimeter. These chips utilize a deep neural network model alongside a hard parameter sharing algorithm to execute multifaceted classification and regression tasks. Experimental results indicate that the chips achieve accuracies comparable to traditional electrical networks while significantly reducing power-intensive digital computations by 90%. This work underscores the potential of in-memory optical computing frameworks to advance the next generation of artificial intelligence platforms.
Introduction
The introduction of this research paper highlights the rapid advancements in artificial intelligence (AI) facilitated by deep neural networks (DNNs) across various fields, including computer vision and natural language processing. However, it points out the limitations of traditional electronic platforms, such as CPUs and GPUs, which are constrained by the von Neumann architecture, leading to high power consumption and inefficiencies in data processing. In contrast, optical neural networks (ONNs) present a promising alternative, leveraging light interactions to perform computations in a single step, thereby enhancing energy efficiency and computational speed.
The paper introduces a novel architecture for diffractive optical neural networks (DONNs) based on a silicon-on-insulator (SOI) platform, which utilizes a lightweight transfer network (LTN) to facilitate in-memory computing. This architecture allows for the mapping of trained parameters onto the DONN chip, enabling rapid and energy-efficient operations without the need for traditional memory access. The authors report empirical results demonstrating that their SOC+LTN configuration achieves an average classification accuracy of 95.9% across three datasets, while significantly reducing digital computation parameters by approximately 90%. Additionally, the system’s performance in regression tasks is validated through convolutional operations on the MNIST dataset, achieving an accuracy of 95.0%. This work lays the groundwork for future developments in optical computing architectures, potentially transforming AI applications.
Methods
In this section, the authors detail the experimental methods employed to evaluate the multitasking capabilities of their proposed optical computing system through classification and regression tasks. The classification experiments utilized three datasets: the Palmer Penguin, Wheat Seed, and Iris Flower datasets. The system’s architecture includes a signal processing unit (SOC) that converts input signals into phase-modulated light at 1550 nm, which then passes through a diffraction structure and is detected by photodetectors (PDs). The results indicate high classification accuracies of 98.55%, 96.67%, and 92.50% for the respective datasets, showcasing the system’s robust performance. Notably, the SOC’s integration with lightweight transfer networks (LTNs) significantly reduced the number of digital parameters while enhancing accuracy, achieving an average of 95.9% across tasks, compared to lower performances from traditional neural networks.
For regression tasks, the system was configured to perform convolution operations using various convolutional kernels. Input images were processed into grayscale and segmented, allowing the SOC to execute multi-kernel convolutions dynamically. The outputs were reconstructed using lightweight fully connected networks, resulting in effective convolutional feature maps. The experimental results demonstrated the system’s adaptability and efficiency in handling convolutional tasks, with peak signal-to-noise ratios indicating strong performance relative to electronic convolutional processes. Overall, the findings underscore the potential of the proposed optical computing framework to efficiently integrate optical operations with transfer learning strategies, enhancing both classification and regression capabilities.
Results
The “Results” section presents the key findings of the study, highlighting the significant outcomes derived from the experimental or analytical procedures conducted. The data indicates a strong correlation between the variables under investigation, with statistical analyses confirming the robustness of these relationships. Specifically, the results demonstrate that the intervention applied leads to a measurable improvement in the target outcomes, as evidenced by the quantitative metrics reported.
Additionally, the section includes graphical representations of the data, which further elucidate the trends observed. The findings are contextualized within the existing literature, suggesting that the results not only contribute to the understanding of the phenomenon but also have practical implications for future research and applications in the relevant field. Overall, the results underscore the importance of the study’s contributions to advancing knowledge and informing practice.
Discussion
The discussion section of this research paper outlines the innovative approach of integrating optical in-memory computing with neural networks, specifically through the design of a System on Chip (SOC) that incorporates trained neural network weights as sub-wavelength diffractive elements. This architecture enables efficient computation by modulating input data without the need for accessing weights from memory, thereby enhancing speed and reducing power consumption. The SOC is designed to handle diverse computational tasks, showcasing its versatility compared to traditional fixed-function integrated optical neural networks (DONNs).
The study emphasizes the significant advancements achieved in integration density and computational efficiency, with the SOC chips demonstrating a remarkable parameter density of 62,893 parameters/mm². The use of deep regression neural networks (DRNNs) for modeling light propagation within the SOC allows for a more accurate and efficient optimization process, reducing the overall insertion loss and enhancing computational throughput. The SOC’s performance was validated through various classification and regression tasks, achieving high accuracy rates while significantly lowering the electronic computational complexity. The proposed architecture not only streamlines optical neural network design but also sets a foundation for future developments in high-performance optical computing systems, emphasizing the potential for multitasking capabilities and energy efficiency in compact devices.
