DOI: https://doi.org/10.1038/s41586-025-09430-z
PMID: https://pubmed.ncbi.nlm.nih.gov/40903585
تاريخ النشر: 2025-09-03
المؤلف: Kirill P. Kalinin وآخرون
الموضوع الرئيسي: الشبكات العصبية وحوسبة الخزانات
نظرة عامة
تقدم البحث حاسوبًا بصريًا تماثليًا (AOC) مصممًا لتعزيز كفاءة استنتاج الذكاء الاصطناعي (AI) والتحسين التوافقي من خلال دمج الإلكترونيات التماثلية مع البصريات ثلاثية الأبعاد. تعالج هذه المنصة المبتكرة الطلبات المتزايدة للطاقة في الحوسبة الرقمية من خلال إجراء عمليات بحث سريعة بنقاط ثابتة تقضي على الحاجة إلى التحويلات الرقمية التي تستهلك الطاقة. يعمل AOC من خلال حلقة تغذية راجعة حيث تدير البصريات عمليات ضرب المصفوفات والمتجهات وتنفذ الإلكترونيات التماثلية العمليات غير الخطية، مما يحسن من قوة تحمل الضوضاء الضرورية للأنظمة التماثلية.
تربط بنية AOC بشكل فعال بين متطلبات التطبيقات وقدرات الأجهزة، لا سيما لنماذج الذكاء الاصطناعي التي تعاني من اختناق الذاكرة ومشكلات التحسين. يدعم نماذج تكرارية متقدمة، مثل الشبكات العميقة المتوازنة، التي تتطلب حسابات مكثفة على المنصات الرقمية ولكن تتماشى بشكل جيد مع قدرات AOC. بالإضافة إلى ذلك، يسهل AOC التحسين المختلط غير المقيد التربيعي (QUMO)، مما يستوعب كل من المتغيرات الثنائية والمستمرة لمعالجة التحديات المعقدة في العالم الحقيقي. بشكل عام، يمثل AOC خطوة كبيرة نحو الحوسبة المستدامة، مستفيدًا من التقنيات القابلة للتوسع لتعزيز التقدم المستقبلي في الذكاء الاصطناعي والتحسين.
الطرق
في هذا القسم، يصف المؤلفون المنهجيات المستخدمة لتدريب نماذج التعلم الآلي (ML) باستخدام توأم رقمي (AOC-DT) يحاكي سلوك جهاز AOC. تستهلك عملية التدريب، التي تستهلك أقل من 10% من إجمالي الطاقة، معيار تقارب محدد بواسطة \( ||s_{t+1} – s_t|| < \epsilon \) مع \( \epsilon = 10^{-3} \). يتضمن AOC-DT ما يصل إلى سبع عدم مثالية قابلة للتبديل ويتم تنفيذه كوحدة PyTorch مع معلمات قابلة للتدريب بما في ذلك مصفوفة أوزان طبيعية \( W \) وانحياز \( b \). يستخدم التدريب حجم دفعة قدره \( B = 8 \) ويستخدم مُحسِّن آدم بمعدلات تعلم محددة لمهام مختلفة. يتم تطبيق طريقة التدرج الضمني لفصل تكاليف الذاكرة عن عمق التكرار، مما يحسن من عملية التدريب. بعد التدريب، يتم تحويل مصفوفة الأوزان \( W \) إلى أعداد صحيحة 9 بت موقعة، ويتم تكثيف مدخلات النموذج في متجه واحد لتوافقها مع جهاز AOC. تضمن عملية التحويل أن تكون عملية ضرب المصفوفات البصرية محدودة، مما يسمح بإعادة إدخال العنصر الأقصى الأصلي للمصفوفة من خلال الكسب \( \beta \). يتم أخذ عينات من حالات التصنيف في المجال التماثلي، مع فترة تبريد محددة ونافذة أخذ عينات لضمان عمليات بحث دقيقة بنقاط ثابتة. يتم متوسط النتائج عبر تكرارات متعددة لتقليل التباين، مما يوضح فعالية AOC-DT في تحقيق أداء موثوق عبر المهام.
المناقشة
تناقش البحث تطوير وقدرات نظام الحوسبة البصرية التماثلية (AOC) المصمم لاستنتاج التعلم الآلي (ML) بكفاءة ومهام التحسين. يعمل AOC مع توأم رقمي قابل للتفريق (AOC-DT) يحاكي عن كثب الأجهزة المادية، محققًا دقة تزيد عن 99% في مهام مثل تصنيف الصور والانحدار غير الخطي. يمكن لـ AOC التعامل مع مشكلات التحسين المختلط غير المقيد التربيعي (QUMO) مع ما يصل إلى 64 متغيرًا، مما يظهر أداءً متقدمًا في تطبيقات مثل إعادة بناء الصور الطبية وتسوية المعاملات المالية. من الجدير بالذكر أن أجهزة AOC تستخدم مكونات بصرية وإلكترونية من فئة المستهلك، مما يسمح بتحقيق مكاسب كبيرة في الكفاءة من خلال دمج الحوسبة والذاكرة، وبالتالي تجاوز اختناق فون نيومان.
تدعم بنية AOC تحديثات نقاط ثابتة تكرارية، وهي ضرورية لكل من استنتاج ML والتحسين. تعزز هذه الطريقة من القوة ضد الضوضاء التماثلية، مما يجعلها مناسبة بشكل خاص للتطبيقات الواقعية. تتيح قدرة الأجهزة على إجراء العمليات في كل من المجالات البصرية والكهربائية معالجة قابلة للتوسع ومتوازية، وهو أمر حاسم للتعامل مع مصفوفات أكبر ومشكلات تحسين معقدة. يبرز البحث تعددية استخدام AOC من خلال دراسات حالة، بما في ذلك تطبيقه في إعادة بناء الصور الطبية وتحسين المعاملات المالية، مما يظهر إمكاناته كحل حوسبة مستدام يتفوق على الأنظمة الرقمية التقليدية.
DOI: https://doi.org/10.1038/s41586-025-09430-z
PMID: https://pubmed.ncbi.nlm.nih.gov/40903585
Publication Date: 2025-09-03
Author(s): Kirill P. Kalinin et al.
Primary Topic: Neural Networks and Reservoir Computing
Overview
The research introduces an analog optical computer (AOC) designed to enhance the efficiency of artificial intelligence (AI) inference and combinatorial optimization by integrating analog electronics with three-dimensional optics. This innovative platform addresses the increasing energy demands of digital computing by performing rapid fixed-point searches that eliminate the need for energy-intensive digital conversions. The AOC operates through a feedback loop where optics manage matrix-vector multiplications and analog electronics execute nonlinear operations, thereby improving noise robustness essential for analog systems.
The AOC’s architecture effectively bridges the gap between application requirements and hardware capabilities, particularly for memory-bottlenecked AI models and optimization problems. It supports advanced iterative models, such as deep-equilibrium networks, which are computationally intensive on digital platforms but align well with the AOC’s capabilities. Additionally, the AOC facilitates quadratic unconstrained mixed optimization (QUMO), accommodating both binary and continuous variables to address complex real-world challenges. Overall, the AOC represents a significant step towards sustainable computing, leveraging scalable technologies to foster future advancements in AI and optimization.
Methods
In this section, the authors describe the methodologies employed for training machine learning (ML) models using a digital twin (AOC-DT) that simulates the behavior of an AOC device. The training process, which consumes less than 10% of the total energy, utilizes a convergence criterion defined by \( ||s_{t+1} – s_t|| < \epsilon \) with \( \epsilon = 10^{-3} \). The AOC-DT incorporates up to seven switchable non-idealities and is implemented as a PyTorch module with trainable parameters including a normalized weight matrix \( W \) and bias \( b \). The training employs a batch size of \( B = 8 \) and utilizes the Adam optimizer with specific learning rates for different tasks. The implicit gradient method is applied to decouple memory costs from iteration depth, optimizing the training process. Post-training, the weight matrix \( W \) is quantized to signed 9-bit integers, and the model inputs are condensed into a single vector for compatibility with the AOC device. The quantization process ensures that the optical matrix multiplication is bounded, allowing for the re-injection of the original maximum element of the matrix through the gain \( \beta \). The sampling of classification instances occurs in the analog domain, with a defined cooldown period and sampling window to ensure accurate fixed-point searches. The results are averaged over multiple repeats to mitigate variability, demonstrating the effectiveness of the AOC-DT in achieving reliable performance across tasks.
Discussion
The research discusses the development and capabilities of an analog optical computing (AOC) system designed for efficient machine learning (ML) inference and optimization tasks. The AOC operates with a differentiable digital twin (AOC-DT) that closely mimics the physical hardware, achieving over 99% accuracy in tasks such as image classification and nonlinear regression. The AOC can handle quadratic unconstrained mixed optimization (QUMO) problems with up to 64 variables, demonstrating state-of-the-art performance in applications like medical image reconstruction and financial transaction settlement. Notably, the AOC hardware utilizes consumer-grade optical and electronic components, allowing for significant efficiency gains by merging computation and memory, thus bypassing the von Neumann bottleneck.
The AOC’s architecture supports iterative fixed-point updates, which are essential for both ML inference and optimization. This approach enhances robustness against analog noise, making it particularly suitable for real-world applications. The hardware’s ability to perform operations in both optical and electrical domains allows for scalable and parallel processing, which is crucial for handling larger matrices and complex optimization problems. The paper highlights the AOC’s versatility through case studies, including its application in reconstructing medical images and optimizing financial transactions, showcasing its potential as a sustainable computing solution that outperforms traditional digital systems.