DOI: https://doi.org/10.1103/k6f7-gtr7
تاريخ النشر: 2026-03-04
المؤلف: Li Luo وآخرون
الموضوع الرئيسي: الشبكات العصبية وحوسبة الخزانات
نظرة عامة
تقدم هذه البحث آلة بولتزمان المقيدة الضوئية (PRBM)، وهي نموذج شبكة عصبية مبتكر مستوحى من نموذج إيسينغ، تهدف إلى تعزيز كفاءة أخذ عينات غيبس لتوليد المحتوى. تواجه آلات RBM التقليدية تحديات حسابية كبيرة بسبب التكاليف العالية المرتبطة بأخذ عينات غيبس، مما يمكن أن يعيق التنفيذات الإلكترونية. تعالج PRBM هذه المشكلة من خلال استخدام طريقة ترميز جديدة تقلل من التعقيد الحسابي لأخذ عينات غيبس من \(O(N)\) إلى \(O(1)\) وتلغي الحاجة إلى تحليل المصفوفات المكثف. بالإضافة إلى ذلك، يسمح هيكلها غير فون نيومان بتجاوز تخزين الذاكرة لمصفوفات التفاعل، مما يجعلها مفيدة بشكل خاص للتطبيقات واسعة النطاق.
تم إجراء التحقق التجريبي من PRBM من خلال محاكاة نموذج إيسينغ ثنائي الأبعاد، مما يظهر أن درجة حرارة الانتقال الطوري الملحوظة تتماشى عن كثب مع التنبؤات النظرية. بالإضافة إلى تطبيقاتها في الفيزياء، تظهر PRBM أداءً قويًا في توليد واستعادة أنواع مختلفة من المحتوى، مثل الصور والتسلسلات الزمنية، حتى في ظل ظروف الضوضاء والتشويه. تسلط النتائج الضوء على قابلية توسيع PRBM وتكاليف التدريب المنخفضة، مما يضعها كتحسين واعد في مجال الحوسبة الضوئية للذكاء الاصطناعي التوليدي.
مقدمة
تناقش مقدمة هذه الورقة البحثية آلة بولتزمان المقيدة (RBM)، وهي شبكة عصبية توليدية عشوائية متجذرة في نموذج إيسينغ، والتي تتفوق في تعلم توزيعات الاحتمالات من بيانات التدريب ولها تطبيقات كبيرة في التعلم العميق، والتصنيف، وتوليد المحتوى. تسلط الورقة الضوء على قيود الحوسبة الإلكترونية التقليدية في أداء أخذ عينات غيبس لمجموعات البيانات واسعة النطاق، مما يثير الاهتمام في الهياكل الحسابية غير التقليدية، وخاصة آلات إيسينغ التي تستخدم أنظمة فيزيائية متنوعة مثل الأجهزة البصرية والكيوبتات فائقة التوصيل.
لمعالجة التحديات الحسابية المرتبطة بـ RBMs، يقترح المؤلفون آلة بولتزمان مقيدة ضوئية جديدة (PRBM) تستخدم الحوسبة الضوئية لتعزيز كفاءة أخذ عينات غيبس. من خلال استخدام تقسيم الطول الموجي وتطوير طريقة ترميز جديدة، تقلل PRBM من التعقيد الحسابي لأخذ عينات غيبس من \(O(N)\) إلى \(O(1)\)، مما يقلل بشكل كبير من التكاليف الحسابية. تفيد الورقة بالتحقق الناجح من عملية أخذ عينات غيبس من خلال المحاكاة والتجارب، مما يظهر قدرة PRBM على توليد محتوى جديد، بما في ذلك الصور والموسيقى، مع مناقشة قابلية توسيعها والتطبيقات المحتملة في الذكاء الاصطناعي التوليدي.
طرق
في هذا القسم، يصف المؤلفون المنهجية المستخدمة باستخدام آلة بولتزمان المقيدة (RBM) لنمذجة تكوينات الدوران عند درجة حرارة \( T \). يتم التحكم في احتمال تكوين دوران معين بواسطة توزيع بولتزمان-غيبس، المعبر عنه كـ \( P(v, h) \propto \exp[-H(v, h)/T] \)، حيث \( H \) تشير إلى طاقة الحالة وثابت بولتزمان \( k_B \) مضبوط على 1. يتم تحويل مجموعة التدريب إلى ثنائية لتمثيل الدورانات في الطبقة المرئية، والهدف هو تعظيم دالة الاحتمالية اللوغاريتمية \( \ell(\theta) = \langle \ln P(v, h) \rangle_{\text{data}} \) بالنسبة للمعلمات \( \theta = \{W_{ij}, a_i, b_i\} \) عند \( T = 1 \).
لتحديث المعلمات، يتم استخدام أخذ عينات غيبس لحساب المشتقات الجزئية لـ \( \ell(\theta) \). يتم إعطاء الاحتمالات للطبقات المخفية والمرئية بواسطة \( P(h_k = 1|v) = \frac{1}{1 + \exp(-2(b_k + \sum_i v_i W_{ik}))} \) و \( P(v_k = 1|h) = \frac{1}{1 + \exp(-2(a_k + \sum_i W_{ki} h_i))} \)، على التوالي. خلال عملية التوليد، يتم استخدام أخذ عينات غيبس مرة أخرى لإنشاء محتوى جديد يعكس خصائص بيانات التدريب.
مناقشة
في هذا القسم، يقدم المؤلفون مخطط حوسبة ضوئية لآلات بولتزمان المقيدة (RBMs) يعزز كفاءة أخذ عينات غيبس من خلال طريقة ترميز جديدة. يتم تعريف هاميلتونيان لـ RBM كـ \( H(v, h) = -\sum_{i,j} v_i W_{ij} h_j – \sum_i a_i v_i – \sum_j b_j h_j \)، حيث تمثل \( v_i \) و \( h_j \) تكوينات الدوران للطبقات المرئية والمخفية، على التوالي. تتجاوز الطريقة المقترحة الحاجة إلى تحليل القيم الذاتية، مما يقلل بشكل كبير من التعقيد الحسابي من \( O(N^3) \) إلى \( O(1) \) في الحوسبة الضوئية. يتم تحقيق ذلك من خلال استخدام جهاز تعديل الضوء المكاني (SLM) لترميز تفاعلات الدوران والحقول المغناطيسية، مما يسمح بأخذ عينات غيبس بكفاءة دون تحليل المصفوفات.
يحقق المؤلفون في أداء PRBM من خلال ملاحظة الانتقالات الطورية في نموذج إيسينغ ثنائي الأبعاد، مما يظهر أن النتائج التجريبية تتماشى عن كثب مع التنبؤات النظرية. علاوة على ذلك، يُظهر PRBM فعاليته في توليد واستعادة الصور من مجموعات بيانات مثل Fashion MNIST و MNIST، مما يشير إلى قدرته على إنتاج محتوى متنوع دون الإفراط في التكيف. يختتم القسم بتسليط الضوء على إمكانيات PRBM لتوليد المحتوى الزمني، مثل الموسيقى، ويؤكد على مزاياها مقارنة بهياكل الحوسبة الإلكترونية التقليدية، خاصة من حيث قابلية التوسع وكفاءة الحساب لمجموعات RBMs واسعة النطاق.
DOI: https://doi.org/10.1103/k6f7-gtr7
Publication Date: 2026-03-04
Author(s): Li Luo et al.
Primary Topic: Neural Networks and Reservoir Computing
Overview
The research introduces a photonic restricted Boltzmann machine (PRBM), an innovative neural network model inspired by the Ising model, aimed at enhancing the efficiency of Gibbs sampling for content generation. Traditional RBMs face significant computational challenges due to the high costs associated with Gibbs sampling, which can hinder electronic implementations. The PRBM addresses this issue by employing a novel encoding method that reduces the computational complexity of Gibbs sampling from \(O(N)\) to \(O(1)\) and eliminates the need for intensive matrix decompositions. Additionally, its non-Von Neumann architecture allows for the circumvention of memory storage for interaction matrices, making it particularly advantageous for large-scale applications.
Experimental validation of the PRBM is conducted through simulations of a two-dimensional Ising model, demonstrating that the observed phase transition temperature aligns closely with theoretical predictions. Beyond its applications in physics, the PRBM exhibits strong performance in generating and restoring various types of content, such as images and temporal sequences, even under conditions of noise and distortion. The findings highlight the PRBM’s scalability and reduced training costs, positioning it as a promising advancement in the field of photonic computing for generative artificial intelligence.
Introduction
The introduction of this research paper discusses the Restricted Boltzmann Machine (RBM), a stochastic generative neural network rooted in the Ising model, which excels in learning probability distributions from training data and has significant applications in deep learning, classification, and content generation. The paper highlights the limitations of traditional electronic computing in performing Gibbs sampling for large-scale datasets, prompting interest in unconventional computational architectures, particularly Ising machines that utilize various physical systems such as optical devices and superconducting qubits.
To address the computational challenges associated with RBMs, the authors propose a novel photonic restricted Boltzmann machine (PRBM) that employs photonic computing to enhance Gibbs sampling efficiency. By utilizing wavelength-division multiplexing and developing a new encoding method, the PRBM reduces the computational complexity of Gibbs sampling from \(O(N)\) to \(O(1)\), thereby significantly lowering computational costs. The paper reports successful validation of the Gibbs sampling process through simulations and experiments, demonstrating the PRBM’s capability in generating new content, including images and music, while also discussing its scalability and potential applications in generative artificial intelligence.
Methods
In this section, the authors describe the methodology employed using a Restricted Boltzmann Machine (RBM) to model spin configurations at a temperature \( T \). The probability of a given spin configuration is governed by the Boltzmann-Gibbs distribution, expressed as \( P(v, h) \propto \exp[-H(v, h)/T] \), where \( H \) denotes the energy of the state and the Boltzmann constant \( k_B \) is set to 1. The training set is binarized to represent spins in the visible layer, and the objective is to maximize the log-likelihood function \( \ell(\theta) = \langle \ln P(v, h) \rangle_{\text{data}} \) with respect to parameters \( \theta = \{W_{ij}, a_i, b_i\} \) at \( T = 1 \).
To update the parameters, Gibbs sampling is utilized to compute the partial derivatives of \( \ell(\theta) \). The probabilities for the hidden and visible layers are given by \( P(h_k = 1|v) = \frac{1}{1 + \exp(-2(b_k + \sum_i v_i W_{ik}))} \) and \( P(v_k = 1|h) = \frac{1}{1 + \exp(-2(a_k + \sum_i W_{ki} h_i))} \), respectively. During the generation process, Gibbs sampling is again employed to create new content that mirrors the characteristics of the trained data.
Discussion
In this section, the authors present a photonic computing scheme for Restricted Boltzmann Machines (RBMs) that enhances the efficiency of Gibbs sampling through a novel encoding method. The Hamiltonian for the RBM is defined as \( H(v, h) = -\sum_{i,j} v_i W_{ij} h_j – \sum_i a_i v_i – \sum_j b_j h_j \), where \( v_i \) and \( h_j \) represent the spin configurations of the visible and hidden layers, respectively. The proposed method circumvents the need for eigenvalue decomposition, significantly reducing computational complexity from \( O(N^3) \) to \( O(1) \) in photonic computing. This is achieved by utilizing a spatial light modulator (SLM) to encode spin interactions and magnetic fields, allowing for efficient Gibbs sampling without matrix decomposition.
The authors validate the performance of the photonic RBM (PRBM) by observing phase transitions in a two-dimensional Ising model, demonstrating that the experimental results align closely with theoretical predictions. Furthermore, the PRBM is shown to effectively generate and restore images from datasets such as Fashion MNIST and MNIST, indicating its capability to produce diverse content without overfitting. The section concludes by highlighting the potential of the PRBM for temporal content generation, such as music, and emphasizes its advantages over traditional electronic computing architectures, particularly in terms of scalability and computational efficiency for large-scale RBMs.