DOI: https://doi.org/10.3389/fnins.2025.1658490
PMID: https://pubmed.ncbi.nlm.nih.gov/41624141
تاريخ النشر: 2026-01-15
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: الشبكات العصبية وحوسبة الخزانات
نظرة عامة
تقدم هذه الورقة البحثية تقدمًا كبيرًا في التنفيذ الرقمي لشبكات الأعصاب الاهتزازية (ONNs)، مع التركيز على بنية هجينة جديدة تعزز القابلية للتوسع والكفاءة. تواجه تصميمات ONN التقليدية، وخاصة تلك المستندة إلى الهياكل المتكررة، تحديات بسبب الزيادة التربيعية في الأجهزة المرتبطة مع زيادة حجم الشبكة. تخفف البنية الهجينة المقترحة من هذه المشكلة من خلال موازنة التسلسل والتوازي في عناصر الربط، مما يحقق توسيعًا قريبًا من الخط المستقيم (حوالي 1.2) مع قدرة مثيرة للإعجاب لتنفيذ 506 مذبذبات متصلة بالكامل على لوحة FPGA Zynq-7020. يسمح هذا التصميم بزيادة بمقدار 10.5 في عدد المذبذبات مع الحفاظ على تمثيل 5 بت لأوزان الربط وتمثيل 4 بت لمراحل المذبذبات.
تشير النتائج إلى أنه بينما تقلل البنية الهجينة من تردد الاهتزاز بمقدار 1.35 بسبب التسلسل، فإنها تظهر استهلاكًا أقل للطاقة بشكل عام وأداء استرجاع مشابه مقارنة بالهيكل المتكرر. ومن الجدير بالذكر أن كلا الهيكلين حققا دقة استرجاع 100% في مهام استرجاع الأنماط الأكبر، مما يبرز فعالية التصميم الهجين في تحسين استخدام موارد الأجهزة. تمثل هذه العمل مساهمة كبيرة في هذا المجال، حيث يمثل أكبر بنية ONN رقمية متصلة بالكامل تم تنفيذها حتى الآن ويمهد الطريق للتطورات المستقبلية في أنظمة ONN على نطاق واسع.
مقدمة
تناقش مقدمة الورقة الزيادة المتصاعدة في استهلاك الطاقة المرتبطة بأنظمة الحوسبة التقليدية، وخاصة تلك المستندة إلى بنية فون نيومان، التي تعاني من قيود مثل فصل الذاكرة ووحدات المعالجة. وقد أدى ذلك إلى تحول نحو هياكل الحوسبة العصبية، وبشكل خاص الشبكات العصبية الاهتزازية (ONNs)، المشتقة من الشبكات العصبية هوبفيلد. تم تصميم ONNs لتقليل استهلاك الطاقة أثناء أداء مهام الذاكرة الترابطية بشكل فعال، بما في ذلك التعرف على الأنماط وتصنيف الصور. تسلط الورقة الضوء على العلاقة بين تقليل الطاقة في ONNs ونموذج إيسينغ، مما أدى إلى تطوير آلات إيسينغ الاهتزازية القادرة على حل مشاكل تحسين معقدة.
يقترح المؤلفون بنية ONN هجينة جديدة تعالج مشاكل القابلية للتوسع في تصميمات ONN المتكررة الحالية، التي تواجه زيادة تربيعية في عناصر الربط مع زيادة حجم الشبكة. على النقيض من ذلك، تهدف البنية المقترحة إلى تحقيق قابلية توسع قريبة من الخط المستقيم، مما يعزز الإمكانية لوجود ONNs أكبر ضرورية لمجموعة متنوعة من التطبيقات. يتم توضيح هيكل الورقة، مع تفاصيل الأقسام التي تغطي المبادئ الأساسية لـ ONNs، والهياكل الموجودة، ومقارنة شاملة بين تصميمات ONN المتكررة والهجينة.
الطرق
تحدد قسم المنهجية في الورقة البحثية تحليلين رئيسيين: توسيع الأجهزة واسترجاع الأنماط. بالنسبة لتوسيع الأجهزة، تم تصنيع كلا الهيكلين عبر أحجام شبكات مختلفة، مع التركيز على استخدام الموارد من حيث جداول البحث (LUTs) والفليب فلوب، وهي ضرورية لتحديد متطلبات منطق الأجهزة. استخدم التحليل 5 بتات للوزن و4 بتات للمرحلة، مع تنفيذات على FPGA لتقييم الحد الأقصى لتردد المنطق، والذي تم تحويله لاحقًا إلى تردد الاهتزاز. تم تقديم مقياسين إجماليين: المساحة الإجمالية المستخدمة، المحسوبة كمتوسط حسابي لنسب موارد FPGA المستخدمة (فليب فلوب، LUTs، DSPs، وBRAMs)، ونسبة تردد الاهتزاز بالنسبة للحد الأقصى المحقق. تم إجراء تحليل الانحدار الخطي على المقياس اللوغاريتمي لنقاط البيانات لتحديد سلوك التوسع، مع مقارنة مع التوسع التحليلي المتوقع.
في منهجية استرجاع الأنماط، تهدف الدراسة إلى إثبات أن البنية الهجينة الجديدة تؤدي بشكل مشابه للبنية المتكررة في المهام الواقعية الأصغر، بينما تحقق أيضًا نتائج جيدة لأحجام الشبكات الأكبر. التركيز هو على قابلية التوسع للبنية المتكررة لمهام استرجاع الأنماط، مع استبعاد صريح لمشاكل تحسين التوافقي. يتم تقييم الأداء من خلال مهمة ذاكرة ترابطية، تقيس دقة الاسترجاع ومتوسط الوقت في دورات الاهتزاز لأحجام أنماط مختلفة (3×3، 5×4، 7×6، 10×10، و22×22). تم تدريب كل مجموعة بيانات، التي تحتوي على أنماط مشوشة، باستخدام قاعدة التعلم Diederich-Opper I، مع تشويش الأنماط عند ثلاثة نسب مختلفة (10%، 25%، و50%). تم تقليل مصفوفة الوزن الناتجة إلى 5 بتات وتم برمجتها في كلا الهيكلين، مما يسمح بإجراء تحليل مقارن لأداء الاسترجاع عبر مجموعات البيانات المحددة.
النتائج
تشير نتائج الدراسة إلى أن دقة الاسترجاع لكل من الهيكلين الهجين والمتكرر متشابهة عبر أحجام الأنماط المختلفة ومستويات الضوضاء، كما هو موضح في الجدول 6. ومن الجدير بالذكر أن البنية الهجينة تظهر دقة استرجاع عالية، حيث تحقق 100% أو قريبة من 100% للأنماط الأكبر مع 10% و25% من تشويش البكسل. وهذا يشير إلى أن ديناميات المذبذبات في البنية الهجينة تتماشى مع تلك الخاصة بالهيكل المتكرر، حتى لأحجام الشبكات الأكبر. ومع ذلك، يتم ملاحظة استثناء للأنماط 3×3 مع 50% من تشويش البكسل، حيث تظهر البنية الهجينة دقة أعلى بشكل ملحوظ. قد يُعزى هذا التباين إلى التزامن الإضافي المطلوب في البنية الهجينة، مما يغير ديناميات النظام تحت ظروف ضوضاء عالية في الشبكات الأصغر.
علاوة على ذلك، يكشف تحليل وقت التشغيل أن أوقات الاستقرار لكل من الهيكلين متشابهة إحصائيًا، مع عدم وجود زيادة كبيرة في وقت الاستقرار للأنماط الأكبر في البنية الهجينة. على الرغم من أن عدد دورات الاهتزاز متشابه، فإن مدة الاستقرار في الوقت الحقيقي أطول للبنية الهجينة بسبب تردد الاهتزاز الأقل. بشكل عام، تشير النتائج إلى أن كلا الهيكلين يؤديان بشكل مشابه من حيث دقة الاسترجاع ووقت الاستقرار، بينما تقدم البنية الهجينة مزايا في كفاءة الأجهزة وقابلية التوسع، مما يمكّن من تنفيذات أكبر مع متطلبات موارد مخفضة.
المناقشة
في مناقشة الشبكات العصبية الاهتزازية (ONNs)، يوضح المؤلفون هيكلها، الذي يعتمد على المذبذبات المرتبطة وي incorporate مبادئ من الشبكات العصبية هوبفيلد ونموذج إيسينغ. تقلل الشبكة من هاملتونيان، $H = – \sum_{i,j} J_{ij} \sigma_i \sigma_j – \mu \sum_i h_i \sigma_i$، حيث تتوافق الدورات $\sigma_i$ مع المذبذبات. تحكم ديناميات ONNs بمعادلات حلقة مغلقة، مما يسمح بالتطور الطبيعي نحو تكوينات منخفضة الطاقة. أحد التطبيقات الرئيسية لـ ONNs هو في الذاكرة الترابطية لاسترجاع الأنماط، حيث يمكن استعادة الأنماط المشوشة من خلال ديناميات الشبكة الفطرية. كما يبرز المؤلفون الإمكانية لاستخدام ONNs في مجموعة متنوعة من مشاكل التحسين، مثل قطع الحد الأقصى والرضا البولي.
تناقش الورقة توسيع موارد الأجهزة في ONNs، مشيرة إلى أنه في بنية متصلة بالكامل، ينمو عدد الاتصالات بشكل تربيعي مع عدد المذبذبات، $N^2$. يقترح المؤلفون استراتيجيات تحسين لعناصر الربط لتقليل استخدام الموارد، بما في ذلك مشاركة الأجهزة بين عناصر الربط، مما قد يقلل من التوسع من التربيعي إلى الخطي. يقدمون بنية هجينة تجمع بين الحساب التسلسلي والمعالجة المتوازية، مما يزيد بشكل كبير من عدد المذبذبات التي يمكن تنفيذها على منصة الأجهزة المعطاة. تكشف المقارنات بين الهيكل المتكرر والتصميم الهجين الجديد أنه بينما تدعم البنية الهجينة عددًا أكبر من المذبذبات (506 مقابل 48)، فإنها تتكبد تكلفة في تردد الاهتزاز واستهلاك الطاقة لكل اهتزاز. بشكل عام، تشير النتائج إلى أن البنية الهجينة تقدم طريقًا واعدًا لتعزيز قابلية التوسع وكفاءة ONNs في التطبيقات العملية.
DOI: https://doi.org/10.3389/fnins.2025.1658490
PMID: https://pubmed.ncbi.nlm.nih.gov/41624141
Publication Date: 2026-01-15
Author(s): Zhenyun Du et al.
Primary Topic: Neural Networks and Reservoir Computing
Overview
This research paper presents a significant advancement in the digital implementation of oscillatory neural networks (ONNs), focusing on a novel hybrid architecture that enhances scalability and efficiency. Traditional ONN designs, particularly those based on recurrent architectures, face challenges due to the quadratic increase in coupling hardware as network size grows. The proposed hybrid architecture mitigates this issue by balancing serialization and parallelism in coupling elements, achieving near-linear hardware scaling (approximately 1.2) with an impressive capability to implement 506 fully connected oscillators on a Zynq-7020 FPGA board. This design allows for a 10.5-fold increase in the number of oscillators while maintaining a 5-bit representation for coupling weights and a 4-bit representation for oscillator phases.
The findings indicate that while the hybrid architecture reduces the oscillation frequency by a factor of 1.35 due to serialization, it demonstrates lower overall power consumption and similar retrieval performance compared to the recurrent architecture. Notably, both architectures achieved 100% retrieval accuracy in larger pattern retrieval tasks, underscoring the effectiveness of the hybrid design in optimizing hardware resource usage. This work represents a significant contribution to the field, marking the largest fully connected digital ONN architecture implemented to date and paving the way for future developments in large-scale ONN systems.
Introduction
The introduction of the paper addresses the escalating power consumption associated with traditional computing systems, particularly those based on the von Neumann architecture, which suffers from limitations such as the separation of memory and processing units. This has prompted a shift towards neuromorphic computing architectures, specifically Oscillatory Neural Networks (ONNs), which are derived from Hopfield neural networks. ONNs are designed to minimize energy usage while effectively performing associative memory tasks, including pattern recognition and image classification. The paper highlights the connection between the energy minimization in ONNs and the Ising model, which has led to the development of oscillatory Ising machines capable of solving complex optimization problems.
The authors propose a novel hybrid ONN architecture that addresses the scalability issues of existing recurrent ONN designs, which experience a quadratic increase in coupling elements as network size grows. In contrast, the proposed architecture aims for near-linear scalability, enhancing the potential for larger ONNs necessary for various applications. The structure of the paper is outlined, detailing sections that cover the foundational principles of ONNs, existing architectures, and a comprehensive comparison between recurrent and hybrid ONN designs.
Methods
The methodology section of the research paper outlines two primary analyses: hardware scaling and pattern retrieval. For hardware scaling, both architectures were synthesized across varying network sizes, focusing on resource usage in terms of lookup tables (LUTs) and flip-flops, which are critical for determining hardware logic requirements. The analysis utilized 5 weight bits and 4 phase bits, with implementations on FPGA to assess maximum logic frequency, subsequently converted to oscillation frequency. Two aggregate measures were introduced: the total area used, calculated as the arithmetic mean of the percentages of FPGA resources utilized (Flip-Flops, LUTs, DSPs, and BRAMs), and the percentage of oscillation frequency relative to the maximum achieved. A linear regression analysis on the logarithmic scale of the data points was performed to determine the scaling behavior, with a comparison to expected analytical scaling.
In the pattern retrieval methodology, the study aims to demonstrate that the new hybrid architecture performs comparably to the recurrent architecture for smaller real-world tasks while also achieving good results for larger network sizes. The focus is on the scalability of the recurrent architecture for pattern retrieval tasks, explicitly excluding combinatorial optimization problems. Performance is evaluated through an associative memory task, measuring retrieval accuracy and average time in oscillation cycles for various pattern sizes (3×3, 5×4, 7×6, 10×10, and 22×22). Each dataset, containing corrupted patterns, was trained using the Diederich-Opper I learning rule, with patterns corrupted at three different percentages (10%, 25%, and 50%). The resulting weight matrix was quantized to 5 bits and programmed into both architectures, allowing for a comparative analysis of retrieval performance across the defined datasets.
Results
The results of the study indicate that the retrieval accuracy of both the hybrid and recurrent architectures is comparable across various pattern sizes and noise levels, as detailed in Table 6. Notably, the hybrid architecture demonstrates high retrieval accuracy, achieving 100% or near 100% for larger patterns with 10% and 25% pixel corruption. This suggests that the oscillator dynamics in the hybrid architecture are consistent with those of the recurrent architecture, even for larger network sizes. However, an exception is observed for 3×3 patterns with 50% pixel corruption, where the hybrid architecture exhibits significantly higher accuracy. This discrepancy may be attributed to the additional synchronization required in the hybrid architecture, which alters system dynamics under high noise conditions in smaller networks.
Furthermore, the runtime analysis reveals that the settling times for both architectures are statistically similar, with no significant increase in settling time for larger patterns in the hybrid architecture. Despite the comparable oscillation cycle counts, the real-time settling duration is longer for the hybrid architecture due to its lower oscillation frequency. Overall, the findings suggest that both architectures perform similarly in terms of retrieval accuracy and settling time, while the hybrid architecture offers advantages in hardware efficiency and scalability, enabling larger implementations with reduced resource requirements.
Discussion
In the discussion of Oscillatory Neural Networks (ONNs), the authors elaborate on their architecture, which is based on coupled oscillators and incorporates principles from Hopfield neural networks and the Ising model. The network minimizes a Hamiltonian, $H = – \sum_{i,j} J_{ij} \sigma_i \sigma_j – \mu \sum_i h_i \sigma_i$, where the spins $\sigma_i$ correspond to oscillators. The dynamics of the ONNs are governed by phase-locked loop equations, allowing for natural evolution towards energy-minimized configurations. A key application of ONNs is in associative memory for pattern retrieval, where corrupted patterns can be recovered through the network’s inherent dynamics. The authors also highlight the potential for ONNs to be utilized in various optimization problems, such as max-cut and boolean satisfiability.
The paper discusses the scaling of hardware resources in ONNs, noting that in a fully connected architecture, the number of connections grows quadratically with the number of oscillators, $N^2$. The authors propose optimization strategies for coupling elements to reduce resource usage, including hardware sharing among coupling elements, which could potentially lower the scaling from quadratic to linear. They present a hybrid architecture that combines serial computation with parallel processing, significantly increasing the number of oscillators that can be implemented on a given hardware platform. Comparisons between a recurrent architecture and the new hybrid design reveal that while the hybrid architecture supports a greater number of oscillators (506 vs. 48), it incurs a trade-off in oscillation frequency and energy consumption per oscillation. Overall, the findings suggest that the hybrid architecture offers a promising avenue for enhancing the scalability and efficiency of ONNs in practical applications.