DOI: https://doi.org/10.1016/j.chaos.2026.117874
تاريخ النشر: 2026-01-13
المؤلف: Ivan D. Kolesnikov وآخرون
الموضوع الرئيسي: الشبكات العصبية وحوسبة الخزانات
نظرة عامة
في هذه الورقة البحثية، يستكشف المؤلفون تأثير الضوضاء الداخلية أثناء تدريب الشبكات العصبية المتكررة والعميقة، مع التركيز بشكل خاص على الشبكات الأمامية (FNN) والشبكات ذات الحالة الصدى (ESN). تدرس الدراسة أنواعًا مختلفة من الضوضاء، بما في ذلك الضوضاء المضافة والضوضاء المضاعفة، فضلاً عن الضوضاء المرتبطة وغير المرتبطة، المستمدة من تنفيذ بصري حقيقي لشبكة عصبية. تشير النتائج إلى أنه، بشكل عام، تظهر كل من الشبكات العميقة وشبكات الحالة الصدى مقاومة محسنة للضوضاء عند تدريبها باستخدام الضوضاء الداخلية، مما يؤدي إلى أداء اختبار أفضل بشكل ملحوظ تحت ظروف ضوضاء متطابقة مقارنة بالشبكات المدربة بدون ضوضاء. ومن الجدير بالذكر أن الاستثناء الوحيد المحدد هو التأثير الضئيل للضوضاء المضاعفة المرتبطة على أداء الشبكة.
تسلط الاستنتاجات المستخلصة من الدراسة الضوء على أنه بينما يؤدي التدريب باستخدام الضوضاء غير المرتبطة والضوضاء المضاعفة المرتبطة إلى تقليل دقة التدريب النهائية، فإن تقليل شدة الضوضاء أثناء الاختبار يمكن أن يعزز الدقة. بالإضافة إلى ذلك، يمكن أن يؤدي استخدام الضوضاء المضافة المرتبطة أثناء التدريب إلى تقليل الحساسية تجاه هذا النوع من الضوضاء في الشبكات العميقة بشكل فعال. ومع ذلك، بالنسبة للشبكات ذات الحالة الصدى المغلقة ذاتيًا، يبقى الأداء إلى حد كبير دون تغيير بغض النظر عن ظروف التدريب. تؤكد الدراسة على التأثيرات الدقيقة لأنواع الضوضاء المختلفة على أداء الشبكة، مما يشير إلى أن الدمج الاستراتيجي للضوضاء أثناء التدريب يمكن أن يؤدي إلى تحسين المتانة في تطبيقات الشبكات العصبية.
مقدمة
تسلط المقدمة الضوء على الاعتماد المتزايد على الشبكات العصبية الاصطناعية (ANNs) لمجموعة متنوعة من المهام المعقدة، بما في ذلك التعرف على الصور والكلام، وتعزيز الصوت، وتوقع المناخ. مع تصاعد تعقيد هذه المهام، قد تصبح موارد الحوسبة الرقمية التقليدية غير كافية، مما يدفع لاستكشاف الشبكات العصبية المادية (HNNs). تعد HNNs، التي تنفذ الخلايا العصبية وترابطها على مستوى مادي، بوعد بتحسين السرعة وكفاءة الطاقة مقارنةً بالشبكات العصبية التقليدية المعتمدة على البرمجيات. لقد استفادت التطورات الأخيرة في HNNs من تقنيات مثل الليزر، والميمريستور، والمذبذبات ذات العزم الدوراني، مستخدمةً مبادئ الهولوجرافيا والانكسار من أجل الاتصال بين الخلايا العصبية.
ومع ذلك، تتناول المقدمة أيضًا تحديًا كبيرًا: قابلية HNNs للضوضاء الداخلية من مكوناتها، والتي يمكن أن تعيق فعالية التدريب والتشغيل. بينما أظهرت الضوضاء في بيانات الإدخال أنها قد تفيد أحيانًا التدريب من خلال المساعدة في الهروب من القيم الدنيا المحلية، لا يزال تأثير الضوضاء الداخلية داخل الشبكات المادية أقل فهمًا. تهدف الدراسة الحالية إلى التحقيق في كيفية تأثير هذه الضوضاء الداخلية على عمليات تدريب الشبكات العميقة والمتكررة، مقارنةً بأدائها تحت ظروف ضوضاء متغيرة. تستند هذه الأبحاث إلى النتائج السابقة المتعلقة بتأثيرات الضوضاء في الشبكات المدربة وتسعى لتحديد أنواع الضوضاء الحرجة وآليات التثبيط الذاتي المحتملة أثناء التدريب.
مناقشة
في هذه الدراسة، تم فحص تأثير الضوضاء الداخلية على أداء الشبكات العصبية الأمامية (FNN) والشبكات ذات الحالة الصدى (ESN) أثناء التدريب والاختبار. تم تدريب FNN للتعرف على الأرقام المكتوبة بخط اليد من قاعدة بيانات MNIST، بينما تم استخدام ESN للتنبؤ بالسلوك الفوضوي لنظام ماكي-غلاس. وُجد أن إدخال الضوضاء الداخلية، سواء كانت غير مرتبطة أو مرتبطة، يؤثر على متانة الشبكات ضد الضوضاء أثناء الاختبار. على وجه التحديد، أظهرت FNNs المدربة باستخدام الضوضاء مقاومة محسنة للضوضاء أثناء الاختبار، مع زيادة الأداء عند الاختبار بشدات ضوضاء أقل من تلك المستخدمة أثناء التدريب. على العكس من ذلك، أثر وجود الضوضاء المضاعفة المرتبطة أثناء التدريب سلبًا على أداء كل من FNN وESN، خاصة في التكوينات المغلقة ذاتيًا.
تشير النتائج إلى أنه بينما يمكن أن يقلل التدريب باستخدام الضوضاء غير المرتبطة من الدقة النهائية، فإنه يمكن أن يعزز مقاومة الضوضاء أثناء الاختبار. ومن الجدير بالذكر أن الضوضاء المضافة المرتبطة أثناء التدريب خففت بشكل كبير من الحساسية تجاه أنواع الضوضاء المماثلة في FNNs، بينما ظل أداء ESNs المغلقة ذاتيًا دون تغيير إلى حد كبير بغض النظر عن ظروف التدريب. تختتم الدراسة بالقول إنه بينما يمكن أن تؤثر الضوضاء الداخلية سلبًا على دقة التدريب، يمكن أن تعمل أيضًا كآلية لتعزيز متانة الشبكات ضد الضوضاء في التطبيقات العملية، خاصة عندما تتماشى خصائص الضوضاء أثناء التدريب والاختبار.
DOI: https://doi.org/10.1016/j.chaos.2026.117874
Publication Date: 2026-01-13
Author(s): Ivan D. Kolesnikov et al.
Primary Topic: Neural Networks and Reservoir Computing
Overview
In this research paper, the authors explore the impact of internal noise during the training of recurrent and deep neural networks, specifically focusing on feedforward networks (FNN) and echo state networks (ESN). The study examines various types of noise, including additive and multiplicative noise, as well as correlated and uncorrelated noise, derived from a real optical implementation of a neural network. The findings indicate that, in general, both deep and echo state networks exhibit improved resilience to noise when trained with internal noise, resulting in significantly better testing performance under identical noise conditions compared to networks trained without noise. Notably, the only exception identified is the minimal impact of multiplicative correlated noise on network performance.
The conclusions drawn from the study highlight that while training with uncorrelated noise and correlated multiplicative noise tends to decrease final training accuracy, reducing noise intensity during testing can enhance accuracy. Additionally, the use of additive correlated noise during training can effectively mitigate sensitivity to this noise type in deep networks. However, for self-closed echo networks, the performance remains largely unchanged regardless of training conditions. The research underscores the nuanced effects of different noise types on network performance, suggesting that strategic incorporation of noise during training can lead to improved robustness in neural network applications.
Introduction
The introduction highlights the increasing reliance on artificial neural networks (ANNs) for a variety of complex tasks, including image and speech recognition, audio enhancement, and climate prediction. As the complexity of these tasks escalates, traditional digital computing resources may become inadequate, prompting the exploration of hardware neural networks (HNNs). HNNs, which implement neurons and their interconnections at a physical level, promise enhanced speed and energy efficiency compared to conventional software-based ANNs. Recent advancements in HNNs have leveraged technologies such as lasers, memristors, and spin-torque oscillators, employing principles of holography and diffraction for neuron connectivity.
However, the introduction also addresses a significant challenge: the susceptibility of HNNs to internal noise from their components, which can hinder training and operational efficacy. While noise in input data has been shown to sometimes benefit training by aiding in escaping local minima, the impact of internal noise within hardware networks remains less understood. The current study aims to investigate how this internal noise affects the training processes of deep and recurrent networks, comparing their performance under varying noise conditions. This research builds on previous findings regarding noise effects in trained networks and seeks to identify critical noise types and potential self-suppression mechanisms during training.
Discussion
In this study, the impact of internal noise on the performance of feedforward neural networks (FNN) and echo state networks (ESN) during training and testing was examined. The FNN was trained to recognize handwritten digits from the MNIST database, while the ESN was utilized to predict the chaotic behavior of the Mackey-Glass system. The introduction of internal noise, both uncorrelated and correlated, was found to influence the networks’ robustness against noise during testing. Specifically, FNNs trained with noise exhibited improved resistance to noise during testing, with performance increasing when testing with lower noise intensities than those used during training. Conversely, the presence of multiplicative correlated noise during training adversely affected both FNN and ESN performance, particularly in self-closed configurations.
The findings indicate that while training with uncorrelated noise can reduce final accuracy, it can enhance noise resilience during testing. Notably, additive correlated noise during training significantly mitigated sensitivity to similar noise types in FNNs, while the performance of self-closed ESNs remained largely unchanged regardless of training conditions. The study concludes that while internal noise can detrimentally affect training accuracy, it can also serve as a mechanism to enhance the networks’ robustness against noise in practical applications, particularly when the noise characteristics during training and testing are aligned.