DOI: https://doi.org/10.3934/math.2026010
تاريخ النشر: 2026-01-01
المؤلف: Irsa Sajjad وآخرون
الموضوع الرئيسي: تقنيات تحسين التدرج العشوائي
نظرة عامة
تقدم البحث خوارزمية جديدة لتحسين بدون تدرج تُسمى تحسين التراكب التكيفي المستوحى من الكم (QIASO)، مصممة لمعالجة قيود الطرق التقليدية المعتمدة على التدرج في تدريب الشبكات العصبية العميقة. يُفكر QIASO في تعلم الأوزان كتركيب احتمالي من الحلول المرشحة، مع الحفاظ على توزيع عبر عدة مرشحين بدلاً من التركيز على مجموعة أوزان واحدة. تسمح هذه الطريقة بالتضخيم الديناميكي وكبح المرشحين بناءً على أدائهم، باستخدام صيغة تباينية تتضمن تنظيم KL. بالإضافة إلى ذلك، يستخدم QIASO مشغل اضطراب عشوائي مستوحى من نفق الكم، مما يسهل التنقل عبر القيعان المحلية ويعزز التقارب نحو الحلول المثلى.
تظهر التحليلات النظرية أن QIASO يظهر حدودًا، وتقليل خسارة أحادي الاتجاه، وتقارب شبه مؤكد تحت ظروف خفيفة، مما يوفر أساسًا رياضيًا قويًا لموثوقيته. تكشف التقييمات التجريبية على مجموعات البيانات المرجعية، بما في ذلك MNIST وCIFAR-10، أن QIASO يتفوق على المحسنات التقليدية مثل SGD وAdam من حيث الدقة وتقليل الخسارة، بينما يظهر أيضًا تقاربًا أكثر سلاسة وتحسينًا في التعميم. يسلط البحث الضوء على أهمية الآليات الأساسية لـ QIASO—تمثيل التراكب، تحديثات السعة المنظمة بواسطة KL، واضطرابات النفق—في تحقيق هذه المكاسب في الأداء. علاوة على ذلك، يعمل QIASO كحلقة وصل مفاهيمية بين ميكانيكا الكم وتحسين التعلم الآلي، مما يقترح إمكانيته للتكامل في أطر هجينة تجمع بين البحث الاحتمالي والتنقيح القائم على التدرج، مما يجعله مناسبًا لمجموعة متنوعة من سيناريوهات التحسين المعقدة. تشمل اتجاهات البحث المستقبلية توسيع QIASO ليشمل هياكل المحولات واستكشاف تطبيقه في بيئات الحوسبة الموزعة ومحاكاة الكم.
مقدمة
تتناول مقدمة ورقة البحث التحديات المرتبطة بتحسين الشبكات العصبية العميقة، وخاصة قيود المحسنات القياسية مثل الانحدار العشوائي (SGD) وADAM، التي تعاني من مشاكل مثل تلاشي/انفجار التدرجات والحساسية للاعداد الأولية. لمعالجة هذه التحديات، يقترح المؤلفون تحسين التراكب التكيفي المستوحى من الكم (QIASO)، وهو إطار جديد يستفيد من الخوارزميات المستوحاة من الكم لتعزيز التحسين في المناظر غير المحدبة. يستخدم QIASO مبادئ التراكب، وتضخيم السعة، والاضطراب العشوائي، على غرار نفق الكم، لتطوير حالات الأوزان بشكل احتمالي وتحسين التقارب من خلال تجنب القيعان المحلية.
تضع الورقة QIASO في سياق أوسع من التقدمات الحديثة في تقنيات التحسين المستوحاة من الكم، والتي أظهرت وعدًا في التغلب على هشاشة الطرق التقليدية المعتمدة على التدرج. من خلال دمج المفاهيم من الفيزياء الإحصائية والهندسة المعلوماتية، يهدف QIASO إلى تقديم نهج قابل للتوسع ومبدئي لتحسين بدون تدرج، مما يعزز استقرار التدريب والتعميم في تطبيقات التعلم العميق. تسلط المقدمة الضوء على الاهتمام المتزايد في دمج الطرق المستوحاة من الكم مع استراتيجيات التحسين الكلاسيكية، مما يقترح تحولًا في النموذج نحو تحديثات احتمالية يمكن أن تتنقل بفعالية عبر المناظر المعقدة للتحسين.
طرق
في هذا القسم، يقدم المؤلفون المنهجية لتدريب الشبكات العصبية العميقة باستخدام خوارزمية جديدة مستوحاة من الكم تُسمى QIASO. غالبًا ما تكافح طرق التحسين التقليدية، مثل الانحدار العشوائي وADAM، مع مشاكل مثل انفجار/تلاشي التدرجات والقيعان المحلية. يعالج QIASO هذه التحديات من خلال الاستفادة من المفاهيم من ميكانيكا الكم، وبالتحديد التراكب والنفق، لتحسين تكوينات الأوزان بشكل احتمالي بدلاً من حتمي. تحافظ الخوارزمية على توزيع عبر حالات الأوزان المرشحة المتعددة وتستخدم مشغلًا مستوحى من النفق لتعزيز احتمالية الهروب من المناطق ذات الخسارة العالية، مما يوازن بين الاستكشاف والاستغلال أثناء التحسين.
شمل الإعداد التجريبي تقييمًا شاملاً لـ QIASO مقابل المحسنات المعروفة، بما في ذلك SGD وAdam وCMA-ES، عبر مجموعات بيانات مرجعية متنوعة (MNIST وCIFAR-10 وFashion-MNIST) وهياكل الشبكات. كانت التجارب تهدف إلى تقييم سلوك التقارب، والكفاءة الحسابية، والقدرة على الهروب من القيعان الحادة. تم ضبط المعلمات الرئيسية من خلال التحقق المتقاطع، وأُجريت التجارب باستخدام بيئة حسابية متسقة لضمان القابلية للتكرار. توفر النتائج، التي تم متوسطها عبر خمس تجارب مستقلة، رؤى حول أداء QIASO وموثوقيته وقدرته على التكيف عبر مهام التعلم المختلفة، مما يبرز مزاياها المحتملة مقارنة بطرق التحسين التقليدية.
نتائج
تشير نتائج الدراسة إلى أن المحسن المستوحى من الكم التكيفي (QIASO) يتفوق بشكل كبير على خوارزميات التحسين الحالية عبر مجموعات بيانات مرجعية متنوعة من حيث الاستقرار والتعميم. كما هو ملخص في الجدول 2، حقق QIASO دقة تصنيف تبلغ 98.9% على مجموعة بيانات MNIST، متجاوزًا كل من الانحدار العشوائي (SGD) وAdam، مع الحفاظ على تقليل التكلفة الحسابية بأقل من 10%. على مجموعة بيانات CIFAR-10، حقق QIASO دقة تبلغ 89.3%، متفوقًا على Adam بمقدار 2.6 نقطة، وأظهر نجاحًا مشابهًا على مجموعة بيانات Fashion-MNIST بدقة تبلغ 90.10%. توضح منحنيات التقارب الموضحة في الأشكال 4 و5 و6 أن QIASO يظهر انخفاضًا سلسًا ومنتظمًا في الخسارة، مما يتناقض مع السلوك المتذبذب للطرق المعتمدة على التدرج، مما يدعم إطارها النظري للحدود وتقليل الخسارة بشكل أحادي الاتجاه.
أكدت دراسة الإزالة أيضًا على أهمية الآليات الأساسية لـ QIASO، مثل اضطراب النفق المستوحى من الكم وتحديثات السعة المنظمة بواسطة KL، والتي تعتبر حاسمة للحفاظ على استقرار التقارب وتنوع الاستكشاف. يحاكي التحكم التكيفي للمحسن العمليات الديناميكية الحرارية، مما يسمح بالاستكشاف العالمي الأولي يليه تحسين تدريجي مع اقتراب التقارب من الحد الأدنى. تُظهر التحليلات المقارنة مع المحسنات المعاصرة، بما في ذلك AdamW وLion وSophia، كما هو موضح في الجدول 3، أن QIASO يحقق باستمرار أعلى دقة متوسطة وأضيق فترات ثقة، خاصة على مجموعة بيانات MNIST، بينما يبقى تنافسيًا على Fashion-MNIST وCIFAR-10. تؤكد هذه النتائج على إمكانيات QIASO كمحسن قوي وفعال يجسر بين ميكانيكا الكم الإحصائية وتقنيات تحسين التعلم العميق المتقدمة.
مناقشة
تقدم قسم المناقشة في ورقة البحث الخوارزمية الجديدة للتحسين QIASO، التي تدمج مفاهيم من الانحدار المرآتي، وطرق التدرج المضاعف، والاستراتيجيات التطورية، لكنها تعمل على آلية مختلفة جوهريًا. يستخدم QIASO ترميزًا احتماليًا للأوزان المرشحة من خلال التراكب، مما يسمح بتوازن ديناميكي بين الاستكشاف والاستغلال عبر تحديث انحدار مرآتي منظم بواسطة KL. يعيد هذا التحديث تشكيل سعات الاحتمالات، مما يسهل الانتقالات غير المحلية في مشهد الخسارة، وهو ما يمثل انحرافًا عن طرق الاضطراب التطورية التقليدية. تؤدي الإطار الفريد للخوارزمية، المميز بتطور مشترك للمرشحين تحت هدف مشترك منظم بواسطة KL، إلى إعادة توزيع السعات بدلاً من المسارات العشوائية المستقلة، مما يعزز استقرار التقارب والتعميم مقارنة بتقنيات التحسين المعروفة مثل SGD وAdam.
من حيث التمثيل، يعامل QIASO أوزان الشبكة كتراكبات من القيم المرشحة، مما يسمح بالاستكشاف المتزامن لتكوينات الأوزان المحتملة. يتم حساب القيمة المتوقعة للوزن كمجموع مرجح للقيم المرشحة، حيث يتم تعديل السعات بناءً على مساهماتها في دالة الخسارة الإجمالية. يتبع هذا التعديل قاعدة تضخيم سعة ناعمة، تبرز المرشحين الذين يقللون من الخسارة بينما تقلل تدريجيًا من تأثير المرشحين الأقل فعالية. تستند خصائص التقارب للخوارزمية إلى حدودها، وانخفاض الخسارة المتوقعة بشكل أحادي الاتجاه، ودمج الاضطرابات العشوائية لتجنب التقارب المبكر نحو حلول غير مثالية. بشكل عام، يظهر QIASO أداءً تجريبيًا واعدًا في تدريب الشبكات العصبية العميقة، مما يظهر سلوك تقارب محسّن وموثوقية ضد التهيئة مقارنة بطرق التحسين التقليدية.
DOI: https://doi.org/10.3934/math.2026010
Publication Date: 2026-01-01
Author(s): Irsa Sajjad et al.
Primary Topic: Stochastic Gradient Optimization Techniques
Overview
The research introduces a novel gradient-free optimization algorithm named Quantum-Inspired Adaptive Superposition Optimization (QIASO), designed to address the limitations of traditional gradient-based methods in training deep neural networks. QIASO conceptualizes weight learning as a probabilistic superposition of candidate solutions, maintaining a distribution over multiple candidates rather than focusing on a single weight ensemble. This approach allows for dynamic amplification and suppression of candidates based on their performance, utilizing a variational formulation that incorporates KL-regularization. Additionally, QIASO employs a stochastic perturbation operator inspired by quantum tunneling, facilitating navigation through local minima and enhancing convergence to optimal solutions.
Theoretical analysis demonstrates that QIASO exhibits boundedness, monotonic loss reduction, and almost-sure convergence under mild conditions, providing a robust mathematical foundation for its reliability. Empirical evaluations on benchmark datasets, including MNIST and CIFAR-10, reveal that QIASO outperforms classical optimizers like SGD and Adam in accuracy and loss minimization, while also exhibiting smoother convergence and improved generalization. The study highlights the importance of QIASO’s core mechanisms—superposition representation, KL-regularized amplitude updates, and tunneling perturbations—in achieving these performance gains. Furthermore, QIASO serves as a conceptual link between quantum mechanics and machine learning optimization, suggesting its potential for integration into hybrid frameworks that combine probabilistic search with gradient-based refinement, making it suitable for various complex optimization scenarios. Future research directions include extending QIASO to transformer architectures and exploring its application in distributed computing and quantum simulation environments.
Introduction
The introduction of the research paper addresses the challenges associated with optimizing deep neural networks, particularly the limitations of standard optimizers like stochastic gradient descent (SGD) and ADAM, which are prone to issues such as vanishing/exploding gradients and sensitivity to initialization. To address these challenges, the authors propose Quantum-Inspired Adaptive Superposition Optimisation (QIASO), a novel framework that leverages quantum-inspired algorithms to enhance optimization in non-convex landscapes. QIASO employs principles of superposition, amplitude amplification, and stochastic perturbation, akin to quantum tunneling, to probabilistically evolve weight states and improve convergence by avoiding local minima.
The paper situates QIASO within a broader context of recent advancements in quantum-inspired optimization techniques, which have shown promise in overcoming the brittleness of traditional gradient-based methods. By integrating concepts from statistical physics and information geometry, QIASO aims to provide a scalable and principled approach to gradient-free optimization, enhancing training stability and generalization in deep learning applications. The introduction highlights the growing interest in combining quantum-inspired methods with classical optimization strategies, suggesting a paradigm shift towards probabilistic updates that can effectively navigate complex optimization landscapes.
Methods
In this section, the authors present the methodology for training deep neural networks using a novel quantum-inspired algorithm called QIASO. Traditional optimization methods, such as stochastic gradient descent and ADAM, often struggle with issues like exploding/vanishing gradients and local minima. QIASO addresses these challenges by leveraging concepts from quantum mechanics, specifically superposition and tunneling, to optimize weight configurations probabilistically rather than deterministically. The algorithm maintains a distribution over multiple candidate weight states and employs a tunneling-inspired operator to enhance the likelihood of escaping high-loss regions, thereby balancing exploration and exploitation during optimization.
The experimental setup involved a comprehensive evaluation of QIASO against established optimizers, including SGD, Adam, and CMA-ES, across various benchmark datasets (MNIST, CIFAR-10, and Fashion-MNIST) and network architectures. The experiments aimed to assess convergence behavior, computational efficiency, and the ability to escape sharp minima. Key hyperparameters were fine-tuned through cross-validation, and the experiments were conducted using a consistent computational environment to ensure reproducibility. The results, averaged over five independent trials, provide insights into QIASO’s performance, robustness, and adaptability across different learning tasks, highlighting its potential advantages over traditional optimization methods.
Results
The results of the study indicate that the proposed Quantum-Inspired Adaptive Stochastic Optimizer (QIASO) significantly outperforms existing optimization algorithms across various benchmark datasets in terms of stability and generalization. As summarized in Table 2, QIASO achieved a classification accuracy of 98.9% on the MNIST dataset, surpassing both Stochastic Gradient Descent (SGD) and Adam, while maintaining a computational cost reduction of less than 10%. On the CIFAR-10 dataset, QIASO reached an accuracy of 89.3%, outperforming Adam by 2.6 points, and demonstrated similar success on the Fashion-MNIST dataset with an accuracy of 90.10%. The convergence curves illustrated in Figures 4, 5, and 6 reveal that QIASO exhibits smooth, monotonic loss decay, contrasting with the oscillatory behavior of gradient-based methods, thereby supporting its theoretical framework of boundedness and monotonic reduction in loss.
An ablation study further confirmed the importance of QIASO’s core mechanisms, such as the quantum-inspired tunneling perturbation and KL-regularized amplitude updates, which are crucial for maintaining convergence stability and exploratory diversity. The optimizer’s adaptive control mimics thermodynamic processes, allowing for initial global exploration followed by gradual refinement as convergence approaches a minimum. Comparative analyses with contemporary optimizers, including AdamW, Lion, and Sophia, as presented in Table 3, demonstrate that QIASO consistently achieves the highest mean accuracy and the narrowest confidence intervals, particularly on the MNIST dataset, while remaining competitive on Fashion-MNIST and CIFAR-10. These findings underscore QIASO’s potential as a robust and effective optimizer that bridges quantum-inspired statistical mechanics with advanced deep learning optimization techniques.
Discussion
The discussion section of the research paper presents the novel optimization algorithm QIASO, which integrates concepts from mirror descent, exponentiated gradient methods, and evolutionary strategies, yet operates on a fundamentally different mechanism. QIASO employs a probabilistic encoding of candidate weights through superposition, allowing for a dynamic exploration-exploitation balance via a KL-regularized mirror-descent update. This update reshapes probability amplitudes, facilitating non-local tunneling transitions in the loss landscape, which is a departure from traditional evolutionary perturbation methods. The algorithm’s unique framework, characterized by co-evolving candidates under a shared KL-regularized objective, leads to a redistribution of amplitudes rather than independent stochastic trajectories, enhancing convergence stability and generalization compared to established optimization techniques like SGD and Adam.
In terms of representation, QIASO treats network weights as superpositions of candidate values, allowing simultaneous exploration of potential weight configurations. The expected weight value is computed as a weighted sum of candidate values, where the amplitudes are adjusted based on their contributions to the overall loss function. This adjustment follows a soft amplitude amplification rule, which emphasizes candidates that minimize loss while gradually diminishing the influence of less effective candidates. The algorithm’s convergence properties are underpinned by its boundedness, monotonic decrease in expected loss, and the incorporation of stochastic perturbations to avoid premature convergence to suboptimal solutions. Overall, QIASO demonstrates promising empirical performance in training deep neural networks, showcasing improved convergence behavior and robustness against initialization compared to traditional optimization methods.