DOI: https://doi.org/10.3934/naco.2026009
تاريخ النشر: 2026-01-01
المؤلف: Hui Sun وآخرون
الموضوع الرئيسي: العمليات العشوائية والتطبيقات المالية
نظرة عامة
في هذا البحث، يستكشف المؤلفون مشكلة التحكم الأمثل العشوائي (SOC) من خلال عدسة مبدأ الحد الأقصى العشوائي (SMP). يستخدمون طريقة الانتشار العكسي عينة تلو الأخرى لمعالجة SOC تحت التقعر القوي، مما يعزز عملية الانحدار العشوائي (SGD) من خلال استخدام عينات دفعة ومخططات من الدرجة الأعلى في المعادلة التفاضلية العشوائية الأمامية (SDE). تحدد الدراسة أن عدم اليقين الأساسي ينشأ من محاكاة مصطلح $Z$ في المعادلات التفاضلية العشوائية العكسية (BSDE). يقترح المؤلفون خوارزمية انكماش مخفف، موضحين التقارب تحت افتراضات معينة، ويقارنون أدائها مع خوارزمية الإسقاط، ويجدون أن الأخيرة أكثر استقرارًا وكفاءة.
تشير النتائج إلى تحسين في معدلات التقارب من $O(NK + 1/N)$ إلى $O(1/K + 1/N^2)$، مع إثبات أن نهج SGD بالدفعات أكثر كفاءة من حيث الوقت مقارنة بطريقة SGD الأصلية. من الجدير بالذكر أن استخدام الشبكات العصبية العشوائية يسمح بعملية تدريب أكثر قابلية للتفسير، مما يلغي الحاجة إلى الانتشار العكسي المعقد للأخطاء ويمكّن من حساب التدرجات الجبرية. يقترح المؤلفون أن هناك حاجة لمزيد من العمل لتحسين تحقيق المسار لمصطلح $Z_t$ في حل BSDE لتقليل التباين واستكشاف توسيع خوارزمية الانكماش الخاصة بهم لتدريب الشبكات العصبية العميقة، بهدف الوصول إلى نهج خالٍ من المشتقات.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على الاهتمام المتزايد بمشاكل التحكم الأمثل العشوائي، خاصة من خلال دمج تقنيات التعلم الآلي والتعلم العميق. بينما تركز العديد من الأساليب الحديثة على استخدام الشبكات العصبية العميقة لتقريب حلول التحكم ضمن إطار التعلم المراقب، تنحرف هذه الدراسة من خلال استخدام طريقة احتمالية كلاسيكية تعرف بمبدأ الحد الأقصى العشوائي (SMP). يقترح المؤلفون تقريبًا عينة تلو الأخرى لمشتق التباين لدالة الخسارة، وهو أمر أساسي لتحديث التحكم عبر الانحدار. تهدف هذه الطريقة إلى تحسين الكفاءة الحسابية من خلال معالجة التحديات المرتبطة بحل المعادلات التفاضلية العشوائية الأمامية والخلفية (FBSDEs) بشكل تكراري، خاصة في الإعدادات عالية الأبعاد.
تقدم الورقة نتائج مهمة، بما في ذلك تحسين معدل التقارب من حوالي \(O(NK + \frac{1}{N})\) إلى \(O(\frac{1}{K} + \frac{1}{N^2})\) من خلال استخدام أخذ عينات دفعة ومخططات من الدرجة الأعلى في المعادلات التفاضلية العشوائية الأمامية. بالإضافة إلى ذلك، يقدم المؤلفون خوارزمية انكماش مخفف لحل مشكلة التحكم الأمثل العشوائي، موفرين إثبات التقارب تحت افتراضات معينة. كما يستكشفون تطبيق طرقهم المقترحة في تدريب الشبكات العصبية، خاصة مع الشبكات العصبية العشوائية، مشيرين إلى أن ذلك قد يعزز كفاءة التدريب من خلال القضاء على الحاجة إلى الانتشار العكسي. يتم توضيح هيكل الورقة، مما يشير إلى استكشاف شامل لمشاكل التحكم الأمثل العشوائي، وتطوير الخوارزميات، والتحقق العددي، مع توجيه العمل المستقبلي نحو تحسين هذه الطرق بشكل أكبر.
النتائج
في هذا القسم، يقدم المؤلفون نتائج عددية لحل معادلة هاملتون-جاكوب-بيلمان (HJB) عند نقطة الزمان والمكان المحددة \((t_0, x_0) = (0, 0)\). يتم التعبير عن الحل الدقيق تحليليًا كما يلي
\[
v(t, x) = -\frac{1}{\lambda} \ln \mathbb{E}\left[\exp\left(-\lambda g\left(x + \sqrt{2}W_{T-t}\right)\right)\right], \quad (t, x) \in [0, T] \times \mathbb{R}^d.
\]
باستخدام محاكاة مونت كارلو، يقارن المؤلفون أداء ثلاثة محسنات—الانحدار العشوائي (SGD)، وأداجراد، وآدم—على إطار عمل الشبكة العصبية المصمم لهذه المشكلة. تم اختبار كل محسن بحجم دفعة قدره 1024 على مدى 380 دورة، باستخدام دالة تنشيط الظل الزائد عبر 128 طبقة مخفية، مع تعيين المعلمات إلى \(\lambda = 1\) و\(d = 100\).
تشير النتائج إلى أن كل من محسنات آدم وأداجراد تحقق تقاربًا أسرع مقارنة بـ SGD، مع نسب خطأ تبلغ 0.035% لآدم، و0.06% لأداجراد، و0.35% لـ SGD. لتقييم متانة إطار تدريب مبدأ الحد الأقصى العشوائي (SMP) بشكل أكبر، قام المؤلفون بتغيير \(\lambda\) مع الحفاظ على محسن آدم، مشاهدين أن معدلات الخطأ ظلت أقل من 0.5%. يلاحظون أن هذه النتائج تم الحصول عليها دون ضبط دقيق للمعلمات، مما يشير إلى أنه يمكن تحقيق تحسينات إضافية من خلال تعديلات متغيرة وجدولة معدل التعلم.
المناقشة
في هذا القسم، يناقش المؤلفون مشكلة التحكم الأمثل العشوائي وتطبيق مبدأ الحد الأقصى العشوائي (SMP) لاستنتاج الشروط اللازمة لتحقيق الأمثلية. يتم تعريف العملية العشوائية الخاضعة للتحكم بواسطة المعادلة التفاضلية العشوائية (SDE) \( dX_t = b(t, X_t, u_t) dt + \sigma(t, X_t, u_t) dW_t \)، مع افتراضات محددة حول نعومة وحدود الدوال المعنية. يتم تقديم الهاميلتونيان كـ \( H(t, x, y, z, u) = b^T y + \sigma z + f \)، حيث \( y \) و \( z \) هما متغيرات مشتركة. يستنتج المؤلفون الشروط اللازمة للتحكم الأمثل من خلال النظر في التغيرات في التحكم وتطبيق حساب إيتو، مما يؤدي إلى صياغة العملية المرافقة التي تحكمها معادلة تفاضلية عشوائية عكسية (BSDE).
يتناول القسم أيضًا الخوارزميات المقترحة للعثور على التحكم الأمثل، مع التركيز على التحكمات الحتمية والتحديات المرتبطة بحل BSDEs. يتم تقديم خوارزميتين: خوارزمية إسقاط تعتمد على الانحدار وخوارزمية انكماش مخفف. يؤكد المؤلفون على أهمية أخذ عينات دفعة لتقليل التباين في تقدير التدرج وضمان تقارب الخوارزميات. كما يثبتون نتائج التقارب تحت افتراضات التقعر القوي، مما يظهر أن الطرق المقترحة تحقق معدلات تقارب من الدرجة الأولى. بشكل عام، تسلط المناقشة الضوء على الأسس النظرية والآثار العملية لـ SMP في التحكم العشوائي، مما يوفر إطارًا للتنفيذ العددي المستقبلي.
DOI: https://doi.org/10.3934/naco.2026009
Publication Date: 2026-01-01
Author(s): Hui Sun et al.
Primary Topic: Stochastic processes and financial applications
Overview
In this research, the authors investigate the stochastic optimal control problem (SOC) through the lens of the Stochastic Maximum Principle (SMP). They employ a sample-wise backpropagation method to address the SOC under strong convexity, enhancing the Stochastic Gradient Descent (SGD) process by utilizing batch samples and higher-order schemes in the forward stochastic differential equation (SDE). The study identifies that the primary uncertainty arises from the simulation of the $Z$ term in the backward stochastic differential equations (BSDE). The authors propose a damped contraction algorithm, demonstrating convergence under specific assumptions, and compare its performance with a projection algorithm, finding the latter to be more stable and efficient.
The findings indicate an improvement in convergence rates from $O(NK + 1/N)$ to $O(1/K + 1/N^2)$, with the batch SGD approach proving to be more time-efficient than the original SGD method. Notably, the use of randomized neural networks allows for a more interpretable training process, eliminating the need for complex error backpropagation and enabling algebraic gradient computation. The authors suggest that further work is needed to optimize the pathwise realization for the $Z_t$ term in the BSDE solution for variance reduction and to explore the extension of their contraction mapping algorithm to deep neural network training, aiming for a derivative-free approach.
Introduction
The introduction of this research paper highlights the growing interest in stochastic optimal control problems, particularly through the integration of machine learning and deep learning techniques. While many recent approaches focus on using deep neural networks to approximate control solutions within a supervised learning framework, this work diverges by employing a classical probabilistic method known as the stochastic maximum principle (SMP). The authors propose a sample-wise approximation for the variational derivative of the loss function, which is essential for updating the control via gradient descent. This method aims to improve computational efficiency by addressing the challenges associated with solving forward-backward stochastic differential equations (FBSDEs) iteratively, particularly in high-dimensional settings.
The paper presents significant findings, including a convergence rate improvement from approximately \(O(NK + \frac{1}{N})\) to \(O(\frac{1}{K} + \frac{1}{N^2})\) through the use of batch sampling and higher-order schemes in the forward stochastic differential equations. Additionally, the authors introduce a damped contraction algorithm for solving the stochastic optimal control problem, providing a convergence proof under specific assumptions. They also explore the application of their proposed methods in training neural networks, particularly with Randomized Neural Networks, suggesting that this could enhance training efficiency by eliminating the need for backward propagation. The structure of the paper is outlined, indicating a comprehensive exploration of stochastic optimal control problems, algorithm development, and numerical validation, with future work aimed at further refining these methods.
Results
In this section, the authors present numerical results for solving the Hamilton-Jacobi-Bellman (HJB) equation at the specific space-time point \((t_0, x_0) = (0, 0)\). The exact solution is expressed analytically as
\[
v(t, x) = -\frac{1}{\lambda} \ln \mathbb{E}\left[\exp\left(-\lambda g\left(x + \sqrt{2}W_{T-t}\right)\right)\right], \quad (t, x) \in [0, T] \times \mathbb{R}^d.
\]
Using Monte Carlo simulations, the authors compare the performance of three optimizers—Stochastic Gradient Descent (SGD), AdaGrad, and Adam—on a neural network framework designed for this problem. Each optimizer was tested with a batch size of 1024 over 380 epochs, employing the hyperbolic tangent activation function across 128 hidden layers, with parameters set to \(\lambda = 1\) and \(d = 100\).
The results indicate that both Adam and AdaGrad optimizers achieve faster convergence compared to SGD, with respective percentage errors of 0.035% for Adam, 0.06% for AdaGrad, and 0.35% for SGD. To further assess the robustness of the Stochastic Maximum Principle (SMP) training framework, the authors varied \(\lambda\) while maintaining the Adam optimizer, observing that the error rates remained below 0.5%. They note that these results were obtained without fine-tuning parameters, suggesting that further improvements could be achieved through variable adjustments and learning rate scheduling.
Discussion
In this section, the authors discuss the stochastic optimal control problem and the application of the Stochastic Maximum Principle (SMP) to derive necessary conditions for optimality. The controlled stochastic process is defined by the stochastic differential equation (SDE) \( dX_t = b(t, X_t, u_t) dt + \sigma(t, X_t, u_t) dW_t \), with specific assumptions on the smoothness and boundedness of the functions involved. The Hamiltonian is introduced as \( H(t, x, y, z, u) = b^T y + \sigma z + f \), where \( y \) and \( z \) are co-variables. The authors derive necessary conditions for optimal control by considering variations in the control and applying the Itô calculus, leading to the formulation of the adjoint process governed by a backward stochastic differential equation (BSDE).
The section further elaborates on the algorithms proposed for finding the optimal control, focusing on deterministic controls and the challenges associated with solving BSDEs. Two algorithms are introduced: a projection algorithm based on gradient descent and a damped contraction mapping approach. The authors emphasize the importance of batch sampling to reduce variance in gradient estimation and ensure convergence of the algorithms. They also establish convergence results under strong convexity assumptions, demonstrating that the proposed methods yield first-order convergence rates. Overall, the discussion highlights the theoretical foundations and practical implications of the SMP in stochastic control, providing a framework for future numerical implementations.