DOI: https://doi.org/10.23939/mmc2026.01.077
تاريخ النشر: 2026-01-01
المؤلف: H. Oulghazi
الموضوع الرئيسي: العمليات العشوائية والتطبيقات المالية
نظرة عامة
تتناول هذه الورقة الحل العددي لمشاكل التحكم الأمثل العشوائي عالية الأبعاد التي تتميز بعمليات القفز والانتشار. من خلال الاستفادة من مبدأ الحد الأقصى والشبكات العصبية العميقة، يعيد المؤلفون صياغة مشكلة التحكم في إطار تبايني ويقترحون خوارزميات متخصصة لحلها. يتم إثبات فعالية هذه الخوارزميات من خلال مشكلة اختيار محفظة متوسط-تباين في سوق مالية، والتي يتم نمذجتها كمعادلة تفاضلية عشوائية عكسية (FBSDE) مع قفزات.
في الخاتمة، يقدم المؤلفون خوارزميتين مصممتين لمعالجة مشكلة التحكم الأمثل العشوائي. يتحققون من طرقهم مقابل سيناريو اختيار محفظة متوسط-تباين، مشيرين إلى أنه بينما لا يمكن الحصول على حل تحليلي كامل، يمكن الاقتراب من حل شبه تحليلي. تشير النتائج إلى أن كلا الخوارزميتين تتقارب نحو هذا الحل شبه التحليلي، حيث تظهر الخوارزمية 2 استقرارًا أكبر وسرعة تقارب أسرع مقارنة بالخوارزمية 1. على وجه التحديد، الخطأ النسبي للخوارزمية 1 حوالي $10^{-3}$، بينما تحقق الخوارزمية 2 $10^{-4}$. يُعزى الأداء المحسن للخوارزمية 2 إلى تجنبها التعقيد الإضافي المرتبط بمشكلة تحسين arg max الموجودة في الخوارزمية 1. ومع ذلك، تظل الخوارزمية 1 خيارًا قابلاً للتطبيق لمشاكل التحكم التي تتضمن قفزات وأصول مالية متعددة حيث لا تكون الحلول التحليلية ممكنة.
مقدمة
تناقش مقدمة الورقة تطور نظرية التحكم العشوائي، التي ظهرت في الستينيات بشكل أساسي لديناميات الحالة الخطية ودوال التكلفة التربيعية، المعروفة باسم المنظم العشوائي الخطي. توسعت تطبيقات هذه النظرية في المالية والإدارة خلال السبعينيات، لا سيما من خلال عمل مارتون حول تخصيص المحفظة. تشمل المنهجيات الرئيسية لحل مشاكل التحكم الأمثل العشوائي مبدأ الحد الأقصى لبونترياغين ومبدأ البرمجة الديناميكية لبيلمان، وكلاهما أثر بشكل كبير على هذا المجال وسهل حل القضايا المعقدة المعاصرة.
على الرغم من فائدة الطرق العددية الكلاسيكية، مثل الفروق المحدودة، التي تقرب المعادلات التفاضلية الجزئية المرتبطة (PDEs)، تواجه هذه الأساليب تحديات تتعلق بزيادة التعقيد مع زيادة أبعاد فضاء الحالة. تواجه طرق بديلة، مثل تقريب سلسلة ماركوف ومحاكاة مونت كارلو، أيضًا تكاليف حسابية عالية وبطء في التقارب. مؤخرًا، اكتسبت تقنيات التعلم العميق زخمًا، حيث أظهرت فعاليتها في معالجة مشاكل التحكم الأمثل العشوائي عالية الأبعاد وحل المعادلات التفاضلية العشوائية الأمامية والخلفية (FBSDEs). أدت النتائج الواعدة من هذه الأساليب القائمة على التعلم العميق إلى تطوير خوارزميات مختلفة تعتمد على الشبكات العصبية التي تستفيد من كل من مبدأ الحد الأقصى العشوائي وإطارات البرمجة الديناميكية.
النتائج
في هذا القسم، يقدم المؤلفون نتائج عددية من اختبار خوارزمياتهم على مشكلة اختيار محفظة متوسط-تباين تتضمن أصلًا محفوفًا بالمخاطر بسعر \( P_1 \) وأصلًا خاليًا من المخاطر بسعر \( P_0 \). يتميز السوق بأنه ذاتي التمويل، حيث تنشأ التغيرات في عملية الثروة \( x_t \) من تقلبات أسعار الأصول. يتم صياغة مشكلة التحسين لتقليل الانحراف التربيعي المتوقع عن ثروة مستهدفة \( a \) في الوقت النهائي \( T \)، مع مراعاة معادلة تفاضلية عشوائية تضم كل من المكونات المستمرة والقفزات لديناميات سعر الأصل المحفوف بالمخاطر.
يستخلص المؤلفون هاميلتوني مرتبطًا بالمشكلة ويؤسسون معادلات متجاوبة لتسهيل عملية التحسين. يقارنون النتائج التي تم الحصول عليها من خوارزميتهم (الخوارزمية 1) مع حل شبه تحليلي قدمه سوليم وآخرون. يتم حساب القيمة المثلى للدالة الهدف \( J(v^*) \) لعدة تكرارات، كاشفين عن الخطأ النسبي بين الطريقتين. يتم توضيح تقارب الخوارزمية من خلال الرسوم البيانية التي تظهر تطور \( J_{\text{alg1}} \) و \( J_{\text{analy}} \) على مر التكرارات، فضلاً عن سلوك متوسط \( x_T \) بالنسبة للقيمة المستهدفة \( a \). بالإضافة إلى ذلك، يتم رسم دالة الخسارة مقابل عدد التكرارات لتأكيد تقارب الخوارزمية.
مناقشة
في هذا القسم، يناقش المؤلفون تطوير وتطبيق الخوارزميات المستندة إلى مبدأ الحد الأقصى العشوائي (SMP) لحل مشاكل التحكم الأمثل العشوائي التي تتميز بعمليات الانتشار مع القفزات. التحدي الرئيسي الذي يتم معالجته هو عدم إمكانية معالجة الخوارزميات الحالية عند التحكم في انتشار عملية الحالة، لا سيما بسبب عدم القدرة على حساب المشتقات الثانية لدالة القيمة اللازمة للتحكم الأمثل. للتغلب على ذلك، يقدم المؤلفون خوارزمية معادلة تفاضلية عشوائية عكسية عميقة (BSDE)، تُسمى Deep SMP-BSDE، والتي تلتزم بـ SMP وتستوعب عمليات القفز، مما يعزز واقعية النموذج.
تحدد الورقة صياغة مشكلة التحكم العشوائي، بما في ذلك المقدمات الرياضية اللازمة والافتراضات، مثل وجود حل قوي فريد لنظام الحالة المحدد بواسطة عملية انتشار مع قفزات. يستخلص المؤلفون دالة هاميلتون والنظام المتجاوب المقابل، مما يؤدي إلى إنشاء مشكلة تباينية تعادل مشكلة التحكم الأصلية. يتم اقتراح خوارزميتين عدديتين متميزتين تستفيدان من تقنيات التعلم العميق: الأولى تستخدم شبكتين عصبيتين لتقريب التحكم، بينما الثانية تستخدم ثلاث شبكات لتجنب العبء الحسابي لتعظيم هاميلتون في كل خطوة زمنية. تظهر النتائج أن كلا الخوارزميتين تتقارب نحو حل شبه تحليلي، حيث تظهر الخوارزمية 2 استقرارًا أفضل وسرعة تقارب أسرع مقارنة بالخوارزمية 1، محققة خطأ نسبي من ترتيب \(10^{-3}\).
DOI: https://doi.org/10.23939/mmc2026.01.077
Publication Date: 2026-01-01
Author(s): H. Oulghazi
Primary Topic: Stochastic processes and financial applications
Overview
This paper addresses the numerical solution of high-dimensional stochastic optimal control problems characterized by jump-diffusion processes. By leveraging the maximum principle and deep neural networks, the authors reformulate the control problem into a variational framework and propose specialized algorithms for its resolution. The effectiveness of these algorithms is demonstrated through the mean-variance portfolio selection problem in a financial market, which is modeled as a backward stochastic differential equation (FBSDE) with jumps.
In the conclusion, the authors present two algorithms designed to tackle the stochastic optimal control problem. They validate their methods against the mean-variance portfolio selection scenario, noting that while a fully analytical solution is unattainable, a semi-analytical one can be approached. The results indicate that both algorithms converge towards this semi-analytical solution, with Algorithm 2 exhibiting greater stability and faster convergence compared to Algorithm 1. Specifically, the relative error for Algorithm 1 is approximately $10^{-3}$, while Algorithm 2 achieves $10^{-4}$. The enhanced performance of Algorithm 2 is attributed to its avoidance of the additional complexity associated with the arg max optimization problem present in Algorithm 1. Nonetheless, Algorithm 1 remains a viable option for control problems involving jumps and multiple financial assets where analytical solutions are not feasible.
Introduction
The introduction of the paper discusses the evolution of stochastic control theory, which emerged in the 1960s primarily for linear state dynamics and quadratic cost functions, known as the linear stochastic regulator. The application of this theory expanded into finance and management during the 1970s, notably through Merton’s work on portfolio allocation. Key methodologies for solving stochastic optimal control problems include Pontryagin’s maximum principle and Bellman’s dynamic programming principle, both of which have significantly influenced the field and facilitated the resolution of complex contemporary issues.
Despite the utility of classical numerical methods, such as finite differences, which approximate the associated partial differential equations (PDEs), these approaches face challenges related to increasing complexity with higher dimensional state spaces. Alternative methods, like the Markov chain approximation and Monte Carlo simulations, also encounter high computational costs and slow convergence. Recently, deep learning techniques have gained traction, demonstrating effectiveness in addressing high-dimensional stochastic optimal control problems and solving forward and backward stochastic differential equations (FBSDEs). The promising results from these deep learning approaches have led to the development of various neural network-based algorithms that leverage both the stochastic maximum principle and dynamic programming frameworks.
Results
In this section, the authors present numerical results from testing their algorithms on a mean-variance portfolio selection problem involving a risky asset priced at \( P_1 \) and a risk-free asset priced at \( P_0 \). The market is characterized as self-financing, where changes in the wealth process \( x_t \) arise from fluctuations in asset prices. The optimization problem is formulated to minimize the expected squared deviation from a target wealth \( a \) at terminal time \( T \), subject to a stochastic differential equation that incorporates both continuous and jump components of the risky asset’s price dynamics.
The authors derive a Hamiltonian associated with the problem and establish adjoint equations to facilitate the optimization process. They compare the results obtained from their algorithm (Algorithm 1) with a semi-analytical solution provided by Sulem et al. The optimal value of the objective function \( J(v^*) \) is computed for various iterations, revealing the relative error between the two methods. The convergence of the algorithm is illustrated through plots showing the evolution of \( J_{\text{alg1}} \) and \( J_{\text{analy}} \) over iterations, as well as the behavior of the mean of \( x_T \) relative to the target value \( a \). Additionally, the loss function is plotted against the number of iterations to confirm the algorithm’s convergence.
Discussion
In this section, the authors discuss the development and application of algorithms based on the Stochastic Maximum Principle (SMP) to solve stochastic optimal control problems characterized by diffusion processes with jumps. The primary challenge addressed is the intractability of existing algorithms when controlling the diffusion of the state process, particularly due to the inability to compute second derivatives of the value function necessary for optimal control. To overcome this, the authors introduce a deep backward stochastic differential equation (BSDE) algorithm, termed the Deep SMP-BSDE, which adheres to the SMP and accommodates jump processes, thereby enhancing the realism of the model.
The paper outlines the formulation of the stochastic control problem, including the necessary mathematical preliminaries and assumptions, such as the existence of a unique strong solution for the state system defined by a diffusion process with jumps. The authors derive the Hamiltonian function and the corresponding adjoint system, leading to the establishment of a variational problem that is equivalent to the original control problem. Two distinct numerical algorithms leveraging deep learning techniques are proposed: the first employs two neural networks to approximate the control, while the second utilizes three networks to avoid the computational burden of maximizing the Hamiltonian at each time step. The results demonstrate that both algorithms converge towards a semi-analytical solution, with Algorithm 2 exhibiting superior stability and faster convergence compared to Algorithm 1, achieving a relative error on the order of \(10^{-3}\).