DOI: https://doi.org/10.3390/math14020296
تاريخ النشر: 2026-01-14
المؤلف: Zhiyuan Wang وآخرون
الموضوع الرئيسي: خوارزميات تحسين متعددة الأهداف المتقدمة
نظرة عامة
تقدم هذه الورقة البحثية نهجًا جديدًا لتحسين الأهداف المتعددة المقيدة (MOO) في الأسواق المالية، مع التركيز بشكل خاص على تحسين المحفظة لتقليل المخاطر مع زيادة العوائد. الطريقة المقترحة، التي تُسمى RL-NSGA-II-GRC، تدمج وكيل التعلم المعزز (RL) مع خوارزمية الفرز غير المهيمنة الجينية II (NSGA-II) المعززة بمعاملات العلاقات الرمادية (GRC). يهدف هذا الإطار إلى تحسين التقارب وتنوع واجهات باريتو المثلى من خلال ضبط المعلمات التطورية الرئيسية بشكل تكيفي استنادًا إلى مقاييس مستوى السكان مثل الحجم الفائق والتنوع، مع استخدام آلية اختيار قائمة على GRC تصنف الحلول المحتملة من خلال درجة أداء موحدة.
تظهر النتائج التجريبية أن RL-NSGA-II-GRC يتفوق على NSGA-II الأصلية، محققًا تحسينات في مقاييس التقارب تبلغ حوالي 5.8% و4.4% على مشاكل القياس (Kursawe وCONSTR) مع الحفاظ على مجموعة متنوعة من الحلول غير المهيمنة. في سياق تحسين محفظة NASDAQ، تنتج الطريقة واجهة فعالة سلسة وكثيفة السكان، مما يسهل تحديد المحافظ ذات نسب شارب المثلى ومستويات مختلفة من تجنب المخاطر. تشير النتائج إلى أن الجمع بين تقنيات RL، والهيمنة المتسامحة مع القيود، والاختيار القائم على GRC يوازن بشكل فعال بين الاستكشاف والاستغلال في البيئات المالية المعقدة. تشمل اتجاهات البحث المستقبلية تعزيز قدرات وكيل RL واستكشاف تطبيقات أوسع للإطار المقترح في سياقات اتخاذ القرار المختلفة التي تتضمن مقايضات متعددة الأهداف مقيدة.
مقدمة
تتناول مقدمة هذه الورقة البحثية التحديات المتعلقة بتحسين الأهداف المتعددة (MOO)، وهو أمر أساسي في مجالات متعددة مثل المالية والهندسة والرعاية الصحية، حيث يجب على صانعي القرار موازنة الأهداف المتعارضة تحت القيود. يركز جزء رئيسي على توليد الحلول المثلى لباريتو، التي تمثل المقايضات بين الأهداف المتعددة. تسلط الورقة الضوء على قيود الخوارزميات التقليدية مثل خوارزمية الفرز غير المهيمنة الجينية II (NSGA-II)، خاصة في البيئات المقيدة حيث يمكن أن تؤدي المعلمات الثابتة إلى إعاقة الأداء من خلال تقليل سرعة التقارب وتقليل التنوع.
لتجاوز هذه التحديات، يقترح المؤلفون طريقة جديدة، RL-NSGA-II-GRC، التي تدمج التعلم المعزز (RL) مع آلية اختيار معززة بمعاملات العلاقات الرمادية (GRC) ضمن إطار عمل NSGA-II. يسمح هذا النهج بالتحكم التكيفي في معلمات الخوارزمية استنادًا إلى مقاييس مستوى السكان، مما يحسن التوازن بين الاستكشاف والاستغلال طوال عملية التحسين. يتم إثبات فعالية طريقة RL-NSGA-II-GRC من خلال مشاكل MOO القياسية ودراسة حالة حقيقية لتحسين محفظة NASDAQ-100، محققة تحسينات ملحوظة في التقارب وتوفير رؤى قيمة للمستثمرين. توضح الورقة هيكلها، موضحة مراجعة الأدبيات، والمنهجية، والنتائج العددية، والمناقشات، واتجاهات البحث المستقبلية.
طرق
تقدم قسم المنهجية طريقة RL-NSGA-II-GRC ضمن إطار تحسين الأهداف المتعددة (MOO)، كما هو موضح في مخطط التدفق المرافق. يبدأ المؤلفون بتعريف مشكلة MOO العامة، التي تتضمن تقليل عدة دوال هدف، \( f_1, f_2, \ldots, f_M \)، مع مراعاة قيود مختلفة. يتم تقديم الصياغة الرياضية على النحو التالي:
\[
\min_{\mathbf{x} \in \Omega} \mathbf{F}(\mathbf{x}) = (f_1(\mathbf{x}), f_2(\mathbf{x}), \ldots, f_M(\mathbf{x})),
\]
مع مراعاة:
\[
g_j(\mathbf{x}) \geq 0, \quad j = 1, 2, \ldots, J_g,
\]
\[
h_\ell(\mathbf{x}) = 0, \quad \ell = 1, 2, \ldots, J_h,
\]
وقيود الحدود:
\[
x_k(L) \leq x_k \leq x_k(U), \quad k = 1, 2, \ldots, D.
\]
تتناول القسم المكونات الأساسية لطريقة RL-NSGA-II-GRC، بما في ذلك عمليات خوارزمية NSGA-II، ودمج القرب الهندسي في عملية اختيار البطولة، وحساب مؤشرات الأداء التي توفر تغذية راجعة لوكيل التعلم المعزز (RL). تم تصميم طبقة التحكم RL لتعديل المعلمات التطورية بشكل تكيفي لتعزيز التوازن بين الاستكشاف والاستغلال، بهدف نهائي هو تحديد الحلول المثلى لباريتو. التفيذ الكامل لهذه الطريقة متاح بلغة بايثون، مع إمكانية الوصول المقدمة عند الطلب من المؤلفين.
مناقشة
تؤكد قسم المناقشة في الورقة على أهمية تحسين الأهداف المتعددة (MOO) في مجالات متعددة، وخاصة المالية، حيث تعالج المقايضات المتأصلة بين الأهداف المتعارضة مثل زيادة العوائد وتقليل المخاطر. تقنيات التحجيم التقليدية، رغم كونها مفيدة، غالبًا ما تتجاهل بعض الحلول المثلى لباريتو، مما يؤدي إلى اعتماد خوارزميات تطورية حديثة مثل NSGA-II، التي تقرب واجهة باريتو بكفاءة من خلال الفرز غير المهيمن وآليات مسافة الازدحام. تم التحقق من فعالية NSGA-II عبر مجالات متعددة، بما في ذلك تحسين المحفظة، حيث تولد محافظ مثلى متنوعة لباريتو توازن بين الأهداف المختلفة.
تستكشف الورقة أيضًا التقدم في منهجيات MOO، وخاصة دمج التعلم المعزز (RL) لتعزيز قابلية تكيف الخوارزميات في البيئات المقيدة. تقدم طريقة RL-NSGA-II-GRC تسامحًا ديناميكيًا مع القيود ومعاملات العلاقات الرمادية لتحسين اختيار الحلول والتنوع. يسمح هذا النهج باستكشاف أكثر مرونة لمساحة الحلول، مما يستوعب الحلول غير القابلة للتطبيق تحت ظروف محكومة. بالإضافة إلى ذلك، يتيح استخدام مؤشرات الأداء على مستوى السكان، مثل الحجم الفائق ونسبة القابلية، لوكيل RL تحسين أفعاله بفعالية، مما يضمن توازنًا بين استغلال الحلول عالية الجودة واستكشاف بدائل متنوعة. بشكل عام، تؤكد النتائج على المشهد المتطور لتقنيات MOO وقابليتها للتطبيق في سيناريوهات اتخاذ القرار المعقدة في المالية وما بعدها.
DOI: https://doi.org/10.3390/math14020296
Publication Date: 2026-01-14
Author(s): Zhiyuan Wang et al.
Primary Topic: Advanced Multi-Objective Optimization Algorithms
Overview
This research paper presents a novel approach to constrained multi-objective optimization (MOO) in financial markets, specifically focusing on portfolio optimization to minimize risk while maximizing returns. The proposed method, termed RL-NSGA-II-GRC, integrates a reinforcement learning (RL) agent with a non-dominated sorting genetic algorithm II (NSGA-II) enhanced by gray relational coefficients (GRC). This framework aims to improve the convergence and diversity of Pareto-optimal fronts by adaptively adjusting key evolutionary parameters based on population-level metrics such as hypervolume and diversity, while employing a GRC-based selection mechanism that ranks potential solutions through a unified performance score.
The experimental results demonstrate that RL-NSGA-II-GRC outperforms the original NSGA-II, achieving convergence metric improvements of approximately 5.8% and 4.4% on benchmark problems (Kursawe and CONSTR) while maintaining a diverse set of non-dominated solutions. In the context of NASDAQ portfolio optimization, the method yields a smooth and densely populated efficient frontier, facilitating the identification of portfolios with optimal Sharpe ratios and varying levels of risk aversion. The findings suggest that the combination of RL techniques, constraint-tolerant dominance, and GRC-based selection effectively balances exploration and exploitation in complex financial environments. Future research directions include enhancing the RL agent’s capabilities and exploring broader applications of the proposed framework in various decision-making contexts involving constrained multi-objective trade-offs.
Introduction
The introduction of this research paper addresses the challenges of multi-objective optimization (MOO), which is essential in various fields such as finance, engineering, and healthcare, where decision-makers must balance conflicting goals under constraints. A key focus is on the generation of Pareto-optimal solutions, which represent trade-offs among multiple objectives. The paper highlights the limitations of traditional algorithms like the non-dominated sorting genetic algorithm II (NSGA-II), particularly in constrained environments where static parameters can hinder performance by leading to slow convergence and reduced diversity.
To overcome these challenges, the authors propose a novel method, RL-NSGA-II-GRC, which integrates reinforcement learning (RL) with a gray relational coefficient (GRC) enhanced selection mechanism within the NSGA-II framework. This approach allows for adaptive control of algorithm parameters based on population-level metrics, thereby improving the balance between exploration and exploitation throughout the optimization process. The effectiveness of the RL-NSGA-II-GRC method is demonstrated through benchmark MOO problems and a real-world NASDAQ-100 portfolio optimization case study, achieving notable improvements in convergence and providing valuable insights for investors. The paper outlines its structure, detailing the literature review, methodology, numerical results, discussions, and future research directions.
Methods
The methodology section introduces the RL-NSGA-II-GRC method within a multi-objective optimization (MOO) framework, as depicted in the accompanying flowchart. The authors begin by defining the generic MOO problem, which involves minimizing multiple objective functions, \( f_1, f_2, \ldots, f_M \), subject to various constraints. The mathematical formulation is presented as follows:
\[
\min_{\mathbf{x} \in \Omega} \mathbf{F}(\mathbf{x}) = (f_1(\mathbf{x}), f_2(\mathbf{x}), \ldots, f_M(\mathbf{x})),
\]
subject to:
\[
g_j(\mathbf{x}) \geq 0, \quad j = 1, 2, \ldots, J_g,
\]
\[
h_\ell(\mathbf{x}) = 0, \quad \ell = 1, 2, \ldots, J_h,
\]
and bound constraints:
\[
x_k(L) \leq x_k \leq x_k(U), \quad k = 1, 2, \ldots, D.
\]
The section details the core components of the RL-NSGA-II-GRC method, including the operations of the NSGA-II algorithm, the integration of geometric proximity into the tournament selection process, and the computation of performance indicators that provide feedback for the reinforcement learning (RL) agent. The RL control layer is designed to adaptively modify evolutionary parameters to enhance the balance between exploration and exploitation, ultimately aiming to identify Pareto-optimal solutions. The complete implementation of this method is available in Python, with access provided upon request to the authors.
Discussion
The discussion section of the paper emphasizes the significance of Multi-Objective Optimization (MOO) in various fields, particularly finance, where it addresses the inherent trade-offs between conflicting objectives such as maximizing returns and minimizing risks. Traditional scalarization techniques, while useful, often overlook certain Pareto-optimal solutions, leading to the adoption of modern evolutionary algorithms like NSGA-II, which efficiently approximates the Pareto front through non-dominated sorting and crowding distance mechanisms. NSGA-II’s effectiveness has been validated across multiple domains, including portfolio optimization, where it generates diverse Pareto-optimal portfolios that balance various objectives.
The paper further explores advancements in MOO methodologies, particularly the integration of Reinforcement Learning (RL) to enhance the adaptability of algorithms in constrained environments. The proposed RL-NSGA-II-GRC method introduces dynamic constraint tolerance and gray relational coefficients to improve solution selection and diversity. This approach allows for a more flexible exploration of the solution space, accommodating infeasible solutions under controlled conditions. Additionally, the use of population-level performance indicators, such as hypervolume and feasibility ratio, enables the RL agent to optimize its actions effectively, ensuring a balance between exploitation of high-quality solutions and exploration of diverse alternatives. Overall, the findings underscore the evolving landscape of MOO techniques and their applicability to complex decision-making scenarios in finance and beyond.