DOI: https://doi.org/10.1007/s00245-025-10368-x
تاريخ النشر: 2026-02-06
المؤلف: Andrea Angiuli وآخرون
الموضوع الرئيسي: العمليات العشوائية والتطبيقات المالية
نظرة عامة
في هذا القسم، يناقش المؤلفون إطار ألعاب التحكم في الحقول المتوسطة (MFCG)، والتي تتضمن تفاعلات تنافسية بين العديد من المجموعات الكبيرة من الوكلاء المتعاونين، كما قدمه أنجيولي وآخرون (2022). تقدم الورقة خوارزمية جديدة للتعلم المعزز Q-Learning (RL) ثلاثية المقياس مصممة لمعالجة MFCG في سياق خالٍ من النموذج، مع التركيز على منظور الوكلاء التمثيليين. تستخدم الخوارزمية جدول Q لمساحات الحالة والفعل المحدودة، مع تحديثات تحدث في كل خطوة زمنية منفصلة على مدى غير محدود.
يبني المؤلفون على الأعمال السابقة التي أثبتت تقارب خوارزميات المقياسين لألعاب الحقول المتوسطة (MFG) وMFC بشكل منفصل، مع التأكيد على ضرورة تتبع توزيعات السكان المتعددة في سيناريو MFC. تدمج هذه الدراسة هذا المتطلب في إطار MFCG، باستخدام ثلاثة معدلات تحديث تتناقص إلى الصفر بنسب مناسبة. تستند برهان التقارب إلى تعميم التحليل ثنائي المقياس المقترح من قبل بوركار (1997). بالإضافة إلى ذلك، يقدم المؤلفون مثالًا بسيطًا يتوافق مع الفرضيات الموضحة في برهان التقارب الخاص بهم، مما يوضح فعالية الخوارزمية.
مقدمة
تناقش مقدمة الورقة تطور طرق التعلم المعزز (RL)، وخاصة تطبيقها على المشكلات المعقدة مثل عمليات اتخاذ القرار ماركوف (MDPs) والألعاب التي تشمل عدة وكلاء. ركز التعلم المعزز التقليدي على التحكم الأمثل في الزمن المنفصل، لكن التقدمات الأخيرة ربطته بالتحكم الأمثل في الزمن المستمر، كما أبرزت أعمال وانغ وآخرون (2020) وآخرين. لقد سهل إدخال ألعاب الحقول المتوسطة (MFGs) دراسة ألعاب اللاعبين الكبار من خلال تقريب توازن ناش من خلال تفاعلات لاعب تمثيلي مع حقل متوسط يمثل بقية السكان. بالإضافة إلى ذلك، ظهرت مشاكل التحكم في الحقول المتوسطة (MFC)، مما يسمح بالنظر في اللاعبين المتعاونين، كما تم استكشافه في دراسات متنوعة.
تهدف الورقة إلى إثبات تقارب خوارزمية جديدة للتعلم المعزز لألعاب التحكم في الحقول المتوسطة (MFCGs)، والتي تمزج بين عناصر من كل من MFGs وMFC. تستخدم هذه الخوارزمية، التي تبني على الأعمال السابقة، نهجًا ثلاثي المقياس لتحديث دالة Q لوكيل تمثيلي، وتوزيع السكان العالمي، وتوزيعات السكان المحلية لكل زوج حالة-فعل. يؤكد المؤلفون أن هذا الإطار ينجح في نمذجة السيناريوهات التنافسية بين التحالفات الكبيرة، مما يوفر طريقة قوية لمعالجة تعقيدات التعاون والتنافس في الألعاب واسعة النطاق.
النتائج
في هذا القسم، يقدم المؤلفون نتائج عددية لمشكلة محددة بمعلمات معينة: \(N = 2\) حالات، \(p = 0.1\)، \(c_l = c_g = 5\)، \(\phi = 500\)، و\(\gamma = 0.5\). يقومون بتنفيذ خوارزمية حتمية بمعدلات تعلم \((\omega_\mu, \omega_Q, \omega_\mu) = (0.55, 0.75, 0.95)\)، والتي تلبي معايير التقارب المحددة لحل لعبة التحكم في الحقول المتوسطة (MFCG). تشير رسم التقارب لـ \(\mu_n(x_0)\)، الذي يمثل قيمة التوزيع في الحالة 0 على مر التكرارات، إلى أن توزيع التوازن الناتج هو تقريبًا \((0.1, 0.9)\)، متماشيًا مع الاستراتيجية المثلى \(\alpha^* = (m, s)\) المستمدة من جدول Q المحدود.
تتم مزيد من التحليلات باستخدام الخوارزمية 1 تحت نفس معدلات التعلم، مع عرض النتائج في رسم تقارب ثانٍ. تكشف النتائج أن التوزيع المحلي يتقارب بشكل أسرع من التوزيع العالمي، على الرغم من التقلبات الأكبر بسبب التحديثات الأسرع للقيم المحلية. في النهاية، يتقارب كلا التوزيعين بشكل مثالي، مما يؤكد توزيع التوازن لـ \((0.1, 0.9)\) والاستراتيجية المثلى \(\alpha^*\) كما تشير إليه قيم جدول Q المحدود. تسلط هذه الدراسة الضوء على فعالية الخوارزميات المقترحة في تحقيق التقارب في سيناريوهات MFCG.
المناقشة
في قسم المناقشة من الورقة، يحدد المؤلفون هيكل ومكونات رئيسية لأبحاثهم حول ألعاب التحكم في الحقول المتوسطة (MFCG) وخوارزميات Q-learning. يبدأون بتذكير الإطار الكلاسيكي للتعلم Q، الذي يتضمن وكيلًا يتفاعل مع عملية اتخاذ قرار ماركوف (MDP) لتعلم سياسة مثلى تعظم المكافآت التراكمية المتوقعة. ثم يقدم المؤلفون تكيفهم للتعلم Q في سياق MFCG، مؤكدين على الحاجة إلى مراعاة كل من توزيعات السكان المحلية والعالمية في عملية التعلم.
تقدم الورقة خوارزمية ثلاثية المقياس تقوم بتحديث جدول Q وتوزيعات السكان بشكل غير متزامن، باستخدام التقريب العشوائي. يتم تبسيط هذه الخوارزمية أكثر للسماح بالتحديثات المتزامنة والتكرارات الحتمية، مما يؤدي إلى فهم أوضح لخصائص التقارب. يستمد المؤلفون نتائج التقارب بناءً على تعميمات للنظريات الموجودة، مشيرين بشكل خاص إلى عمل بوركار من عام 1997. تختتم القسم برسوم عددية توضح فعالية خوارزمياتهم المقترحة في سيناريو MFCG مبسط، مما يبرز الآثار العملية لنتائجهم في الأبحاث المستقبلية في التعلم المعزز ونظرية التحكم.
DOI: https://doi.org/10.1007/s00245-025-10368-x
Publication Date: 2026-02-06
Author(s): Andrea Angiuli et al.
Primary Topic: Stochastic processes and financial applications
Overview
In this section, the authors discuss the framework of Mean Field Control Games (MFCG), which involve competitive interactions among numerous large collaborative groups of agents, as introduced by Angiuli et al. (2022). The paper presents a novel three-timescale Reinforcement Q-Learning (RL) algorithm designed to address MFCG in a model-free context, focusing on the perspective of representative agents. The algorithm employs a Q-table for finite state and action spaces, with updates occurring at each discrete time-step over an infinite horizon.
The authors build upon previous work that established the convergence of two-timescale algorithms for Mean Field Games (MFG) and MFC separately, emphasizing the necessity of tracking multiple population distributions in the MFC scenario. This study integrates that requirement into the MFCG framework, employing three rates of updates that diminish to zero in appropriate ratios. The proof of convergence is based on a generalization of the two-timescale analysis proposed by Borkar (1997). Additionally, the authors provide a straightforward example that meets the hypotheses outlined in their convergence proof, demonstrating the algorithm’s effectiveness.
Introduction
The introduction of the paper discusses the evolution of reinforcement learning (RL) methods, particularly their application to complex problems such as Markov decision processes (MDPs) and games involving multiple agents. Traditional RL has focused on discrete time optimal control, but recent advancements have linked it to continuous time optimal control, as highlighted by the work of Wang et al. (2020) and others. The introduction of mean field games (MFGs) has facilitated the study of large player games by approximating Nash equilibria through the interactions of a representative player with a mean field representing the rest of the population. Additionally, mean field control (MFC) problems have emerged, allowing for the consideration of cooperative players, as explored in various studies.
The paper aims to prove the convergence of a novel RL algorithm for mean field control games (MFCGs), which blend elements of both MFGs and MFC. This algorithm, building on previous works, employs a three-timescale approach to update the Q-function of a representative agent, the global population distribution, and local population distributions for each state-action pair. The authors emphasize that this framework effectively models competitive scenarios among large coalitions, providing a robust method for addressing the complexities of cooperation and competition in large-scale games.
Results
In this section, the authors present numerical results for a problem defined with specific parameters: \(N = 2\) states, \(p = 0.1\), \(c_l = c_g = 5\), \(\phi = 500\), and \(\gamma = 0.5\). They implement a deterministic algorithm with learning rates \((\omega_\mu, \omega_Q, \omega_\mu) = (0.55, 0.75, 0.95)\), which meets the convergence criteria established for the mean-field control game (MFCG) solution. The convergence plot of \(\mu_n(x_0)\), representing the distribution value at state 0 over iterations, indicates that the resulting equilibrium distribution is approximately \((0.1, 0.9)\), aligning with the optimal strategy \(\alpha^* = (m, s)\) derived from the limiting Q-table.
Further analysis is conducted using Algorithm 1 under the same learning rates, with results depicted in a second convergence plot. The findings reveal that the local distribution converges more rapidly than the global distribution, albeit with greater fluctuations due to the faster updates of local values. Eventually, both distributions converge perfectly, reaffirming the equilibrium distribution of \((0.1, 0.9)\) and the optimal strategy \(\alpha^*\) as indicated by the limiting Q-table values. This study highlights the effectiveness of the proposed algorithms in achieving convergence in MFCG scenarios.
Discussion
In the discussion section of the paper, the authors outline the structure and key components of their research on Mean Field Control Games (MFCG) and Q-learning algorithms. They begin by recalling the classical Q-learning framework, which involves an agent interacting with a Markov Decision Process (MDP) to learn an optimal policy that maximizes expected cumulative rewards. The authors then introduce their adaptation of Q-learning to the MFCG context, emphasizing the need to account for both local and global population distributions in the learning process.
The paper presents a three-timescale algorithm that updates the Q-table and population distributions asynchronously, utilizing stochastic approximation. This algorithm is further simplified to allow synchronous updates and deterministic iterations, leading to a clearer understanding of convergence properties. The authors derive convergence results based on generalizations of existing theories, specifically referencing Borkar’s work from 1997. The section concludes with numerical illustrations that demonstrate the effectiveness of their proposed algorithms in a simplified MFCG scenario, highlighting the practical implications of their findings for future research in reinforcement learning and control theory.