DOI: https://doi.org/10.1016/j.chaos.2026.118289
تاريخ النشر: 2026-04-10
المؤلف: Mengfan Zhu وآخرون
الموضوع الرئيسي: تعلم التعزيز في الروبوتات
نظرة عامة
في هذا القسم، يستكشف المؤلفون التفاعل بين التعلم القائم على الندم والاستكشاف العشوائي في اتخاذ القرارات الفردية ضمن ألعاب السكان. يقدمون بروتوكولًا جديدًا للعبة ذات لاعبين واستراتيجيتين على شبكة، حيث يمكن للوكيلين إما استكشاف استراتيجيات بديلة بشكل عشوائي أو استخدام دالة ندم من نوع بولتزمان للتعلم. تستخلص الدراسة شرطًا تحليليًا لانتشار استراتيجية، مما يوضح أن هذا الشرط يعتمد فقط على معلمات اللعبة ويظل غير متأثر بتفاصيل دالة الندم أو معدل الاستكشاف أو هيكل الشبكة عندما تكون قوة الندم ضعيفة.
تشير النتائج إلى أن الاستكشاف العشوائي يقلل من الميزة التطورية للاستراتيجيات السائدة بينما يحسن في الوقت نفسه ملاءمة الاستراتيجيات الأقل تفضيلًا. بالإضافة إلى ذلك، من خلال محاكاة الكمبيوتر، يظهر المؤلفون أن زيادة قوة الندم تعزز من موقف الاستراتيجية السائدة، بينما تقمع الآفاق التطورية للاستراتيجيات التي لا تحظى بتفضيل. تسلط هذه الأبحاث الضوء على الديناميات المعقدة للسلوك الاستراتيجي في ألعاب السكان، مما يبرز الحاجة إلى النظر في كل من آليات التعلم والاستكشاف لفهم النتائج التطورية.
مقدمة
تتناول مقدمة هذه الورقة البحثية الديناميات التطورية للسلوك الناشئ في مجموعات كبيرة تشارك في تفاعلات استراتيجية، مع التأكيد على تأثير إجراءات تحديث الاستراتيجية المجهرية على النتائج التطورية. تبرز الدراسة أهمية تحقيق التوازن بين الاستغلال والاستكشاف في خوارزميات التعلم متعددة الوكلاء، حيث تعتبر قيم الندم مقياسًا رئيسيًا للاستغلال. يشير المؤلفون إلى أنه بينما ركزت الأبحاث السابقة بشكل كبير على التأثيرات المنفصلة للتعلم القائم على الندم والاستكشاف العشوائي على الأفعال الجماعية، فإن التحليل النظري المنهجي لتأثيراتهما المشتركة مفقود.
لسد هذه الفجوة، تقترح الورقة بروتوكول تعلم جديد يدمج التعلم القائم على الندم والاستكشاف العشوائي ضمن مجموعة تلعب لعبة غير تعاونية ذات لاعبين واستراتيجيتين على الرسوم البيانية المتصلة. يستخلص المؤلفون شروطًا يتم بموجبها تفضيل استراتيجية واحدة (A) على أخرى (B) باستخدام نظرية سلسلة ماركوف والمصفوفات، كاشفين أن نجاح الاستراتيجية A يعتمد فقط على عناصر مصفوفة العائدات للعبة، بغض النظر عن قيم الندم ومعدلات الاستكشاف. تشير النتائج إلى أن التردد المتوسط للاستراتيجية A يتأثر بكل من دالة الندم ومعدل الاستكشاف، مع تأكيد المحاكاة لهذه النتائج عبر هياكل الشبكة المختلفة. تختتم الورقة بمناقشة آثار قوة الندم على هيمنة الاستراتيجيات، مجسدة الديناميكية “الأقوياء يصبحون أقوى، والضعفاء يصبحون أضعف” تحت ظروف معينة.
النتائج
في هذا القسم، يقدم المؤلفون تحليلًا نظريًا للديناميات التطورية للاستراتيجيات A و B ضمن إطار ألعاب تنافسية. يستخلصون الشرط الرياضي اللازم لهيمنة الاستراتيجية A، وهو أن التردد المتوسط للاستراتيجية A، المشار إليه بـ $\langle x_A \rangle$، يجب أن يتجاوز 1/2. يبدأ التحليل بتعريف الاستراتيجيات المستخدمة من قبل الأفراد في المجموعة، الممثلة كمتجه عمودي $s = (s_1, s_2, \ldots, s_N)^T$، حيث يشير $s_l = 1$ إلى الاستراتيجية A و $s_l = 0$ إلى الاستراتيجية B. يتكون فضاء الحالة للعبة الشبكة من $Z = 2^N$ حالات، ويُعطى تردد الاستراتيجية A في أي حالة $s$ بواسطة $x_A(s) = \frac{1}{N} \sum_{l=1}^N s_l$.
يضع المؤلفون نموذجًا للعملية التطورية باستخدام سلسلة ماركوف تتميز بمصفوفة انتقال $P$. يستخلصون التوزيع الثابت $u$ والتردد المتوسط $\langle x_A \rangle$ من خلال تقريب تايلور من الدرجة الأولى بالنسبة لقوة الندم $\beta$. تشير النتائج إلى أنه إذا تحقق الشرط $a + b > c + d$، ستسود الاستراتيجية A، بغض النظر عن دوال الندم المحددة أو هياكل الشبكة المستخدمة. علاوة على ذلك، يحللون تأثير الاستكشاف العشوائي، $\epsilon$، على $\langle x_A \rangle$، ويجدون أن تأثيره يعتمد على العلاقة بين العائدات المرتبطة بالاستراتيجيات A و B. بشكل محدد، إذا كان $a + b > c + d$، فإن زيادة $\epsilon$ تؤدي إلى انخفاض في $\langle x_A \rangle$، بينما يحدث العكس إذا كان $a + b < c + d$.
مناقشة
في هذا القسم، يستكشف المؤلفون الديناميات التطورية للاستراتيجيات في مجموعة منظمة تشارك في لعبة ذات لاعبين واستراتيجيتين، باستخدام نموذج يدمج كل من التعلم القائم على الندم والاستكشاف العشوائي. تمثل المجموعة كشبكة موزونة، حيث تشير العقد إلى الوكلاء وتدل الحواف على التفاعلات، مع الإشارة إلى أوزان الحواف التي تحدد قوة هذه الاتصالات. يمكن للوكلاء اعتماد واحدة من استراتيجيتين (A أو B)، مع تحديد العائدات من خلال تفاعلاتهم. تقدم الدراسة دالة ندم تؤثر على تحديثات الاستراتيجية بناءً على الفرق بين العائدات الفعلية والحد الأقصى الممكن، مما يسمح بتحديثات حتمية واستكشاف عشوائي.
تكشف النتائج أن الشرط لهيمنة الاستراتيجية A على الاستراتيجية B يعتمد بشكل عام على معلمات اللعبة، وبشكل خاص على العلاقة بين العائدات، ويظل غير متغير بواسطة دالة الندم أو هيكل الشبكة تحت قوة ندم ضعيفة. ومع ذلك، فإن التردد المتوسط للاستراتيجية A حساس لكل من معدل الاستكشاف العشوائي والشكل المحدد لدالة الندم. من الجدير بالذكر أن الاستكشاف العشوائي يقلل من الميزة التطورية للاستراتيجية A عندما تكون مفضلة، بينما يعززها عندما لا تكون الاستراتيجية A سائدة. يؤكد المؤلفون توقعاتهم النظرية من خلال المحاكاة عبر أنواع مختلفة من الشبكات، مما يؤكد أن الديناميات التطورية تظهر ظاهرة “الأقوياء يصبحون أقوى، والضعفاء يصبحون أضعف” مع زيادة قوة الندم. تقترح الدراسة مجالات للبحث المستقبلي، بما في ذلك استكشاف دوال الندم المثلى وتطبيق خوارزميات بديلة قائمة على الندم لفهم تطور الاستراتيجية في سيناريوهات ألعاب أكثر تعقيدًا.
DOI: https://doi.org/10.1016/j.chaos.2026.118289
Publication Date: 2026-04-10
Author(s): Mengfan Zhu et al.
Primary Topic: Reinforcement Learning in Robotics
Overview
In this section, the authors investigate the interplay between regret-based learning and random exploration in individual decision-making within population games. They introduce a novel protocol for a two-player, two-strategy game set on a network, where agents can either explore alternative strategies randomly or utilize a Boltzmann-type regret function for learning. The study derives an analytical condition for the prevalence of a strategy, demonstrating that this condition is solely dependent on game parameters and remains unaffected by the specifics of the regret function, exploration rate, or network structure when regret strength is weak.
The findings indicate that random exploration diminishes the evolutionary advantage of dominant strategies while simultaneously improving the fitness of less-favored strategies. Additionally, through computer simulations, the authors show that increasing regret strength bolsters the position of the dominant strategy, whereas it suppresses the evolutionary prospects of strategies that are not favored. This research highlights the complex dynamics of strategic behavior in population games, emphasizing the need to consider both learning mechanisms and exploration in understanding evolutionary outcomes.
Introduction
The introduction of this research paper addresses the evolutionary dynamics of emergent behavior in large populations engaged in strategic interactions, emphasizing the influence of microscopic strategy updating procedures on evolutionary outcomes. The study highlights the significance of balancing exploitation and exploration in multi-agent learning algorithms, with regret values serving as a key metric for exploitation. The authors note that while previous research has largely focused on the separate effects of regret-based learning and random exploration on collective actions, a systematic theoretical analysis of their combined effects is lacking.
To fill this gap, the paper proposes a novel learning protocol that integrates regret-based learning and random exploration within a population playing a two-player, two-strategy non-cooperative game on connected graphs. The authors derive conditions under which one strategy (A) is favored over another (B) using Markov chain and matrix theory, revealing that the success of strategy A depends solely on the game payoff matrix elements, independent of regret values and exploration rates. The findings indicate that the average frequency of strategy A is influenced by both regret function and exploration rate, with simulations confirming these results across various network structures. The paper concludes with a discussion of the implications of regret strength on the dominance of strategies, encapsulating the dynamic of “the strong get stronger, the weak get weaker” under certain conditions.
Results
In this section, the authors present a theoretical analysis of the evolutionary dynamics of strategies A and B within a competitive gaming framework. They derive the mathematical condition necessary for strategy A to dominate, specifically that the average frequency of strategy A, denoted as $\langle x_A \rangle$, must exceed 1/2. The analysis begins by defining the strategies employed by individuals in the population, represented as a column vector $s = (s_1, s_2, \ldots, s_N)^T$, where $s_l = 1$ indicates strategy A and $s_l = 0$ indicates strategy B. The state space of the network game comprises $Z = 2^N$ states, and the frequency of strategy A in any state $s$ is given by $x_A(s) = \frac{1}{N} \sum_{l=1}^N s_l$.
The authors model the evolutionary process using a Markov chain characterized by a transition matrix $P$. They derive the stationary distribution $u$ and the average frequency $\langle x_A \rangle$ through a first-order Taylor approximation with respect to the regret strength $\beta$. The results indicate that if the condition $a + b > c + d$ holds, strategy A will prevail, irrespective of the specific regret functions or network structures employed. Furthermore, they analyze the influence of random exploration, $\epsilon$, on $\langle x_A \rangle$, finding that its effect is contingent on the relationship between the payoffs associated with strategies A and B. Specifically, if $a + b > c + d$, increasing $\epsilon$ leads to a decrease in $\langle x_A \rangle$, while the opposite occurs if $a + b < c + d$.
Discussion
In this section, the authors investigate the evolutionary dynamics of strategies in a structured population engaged in a two-player, two-strategy game, utilizing a model that incorporates both regret-based learning and random exploration. The population is represented as a weighted network, where nodes signify agents and edges denote interactions, with edge weights indicating the strength of these connections. Agents can adopt one of two strategies (A or B), with payoffs determined by their interactions. The study introduces a regret function that influences strategy updates based on the difference between actual and maximum possible payoffs, allowing for both deterministic updates and random exploration.
The findings reveal that the condition for strategy A to prevail over strategy B is universally dependent on game parameters, specifically the relationship between payoffs, and remains unchanged by the regret function or network structure under weak regret strength. However, the average frequency of strategy A is sensitive to both the random exploration rate and the specific form of the regret function. Notably, random exploration diminishes the evolutionary advantage of strategy A when it is favored, while enhancing it when strategy A is not dominant. The authors validate their theoretical predictions through simulations across various network types, confirming that the evolutionary dynamics exhibit a “strong get stronger, weak get weaker” phenomenon as regret strength increases. The study suggests avenues for future research, including the exploration of optimal regret functions and the application of alternative regret-based algorithms to further understand strategy evolution in more complex game scenarios.