DOI: https://doi.org/10.1371/journal.pone.0351176
PMID: https://pubmed.ncbi.nlm.nih.gov/42258511
تاريخ النشر: 2026-06-08
المؤلف: O.O. Bolshov وآخرون
الموضوع الرئيسي: دراسات وبائية حول COVID-19
نظرة عامة
تقدم هذه القسم نظرة شاملة على تطبيق التعلم المعزز (RL) في تصميم التدخلات غير الدوائية (NPIs) لإدارة الأوبئة. تستعرض الدراسة الأدبيات التي تمت مراجعتها من قبل الأقران بشكل منهجي من 2014 إلى 2025، مع تحديد 13 دراسة ذات صلة تستخدم تقنيات التعلم العميق. تشير النتائج إلى أن خوارزميات التعلم المعزز، وخاصة تلك التي تستخدم طرق قائمة على القيمة، وتدرج السياسات، والطرق الهجينة، تتفوق باستمرار على الاستراتيجيات التقليدية في تقليل العدوى، والوفيات، ومدة الإغلاق مع تقليل التأثيرات الاجتماعية والاقتصادية. يسمح استخدام المحاكاة المعتمدة على الوكلاء بنمذجة مفصلة لديناميات السكان، بينما توفر النماذج compartmental والهجينة القابلية اللازمة. بالإضافة إلى ذلك، يعزز دمج تمثيلات الحالة المدركة للتسلسل من قابلية تكيف سياسات التعلم المعزز مع الظروف الوبائية المتطورة.
على الرغم من هذه النتائج الواعدة، تسلط المراجعة الضوء على تنوع منهجي كبير يعيق المقارنات عبر الدراسات. القضايا مثل التقييمات الاقتصادية المبسطة، ودرجة المعايرة المتفاوتة لنماذج الأوبئة، ونقص معايير التقييم الموحدة شائعة. علاوة على ذلك، تعالج القليل من الدراسات عدم اليقين أو قوة السياسات تحت ظروف البيانات المتغيرة بشكل كافٍ. لدفع التطبيق العملي للتعلم المعزز في الاستجابة للأوبئة، يوصي المؤلفون بإنشاء معايير مشتركة ومعايير تقرير، ودمج نماذج اقتصادية وسلوكية قائمة على الأدلة، واعتماد أطر تعلم معزز مدركة لعدم اليقين، وتطوير مساحات عمل معقدة، والتحقق من السياسات المتعلمة في سيناريوهات العالم الحقيقي. هذه الخطوات ضرورية لتحويل التعلم المعزز من المحاكاة النظرية إلى أدوات دعم القرار الفعالة في سياقات الصحة العامة.
مقدمة
تسلط مقدمة ورقة البحث الضوء على التعقيدات المرتبطة باتخاذ القرار خلال تفشي الأوبئة، مع التأكيد على عدم كفاية نماذج واستراتيجيات التحكم التقليدية، مثل الأنظمة القائمة على القواعد، في التكيف مع الطبيعة الديناميكية للأوبئة. يظهر التعلم المعزز (RL) كبديل واعد، مما يسمح بالتنقيح التكراري لاستراتيجيات التدخل في البيئات المحاكية، وهو ما يكون ذا قيمة خاصة عندما تثير التجارب في العالم الحقيقي مخاوف أخلاقية. اكتسب تطبيق التعلم المعزز زخمًا خلال جائحة COVID-19، حيث تم استخدامه لصياغة التدخلات غير الدوائية، مما يوازن بشكل فعال بين الهدفين المزدوجين للتحكم في العدوى والاستقرار الاقتصادي.
بالإضافة إلى ذلك، يعزز دمج نمذجة الوكلاء (ABM) من واقعية المحاكاة من خلال التقاط سلوكيات وتفاعلات الأفراد المتنوعين، مما يوفر فهمًا أكثر دقة لديناميات الأوبئة وتأثيرات السياسات. ومع ذلك، يتميز هذا المجال بالتجزئة، مع تباينات في الأساليب الخوارزمية، والافتراضات النمذجة، ومعايير التقييم التي تعيق المقارنات عبر الدراسات. تهدف هذه المراجعة إلى سد الفجوة الحالية من خلال رسم خريطة منهجية للاستخدام الحالي لطرق التعلم المعزز في صنع السياسات الوبائية، مما يساهم في فهم أكثر تماسكًا لهذه المنطقة متعددة التخصصات.
النتائج
يقدم قسم النتائج في ورقة البحث تلخيصًا شاملاً للنتائج من دراسات مختلفة استخدمت منهجيات التعلم المعزز (RL) للتحكم في الأوبئة. تلخص الجداول المقارنة خصائص كل دراسة، بما في ذلك نماذج الأوبئة، وخوارزميات التعلم المعزز، وأنواع التدخلات المستخدمة. تكشف التحليلات عن اتجاهات شائعة واختلافات في أساليب التعلم المعزز، مع تسليط الضوء على نقاط القوة والقيود عبر الدراسات، بالإضافة إلى تحديد الفجوات البحثية المحتملة.
تشير نتائج الدراسات الفردية إلى أن خوارزميات التعلم المعزز المختلفة وإعدادات المحاكاة تؤدي إلى نتائج مختلفة في التحكم في الأوبئة. على سبيل المثال، أظهر شوفو وآخرون أن التعلم العميق N-step Q-Learning تفوق على خوارزميات أخرى من حيث استقرار المكافآت، على الرغم من عدم وجود مقاييس وبائية واضحة. حدد زانغ وآخرون ارتداء الكمامات والبقاء في المنزل كأكثر التدخلات فعالية، بينما أظهر ليبين وآخرون أن السياسات المشتركة عبر المناطق المترابطة قللت بشكل كبير من مستويات العدوى. تكيفت خوارزمية Multi-Agent Recurrent Attention Actor-Critic لـ زونغ ولوان بشكل فعال مع الظروف المحددة للحالة، متفوقة على خوارزميات متعددة الوكلاء الأخرى. أظهر إطار عمل Guo وآخرون PaCAR تحكمًا أفضل في الأوبئة، محققًا قمم عدوى أقل وخسائر اقتصادية مقارنة بالسياسات التقليدية. بشكل عام، تؤكد الدراسات مجتمعة على قابلية التكيف وفعالية التعلم المعزز في إدارة الاستجابات الوبائية، مع اقتراح النتائج أن التدخلات المخصصة بناءً على العوامل الديموغرافية والظروف يمكن أن تعزز تدابير التحكم.
المناقشة
ت outlines قسم المناقشة في هذه الورقة المراجعة المشهد الحالي للبحث حول طرق التعلم المعزز (RL) المطبقة على صنع السياسات للتحكم في الأوبئة. يوضح المؤلفون عملية اختيار الدراسات المنهجية الخاصة بهم، والتي تضمنت فحص 512 دراسة وفي النهاية تضمين 35 بعد تقييم صارم. تشمل المكونات الرئيسية المستخرجة من هذه الدراسات معلومات ببليوغرافية، وأساليب، وتصاميم تجريبية، ونتائج، ومناقشات حول القيود والاتجاهات البحثية المستقبلية. تسلط المراجعة الضوء على هيمنة خوارزميات التعلم المعزز غير المعتمدة على النموذج، وخاصة الأساليب القائمة على القيمة والسياسة، وتؤكد على استخدام كل من تقنيات نمذجة الأوبئة compartmental والمعتمدة على الوكلاء.
تكشف النتائج أن معظم الدراسات تصمم وظائف المكافآت لموازنة شدة الجائحة مقابل التكاليف الاجتماعية والاقتصادية، مع استخدام البعض هياكل معقدة لأخذ الديناميات غير ماركوفية والتأخيرات الزمنية في تقدم المرض في الاعتبار. كما تؤكد المراجعة على أهمية التباين المكاني والديموغرافي في التحكم في الأوبئة، داعية إلى تدخلات مخصصة تأخذ في الاعتبار الخصائص المحلية. علاوة على ذلك، تناقش ضرورة تمثيلات الحالة متعددة المستويات لمصالحة سلوكيات الأفراد مع إحصائيات مستوى السكان، مقترحة أن تقنيات النمذجة المتقدمة يمكن أن تعزز فعالية ودقة السياسات المعتمدة على التعلم المعزز في إدارة الأوبئة. بشكل عام، تدعو الورقة إلى مزيد من البحث في دمج هذه المنهجيات لتحسين استراتيجيات الاستجابة للأوبئة.
القيود
تسلط القيود في هذه المراجعة الضوء على عدة عوامل قد تؤثر على تفسير وعمومية نتائجها. أولاً، كانت استراتيجية البحث محصورة في أربعة قواعد بيانات أكاديمية رئيسية واستخدمت مجموعة محددة مسبقًا من الكلمات الرئيسية، مما قد يستبعد الدراسات ذات الصلة المدرجة في أماكن أخرى أو تلك التي تستخدم مصطلحات بديلة. ثانيًا، كانت معايير الأهلية تستهدف بشكل محدد الدراسات التي يعمل فيها وكيل التعلم المعزز (RL) كصانع سياسات للتدخلات غير الدوائية (NPIs)، مما يستبعد بالتالي التطبيقات ذات الصلة للتعلم المعزز في التحكم في الأوبئة، مثل تخصيص الموارد وتجنب الحشود، والتي يمكن أن توفر رؤى قيمة.
بالإضافة إلى ذلك، فإن تركيز المراجعة على تقاطع التعلم المعزز ونمذجة الوكلاء (ABM) يقدم تحيزًا في الاختيار، حيث قد تكون الأبحاث التي تستخدم التعلم المعزز مع النماذج compartmental قد تم تجاهلها إذا لم تتضمن مصطلحات مرتبطة بـ ABM. بينما تم تضمين بعض الدراسات compartmental، تعكس النتائج في الغالب الأدبيات التي تتقاطع بين التعلم المعزز وABM. علاوة على ذلك، لم تقم المراجعة بإجراء تقييم نقدي رسمي للدراسات المضمنة، وهو أمر شائع في المراجعات التي تهدف إلى رسم خريطة الأدلة بدلاً من تقييم الجودة المنهجية. يحد هذا الإغفال من الاستنتاجات المتعلقة بالصلاحية الداخلية للنماذج. أخيرًا، فإن التباين في بيئات المحاكاة، ونماذج الأوبئة، ومعايير التقييم، وعدم اتساق التقارير يعقد المقارنات المباشرة، مما يقيد القدرة على تعميم ادعاءات الأداء أو تقييم كفاءة الخوارزميات تحت ظروف متسقة.
DOI: https://doi.org/10.1371/journal.pone.0351176
PMID: https://pubmed.ncbi.nlm.nih.gov/42258511
Publication Date: 2026-06-08
Author(s): O.O. Bolshov et al.
Primary Topic: COVID-19 epidemiological studies
Overview
This section provides a comprehensive overview of the application of reinforcement learning (RL) in designing non-pharmaceutical interventions (NPIs) for epidemic management. The study systematically reviews peer-reviewed literature from 2014 to 2025, identifying 13 relevant studies that utilize deep RL techniques. The findings indicate that RL algorithms, particularly those employing value-based, policy-gradient, and hybrid methods, consistently outperform traditional heuristic strategies in reducing infections, mortality, and lockdown durations while minimizing socio-economic impacts. The use of agent-based simulations allows for detailed modeling of population dynamics, while compartmental and hybrid models provide necessary tractability. Additionally, incorporating sequence-aware state representations enhances the adaptability of RL policies to evolving epidemic conditions.
Despite these promising results, the review highlights significant methodological diversity that hampers cross-study comparisons. Issues such as oversimplified economic cost assessments, varying calibration rigor of epidemic models, and a lack of standardized evaluation metrics are prevalent. Furthermore, few studies adequately address uncertainty or the robustness of policies under changing data conditions. To advance the practical application of RL in epidemic response, the authors recommend establishing common benchmarks and reporting standards, integrating empirically grounded economic and behavioral models, adopting uncertainty-aware RL frameworks, developing sophisticated action spaces, and validating learned policies in real-world scenarios. These steps are crucial for transitioning RL from theoretical simulations to effective decision-support tools in public health contexts.
Introduction
The introduction of the research paper highlights the complexities involved in decision-making during epidemic outbreaks, emphasizing the inadequacies of traditional modeling and control strategies, such as rule-based systems, in adapting to the dynamic nature of epidemics. Reinforcement learning (RL) emerges as a promising alternative, allowing for the iterative refinement of intervention strategies in simulated environments, which is particularly valuable when real-world experimentation poses ethical concerns. The application of RL gained momentum during the COVID-19 pandemic, where it was utilized to formulate non-pharmaceutical interventions, effectively balancing the dual objectives of infection control and economic stability.
Additionally, the integration of agent-based modeling (ABM) enhances the realism of simulations by capturing the behaviors and interactions of diverse individuals, thereby providing a more nuanced understanding of epidemic dynamics and policy impacts. However, the field is characterized by fragmentation, with variations in algorithmic approaches, modeling assumptions, and evaluation metrics that hinder cross-study comparisons. This scoping review aims to fill the existing gap by systematically mapping the current use of RL methods in epidemic policymaking, thereby contributing to a more cohesive understanding of this interdisciplinary area.
Results
The results section of the research paper presents a comprehensive synthesis of findings from various studies that employed reinforcement learning (RL) methodologies for epidemic control. Comparative tables summarize the characteristics of each study, including the epidemic models, RL algorithms, and intervention types utilized. The analysis reveals common trends and differences in RL approaches, highlighting strengths and limitations across the studies, as well as identifying potential research gaps.
Individual study findings indicate that different RL algorithms and simulation setups yield varied epidemic control outcomes. For instance, Shuvo et al. demonstrated that N-step Deep Q-Learning outperformed other algorithms in terms of reward stability, despite lacking explicit epidemic metrics. Zhang et al. identified mask-wearing and home-staying as the most effective interventions, while Libin et al. showed that joint policies across interconnected districts significantly reduced infection levels. Zong and Luo’s Multi-Agent Recurrent Attention Actor-Critic algorithm effectively adapted to state-specific conditions, outperforming other multi-agent algorithms. Guo et al.’s PaCAR framework exhibited superior epidemic control, achieving lower infection peaks and economic losses compared to traditional policies. Overall, the studies collectively underscore the adaptability and effectiveness of RL in managing epidemic responses, with findings suggesting that tailored interventions based on demographic and situational factors can enhance control measures.
Discussion
The discussion section of this review paper outlines the current landscape of research on reinforcement learning (RL) methods applied to epidemic control policymaking. The authors detail their systematic study selection process, which involved screening 512 studies and ultimately including 35 after rigorous evaluation. Key components extracted from these studies include bibliographic information, methods, experimental designs, results, and discussions on limitations and future research directions. The review highlights the predominance of model-free RL algorithms, particularly value-based and policy-based approaches, and emphasizes the use of both compartmental and agent-based epidemic modeling techniques.
The findings reveal that most studies design reward functions to balance pandemic severity against socio-economic costs, with some employing complex structures to account for non-Markovian dynamics and temporal delays in disease progression. The review also underscores the importance of spatial and demographic heterogeneity in epidemic control, advocating for tailored interventions that consider local characteristics. Furthermore, it discusses the necessity of multi-level state representations to reconcile individual behaviors with population-level statistics, suggesting that advanced modeling techniques can enhance the effectiveness and precision of RL-based policies in managing epidemics. Overall, the paper calls for further research into integrating these methodologies to improve epidemic response strategies.
Limitations
The limitations of this scoping review highlight several factors that may affect the interpretation and generalizability of its findings. Firstly, the search strategy was confined to four major academic databases and utilized a predefined set of keywords, potentially excluding relevant studies indexed elsewhere or those employing alternative terminologies. Secondly, the eligibility criteria specifically targeted studies where a reinforcement learning (RL) agent acts as a policymaker for non-pharmaceutical interventions (NPIs), thereby omitting related applications of RL in epidemic control, such as resource allocation and crowd avoidance, which could provide valuable insights.
Additionally, the review’s focus on the intersection of RL and agent-based modeling (ABM) introduces a selection bias, as research utilizing RL with compartmental models may have been overlooked if it did not include ABM-related terms. While some compartmental studies were included, the findings predominantly reflect literature that intersects both RL and ABM. Furthermore, the review did not perform a formal critical appraisal of the included studies, which is typical for scoping reviews aimed at mapping evidence rather than assessing methodological quality. This omission limits conclusions regarding the internal validity of the models. Lastly, the heterogeneity in simulation environments, epidemic models, evaluation metrics, and reporting inconsistencies complicates direct comparisons, restricting the ability to generalize performance claims or assess algorithmic efficiency under consistent conditions.