DOI: https://doi.org/10.1109/lra.2025.3583620
تاريخ النشر: 2025-06-26
المؤلف: Jiayu Chen وآخرون
الموضوع الرئيسي: تعلم التعزيز في الروبوتات
نظرة عامة
يتناول هذا القسم التقدم في سيناريوهات المطاردة-الهروب متعددة الطائرات بدون طيار، مع تسليط الضوء على قيود أساليب التعلم المعزز متعددة الوكلاء (MARL) الحالية التي تعتمد غالبًا على محاكاة مبسطة. يقدم المؤلفون خوارزمية جديدة قائمة على MARL تُدعى OPEN، والتي تعزز تعلم السياسات التعاونية من خلال شبكة معززة لتوقع الهاربين لمعالجة المراقبة الجزئية. بالإضافة إلى ذلك، تتضمن OPEN مولد بيئة تكيفي يحسن كفاءة الاستكشاف وتعميم السياسات عبر بيئات متنوعة وغير معروفة.
تظهر نتائج المحاكاة أن OPEN تتفوق بشكل كبير على الأساليب الأساسية، حيث تحقق معدل التقاط 100% في سيناريوهات صعبة وتعميم فعال على بيئات غير مرئية. يمثل هذا البحث علامة فارقة مهمة حيث إنه الأول الذي يستخرج وينشر سياسة التعلم المعزز باستخدام أوامر التحكم في الدفع الجماعي ومعدل الجسم لمطاردة-الهروب متعددة الطائرات بدون طيار في إعدادات العالم الحقيقي. يعترف المؤلفون بالقيود، بما في ذلك الحاجة إلى إعادة التدريب عند تغيير عدد الطائرات، ويقترحون أن يركز العمل المستقبلي على دمج الأساليب المعتمدة على الرؤية للبيئات غير المنظمة.
مقدمة
تناقش مقدمة الورقة أهمية سيناريوهات المطاردة-الهروب متعددة الطائرات بدون طيار، حيث تهدف فرق الطائرات بدون طيار (UAV) إلى القبض على الهاربين الذين يستخدمون تكتيكات هروب. لهذا المجال تطبيقات حيوية في القطاعات العسكرية والمدنية، بما في ذلك أنظمة الدفاع وعمليات البحث والإنقاذ. غالبًا ما تفشل الأساليب التقليدية لمعالجة ألعاب المطاردة-الهروب، مثل نظرية الألعاب ونظرية التحكم، في البيئات المعقدة الواقعية بسبب اعتمادها على نماذج دقيقة وظروف أولية. نتيجة لذلك، اعتمد الباحثون بشكل متزايد تقنيات الذكاء الاصطناعي، وخاصة التعلم المعزز (RL)، الذي يسمح للطائرات بدون طيار بتعلم استراتيجيات فعالة من خلال التفاعل مع البيئات المحاكية. ومع ذلك، فإن الأساليب الحالية للتعلم المعزز عادة ما تبسط ديناميات الوكلاء وتقتصر على سيناريوهات محددة مسبقًا، مما يعيق قابليتها للتطبيق في سياقات واقعية متنوعة.
لمعالجة هذه التحديات، تقدم الورقة OPEN (التخطيط عبر الإنترنت لمطاردة-الهروب متعددة الطائرات بدون طيار في بيئات غير معروفة)، وهي خوارزمية قائمة على التعلم المعزز تدمج نماذج ديناميات الطائرات بدون طيار المعايرة وتستخدم أوامر التحكم في الدفع الجماعي ومعدلات الجسم (CTBR). تعزز OPEN اتخاذ القرار التعاوني من خلال شبكة توقع الهاربين المعتمدة على الانتباه، والتي تدمج المسارات المتوقعة للهاربين في سياسة التعلم المعزز. بالإضافة إلى ذلك، يتم استخدام مولد بيئة تكيفي لإنشاء سيناريوهات تدريب متنوعة، مما يحسن كفاءة العينة وتعميم السياسات. تظهر النتائج أن OPEN تحقق معدلات التقاط قريبة من 100% عبر سيناريوهات اختبار متنوعة، متفوقة بشكل كبير على الأساليب الأساسية، وتنقل بنجاح الاستراتيجيات المتعلمة إلى الطائرات بدون طيار الحقيقية بطريقة صفرية. تسلط النتائج الضوء على قوة وفعالية الخوارزمية في مهام المطاردة-الهروب المعقدة، مما يمثل تقدمًا كبيرًا في نشر سياسات التعلم المعزز لعمليات الطائرات بدون طيار المتعددة.
نقاش
في مناقشة ألعاب المطاردة-الهروب، تسلط الورقة الضوء على قيود الأساليب التقليدية – نظرية الألعاب، نظرية التحكم، والأساليب الاستدلالية – عند تطبيقها على السيناريوهات الواقعية التي تشمل الطائرات بدون طيار. غالبًا ما تبسط هذه الأساليب تعقيدات تنسيق الوكلاء المتعددين وتفشل في معالجة الاستراتيجيات التعاونية بشكل كافٍ في البيئات الديناميكية. بالمقابل، تؤكد الورقة على إمكانيات التعلم المعزز (RL) كنهج مدفوع بالبيانات، والذي تم استخدامه بشكل متزايد لتعزيز الأساليب التقليدية ومعالجة التحديات مثل تباين الوكلاء وعدم كفاءة الاتصال. ومع ذلك، كانت التطبيقات الحالية للتعلم المعزز مقيدة إلى حد كبير بالمحاكاة المبسطة، مما يحد من فعاليتها في النشر العملي.
لسد الفجوة بين المحاكاة والتطبيق في العالم الحقيقي، يقترح المؤلفون إطار عمل مبتكر يدمج نموذج ديناميات الطائرات الرباعية وشبكة توقع الهاربين المعززة، إلى جانب مولد بيئة تكيفي. تم تصميم هذا الإطار لتسهيل تعلم سياسات قوية قادرة على التعميم عبر سيناريوهات متنوعة، بما في ذلك تلك التي تحتوي على تكوينات عقبات معقدة. تستخدم المنهجية عملية تنقيح مكافأة من مرحلتين لضمان نشر السياسات بسلاسة وفعالية على الطائرات الرباعية الحقيقية دون الحاجة إلى ضبط دقيق مكثف. تشير النتائج إلى أن النهج المقترح يتفوق بشكل كبير على الأساليب الأساسية التقليدية في سيناريوهات اختبار متنوعة، مما يوضح فعاليته في مهام المطاردة-الهروب في الوقت الحقيقي.
DOI: https://doi.org/10.1109/lra.2025.3583620
Publication Date: 2025-06-26
Author(s): Jiayu Chen et al.
Primary Topic: Reinforcement Learning in Robotics
Overview
The section discusses advancements in multi-UAV pursuit-evasion scenarios, highlighting the limitations of existing multi-agent reinforcement learning (MARL) approaches that often rely on simplified simulations. The authors introduce a novel MARL-based algorithm named OPEN, which enhances cooperative policy learning through an evader prediction-enhanced network to address partial observability. Additionally, OPEN incorporates an adaptive environment generator that improves exploration efficiency and policy generalization across diverse, unknown environments.
Simulation results demonstrate that OPEN significantly outperforms baseline methods, achieving a 100% capture rate in challenging scenarios and effectively generalizing to unseen environments. The research marks a significant milestone as it is the first to derive and deploy a reinforcement learning policy using collective thrust and body rate control commands for multi-UAV pursuit-evasion in real-world settings. The authors acknowledge limitations, including the need for retraining when varying the number of drones, and suggest future work will focus on integrating vision-based methods for unstructured environments.
Introduction
The introduction of the paper discusses the significance of multi-UAV pursuit-evasion scenarios, where teams of UAVs (unmanned aerial vehicles) aim to capture evaders employing evasive tactics. This domain has critical applications in military and civilian sectors, including defense systems and search-and-rescue operations. Traditional methods for addressing pursuit-evasion games, such as game theory and control theory, often fall short in complex, real-world environments due to their reliance on precise models and initial conditions. Consequently, researchers have increasingly adopted artificial intelligence techniques, particularly reinforcement learning (RL), which allows UAVs to learn effective strategies through interaction with simulated environments. However, existing RL approaches typically simplify agent dynamics and are limited to predefined scenarios, hindering their applicability in diverse, real-world contexts.
To address these challenges, the paper introduces OPEN (Online planning for multi-UAV pursuit-evasion in unknown environments), an RL-based algorithm that integrates calibrated UAV dynamics models and employs collective thrust and body rates (CTBR) control commands. OPEN enhances cooperative decision-making through an attention-based evader-prediction network, which incorporates predicted evader trajectories into the RL policy. Additionally, an adaptive environment generator is utilized to create diverse training scenarios, improving sample efficiency and policy generalization. The results demonstrate that OPEN achieves near 100% capture rates across various test scenarios, significantly outperforming baseline methods, and successfully transfers learned strategies to real UAVs in a zero-shot manner. The findings highlight the algorithm’s robustness and effectiveness in complex pursuit-evasion tasks, marking a significant advancement in the deployment of RL policies for multi-UAV operations.
Discussion
In the discussion of pursuit-evasion games, the paper highlights the limitations of traditional methods—game-theoretic, control-theoretic, and heuristic approaches—when applied to real-world scenarios involving UAVs. These methods often oversimplify the complexities of multi-agent coordination and fail to adequately address cooperative strategies in dynamic environments. In contrast, the paper emphasizes the potential of reinforcement learning (RL) as a data-driven approach, which has been increasingly utilized to enhance traditional methods and tackle challenges such as agent variability and communication inefficiencies. However, existing RL applications have largely been restricted to simplified simulations, limiting their effectiveness in practical deployments.
To bridge the gap between simulation and real-world application, the authors propose an innovative framework that incorporates a quadrotor dynamics model and an Evader Prediction-Enhanced Network, alongside an Adaptive Environment Generator. This framework is designed to facilitate the learning of robust policies capable of generalizing across diverse scenarios, including those with complex obstacle configurations. The methodology employs a two-stage reward refinement process to ensure smooth and effective policy deployment on real quadrotors without the need for extensive fine-tuning. The results indicate that the proposed approach significantly outperforms traditional baselines in various test scenarios, demonstrating its efficacy in real-time pursuit-evasion tasks.