تطور متعدد الوعي ثلاثي التعاون مع تطور تفاضلي متعدد السكان مع التعلم المعزز لتخطيط مسار الطائرات بدون طيار ثلاثية الأبعاد غير المنتظمة Manifold-aware triple cooperative multi-population differential evolution with reinforcement learning for irregular 3D UAV path planning

شارك:
المجلة: Knowledge-Based Systems، المجلد: 341
DOI: https://doi.org/10.1016/j.knosys.2026.115863
تاريخ النشر: 2026-03-23
المؤلف: Yunhui Zhang وآخرون
الموضوع الرئيسي: خوارزميات تخطيط المسار الروبوتي

نظرة عامة

تقدم هذه الدراسة خوارزمية التطور التفاضلي التعاوني متعددة السكان المدركة للمنحنيات مع التعلم المعزز (MTCMDE) تهدف إلى تحسين تخطيط مسار الطائرات بدون طيار (UAV) في بيئات ثلاثية الأبعاد معقدة تتميز بالعقبات واضطرابات الرياح. تعزز الخوارزمية الاستكشاف العالمي والتنقيح المحلي من خلال إطار التعايش المشترك الذي يتكون من ثلاث مجموعات فرعية: الكشاف، المطور، والموازن. تشارك هذه المجموعات الفرعية في الهجرة النخبوية لتسهيل التوازن بين الاستكشاف والاستغلال، وهو أمر حاسم لتحديد المسارات المنخفضة التكلفة القابلة للتطبيق في البيئات المزدحمة.

تتمثل إحدى الابتكارات الرئيسية في MTCMDE في دمج مشغل اضطراب مدرك للمنحنيات يستخدم معلومات طوبولوجية محلية، مما يقلل من التقارب المبكر ويعزز كفاءة البحث في الممرات الضيقة. بالإضافة إلى ذلك، تستخدم الخوارزمية نظام متعدد المشغلين قائم على التعلم المعزز مستند إلى نموذج اللصوص لتخصيص استراتيجيات الطفرات ديناميكيًا، مما يحسن دقة التقارب مع الحفاظ على تنوع السكان. تظهر النتائج التجريبية عبر ست حالات اختبار غير منتظمة متأثرة بالرياح، بما في ذلك سيناريو حضري معقد، أن MTCMDE يتفوق على الخوارزميات الحالية من حيث قابلية المسار، وكفاءة التكلفة، وسرعة التقارب. تؤكد التقييمات الإحصائية أيضًا على قوة وقابلية توسيع الطريقة المقترحة، مما يثبت أن MTCMDE هو حل قابل للتطبيق لتخطيط مسار الطائرات بدون طيار في بيئات ثلاثية الأبعاد صعبة.

مقدمة

تسلط مقدمة هذه الورقة البحثية الضوء على الاعتماد المتزايد على الطائرات بدون طيار (UAVs) لمجموعة متنوعة من التطبيقات، بما في ذلك الاستطلاع العسكري، ورصد البيئة، واللوجستيات. يتمثل التحدي الكبير في هذه العمليات في تطوير مسارات طيران آمنة وفعالة في بيئات ثلاثية الأبعاد معقدة، والتي غالبًا ما تتميز بالتضاريس غير المنتظمة والعقبات الديناميكية. تكافح طرق تخطيط المسار التقليدية، بما في ذلك مجموعة متنوعة من الأساليب الاستدلالية والميتاهيرستية، مع المناظر الطبيعية غير المحدبة الناتجة عن هذه الظروف، لا سيما بسبب مشكلات مثل التقارب المبكر والتنقيح المحلي غير الكافي.

لمعالجة هذه التحديات، تقترح الورقة خوارزمية جديدة تسمى التطور التفاضلي التعاوني متعدد السكان المدرك للمنحنيات مع التعلم المعزز (MTCMDE). تقدم هذه الخوارزمية إطار تعايش ثلاثي المجموعات يعزز التنسيق بين الاستكشاف العالمي والاستغلال المحلي، إلى جانب مشغل اضطراب مدرك للمنحنيات يستفيد من الميزات الطوبولوجية المحلية. بالإضافة إلى ذلك، يتم استخدام آلية مدفوعة بالتعلم المعزز لجدولة المشغلين ديناميكيًا، مما يسمح بالاستجابة التكيفية لتعقيدات البيئات غير المنتظمة. يتم تقييم خوارزمية MTCMDE المقترحة مقابل ثمانية طرق متطورة في سيناريوهات مختلفة، مما يظهر أدائها المتفوق في التنقل عبر مسارات الطيران الصعبة مع مراعاة كل من السلامة والكفاءة.

طرق

في هذا القسم، يصف المؤلفون الإعداد التجريبي المستخدم لتقييم أداء وموثوقية خوارزمية التعلم العميق التعاوني متعدد المهام (MTCMDE) للطائرات بدون طيار (UAVs). تم تنفيذ كل خوارزمية بشكل مستقل 20 مرة لضمان استقرار النتائج الإحصائية. تم إجراء التجارب في MATLAB R2020a على منصة حوسبة مزودة بمعالج Intel(R) Core (TM) Ultra 9 285H (2.9 GHz) وذاكرة 32 جيجابايت، تعمل على نظام تشغيل Windows 11 64-bit.

تأكد المؤلفون من أن جميع الخوارزميات تعمل تحت ظروف حدودية ومعايير إنهاء متسقة، وهو أمر حاسم للمقارنات العادلة. تم تقديم تكوينات المعلمات التفصيلية للتجارب في الجدول 2، مما يسمح بإعادة الإنتاج والشفافية في المنهجية. يبرز هذا النهج الصارم موثوقية النتائج المتعلقة بفعالية خوارزمية MTCMDE في تطبيقات الطائرات بدون طيار.

نقاش

تسلط قسم النقاش في الورقة الضوء على التعقيدات والتطورات في تخطيط مسار الطائرات بدون طيار ضمن بيئات ثلاثية الأبعاد غير منتظمة. تكافح الخوارزميات التقليدية مثل A* و PRM مع المساحات غير المنظمة، مما يؤدي إلى اعتماد أساليب ذكاء السرب مثل التطور التفاضلي (DE) وتحسين سرب الجسيمات (PSO)، والتي تقدم قدرة أفضل على التكيف وإمكانيات البحث العالمية. ومع ذلك، تواجه هذه الأساليب تحديات في تحقيق الأداء في الوقت الحقيقي ودقة التقارب في التخطيط عالي الأبعاد. قدمت الدراسات الحديثة أطر هجينة تدمج استراتيجيات تحسين المسار الموفرة للطاقة، مما يبرز التحول نحو تقنيات القيادة التكيفية والذكية.

تناقش الورقة أيضًا تطور استراتيجيات التعاون متعددة السكان، التي تعزز الاستكشاف من خلال السماح للمجموعات الفرعية بملاحقة أهداف مكملة. بينما تكون هذه الأطر فعالة، فإنها غالبًا ما تعتمد على الاتصال الثابت، مما يحد من قدرتها على التكيف مع البيئات الديناميكية. يتم تقديم دمج التعلم المعزز (RL) في التحسين التطوري كاتجاه واعد، مما يمكّن التحكم التكيفي في المشغلين والمعلمات. لقد أظهر هذا النهج إمكانات في تحسين توازن الاستكشاف والاستغلال، على الرغم من أن معظم الهجائن الحالية بين التعلم المعزز والخوارزميات التطورية تفتقر إلى التنسيق الدقيق. يقترح المؤلفون خوارزمية جديدة، MTCMDE، التي تجمع بين تقنيات البحث المدفوعة بالمنحنيات مع مكتبة استراتيجيات متعددة لمعالجة قيود الأساليب الحالية، بهدف تحسين الأداء في البيئات المعقدة والديناميكية.

Journal: Knowledge-Based Systems, Volume: 341
DOI: https://doi.org/10.1016/j.knosys.2026.115863
Publication Date: 2026-03-23
Author(s): Yunhui Zhang et al.
Primary Topic: Robotic Path Planning Algorithms

Overview

This research presents the manifold-aware triple cooperative multi-population differential evolution algorithm with reinforcement learning (MTCMDE) aimed at optimizing UAV path planning in complex three-dimensional environments characterized by obstacles and wind disturbances. The algorithm enhances global exploration and local refinement through a co-evolution framework comprising three subpopulations: Scout, Developer, and Balancer. These subpopulations engage in elite migration to facilitate a balance between exploration and exploitation, which is crucial for identifying feasible low-cost paths in cluttered settings.

A key innovation of MTCMDE is the incorporation of a manifold-aware perturbation operator that utilizes local topological information, thereby mitigating premature convergence and enhancing search efficiency in narrow passages. Additionally, the algorithm employs a reinforcement learning-based multi-operator scheme informed by a bandit model to dynamically allocate mutation strategies, which improves convergence accuracy while preserving population diversity. Experimental results across six wind-affected irregular test cases, including a complex urban scenario, demonstrate that MTCMDE outperforms existing algorithms in terms of path feasibility, cost efficiency, and convergence speed. Statistical evaluations further affirm the robustness and scalability of the proposed method, establishing MTCMDE as a viable solution for UAV path planning in challenging 3D environments.

Introduction

The introduction of this research paper highlights the increasing reliance on unmanned aerial vehicles (UAVs) for various applications, including military reconnaissance, environmental monitoring, and logistics. A significant challenge in these operations is the development of safe and efficient flight paths in complex three-dimensional environments, which are often characterized by irregular terrains and dynamic obstacles. Traditional path planning methods, including various heuristic and metaheuristic approaches, struggle with the non-convex optimization landscapes created by these conditions, particularly due to issues like premature convergence and inadequate local refinement.

To address these challenges, the paper proposes a novel algorithm called manifold-aware triple cooperative multi-population differential evolution with reinforcement learning (MTCMDE). This algorithm introduces a three-subgroup co-evolution framework that enhances coordination between global exploration and local exploitation, along with a manifold-aware perturbation operator that leverages local topological features. Additionally, a reinforcement learning-driven mechanism is employed for dynamic operator scheduling, allowing for adaptive responses to the complexities of irregular environments. The proposed MTCMDE algorithm is benchmarked against eight state-of-the-art methods in various scenarios, demonstrating its superior performance in navigating challenging flight paths while considering both safety and efficiency.

Methods

In this section, the authors describe the experimental setup utilized to evaluate the performance and robustness of the proposed Multi-Task Cooperative Multi-Agent Deep Reinforcement Learning (MTCMDE) algorithm for Unmanned Aerial Vehicles (UAVs). Each algorithm was executed independently 20 times to ensure the stability of the statistical results. The experiments were conducted in MATLAB R2020a on a computing platform equipped with an Intel(R) Core (TM) Ultra 9 285H processor (2.9 GHz) and 32 GB of memory, running on a Windows 11 64-bit operating system.

The authors ensured that all algorithms operated under consistent boundary conditions and termination criteria, which are crucial for fair comparisons. Detailed parameter configurations for the experiments are provided in Table 2, allowing for reproducibility and transparency in the methodology. This rigorous approach underscores the reliability of the findings related to the MTCMDE algorithm’s effectiveness in UAV applications.

Discussion

The discussion section of the paper highlights the complexities and advancements in UAV path planning within irregular 3D environments. Traditional algorithms like A* and PRM struggle with unstructured spaces, leading to the adoption of swarm intelligence methods such as Differential Evolution (DE) and Particle Swarm Optimization (PSO), which offer better adaptability and global search capabilities. However, these methods face challenges in achieving real-time performance and convergence precision in high-dimensional planning. Recent studies have introduced hybrid frameworks that integrate energy-efficient path optimization strategies, emphasizing a shift towards adaptive and intelligent driving techniques.

The paper also discusses the evolution of multi-population cooperative strategies, which enhance exploration by allowing subgroups to pursue complementary objectives. These frameworks, while effective, often rely on static communication, which limits their adaptability to dynamic environments. The integration of reinforcement learning (RL) into evolutionary optimization is presented as a promising direction, enabling adaptive control of operators and parameters. This approach has shown potential in improving exploration-exploitation balance, although most existing RL and evolutionary algorithm hybrids lack fine-grained coordination. The authors propose a novel algorithm, MTCMDE, which combines manifold-guided search techniques with a multi-strategy library to address the limitations of current methods, aiming for enhanced performance in complex, dynamic environments.