DOI: https://doi.org/10.1109/lra.2026.3703580
تاريخ النشر: 2026-06-15
المؤلف: Jiarui Zhang وآخرون
الموضوع الرئيسي: تعلم التعزيز في الروبوتات
نظرة عامة
في هذا البحث، يقدم المؤلفون إطار عمل جديد للتعلم المعزز (RL) مصمم للطائرات بدون طيار (UAVs) الرباعية، والذي يتناول تحديات التنقل الذاتي وتجنب العقبات في البيئات المعقدة. تعاني الطرق التقليدية غالبًا من تأخير تراكمي أو تفتقر إلى ضمانات أمان رسمية، وهو ما يهدف هذا الإطار إلى التغلب عليه من خلال دمج آليات الأمان المعتمدة على النموذج. يستخدم النظام المقترح هيكل مكافآت مستند إلى الفيزياء أثناء التدريب لتوفير إرشادات تنقل، ويستخدم فلتر أمان في الوقت الحقيقي أثناء النشر لضمان الالتزام بقيود تجنب التصادم.
تشير تقييمات المعايير إلى أن هذه البنية الهجينة تتفوق بشكل كبير على كل من طرق التخطيط التقليدية وتقنيات تجنب العقبات المستندة إلى الفيزياء القابلة للاشتقاق الحديثة، مما يظهر قدرات تنقل فعالة بسرعات عالية في البيئات الكثيفة والتحديات، حيث تحقق سرعات تصل إلى 7.5 م/ث. يستنتج المؤلفون أن إطار عملهم يجمع بنجاح بين تحسين السياسة بدون نموذج مع أولويات فيزيائية قائمة على النموذج، مما يعزز كفاءة التدريب ويضمن نشر عمليات آمنة. كما يعترفون بالقيود الحالية للأجهزة التي تمنع سرعات الطيران في العالم الحقيقي من مطابقة الأداء المحاكى، ويحددون خططًا لتحسينات مستقبلية على أجهزة الطائرات الرباعية وتطبيق طريقتهم على سيناريوهات محددة موجهة نحو المهام.
مقدمة
في السنوات الأخيرة، اكتسبت الطائرات بدون طيار الرباعية (UAVs) شعبية في تطبيقات متنوعة مثل اللوجستيات والبحث والإنقاذ بسبب قدرتها الاستثنائية على المناورة. ومع ذلك، فإن التنقل في البيئات الديناميكية وغير المنظمة يمثل تحديات، خاصة في تحقيق التوازن بين الحاجة إلى الطيران عالي السرعة مع التأخير الحاسوبي المطلوب لتجنب التصادم بشكل فعال. تعاني أنظمة الملاحة التقليدية، التي تعتمد على وحدات متسلسلة للإدراك والتخطيط والتحكم، غالبًا من تأخير تراكمي واستجابات متأخرة في السيناريوهات المتغيرة بسرعة. بالمقابل، تقدم طرق الملاحة المعتمدة على التعلم بديلاً واعدًا من خلال رسم المدخلات الحسية مباشرة إلى أوامر التحكم، مما يقلل بشكل كبير من تأخير المعالجة ويعزز الرشاقة أثناء المناورات عالية السرعة. ومع ذلك، تفتقر هذه الطرق عادةً إلى ضمانات أمان رسمية ويمكن أن تواجه صعوبة في التعميم في الحالات غير المتوقعة.
لمعالجة هذه القيود، يقترح المؤلفون إطار عمل هجيني للملاحة يجمع بين التعلم المعزز وآليات الأمان المعتمدة على النموذج. تستفيد هذه الطريقة من قدرات التأخير المنخفضة للسياسات من النهاية إلى النهاية بينما تفرض الأمان من خلال قيود فيزيائية واضحة. يتضمن الإطار أولويات قائمة على النموذج أثناء التدريب لتشكيل المكافآت مع إرشادات المسار العالمية وقيود الأمان، مما يعزز سلوكيات الملاحة الفعالة والواعية للمخاطر. بالإضافة إلى ذلك، تم تقديم وحدة تصحيح أمان في الوقت الحقيقي تعتمد على وظائف حواجز التحكم عالية الترتيب لضمان تجنب التصادم أثناء النشر، حتى في ظل الاضطرابات غير المتوقعة. تشمل المساهمات الرئيسية لهذا البحث إطار عمل ملاحة واعٍ للأمان يدمج القيود العالمية والمحلية في التعلم المعزز، وآلية فرض أمان في الوقت الحقيقي، والتحقق التجريبي الشامل الذي يظهر أداءً متفوقًا مقارنة بالطرق التقليدية والطرق المعتمدة على التعلم فقط في كل من السيناريوهات المحاكية والواقعية.
طرق
تناقش هذه القسم التقدمات الأخيرة في الطرق المعتمدة على التعلم لملاحة الطائرات بدون طيار (UAV)، مع التركيز على قدرتها على تجاوز التخطيط الكثيف التقليدي ونمذجة البيئة. تظهر هذه الطرق، مثل الإطار المعتمد على PPO الذي قدمته NavRL، قدرة كبيرة على المناورة ومعدلات تصادم منخفضة في البيئات الديناميكية من خلال تصميم مكافآت مبتكر وتدريب منهجي. تتكيف طرق أخرى مع سرعة الطيران بناءً على ظروف البيئة، مما يعزز معدلات النجاح والرشاقة في المساحات المزدحمة. ظهرت البنى الهجينة التي تدمج وظائف حواجز التحكم (CBFs) مع خوارزميات التعلم المعزز (RL) لمعالجة مخاوف الموثوقية في السيناريوهات الحرجة للسلامة، مما يضمن الأمان أثناء التدريب مع السماح بإدماج هياكل المسار العالمية لتوجيه السياسات بشكل فعال.
تقوم قسم المنهجية بصياغة تفاعل الطائرة بدون طيار مع بيئتها كعملية قرار ماركوف (MDP)، تتميز بمساحة حالة (S)، مساحة عمل (A)، احتمالات انتقال الحالة (P)، دالة مكافأة (R)، وعامل خصم (γ). يقوم الشبكة الممثل-الناقد برسم الحالات مباشرة إلى الأفعال، تعمل بحجم خطوة محاكاة قدره 0.01 ثانية. يتم تعريف مساحة الملاحظة كمتجه مركب متعدد الأنماط يتضمن إدراك البيئة وحالة الاستشعار الخاصة بالطائرة بدون طيار، مما يدمج عناصر مثل صور العمق، السرعة الخطية، ومواقع الأهداف، وبالتالي يوفر مدخلات شاملة لشبكة السياسة.
نقاش
يسلط قسم النقاش في ورقة البحث الضوء على قيود طرق الملاحة التقليدية المعتمدة على التحسين للطائرات بدون طيار (UAVs)، التي تعتمد غالبًا على تمثيلات بيئية ثلاثية الأبعاد واضحة واستراتيجيات هيورية يمكن أن تضر بجودة المسار. بالمقابل، يدمج الإطار المقترح نهجًا معياريًا يجمع بين تشكيل المكافآت المعتمد على النموذج مع فلتر أمان وظيفة حواجز التحكم عالية الترتيب (HOCBF) لتعزيز كل من أداء الملاحة والأمان. يسمح استخدام آلية مكافأة موجهة جغرافياً، مستمدة من خوارزمية ديكسترا، بالتنقل الفعال في البيئات المعقدة من خلال توفير وعي هندسي عالمي والتخفيف من فخاخ الحد الأدنى المحلي.
يستخدم الإطار خوارزمية تحسين السياسة القريبة (PPO) ضمن هيكل ممثل-ناقد غير متماثل، حيث يتم تدريب الناقد على حالات خالية من الضوضاء بينما يعمل الممثل على ملاحظات مشوشة. يضمن هذا التصميم، جنبًا إلى جنب مع آلية أمان هجينة تجمع بين تشكيل المكافآت اللينة والقيود الصارمة، أداءً قويًا عبر سرعات مختلفة وتعقيدات بيئية. تظهر النتائج التجريبية أن الطريقة المقترحة تتفوق على الأساليب الحديثة في كل من السيناريوهات المحاكية والواقعية، محققة معدلات نجاح عالية والحفاظ على سرعات الأهداف حتى في البيئات المزدحمة. يضمن دمج فلتر HOCBF مزيدًا من الأمان أثناء النشر، مما يربط بشكل فعال بين الرشاقة المعتمدة على التعلم والأمان المعتمد على النموذج.
DOI: https://doi.org/10.1109/lra.2026.3703580
Publication Date: 2026-06-15
Author(s): Jiarui Zhang et al.
Primary Topic: Reinforcement Learning in Robotics
Overview
In this research, the authors introduce a novel end-to-end reinforcement learning (RL) framework designed for quadrotor unmanned aerial vehicles (UAVs) that addresses the challenges of autonomous navigation and obstacle avoidance in complex environments. Traditional approaches often suffer from cumulative latency or lack formal safety guarantees, which this framework aims to overcome by integrating model-based safety mechanisms. The proposed system utilizes a physics-informed reward structure during training to provide navigational guidance and employs a real-time safety filter during deployment to ensure adherence to collision-avoidance constraints.
Benchmark evaluations indicate that this hybrid architecture significantly outperforms both conventional planning methods and recent differentiable physics-based obstacle avoidance techniques, demonstrating effective high-speed navigation capabilities in dense and challenging environments, achieving speeds of up to 7.5 m/s. The authors conclude that their framework successfully combines model-free policy optimization with model-based physical priors, enhancing training efficiency and ensuring safe operational deployment. They acknowledge current hardware limitations that prevent real-world flight speeds from matching simulated performance and outline plans for future enhancements to quadrotor hardware and the application of their method to specific task-oriented scenarios.
Introduction
In recent years, quadrotor Unmanned Aerial Vehicles (UAVs) have gained popularity in various applications such as logistics and search and rescue due to their exceptional maneuverability. However, navigating dynamic and unstructured environments poses challenges, particularly in balancing the need for high-speed flight with the computational latency required for effective collision avoidance. Traditional navigation systems, which rely on sequential modules for perception, planning, and control, often suffer from cumulative latency and delayed responses in rapidly changing scenarios. In contrast, learning-based navigation approaches offer a promising alternative by directly mapping sensory inputs to control commands, significantly reducing processing latency and enhancing agility during high-speed maneuvers. Nonetheless, these methods typically lack formal safety guarantees and can struggle with generalization in unforeseen situations.
To address these limitations, the authors propose a hybrid navigation framework that combines reinforcement learning with model-based safety mechanisms. This approach leverages the low-latency capabilities of end-to-end policies while enforcing safety through explicit physical constraints. The framework incorporates model-based priors during training to shape rewards with global path guidance and safety constraints, promoting efficient and risk-aware navigation behaviors. Additionally, a real-time safety correction module based on high-order control barrier functions is introduced to ensure collision avoidance during deployment, even under unexpected disturbances. The main contributions of this research include a safety-aware navigation framework that integrates global and local constraints into reinforcement learning, a real-time safety enforcement mechanism, and comprehensive experimental validation demonstrating superior performance compared to traditional and purely learning-based methods in both simulation and real-world scenarios.
Methods
The section discusses recent advancements in learning-based methods for unmanned aerial vehicle (UAV) navigation, emphasizing their ability to bypass traditional dense mapping and environmental modeling. These methods, such as the PPO-based framework introduced by NavRL, demonstrate significant maneuverability and low collision rates in dynamic environments through innovative reward design and curriculum training. Other approaches adapt flight speed based on environmental conditions, enhancing success rates and agility in cluttered spaces. Hybrid architectures that integrate Control Barrier Functions (CBFs) with reinforcement learning (RL) algorithms have emerged to address reliability concerns in safety-critical scenarios, ensuring safety during training while allowing for the incorporation of global path structures to guide policies effectively.
The methodology section formulates the UAV’s interaction with its environment as a Markov Decision Process (MDP), characterized by a state space (S), action space (A), state-transition probabilities (P), a reward function (R), and a discount factor (γ). The actor-critic network directly maps states to actions, operating at a simulation step size of 0.01 seconds. The observation space is defined as a multi-modal composite vector that includes environmental perception and the UAV’s proprioceptive state, incorporating elements such as depth images, linear velocity, and goal positions, thereby providing a comprehensive input for the policy network.
Discussion
The discussion section of the research paper highlights the limitations of traditional optimization-based navigation methods for Unmanned Aerial Vehicles (UAVs), which often rely on explicit 3D environmental representations and heuristic strategies that can compromise trajectory quality. In contrast, the proposed framework integrates a modular approach that combines model-based reward shaping with a High-Order Control Barrier Function (HOCBF) safety filter to enhance both navigation performance and safety. The use of a geodesic-guided reward mechanism, derived from Dijkstra’s algorithm, allows for effective navigation in complex environments by providing global geometric awareness and mitigating local minima traps.
The framework employs a Proximal Policy Optimization (PPO) algorithm within an asymmetric actor-critic architecture, where the critic is trained on noise-free states while the actor operates on noisy observations. This design, coupled with a hybrid safety mechanism that combines soft reward shaping and hard constraints, ensures robust performance across various speeds and environmental complexities. Experimental results demonstrate that the proposed method outperforms state-of-the-art approaches in both simulation and real-world scenarios, achieving high success rates and maintaining target velocities even in cluttered environments. The integration of the HOCBF filter further ensures safety during deployment, effectively bridging the gap between learning-based agility and model-based safety.