DOI: https://doi.org/10.1613/jair.1.20611
تاريخ النشر: 2026-03-24
المؤلف: Han Zheng وآخرون
الموضوع الرئيسي: خوارزميات تخطيط المسار الروبوتي
نظرة عامة
تقدم ورقة البحث تخطيطًا مدعومًا بالتعلم المعزز مع أفق متداول (RL-RH-PP)، وهو إطار عمل جديد يدمج التعلم المعزز (RL) مع التخطيط القائم على البحث الكلاسيكي لتحسين إيجاد المسارات متعددة الوكلاء مدى الحياة (MAPF) في أتمتة المستودعات. يستخدم الإطار التخطيط ذي الأولوية (PP) كأساس له، مستفيدًا من بساطته وقابليته للتكيف لدمج سياسة تعيين الأولويات المعتمدة على التعلم. من خلال نمذجة تعيين الأولويات الديناميكي كعملية قرار ماركوف جزئية الملاحظة (POMDP)، يتنقل RL-RH-PP بفعالية عبر تعقيدات تفاعلات الوكلاء والديناميات المكانية الزمنية، مستخدمًا شبكة عصبية قائمة على الانتباه لتوليد أوامر الأولوية بشكل تلقائي للتخطيط الفعال لوكيل واحد.
تظهر التقييمات الشاملة في بيئات المستودعات المحاكية أن RL-RH-PP يحقق تحسينًا متوسطًا في الإنتاجية بنسبة 25% مقارنة بأسس MAPF التقليدية، مما يظهر أداءً متفوقًا في السيناريوهات ذات الكثافة العالية والتعميم عبر كثافات الوكلاء المختلفة والتخطيطات. لا يعزز الإطار تدفق المرور من خلال إدارة الوكلاء المزدحمين بشكل استباقي فحسب، بل يظهر أيضًا قدرة قوية على التكيف، كما يتضح من قدراته على التعميم بدون تدريب. تشير النتائج إلى أن RL-RH-PP يمكن أن يخفف من قيود الحلول الكلاسيكية وتبرز إمكانيات الأساليب الهجينة المدعومة بالتعلم في الأنظمة الديناميكية المعقدة. تشمل اتجاهات البحث المستقبلية توسيع الإطار ليشمل مستودعات أكبر واستكشاف تطبيقه في مهام أكثر تعقيدًا، مثل تعيين المهام المشتركة وتخطيط المسارات.
مقدمة
تتناول مقدمة ورقة البحث هذه التحديات المتزايدة في لوجستيات التجارة الإلكترونية، لا سيما الحاجة إلى أنظمة أتمتة مستودعات فعالة بسبب قيود سير العمل اليدوي التقليدي. يبرز المؤلفون الدور التحويلي للروبوتات المتنقلة المستقلة (AMRs) في اللوجستيات الحديثة، مؤكدين على أهمية التنسيق الفعال بين هذه الروبوتات لتعزيز الإنتاجية وتقليل التكاليف التشغيلية. يقدمون مشكلة إيجاد المسارات متعددة الوكلاء (MAPF) كإطار عمل مركزي لتنسيق AMRs، والتي تهدف إلى تحسين الأهداف مثل تقليل إجمالي وقت السفر ووقت الإنجاز مع تجنب النزاعات.
تتميز الورقة أيضًا بين MAPF ذات اللقطة الواحدة، التي تفترض سيناريوهات ثابتة، وMAPF مدى الحياة، التي تتطلب تعيين مهام ديناميكية وإعادة تنسيق مستمرة مع دخول الوكلاء وخروجهم من النظام. يقترح المؤلفون إطار عمل جديد، التخطيط ذي الأولوية مع الأفق المتداول المدعوم بالتعلم (RL-RH-PP)، الذي يدمج التعلم المعزز (RL) لتعيين الأولويات الديناميكية مع تمديد الأفق المتداول للتخطيط ذي الأولوية (PP). يهدف هذا النهج الهجين إلى معالجة تعقيدات MAPF مدى الحياة من خلال التقاط الاعتماديات طويلة الأجل والتكيف مع أنماط الازدحام المتطورة. يؤكد المؤلفون أن طريقتهم تحسن بشكل كبير من الإنتاجية وكفاءة التخطيط في بيئات المستودعات المعقدة، مما يظهر أداءً متفوقًا مقارنة بالطرق القائمة على البحث الحالية. تشمل المساهمات الرئيسية تقديم شبكة عصبية على طراز المحولات لتحسين الأولويات والتحقق التجريبي الواسع في بيئة محاكاة مستودع واقعية.
الطرق
في هذا القسم، يوضح المؤلفون الطرق التجريبية المستخدمة لتقييم نهجهم المقترح للتخطيط الهرمي للروبوتات المعتمد على التعلم المعزز (RL-RH-PP) عبر بيئات مستودعات متنوعة وكثافات وكيل مختلفة. يتم هيكلة التقييم حول أربعة أسئلة بحثية رئيسية: (1) فعالية تدريب RL في تعزيز RH-PP، (2) تحليل مقارن لـ RL-RH-PP مقابل الحلول الحالية لإيجاد المسارات متعددة الوكلاء مدى الحياة (MAPF) من حيث الإنتاجية ووقت الاستدلال، (3) قدرات التعميم لـ RL-RH-PP على سيناريوهات جديدة بكثافات وكيل مختلفة، آفاق التخطيط، وتخطيطات المستودعات، و(4) سلوك RL-RH-PP في أي وقت.
للإجابة على هذه الأسئلة، يحدد المؤلفون إعداداتهم التجريبية، والتي تشمل تصميم بيئات محاكاة المستودعات، وطرق الأساس للمقارنة، ومقاييس التقييم المستخدمة. يتم تقديم النتائج الرئيسية المتعلقة بالإنتاجية ووقت الحل عبر تخطيطين مستودعيين مستوحاة من العالم الحقيقي. بالإضافة إلى ذلك، يقيم المؤلفون قابلية نقل سياسة RL المدربة إلى كثافات وكيل مختلفة، وآفاق التخطيط، وخرائط لم يسبق رؤيتها من قبل. يختتم القسم بمناقشة عدة دراسات إبطال تهدف إلى تحليل فعالية مكونات التصميم الأساسية ضمن منهجيتهم.
المناقشة
في مناقشة إيجاد المسارات متعددة الوكلاء (MAPF)، تبرز الورقة التعقيد والتحديات المرتبطة بكل من سيناريوهات MAPF الكلاسيكية ومدى الحياة. تعتبر MAPF الكلاسيكية NP-hard، مما يتطلب خوارزميات تعتمد غالبًا على مخططي الوكلاء الفرديين مثل A* وSIPP، مع كون البحث القائم على النزاع (CBS) هو النهج الأمثل المتقدم. ومع ذلك، فإن التعقيد الأسوأ الأسي لـ CBS يحد من قابليته للتوسع. تقدم طرق محسنة مثل CBS المحسن (ECBS) والتخطيط ذي الأولوية (PP) تنازلات بين الكفاءة وجودة الحل، حيث يُفضل PP بشكل خاص لبساطته وقابليته للتوسع الخطي في التطبيقات واسعة النطاق. تقدم الورقة التخطيط ذي الأولوية مع الأفق المتداول (RH-PP)، الذي يعيد تخطيط المسارات بشكل متكرر استجابةً للمهام المعينة ديناميكيًا، مستفيدًا من التعلم المعزز (RL) لتحسين أوامر الأولوية العالمية. يهدف هذا النهج إلى تحسين جودة الحل مع الحفاظ على كفاءة التخطيط ذي الأولوية.
في سياق MAPF مدى الحياة، حيث يتم تعيين مهام جديدة للوكلاء بشكل مستمر، تؤكد الورقة على الحاجة إلى استراتيجيات تكيفية يمكنها التعامل مع أنماط الازدحام المتطورة. يدمج إطار العمل المقترح RL-RH-PP التعلم المعزز لتوليد أوامر أولويات فعالة ديناميكيًا، مما يعالج قيود القواعد الثابتة ويعزز الإنتاجية في البيئات الزمنية الحقيقية. يجادل المؤلفون بأن هذا النهج الهجين لا يوازن فقط بين السرعة وجودة الحل، بل يخفف أيضًا من عدم الكفاءة المتسلسلة التي يمكن أن تنشأ من اتخاذ قرارات قصيرة النظر. من خلال تأطير اختيار الأولوية كعملية قرار ماركوف جزئية الملاحظة (POMDP)، يسمح الإطار بالتكيف المستمر مع الأهداف الجديدة، مما يحسن في النهاية أداء أنظمة الوكلاء المتعددة في البيئات الديناميكية المعقدة.
DOI: https://doi.org/10.1613/jair.1.20611
Publication Date: 2026-03-24
Author(s): Han Zheng et al.
Primary Topic: Robotic Path Planning Algorithms
Overview
The research paper presents Reinforcement Learning-guided Rolling Horizon Prioritized Planning (RL-RH-PP), a novel framework that integrates reinforcement learning (RL) with classical search-based planning to optimize Lifelong Multi-Agent Path Finding (MAPF) in warehouse automation. The framework utilizes Prioritized Planning (PP) as its foundation, leveraging its simplicity and adaptability to incorporate a learning-based priority assignment policy. By modeling dynamic priority assignment as a Partially Observable Markov Decision Process (POMDP), RL-RH-PP effectively navigates the complexities of agent interactions and spatial-temporal dynamics, employing an attention-based neural network to autoregressively generate priority orders for efficient single-agent planning.
Extensive evaluations in simulated warehouse environments demonstrate that RL-RH-PP achieves an average throughput improvement of 25% compared to traditional MAPF baselines, showcasing superior performance in high-density scenarios and generalization across various agent densities and layouts. The framework not only enhances traffic flow by proactively managing congested agents but also exhibits strong adaptability, evidenced by its zero-shot generalization capabilities. The findings suggest that RL-RH-PP can mitigate the limitations of classical solvers and highlights the potential of hybrid learning-guided approaches in complex, dynamic systems. Future research directions include scaling the framework for larger warehouses and exploring its application to more intricate tasks, such as joint task assignment and path planning.
Introduction
The introduction of this research paper addresses the growing challenges in e-commerce logistics, particularly the need for efficient warehouse automation systems due to the limitations of traditional manual workflows. The authors highlight the transformative role of autonomous mobile robots (AMRs) in modern logistics, emphasizing the importance of effective coordination among these robots to enhance throughput and reduce operational costs. They introduce the Multi-Agent Path Finding (MAPF) problem as a central framework for coordinating AMRs, which aims to optimize objectives like minimizing total travel time and completion time while avoiding conflicts.
The paper further distinguishes between one-shot MAPF, which assumes static scenarios, and lifelong MAPF, which requires dynamic task assignments and continuous re-coordination as agents enter and leave the system. The authors propose a novel framework, RL-guided Rolling Horizon Prioritized Planning (RL-RH-PP), which integrates reinforcement learning (RL) for dynamic priority assignment with a rolling-horizon extension of Prioritized Planning (PP). This hybrid approach aims to address the complexities of lifelong MAPF by capturing long-term dependencies and adapting to evolving congestion patterns. The authors assert that their method significantly improves throughput and planning efficiency in complex warehouse environments, demonstrating superior performance compared to existing search-based methods. Key contributions include the introduction of a transformer-style neural network for priority optimization and extensive experimental validation in a realistic warehouse simulation environment.
Methods
In this section, the authors detail the experimental methods employed to evaluate their proposed Reinforcement Learning-based Robot Hierarchical Path Planning (RL-RH-PP) approach across diverse warehouse environments and varying agent densities. The evaluation is structured around four primary research questions: (1) the effectiveness of RL training in enhancing RH-PP, (2) a comparative analysis of RL-RH-PP against existing lifelong Multi-Agent Path Finding (MAPF) solvers in terms of throughput and inference time, (3) the generalization capabilities of RL-RH-PP to new scenarios with different agent densities, planning horizons, and warehouse layouts, and (4) the anytime behavior of the RL-RH-PP method.
To address these questions, the authors outline their experimental setups, which include the design of warehouse simulation environments, baseline methods for comparison, and the evaluation metrics utilized. Key findings are presented regarding throughput and solve time across two real-world-inspired warehouse layouts. Additionally, the authors assess the zero-shot transferability of the trained RL policy to various agent densities, planning horizons, and previously unseen maps. The section concludes with a discussion of several ablation studies aimed at analyzing the effectiveness of critical design components within their methodology.
Discussion
In the discussion of Multi-Agent Path Finding (MAPF), the paper highlights the complexity and challenges associated with both classical and lifelong MAPF scenarios. Classical MAPF is NP-hard, necessitating algorithms that often rely on single-agent planners like A* and SIPP, with Conflict-Based Search (CBS) being the state-of-the-art optimal approach. However, CBS’s exponential worst-case complexity limits its scalability. Enhanced methods like Enhanced CBS (ECBS) and Prioritized Planning (PP) offer trade-offs between efficiency and solution quality, with PP being particularly favored for its simplicity and linear scalability in large-scale applications. The paper introduces Rolling-Horizon Prioritized Planning (RH-PP), which iteratively replans paths in response to dynamically assigned tasks, leveraging reinforcement learning (RL) to optimize global priority orders. This approach aims to improve solution quality while maintaining the efficiency of prioritized planning.
In the context of lifelong MAPF, where agents are continuously assigned new tasks, the paper emphasizes the need for adaptive strategies that can handle evolving congestion patterns. The proposed RL-RH-PP framework integrates RL to generate effective priority orders dynamically, addressing the limitations of static heuristics and enhancing throughput in real-time environments. The authors argue that this hybrid approach not only balances speed and solution quality but also mitigates cascading inefficiencies that can arise from short-sighted decision-making. By framing the priority selection as a Partially Observable Markov Decision Process (POMDP), the framework allows for continual adaptation to new goals, ultimately improving the performance of multi-agent systems in complex, dynamic settings.
