DOI: https://doi.org/10.1007/s10015-026-01123-8
تاريخ النشر: 2026-04-27
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: حل المشكلات والتخطيط المعتمد على الذكاء الاصطناعي
نظرة عامة
تقدم هذه الدراسة إطار عمل لتخطيط المهام مصمم لتعزيز كفاءة أنظمة الروبوتات المتعددة في تنفيذ التعليمات المعقدة المعتمدة على السياق، مثل “ابحث عن تفاحة وموزة” أو “استعد لرحلة ميدانية.” يستخدم الإطار نماذج اللغة الكبيرة (LLMs) بالتزامن مع المفاهيم المكانية المحددة لكل منطقة مخصصة لكل روبوت لتفكيك الأوامر باللغة الطبيعية إلى مهام فرعية قابلة للإدارة وتوزيعها بشكل مناسب بين الروبوتات. تم تطوير استراتيجية جديدة للتوجيه القليل من اللقطات لتمكين LLMs من تفسير الأوامر الغامضة وتحديد الكائنات اللازمة لإكمال المهمة.
تشير النتائج التجريبية إلى أن الطريقة المقترحة حققت معدل نجاح مرتفع، حيث تم تنفيذ 47 من أصل 50 مهمة بنجاح، متفوقة بشكل كبير على استراتيجيات التوزيع العشوائي (28/50) واستراتيجيات التوزيع المعتمدة على الفطرة السليمة (26/50). أكدت التقييمات النوعية التي أجريت مع اثنين من المعالجات المتنقلة قدرة الإطار على إدارة تعليمات متنوعة، بما في ذلك تلك التي تتضمن فئات عشوائية، من خلال تفكيك المهام الفعال، والتوزيع، والتخطيط التسلسلي، والتنفيذ. تؤكد النتائج على إمكانية دمج LLMs والوعي المكاني في تحسين تخطيط المهام للروبوتات المتعددة.
مقدمة
تتناول مقدمة هذه الدراسة تحدي البحث التعاوني عن الكائنات بواسطة عدة روبوتات استجابةً لتعليمات اللغة الطبيعية ضمن بيئة منزلية. وتؤكد على الحاجة إلى نظام قادر على تفسير أوامر المستخدم، مثل “أريد أن أعد عصير فواكه، لذا يرجى العثور على تفاحة وموزة”، وتفكيك هذه المهام بشكل فعال إلى مهام فرعية يمكن توزيعها بين الروبوتات. يدمج إطار تنسيق الروبوتات المتعددة المقترح تفكيك المهام من اللغة الطبيعية مع توزيع المهام بناءً على المعرفة المحلية لكل روبوت، بهدف زيادة احتمال إكمال المهام بنجاح.
تسلط الدراسة الضوء على أهمية استخدام المفاهيم المكانية – تحديدًا أسماء الغرف واحتمالات وجود الكائنات – أثناء توزيع المهام، حيث يمتلك كل روبوت معرفة ظرفية غير مكتملة متحيزة نحو منطقته المدربة. يتم تقييم فعالية هذا النهج من خلال تجارب في العالم الحقيقي، مع التركيز على دقة تخصيص المهام بدلاً من تحسين وقت البحث أو كفاءة التنفيذ. يستفيد الإطار من نماذج اللغة الكبيرة (LLMs) لتفكيك المهام ويشمل نموذج مفهوم مكاني لتعزيز قدرات اتخاذ القرار للروبوتات، مما يسمح لها بالتعاون بكفاءة في تنفيذ تعليمات المستخدم.
طرق
في هذه الدراسة، طور المؤلفون بيئة منزلية محاكية من طابقين للتحقيق في تنفيذ المهام التعاونية بواسطة روبوتين، كل منهما محصور في طابق منفصل. شمل الإعداد التجريبي 10 غرف و24 كائنًا مصنفة إما على أنها “صعبة التنبؤ” أو “موضوعة بناءً على الفطرة السليمة”، حيث كان من الأسهل العثور على الأخيرة بناءً على المعرفة العامة. اكتسبت الروبوتات المعرفة المكانية ذات الصلة بمناطقها المخصصة واستخدمت هذه المعلومات لأداء المهام بناءً على تعليمات المستخدم. تم تسهيل اكتشاف الكائنات باستخدام YOLOv5، وتم التحقق من خط أنابيب تفكيك المهام والتخصيص من خلال الاختبارات التجريبية، مما أظهر أن دمج نماذج المفاهيم المكانية حسّن بشكل كبير من معدلات نجاح المهام.
أشارت النتائج إلى أن الطريقة المقترحة تفوقت على كل من التخصيص العشوائي والنهج المعتمد على الفطرة السليمة، محققة معدل نجاح قدره 94% (47 من أصل 50 مهمة). ومن الجدير بالذكر أن الطريقة تألقت في ظروف المهام المختلفة، وخاصة في فئة “صعبة التنبؤ”، حيث حققت درجات كاملة. سلطت النتائج الضوء على أهمية تضمين المعرفة المكانية في عمليات تخصيص المهام، حيث أدى الاعتماد فقط على التفكير الفطري إلى تخصيصات خاطئة، خاصة في البيئات ذات الحركة المقيدة بين المناطق. خلصت الدراسة إلى أن تفكيك المهام وتخصيصها بشكل فعال، المستند إلى المفاهيم المكانية، أمر حاسم لتعزيز التنسيق بين الروبوتات المتعددة في البيئات المعقدة.
نقاش
في هذا القسم، يناقش المؤلفون فعالية دمج نماذج اللغة الكبيرة (LLMs) مع نماذج المفاهيم المكانية لتخصيص المهام للروبوتات المتعددة في البيئات المنزلية. أظهرت التقييمات السابقة أن إطار العمل الذي يستخدم LLMs لربط مواقع الكائنات قلل بشكل كبير من عدد حلقات التعلم المطلوبة وبيانات الملاحظة، محققًا معدلات نجاح عالية في مهام البحث عن الكائنات. تبني الدراسة الحالية على هذا الأساس من خلال التحقق من الإطار في إعدادات العالم الحقيقي، مع التأكيد على أهمية المعرفة المكانية في تفكيك المهام وتخصيصها. تشمل المساهمات الرئيسية عرض التنسيق العملي بين الروبوتات المتعددة من خلال تفكيك المهام المعتمد على LLM، وترميز أسماء الغرف وتوزيعات الكائنات لتعزيز تخصيص المهام الفرعية، والتنفيذ الناجح للتعليمات الغامضة في بيئة RoboCup.
يحدد المؤلفون ثلاثة تحديات رئيسية في تمكين التعاون الفعال بين الروبوتات المتعددة: المعرفة الظرفية الموزعة وغير المكتملة، والغموض في تعليمات اللغة الطبيعية، والحاجة إلى التخطيط التسلسلي مع التغذية الراجعة. يقترحون طريقة تستفيد من نموذج المفهوم المكاني لتمثيل المعرفة في الموقع، مما يسمح للروبوتات باتخاذ قرارات مستنيرة بشأن تخصيص المهام بناءً على فهمها الفريد للبيئة. من خلال ربط تفكيك المهام وتخصيصها بالمعاني المكانية، يهدف الإطار إلى تحسين كفاءة وموثوقية أنظمة الروبوتات المتعددة، خاصة في البيئات الديناميكية أو المعقدة. يعزز دمج آليات التغذية الراجعة من قدرة النظام على التكيف، مما يمكّن الروبوتات من تعديل أفعالها بناءً على نتائج التنفيذ في الوقت الحقيقي.
القيود
تتمثل قيود الإطار المقترح في ثلاثة جوانب: (i) دعم غير كافٍ للمهام التي تتطلب تعاونًا متزامنًا، (ii) عدم كفاية القوة لمواجهة حالات الفشل أثناء التنفيذ وغياب إعادة التخصيص الديناميكي، و (iii) الافتراض بوجود فريق متجانس يتكون من روبوتات متطابقة. يواجه الإطار صعوبات مع المهام التي تتطلب سلوكيات تعاونية متزامنة، مثل المناولة باستخدام ذراعين وتسليم الكائنات، بسبب اعتماده على المهام الفرعية المستقلة. بالإضافة إلى ذلك، فإن غياب إعادة تخصيص المهام الفرعية تلقائيًا عندما يفشل روبوت يمكن أن يؤدي إلى تنفيذ غير مكتمل للمهام. لتعزيز الإطار، يجب أن تتضمن الأعمال المستقبلية إعادة تخصيص المهام الديناميكية بناءً على الملاحظات في الوقت الحقيقي وتحسين التواصل بين الروبوتات للتخطيط المتزامن.
تتمثل قيود أخرى كبيرة في افتراض الفريق المتجانس، الذي يقيد قابلية تطبيق الإطار في السيناريوهات العملية حيث تكون فرق الروبوتات غير المتجانسة أكثر شيوعًا. استخدمت الدراسة روبوتين متطابقين من نوع HSR، لكن النشر في العالم الحقيقي غالبًا ما يتضمن روبوتات ذات قدرات وتكاليف متنوعة. يجب أن تتناول الأبحاث المستقبلية هذا من خلال نمذجة الاختلافات في قدرات الروبوتات، مثل الحمولة ومساحة العمل، لتسهيل آلية تخصيص المهام المدروسة من حيث المهارات والتكاليف. أخيرًا، تركز التقييمات الحالية بشكل أساسي على دقة التخصيص، متجاهلة عوامل تشغيلية حاسمة أخرى مثل التنقل، ومدة المهمة، واستهلاك الطاقة. يعد التحليل الشامل لهذه العوامل أمرًا ضروريًا لتقييم عملية الإطار وفعاليته في التطبيقات الواقعية بشكل كامل.
DOI: https://doi.org/10.1007/s10015-026-01123-8
Publication Date: 2026-04-27
Author(s): Zhenyun Du et al.
Primary Topic: AI-based Problem Solving and Planning
Overview
This research presents a task planning framework designed to enhance the efficiency of multi-robot systems in executing complex, context-dependent instructions, such as “Find an apple and a banana” or “Get ready for a field trip.” The framework utilizes large language models (LLMs) in conjunction with spatial concepts specific to each robot’s designated area to decompose natural language commands into manageable subtasks and allocate them appropriately among robots. A novel few-shot prompting strategy was developed to enable LLMs to interpret ambiguous commands and identify necessary objects for task completion.
Experimental results indicate that the proposed method achieved a high success rate, with 47 out of 50 successful task assignments, significantly outperforming both random (28/50) and commonsense-based (26/50) assignment strategies. Qualitative evaluations conducted with two mobile manipulators further confirmed the framework’s capability to manage diverse instructions, including those involving ad hoc categories, through effective task decomposition, assignment, sequential planning, and execution. The findings underscore the potential of integrating LLMs and spatial awareness in optimizing multi-robot task planning.
Introduction
The introduction of this study addresses the challenge of cooperative object search by multiple robots in response to natural language instructions within a household environment. It emphasizes the need for a system capable of interpreting user commands, such as “I want to make a fruit smoothie, so please find an apple and a banana,” and effectively decomposing these tasks into subtasks that can be distributed among robots. The proposed multi-robot coordination framework integrates task decomposition from natural language with task assignment based on each robot’s localized knowledge, aiming to maximize the likelihood of successful task completion.
The research highlights the importance of using spatial concepts—specifically room names and object presence probabilities—during task assignment, as each robot possesses incomplete situational knowledge biased towards its trained area. The effectiveness of this approach is evaluated through real-world experiments, focusing on the accuracy of task allocation rather than optimizing search time or execution efficiency. The framework leverages large language models (LLMs) for task decomposition and incorporates a spatial concept model to enhance the robots’ decision-making capabilities, allowing them to collaborate efficiently in fulfilling user instructions.
Methods
In this study, the authors developed a simulated two-floor domestic environment to investigate collaborative task execution by two robots, each confined to a separate floor. The experimental setup included 10 rooms and 24 objects categorized as either “hard-to-predict” or “common-sense-placed,” with the latter being easier to locate based on general knowledge. The robots independently acquired spatial knowledge relevant to their designated areas and utilized this information to perform tasks based on user instructions. Object detection was facilitated using YOLOv5, and the task decomposition and allocation pipeline was validated through empirical testing, demonstrating that the integration of spatial concept models significantly improved task success rates.
The results indicated that the proposed method outperformed both random allocation and commonsense-based approaches, achieving a success rate of 94% (47 out of 50 tasks). Notably, the method excelled in various task conditions, particularly in the “Hard-to-Predict” category, where it achieved perfect scores. The findings highlighted the importance of embedding spatial knowledge into task allocation processes, as reliance solely on commonsense reasoning led to misallocations, especially in environments with restricted movement between zones. The study concluded that effective task decomposition and allocation, informed by spatial concepts, are crucial for enhancing multi-robot coordination in complex environments.
Discussion
In this section, the authors discuss the effectiveness of integrating large language models (LLMs) with spatial concept models for multi-robot task allocation in household environments. Previous evaluations demonstrated that a framework utilizing LLMs for object-location associations significantly reduced the required learning episodes and observation data, achieving high success rates in object search tasks. The current study builds on this foundation by validating the framework in real-world settings, emphasizing the importance of spatial knowledge in task decomposition and allocation. Key contributions include the demonstration of practical multi-robot coordination through LLM-based task decomposition, the encoding of room names and object distributions to enhance subtask allocation, and the successful execution of ambiguous instructions in a RoboCup environment.
The authors identify three primary challenges in enabling effective multi-robot collaboration: distributed and incomplete situational knowledge, ambiguity in natural language instructions, and the need for sequential planning with feedback. They propose a method that leverages a spatial concept model to represent on-site knowledge, allowing robots to make informed decisions about task assignments based on their unique environmental understanding. By grounding task decomposition and allocation in spatial semantics, the framework aims to improve the efficiency and reliability of multi-robot systems, particularly in dynamic or complex environments. The integration of feedback mechanisms further enhances the system’s adaptability, enabling robots to adjust their actions based on real-time execution outcomes.
Limitations
The limitations of the proposed framework are threefold: (i) inadequate support for tasks requiring synchronous cooperation, (ii) insufficient robustness to execution-time failures and lack of dynamic reallocation, and (iii) the assumption of a homogeneous team consisting of identical robots. The framework struggles with tasks that necessitate simultaneous collaborative behaviors, such as dual-arm manipulation and object handover, due to its reliance on independent subtasks. Additionally, the absence of automatic subtask reassignment when a robot fails can lead to incomplete task execution. To enhance the framework, future work should incorporate dynamic task reallocation based on real-time observations and improve inter-robot communication for synchronized planning.
Another significant limitation is the homogeneous-team assumption, which restricts the framework’s applicability in practical scenarios where heterogeneous robot teams are more common. The study utilized two identical HSRs, but real-world deployments often involve robots with varying capabilities and costs. Future research should address this by modeling differences in robot capabilities, such as payload and workspace, to facilitate a skill- and cost-aware task allocation mechanism. Lastly, the current evaluation primarily focuses on assignment accuracy, neglecting other critical operational factors like navigation, task duration, and energy consumption. A comprehensive analysis of these factors is essential to fully evaluate the framework’s practicality and efficiency in real-world applications.