DOI: https://doi.org/10.1109/tai.2026.3665674
تاريخ النشر: 2026-02-18
المؤلف: Jinyuan Feng وآخرون
الموضوع الرئيسي: تعلم التعزيز في الروبوتات
نظرة عامة
يقدم هذا القسم إطار عمل جديد يسمى “المشفّرات التلقائية المقنعة للتعلم المعزز متعدد الوكلاء” (MA2RL)، يهدف إلى معالجة تحديات التعميم وكفاءة العينة في إعدادات الوكلاء المتعددين، وخاصة تحت الملاحظات الجزئية. يركز الإطار على تمكين الوكلاء من استنتاج الكيانات غير الملاحظة من خلال إعادة بناء حالات الكيانات من منظور محلي، مما يسهل تنسيق المهارات بين الوكلاء. من خلال اعتبار الملاحظات المحلية كسياقات مقنعة للحالات العالمية، يعزز MA2RL تعلم المهارات المستقلة عن المهام ودلالات المهارات المتسقة، مما يظهر تحسينات كبيرة مقارنة بالطرق الحالية الرائدة.
تشير النتائج التجريبية إلى أن MA2RL لا يحقق أداءً ملحوظًا فحسب، بل يظهر أيضًا قدرات قوية على التعميم بدون تدريب مسبق وقابلية نقل مفيدة عبر مهام متنوعة مع تكوينات وكيل مختلفة. يبرز المؤلفون أن السياسات الحالية في التعلم المعزز متعدد الوكلاء (MARL) غالبًا ما تعتمد على بيئات منظمة، مما يحد من التعميم عبر المهام. يمثل الإطار المقترح تقدمًا كبيرًا في هذا المجال، على الرغم من أنه لا يعالج حاليًا الإعدادات غير المتصلة، والتي تكون أكثر تطبيقًا في السيناريوهات الواقعية. يهدف العمل المستقبلي إلى توسيع MA2RL لتطوير وكيل عام قادر على التعميم عبر أنواع مختلفة من الألعاب.
مقدمة
في مقدمة هذه الورقة البحثية، يناقش المؤلفون التقدم في التعلم المعزز التعاوني متعدد الوكلاء (MARL) والتحديات التي تواجه تحقيق التعميم عبر مهام متنوعة. بينما ركزت الدراسات السابقة على تغيير عدد الوكلاء والحفاظ على دلالات متسقة من خلال مفاهيم مثل المهارات/الأدوار/المهام الفرعية، فإنها غالبًا ما تواجه صعوبات في كفاءة العينة والتعميم في البيئات الملاحظة جزئيًا. يقترح المؤلفون أن دمج التعلم الذاتي الإشراف (SSL)، وخاصة من خلال المشفّرات التلقائية المقنعة (MAE)، يمكن أن يعزز تعلم التمثيلات المعلوماتية في MARL. يبرزون قيود تطبيقات MAE الحالية في أنظمة الوكلاء المتعددين، والتي غالبًا ما تتجاهل المعلومات على مستوى الكيانات.
لمعالجة هذه التحديات، يقدم المؤلفون إطار عمل جديد يسمى “المشفّرات التلقائية المقنعة للتعلم المعزز متعدد الوكلاء” (MA2RL). يهدف هذا الإطار إلى تحسين كفاءة العينة والتعميم من خلال اعتبار كل ملاحظة كيان كرمز واستخدام نسبة مقنعة ديناميكية تتكيف مع البيئة. يستخدم MA2RL مشفّرات تلقائية تباينية (VAE) لرسم ملاحظات الكيانات والحالات في فضاء كامن، مما يسمح بإعادة بناء الكيانات المقنعة واختيار المهارات المستقلة عن المهام. يؤكد المؤلفون أن نهجهم لا يحقق فقط أداءً رائدًا عبر مهام متنوعة، بل يمثل أيضًا المحاولة الأولى للاستفادة من MAE للتعميم في MARL، مما يسهم بشكل كبير في هذا المجال.
طرق
في هذا القسم، يحدد المؤلفون إعداد التجارب المستخدمة لتقييم فعالية إطار عمل التعلم المعزز غير المتزامن متعدد الوكلاء (MA2RL). تُجرى التجارب في بيئتين تقليديتين ملاحظتين جزئيًا: تحدي StarCraft متعدد الوكلاء (SMAC) وبيئة الجسيمات متعددة الوكلاء (MPE). يمكّن شبكة السياسة في هذه البيئات الوكلاء من تنفيذ إجراءات غير مركزية، وهو ما يتحدى الملاحظات الجزئية التي تؤثر على الأداء والتعميم. يركز البحث على الأداء الأسيمبتي في سيناريوهات المهام الفردية وكذلك القدرات في إعدادات المهام المتعددة، والتعميم بدون تدريب مسبق، وقابلية النقل.
يقارن المؤلفون MA2RL ضد عدة طرق أساسية، بما في ذلك DT2GS وUP-DeT وASN، مع تضمين MAPPO لتقييم الأداء الأسيمبتي للمهام الفردية. يتم تسليط الضوء على DT2GS كطريقة رائدة معروفة بتعميمها القوي بدون تدريب مسبق عبر المهام، بينما يستخدم UP-DeT إطار عمل متعدد الوكلاء قائم على المحولات قابل للتكيف مع فضاءات الملاحظة/الحالة/الإجراء المتنوعة. يُلاحظ أن ASN يعالج الفروق الدلالية في الإجراءات، مما يسهم في تطوير نماذج قابلة للتعميم في التعلم المعزز متعدد الوكلاء (MARL). تركز معايير اختيار هذه الأسس على قابليتها للتطبيق عبر المهام ووضعها كطرق رائدة في هذا المجال. يعتمد تنفيذ MA2RL على قواعد الشيفرة الخاصة بـ MAPPO وDT2GS، مع توفير تفاصيل حول المعلمات الفائقة وتكوينات التدريب في الجداول المرفقة. تستخدم التجارب إعداد حوسبة عالية الأداء، مما يسمح بجلسات تدريب مكثفة على مهام متعددة في وقت واحد.
نقاش
يسلط قسم النقاش في الورقة البحثية الضوء على التحديات والتقدم في التعلم المعزز متعدد الوكلاء (MARL)، مع التركيز بشكل خاص على التعميم والتعلم الذاتي الإشراف (SSL). تم تحديد عقبتين رئيسيتين للتعميم في MARL: (1) التباين في فضاءات الحالة والملاحظة والإجراء عبر مهام مختلفة، و(2) الميل إلى الإفراط في التكيف مع المعلومات الخاصة بالمهام. لمعالجة هذه القضايا، تم اقتراح طرق مختلفة، مثل ASN، التي تقوم بتفكيك الملاحظات إلى مكونات قائمة على الكيانات لتعزيز قابلية تعميم النموذج، وUPDeT، الذي يدمج كتل المحولات لتحسين الأداء. بالإضافة إلى ذلك، تم استكشاف طرق تستفيد من المهارات والأدوار لتسهيل اتخاذ القرار عبر المهام، على الرغم من أنها غالبًا ما تواجه صعوبات مع الملاحظات الجزئية وقيود التدريب المركزي.
يناقش القسم أيضًا تطبيق SSL في التعلم المعزز، مشيرًا إلى نجاحه في رؤية الكمبيوتر ومعالجة اللغة الطبيعية، ولكنه يبرز تأخر تطبيقه في MARL. بدأت الأعمال الأخيرة في استكشاف تعلم التمثيلات على مستوى الفريق، مع التركيز على التنبؤ بالخصائص المستقبلية للوكلاء. ومع ذلك، لا يزال إمكانات التعلم الذاتي التوليدي غير مستكشفة بشكل كافٍ في MARL، حيث تركز معظم الجهود على التعلم التبايني. يهدف الإطار المقترح، MA2RL، إلى تجاوز هذه القيود من خلال استخدام المشفّرات التلقائية المقنعة ومفكك تشفير الإجراءات الانتباهية لتعزيز قدرة الوكلاء على استنتاج الحالات العالمية والتعميم عبر المهام، مما يحسن الأداء في بيئات متعددة الوكلاء معقدة.
DOI: https://doi.org/10.1109/tai.2026.3665674
Publication Date: 2026-02-18
Author(s): Jinyuan Feng et al.
Primary Topic: Reinforcement Learning in Robotics
Overview
The section presents a novel framework called Masked Autoencoders for Multi-Agent Reinforcement Learning (MA2RL), aimed at addressing the challenges of generalization and sample efficiency in multi-agent settings, particularly under partial observations. The framework focuses on enabling agents to infer unobserved entities by reconstructing entity-states from a local perspective, thereby facilitating the coordination of skills among agents. By treating local observations as masked contexts of global states, MA2RL enhances the learning of task-independent skills and consistent skill semantics, demonstrating significant improvements over existing state-of-the-art methods.
Experimental results indicate that MA2RL not only achieves remarkable performance but also exhibits strong zero-shot generalization capabilities and advantageous transferability across diverse tasks with varying agent configurations. The authors highlight that current policies in Multi-Agent Reinforcement Learning (MARL) often rely on structured environments, limiting generalization across tasks. The proposed framework represents a significant advancement in the field, although it currently does not address offline settings, which are more applicable to real-world scenarios. Future work aims to extend MA2RL to develop a generalist agent capable of generalizing across different types of games.
Introduction
In the introduction of this research paper, the authors discuss the advancements in cooperative multi-agent reinforcement learning (MARL) and the challenges faced in achieving generalization across diverse tasks. While previous studies have focused on varying agent numbers and maintaining consistent semantics through concepts like Skills/Roles/Subtasks, they often struggle with sample efficiency and generalization in partially observed environments. The authors propose that integrating self-supervised learning (SSL), particularly through masked autoencoders (MAE), can enhance the learning of informative representations in MARL. They highlight the limitations of existing MAE applications in multi-agent systems, which often overlook entity-level information.
To address these challenges, the authors introduce a novel framework called Masked Autoencoders for Multi-Agent Reinforcement Learning (MA2RL). This framework aims to improve sample efficiency and generalization by treating each entity-observation as a token and employing a dynamic masked ratio that adapts to the environment. MA2RL utilizes variational autoencoders (VAE) to map entity-observations and states into a latent space, allowing for the reconstruction of masked entities and the selection of task-independent skills. The authors assert that their approach not only achieves state-of-the-art performance across various tasks but also represents the first attempt to leverage MAE for generalization in MARL, thereby contributing significantly to the field.
Methods
In this section, the authors outline the experimental setup used to evaluate the effectiveness of the Multi-Agent Asynchronous Reinforcement Learning (MA2RL) framework. The experiments are conducted in two classical partially observed environments: the StarCraft Multi-Agent Challenge (SMAC) and Multi-Agent Particle Environment (MPE). The policy network in these environments enables agents to execute decentralized actions, which is challenged by partial observability that affects performance and generalization. The study emphasizes not only the asymptotic performance in single-task scenarios but also the capabilities in multi-task settings, zero-shot generalization, and transferability.
The authors compare MA2RL against several baseline methods, including DT2GS, UP-DeT, and ASN, with MAPPO included for single-task asymptotic performance evaluation. DT2GS is highlighted as the state-of-the-art (SOTA) method known for its robust zero-shot generalization across tasks, while UP-DeT utilizes a transformer-based multi-agent framework adaptable to diverse observation/state/action spaces. ASN is noted for addressing semantic differences in actions, contributing to the development of generalizable models in multi-agent reinforcement learning (MARL). The selection criteria for these baselines focus on their applicability across tasks and their status as leading methods in the field. The implementation of MA2RL is based on the codebases of MAPPO and DT2GS, with detailed hyperparameters and training configurations provided in accompanying tables. The experiments utilize a high-performance computing setup, allowing for extensive training sessions on multiple tasks concurrently.
Discussion
The discussion section of the research paper highlights the challenges and advancements in Multi-Agent Reinforcement Learning (MARL), particularly focusing on generalization and self-supervised learning (SSL). Two primary obstacles to generalization in MARL are identified: (1) the variability in state, observation, and action spaces across different tasks, and (2) the tendency to overfit to task-specific information. To address these issues, various approaches have been proposed, such as ASN, which decomposes observations into entity-based components to enhance model generalizability, and UPDeT, which integrates transformer blocks for improved performance. Additionally, methods leveraging skills and roles have been explored to facilitate cross-task decision-making, although they often struggle with partial observability and centralized training constraints.
The section further discusses the application of SSL in reinforcement learning, noting its success in computer vision and natural language processing, but highlighting a lag in its application to MARL. Recent works have begun to explore representation learning at the team level, focusing on predicting future properties of agents. However, the potential of generative self-supervised learning remains underexplored in MARL, with most efforts concentrated on contrastive learning. The proposed framework, MA2RL, aims to overcome these limitations by employing masked autoencoders and an attentive action decoder to enhance the agents’ ability to infer global states and generalize across tasks, thereby improving performance in complex multi-agent environments.