DOI: https://doi.org/10.1109/lra.2026.3728345
تاريخ النشر: 2026-08-27
المؤلف: Ziyuan Jiang وآخرون
الموضوع الرئيسي: تعلم التعزيز في الروبوتات
نظرة عامة
في هذا القسم، يقدم المؤلفون World4RL، وهو إطار عمل جديد يدمج نماذج الانتشار في التعلم المعزز للتلاعب الروبوتي. يعالج الإطار قيود التعلم التقليدي من خلال المحاكاة، الذي غالبًا ما يعاني من نقص في بيانات الخبراء، من خلال استخدام محاكيات عالية الدقة تعتمد على نماذج الانتشار لتحسين السياسات المدربة مسبقًا بالكامل ضمن بيئات متخيلة. يسمح هذا النهج بتحسين السياسات من البداية إلى النهاية دون الحاجة إلى تدريب الروبوتات الحقيقية المكلف وغير الآمن أو التحديات المرتبطة بفجوة المحاكاة إلى الواقع.
تشير النتائج التجريبية إلى أن World4RL لا يوفر فقط نمذجة دقيقة للمسارات ولكن يعمل أيضًا كمحاكي فعال في الوقت الحقيقي، مما يمكّن من تحسين السياسات بكفاءة حتى في سيناريوهات المكافآت النادرة. يبرز المؤلفون إمكانيات نماذج الانتشار في ربط التنبؤ البصري والتعلم المعزز، مما يسهل تحسين السياسات المدربة مسبقًا بما يتجاوز ما يمكن أن يحققه التعلم من خلال المحاكاة. يعترفون بحدود التنفيذ الحالي في دقة الصورة وسعة النموذج، مشيرين إلى أن التحسينات في هذه المجالات يمكن أن تعزز من دقة نمذجة العالم وأداء السياسات في المستقبل. ستركز الأعمال المستقبلية على تحسين التمثيلات البصرية وتطوير خوارزميات تعلم معزز أكثر قوة للتعلم بشكل أفضل من الديناميات غير المثالية.
مقدمة
تناقش مقدمة الورقة التحديات المستمرة في التلاعب الروبوتي، خاصة في سياق تعلم السياسات من خلال المحاكاة والتعلم المعزز (RL). بينما يستفيد التعلم من خلال المحاكاة من العروض التوضيحية، فإن فعاليته محدودة بتباين البيانات وعدم اتساقها. يمكن أن يحسن التعلم المعزز غير المتصل استخراج السياسات من البيانات غير المثالية ولكنه يعاني من مشاكل التقدير المفرط. يسمح التعلم المعزز المتصل بتحسين السياسات من خلال التفاعلات في العالم الحقيقي، ومع ذلك يواجه تكاليف عالية ومخاطر تتعلق بالسلامة. يقلل التدريب في المحاكاة من هذه المخاطر ولكنه يقدم فجوة بين المحاكاة والواقع بسبب التباينات في فيزياء العالم الحقيقي.
لمعالجة هذه التحديات، يقترح المؤلفون World4RL، وهو إطار عمل يدمج نماذج العالم الانتشاري في التعلم المعزز للتلاعب الروبوتي. يعمل هذا الإطار في مرحلتين: أولاً، يقوم بتدريب نموذج عالم الانتشار على مجموعات بيانات متعددة المهام متنوعة، ثم يقوم بتحسين السياسات ضمن هذا النموذج المجمد لتجنب التفاعلات غير الآمنة عبر الإنترنت. يتكون نموذج العالم من نموذج انتقال انتشار لتوقع الملاحظات المستقبلية ومصنف مكافآت لتوفير إشارات نجاح نادرة، مما يسهل تحسين السياسات دون الحاجة إلى تنفيذات في العالم الحقيقي. يبرز المؤلفون مزايا نهجهم مقارنة بالطرق الحالية، مثل تحسين الدقة والتماسك في التنفيذات الناتجة، ويقدمون خيارات تصميم حاسمة، بما في ذلك نظام ترميز العمل ذو النقطتين وهياكل العمود الفقري للانتشار، لتعزيز فعالية النموذج في فضاءات العمل عالية الأبعاد. تظهر تجاربهم الواسعة أن World4RL يحقق أداءً رائدًا، مع مكاسب كبيرة في كل من إعدادات المحاكاة والروبوتات الحقيقية.
نقاش
تناقش هذه القسم التقدم في نماذج العالم، خاصة في سياق التلاعب الروبوتي، وتقدم إطار عمل World4RL، الذي يستفيد من نموذج انتشار عالي الدقة لتعزيز تعلم السياسات. وضعت نماذج العالم المبكرة، مثل VAE-RNN، الأساس لأساليب أكثر تطورًا مثل DreamerV3 و TD-MPC2، بينما حسنت النماذج الحديثة المعتمدة على المحولات من التعبير الزمني ودقة توقع الفيديو عبر مجالات متنوعة. ومع ذلك، غالبًا ما تتطلب طرق التعلم المعزز المعتمدة على النماذج التقليدية تفاعلات واسعة في العالم الحقيقي، مما يحد من عمليتها. في المقابل، يستخدم World4RL نموذج انتقال انتشار، ومصنف مكافآت، وسياسة محسنة من خلال التعلم المعزز لتحسين الأداء بالكامل ضمن بيئات متخيلة، مما يعالج فجوة المحاكاة إلى الواقع ويعزز كفاءة العينة.
يعمل الإطار في مرحلتين: التدريب المسبق وتحسين السياسة. خلال التدريب المسبق، يتم تهيئة السياسة باستخدام التعلم من خلال المحاكاة من العروض التوضيحية للخبراء، بينما يتم تدريب نموذج الانتشار على مجموعات بيانات متنوعة للتعميم عبر الديناميات. في مرحلة تحسين السياسة، يستخدم النموذج تحسين السياسة القريب (PPO) لتحسين السياسة باستخدام تنفيذات متخيلة، يتم تقييمها بواسطة مصنف المكافآت. لا يحسن هذا النهج من استقرار السياسة فحسب، بل يسمح أيضًا باستكشاف فعال في إعدادات المكافآت النادرة. تظهر التجارب التي أجريت أن World4RL يتفوق بشكل كبير على الطرق الحالية من حيث دقة النمذجة وكفاءة تعلم السياسات، محققًا معدلات نجاح متفوقة في البيئات المحاكاة ومهام الروبوتات الحقيقية.
DOI: https://doi.org/10.1109/lra.2026.3728345
Publication Date: 2026-08-27
Author(s): Ziyuan Jiang et al.
Primary Topic: Reinforcement Learning in Robotics
Overview
In this section, the authors introduce World4RL, a novel framework that integrates diffusion models into reinforcement learning for robotic manipulation. The framework addresses the limitations of traditional imitation learning, which often suffers from insufficient expert data, by utilizing high-fidelity simulators based on diffusion models to refine pre-trained policies entirely within imagined environments. This approach allows for direct end-to-end policy optimization without the need for costly and unsafe real-robot training or the challenges associated with the sim-to-real gap.
The experimental results indicate that World4RL not only provides accurate trajectory modeling but also functions as an effective real-time simulator, enabling efficient policy refinement even in sparse reward scenarios. The authors highlight the potential of diffusion models to bridge visual prediction and reinforcement learning, facilitating improvements in pre-trained policies beyond what imitation learning can achieve. They acknowledge the current implementation’s limitations in visual resolution and model capacity, suggesting that enhancements in these areas could further improve world modeling fidelity and downstream policy performance. Future work will focus on refining visual representations and developing more robust reinforcement learning algorithms to better learn from imperfect dynamics.
Introduction
The introduction of the paper discusses the ongoing challenges in robotic manipulation, particularly in the context of policy learning through imitation and reinforcement learning (RL). While imitation learning benefits from demonstrations, its effectiveness is limited by dataset inconsistency and diversity. Offline RL can improve policy extraction from imperfect data but suffers from overestimation issues. Online RL allows for policy refinement through real-world interactions, yet it faces high costs and safety risks. Training in simulation mitigates these risks but introduces a sim-to-real gap due to discrepancies in real-world physics.
To address these challenges, the authors propose World4RL, a framework that integrates diffusion world models into RL for robotic manipulation. This framework operates in two stages: first, it pre-trains a diffusion world model on diverse multitask datasets, and then it refines policies within this frozen model to avoid unsafe online interactions. The world model consists of a diffusion transition model for predicting future observations and a reward classifier for providing sparse success signals, facilitating policy optimization without real-world rollouts. The authors highlight the advantages of their approach over existing methods, such as improved fidelity and coherence in generated rollouts, and introduce critical design choices, including a two-hot action encoding scheme and diffusion backbone architectures, to enhance the model’s effectiveness in high-dimensional action spaces. Their extensive experiments demonstrate that World4RL achieves state-of-the-art performance, with significant gains in both simulation and real-robot settings.
Discussion
The section discusses the advancements in world models, particularly in the context of robotic manipulation, and introduces the World4RL framework, which leverages a high-fidelity diffusion model to enhance policy learning. Early world models, such as VAE-RNN, laid the groundwork for more sophisticated approaches like DreamerV3 and TD-MPC2, while recent Transformer-based models have improved temporal expressiveness and video prediction accuracy across various domains. However, traditional model-based reinforcement learning (RL) methods often require extensive real-world interactions, limiting their practicality. In contrast, World4RL utilizes a diffusion transition model, a reward classifier, and a reinforcement learning-refined policy to optimize performance entirely within imagined environments, thereby addressing the sim-to-real gap and enhancing sample efficiency.
The framework operates in two stages: pre-training and policy optimization. During pre-training, the policy is initialized using imitation learning from expert demonstrations, while the diffusion model is trained on diverse datasets to generalize across dynamics. In the policy optimization stage, the model employs Proximal Policy Optimization (PPO) to refine the policy using imagined rollouts, which are evaluated by the reward classifier. This approach not only improves the stability of the policy but also allows for effective exploration in sparse reward settings. The experiments conducted demonstrate that World4RL significantly outperforms existing methods in terms of both modeling accuracy and policy learning efficiency, achieving superior success rates in simulated environments and real-world robotic tasks.