DOI: https://doi.org/10.1109/lra.2026.3673995
تاريخ النشر: 2026-03-13
المؤلف: Han Qi وآخرون
الموضوع الرئيسي: تعلم التعزيز في الروبوتات
نظرة عامة
تقدم البحث التحكم التنبؤي التوليدي (GPC)، وهو إطار جديد مصمم لتعزيز سياسات استنساخ السلوك المدربة مسبقًا أثناء الاستدلال دون الحاجة إلى إعادة التدريب أو الضبط الدقيق. يعمل GPC من خلال دمج سياسة انتشار مجمدة مع نموذج عالمي تنبؤي، يتم تدريبه على عروض الخبراء وجولات الاستكشاف العشوائية. يتنبأ هذا النموذج بنتائج مقترحات العمل التي تولدها سياسة الانتشار، مما يسمح بالتخطيط الخفيف عبر الإنترنت الذي يقوم بتصنيف وتنقيح هذه المقترحات من خلال النظر إلى الأمام القائم على النموذج.
تظهر النتائج أن GPC يتفوق بشكل كبير على استنساخ السلوك القياسي عبر مجموعة متنوعة من مهام المناورة الروبوتية، سواء في المحاكاة أو على الأجهزة الحقيقية، ويظهر أداءً تنافسيًا ضد طرق التكيف في وقت الاستدلال الأخرى. إن قدرة الإطار على دمج الأولويات التوليدية مع التنبؤ التقديري تسهل التكيف القوي في وقت الاختبار، مما يجعله نهجًا واعدًا لتعزيز أنظمة التحكم الروبوتية.
مقدمة
في مقدمة هذه الورقة البحثية، يناقش المؤلفون قيود استنساخ السلوك (BC) في تعلم سياسات الروبوتات، وخاصة هشاشته أثناء النشر بسبب نقص الآليات لتصحيح الوقت الاختباري. بينما يمكّن BC الروبوتات من تقليد عروض الخبراء، فإنه يواجه صعوبات مع الانحرافات عن توزيع التدريب، مما قد يؤدي إلى تدهور الأداء. بالمقابل، يوفر التحكم التنبؤي النموذجي (MPC) نهجًا مستقبليًا يقيم الإجراءات بناءً على عواقبها المستقبلية المتوقعة، مما يسمح بالتكيف عبر الإنترنت. ومع ذلك، فإن دمج MPC مع السياسات التوليدية يطرح تحديات بسبب الحاجة إلى نماذج مصممة بعناية.
لمعالجة هذه القضايا، يقترح المؤلفون إطارًا جديدًا يسمى التحكم التنبؤي التوليدي (GPC)، والذي يهدف إلى تعزيز سياسات BC المدربة مسبقًا مع قابلية التكيف في وقت الاختبار من خلال دمج التنبؤ على نمط MPC دون الحاجة إلى إعادة التدريب. يجمع GPC بين ثلاثة مكونات رئيسية: (1) تدريب السياسة التوليدية باستخدام نماذج قائمة على الانتشار لإنشاء أجزاء العمل من عروض الخبراء؛ (2) نمذجة العالم التنبؤية التي تتنبأ بالملاحظات المستقبلية بناءً على الإجراءات المرشحة، معززة ببيانات الاستكشاف لتحسين متانة النموذج؛ و(3) استراتيجيات التخطيط عبر الإنترنت التي تنقيح مقترحات العمل من خلال طرق التخطيط الخفيفة. تظهر النتائج أن GPC يتفوق بشكل كبير على BC التقليدي ويظهر أداءً تنافسيًا ضد تقنيات التكيف الأخرى في كل من مهام المناورة المحاكاة والعالم الحقيقي، مما يبرز فعالية نمذجة العالم التنبؤية والتخطيط في تعزيز السياسات الروبوتية.
نقاش
يقدم إطار التحكم التنبؤي التوليدي (GPC) نهجًا جديدًا للتخطيط في وقت الاستدلال من خلال دمج سياسة انتشار مع نموذج عالمي واضح في فضاء الصورة. يميز هذا الإطار نفسه عن الطرق الحالية من خلال استخدام آلية استدلال ضوضائية مجمدة من أجل تحسين مستقر قائم على التدرجات، مما يسمح بتوحيد تصنيف المقترحات وتنقيحها. يمكّن GPC نماذج اللغة البصرية من العمل كبدائل مباشرة للمكافآت، مما يعزز تنفيذ السياسات التوليدية الثابتة دون الحاجة إلى إعادة التدريب، وبالتالي يفصل تعلم السياسة عن تعلم نموذج العالم.
في سياق النمذجة التوليدية للروبوتات، يبني GPC على مجموعة كبيرة من الأعمال التي استخدمت نماذج توليدية لتمثيل السياسات ونمذجة ديناميات العالم. على عكس الأساليب السابقة التي تعدل السياسات التوليدية أثناء التدريب، يحتفظ GPC بسياسة ثابتة ويعزز أدائها من خلال نموذج عالمي تنبؤي. يسمح هذا التصميم القابل للتعديل بالتدريب المستقل على مجموعات بيانات مختلفة، وهو مفيد بشكل خاص في البيئات المعقدة حيث يكون تقدير الحالة الدقيق تحديًا. يتم إثبات فعالية الإطار من خلال تجارب متنوعة، حيث يتفوق GPC باستمرار على معايير استنساخ السلوك في كل من المهام المحاكاة والعالم الحقيقي، مما يبرز قوته وقدرته على التكيف في البيئات الديناميكية.
القيود
القيود الرئيسية التي تم تحديدها في البحث حول GPC (التحكم بالسياسة العامة) هي تكلفة وقت الاستدلال، التي تعزى بشكل أساسي إلى جولات نموذج العالم القائم على الانتشار، والتي تمثل حوالي 90-95% من وقت التشغيل. على الرغم من أن هذا الطلب الحاسوبي يمكن إدارته لمهام المناورة التي تم تقييمها (حوالي 3 ثوانٍ لكل دورة قرار في GPC-RANK في العالم الحقيقي)، فإن تعزيز كفاءة النموذج أمر حاسم للتطبيقات الأوسع. قد تركز الأعمال المستقبلية على استراتيجيات مثل تقطير الانتشار، وتطوير حلول أسرع، أو تنفيذ تسريع الأجهزة للتخفيف من هذه التحديات الزمنية.
DOI: https://doi.org/10.1109/lra.2026.3673995
Publication Date: 2026-03-13
Author(s): Han Qi et al.
Primary Topic: Reinforcement Learning in Robotics
Overview
The research introduces Generative Predictive Control (GPC), a novel framework designed to enhance pretrained behavior-cloning policies during inference without the need for retraining or fine-tuning. GPC operates by integrating a frozen diffusion policy with a predictive world model, which is trained on expert demonstrations and random exploration rollouts. This model forecasts the outcomes of action proposals generated by the diffusion policy, allowing for lightweight online planning that ranks and refines these proposals through model-based look-ahead.
The results demonstrate that GPC significantly outperforms standard behavior cloning across various robotic manipulation tasks, both in simulation and on real hardware, and shows competitive performance against other inference-time adaptation methods. The framework’s ability to combine generative priors with predictive foresight facilitates robust test-time adaptation, making it a promising approach for enhancing robotic control systems.
Introduction
In the introduction of this research paper, the authors discuss the limitations of behavior cloning (BC) in robotic policy learning, particularly its brittleness during deployment due to a lack of mechanisms for test-time correction. While BC enables robots to imitate expert demonstrations, it struggles with deviations from the training distribution, which can lead to performance degradation. In contrast, model predictive control (MPC) offers a forward-looking approach that evaluates actions based on their predicted future consequences, thus allowing for online adaptation. However, integrating MPC with generative policies poses challenges due to the need for carefully engineered models.
To address these issues, the authors propose a novel framework called generative predictive control (GPC), which aims to enhance pretrained BC policies with test-time adaptability by incorporating MPC-style foresight without the need for retraining. GPC combines three key components: (1) generative policy training using diffusion-based models to create action chunks from expert demonstrations; (2) predictive world modeling that forecasts future observations based on candidate actions, augmented with exploration data to improve model robustness; and (3) online planning strategies that refine action proposals through lightweight planning methods. The results demonstrate that GPC significantly outperforms traditional BC and shows competitive performance against other adaptation techniques in both simulated and real-world manipulation tasks, highlighting the effectiveness of predictive world modeling and planning in enhancing robotic policies.
Discussion
The Generative Predictive Control (GPC) framework introduces a novel approach to inference-time planning by integrating a diffusion policy with an explicit image-space diffusion world model. This framework distinguishes itself from existing methods by employing a frozen-noise inference mechanism for stable gradient-based optimization, allowing for the unification of proposal ranking and refinement. GPC enables vision-language models to serve as direct reward surrogates, enhancing the execution of fixed generative policies without the need for retraining, thereby decoupling policy learning from world model learning.
In the context of generative modeling for robotics, GPC builds upon a substantial body of work that has utilized generative models for policy representation and world dynamics modeling. Unlike previous approaches that modify generative policies during training, GPC maintains a fixed policy and enhances its performance through a predictive world model. This modular design allows for independent training on different datasets, which is particularly beneficial in complex environments where accurate state estimation is challenging. The framework’s effectiveness is demonstrated through various experiments, where GPC consistently outperforms behavior cloning baselines in both simulated and real-world tasks, highlighting its robustness and adaptability in dynamic settings.
Limitations
The primary limitation identified in the research on GPC (Generalized Policy Control) is its inference-time cost, predominantly attributed to the diffusion-based world-model rollouts, which account for approximately 90-95% of the runtime. Although this computational demand is manageable for the manipulation tasks evaluated (approximately 3 seconds per decision cycle in the real-world GPC-RANK), enhancing the efficiency of the model is crucial for broader applications. Future work may focus on strategies such as diffusion distillation, the development of faster solvers, or the implementation of hardware acceleration to mitigate these runtime challenges.