RLRC: التعلم المعزز القائم على التعافي لنماذج الرؤية-اللغة-الإجراء المضغوطة RLRC: Reinforcement Learning-Based Recovery for Compressed Vision-Language-Action Models

شارك:
المجلة: IEEE Robotics and Automation Letters، المجلد: 11، العدد: 7
DOI: https://doi.org/10.1109/lra.2026.3700379
تاريخ النشر: 2026-06-04
المؤلف: Yuxuan Chen وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة

نظرة عامة

تقدم البحث RLRC، وهو خط أنابيب جديد للضغط والاستعادة من ثلاث مراحل مصمم لنماذج اللغة-الرؤية-الإجراء (VLA)، والتي تعد واعدة في التلاعب الروبوتي المعقد ولكنها تواجه تحديات بسبب أحجام المعلمات الكبيرة وزمن الاستدلال العالي. يتكون خط أنابيب RLRC من تقليم منظم، واستعادة الأداء من خلال التعديل الدقيق الخاضع للإشراف (SFT) والتعلم المعزز (RL)، والتكميم إلى 4 بت. من الجدير بالذكر أن مكون RL يستخدم استراتيجية تسخين الناقد وتنظيم خسارة استنساخ السلوك (BC) لتعزيز استقرار التدريب والحفاظ على سلوك السياسة الأصلي.

تشير النتائج التجريبية إلى أن RLRC يحقق تحسينات كبيرة، بما في ذلك تقليل استخدام الذاكرة بمقدار يصل إلى 8× وزيادة سرعة الاستدلال بمقدار 2.3×، كل ذلك مع الحفاظ على معدل نجاح المهمة الأصلي لنماذج VLA. تظهر التجارب الشاملة عبر مختلف هياكل VLA أن RLRC يتفوق على طرق الضغط الحالية، مما يبرز فعاليته للنشر على المنصات ذات الموارد المحدودة وتعزيز التطبيق العملي لتقنيات VLA في السيناريوهات الواقعية.

مقدمة

تسلط مقدمة هذه الورقة البحثية الضوء على التقدم الكبير في تعلم الروبوتات، وخاصة من خلال تطوير نماذج اللغة-الرؤية-الإجراء (VLA)، التي أظهرت دقة محسنة وتعميم في تنفيذ المهام الروبوتية. هذه النماذج، المبنية على نماذج أساسية كبيرة، تستخدم نماذج اللغة-الرؤية المدربة مسبقًا (VLMs) لفهم التعليمات اللغوية، وتفسير البيانات المرئية، وتوليد الإجراءات. ومع ذلك، فإن تطبيقها العملي يعيقه متطلبات الحوسبة والذاكرة الكبيرة، مما يجعلها غير مناسبة للمنصات الروبوتية ذات الموارد المحدودة. تحدد الورقة الحاجة إلى تحسين الكفاءة في نماذج VLA، حيث أن الاستراتيجيات الحالية، مثل ضغط النموذج وتحسين معالجة الرموز، لا تعالج بشكل كافٍ تحديات النشر في البيئات الديناميكية.

لمعالجة هذه القيود، يقترح المؤلفون تحليلًا منهجيًا لتقنيات الضغط والاستعادة بعد التدريب لهيكل VLA المركزي المعتمد على LLM، مع التركيز بشكل خاص على OpenVLA وOpenVLA-OFT وGR00T N1.6. يقدمون خط أنابيب استعادة مرحلي، RLRC، الذي يجمع بين التقليم المنظم، والتعديل الدقيق الخاضع للإشراف (SFT)، والتعلم المعزز (RL) لتحسين أداء النموذج مع تقليل الحجم وزمن الاستدلال. تشير النتائج إلى أن SFT يمكن أن يخفف بشكل كبير من الآثار السلبية للتقليم العدواني، بينما يلعب RL دورًا حاسمًا في تحقيق الاستعادة الكاملة لأداء النموذج. تختتم الورقة بأن هذا النهج المتكامل لا يسهل فقط الضغط الفعال مع الحد الأدنى من فقدان الأداء، بل يمكن أيضًا أن يعزز قدرات النموذج الأصلي، مما يوفر حلاً قابلاً للتطبيق لنشر نماذج VLA في التطبيقات الروبوتية ذات الموارد المحدودة.

طرق

توضح قسم الطرق أداء وكفاءة نهج RLRC مقارنةً بمختلف الطرق الأساسية عبر مقاييس متعددة، بما في ذلك LIBERO وManiSkill. تشير النتائج، الملخصة في الجدول II، إلى أن متغيرات RLRC لا تتطابق فقط مع أداء النماذج الأساسية الأكبر، بل تحقق أيضًا تخفيضات كبيرة في حجم النموذج وزمن الاستجابة. على سبيل المثال، يصل متغير OpenVLA-OFT-RLRC إلى متوسط درجة LIBERO قدرها 94.8 بينما يقلل عدد المعلمات من 7 مليارات إلى 2 مليار ويقلل زمن الاستجابة من 149.23 مللي ثانية إلى 65.59 مللي ثانية. يظهر RLRC تسريعًا يصل إلى 2.3× في الاستدلال وتقليصًا بمقدار 3.5× في حجم النموذج، مما يوفر توازنًا ملائمًا بين سرعة الاستدلال، واستخدام الذاكرة، وأداء المهمة.

على الرغم من تكبد تكاليف تدريب إضافية بسبب الحاجة إلى تحسين محدد للمهمة من خلال التعديل الدقيق الخاضع للإشراف (SFT) والتعلم المعزز (RL)، يتفوق RLRC على الطرق الخالية من التدريب والنماذج الأصغر. عملية التدريب فعالة، حيث يتقارب SFT بسرعة ويتطلب خطوات أقل من تدريب VLA كثيف. ومع ذلك، فإن فعالية RLRC تعتمد على بنية النماذج الأساسية، حيث تظهر أداءً مثاليًا في VLA على نطاق واسع حيث يهيمن نموذج اللغة (LLM). تواجه الطريقة تحديات مع النماذج التي تربط بشكل وثيق بين مكونات اللغة والإجراء، حيث يمكن أن يؤدي التقليم العدواني إلى تعطيل الأداء. بشكل عام، فإن الأدوار التكميلية لـ SFT وRL وتسخين الناقد وتنظيم خسارة استنساخ السلوك (BC) ضرورية لاستقرار التدريب وتعزيز الأداء، كما تؤكد دراسات الإزالة.

مناقشة

ت outlines قسم المناقشة في الورقة التقدم في تقنيات ضغط النموذج لوكلاء اللغة-الرؤية (VLAs)، مع التركيز بشكل خاص على التقليم المنظم، والتعديل الدقيق للتعلم المعزز (RLFT)، والتكميم. يبرز المؤلفون أن الطرق التقليدية مثل التكميم والتقليم أظهرت وعدًا في تقليل حجم النموذج وزمن الاستدلال لنماذج اللغة الكبيرة (LLMs)، ولكن تطبيقها على VLAs يتطلب اعتبارات دقيقة للحفاظ على الأداء. التكميم، على الرغم من فعاليته في تقليل استخدام الذاكرة، يمكن أن يؤدي أحيانًا إلى زيادة زمن الاستدلال بسبب الأعباء الحوسبية. يُفضل التقليم المنظم لكفاءته في الأجهزة، مما يسمح بتحسينات كبيرة مع تقليل تدهور الأداء.

يقترح المؤلفون خط أنابيب من ثلاث مراحل، RLRC، الذي يدمج التقليم المنظم، واستعادة الأداء من خلال التعديل الدقيق الخاضع للإشراف (SFT) والتعلم المعزز (RL)، والتكميم الاختياري. يهدف هذا النهج إلى التخفيف من الانخفاض في الأداء المرتبط بالتقليم العدواني من خلال أولاً تكييف النموذج مع توزيع المهمة من خلال SFT ثم تحسينه باستخدام RL لتعزيز التعميم، خاصة في المهام المعقدة. تظهر النتائج التجريبية أن RLRC يمكن أن يحقق تقليلًا يصل إلى 8× في استخدام الذاكرة وزيادة بمقدار 2.3× في إنتاجية الاستدلال، مع الحفاظ على أداء المهمة أو حتى تحسينه، مما يجعل VLAs أكثر قابلية للنشر في البيئات ذات الموارد المحدودة.

القيود

يقدم البحث قيودًا ملحوظة في نهجه، خاصة فيما يتعلق بمكون التعلم المعزز (RL) من إطار العمل التعلم المعزز مع التحكم القوي (RLRC). إن الاعتماد على بيئات المحاكاة الموازية، بينما يسهل التعلم الفعال، يؤدي إلى كفاءة تدريب منخفضة وأعباء حوسبية كبيرة. بالإضافة إلى ذلك، تسلط الدراسة الضوء على التحدي المستمر لفجوة المحاكاة إلى الواقع، حيث قد تواجه السياسات المطورة في بيئات محاكاة تدهورًا في الأداء عند تطبيقها على أنظمة روبوتية في العالم الحقيقي. يُعزى هذا التدهور إلى الاختلافات في الديناميات، وقدرات الاستشعار، وظروف البيئة بين الإعدادات المحاكاة والواقع، مما يتطلب مزيدًا من التحقيق لتعزيز قوة الطرق المقترحة.

Journal: IEEE Robotics and Automation Letters, Volume: 11, Issue: 7
DOI: https://doi.org/10.1109/lra.2026.3700379
Publication Date: 2026-06-04
Author(s): Yuxuan Chen et al.
Primary Topic: Advanced Neural Network Applications

Overview

The research presents RLRC, a novel three-stage compression and recovery pipeline designed for Vision-Language-Action (VLA) models, which are promising for complex robotic manipulation but face challenges due to their large parameter sizes and high inference latencies. The RLRC pipeline consists of structured pruning, performance recovery through supervised fine-tuning (SFT) and reinforcement learning (RL), and quantization to 4 bits. Notably, the RL component employs a critic warm-up strategy and behavior cloning (BC) loss regularization to enhance training stability and preserve the original policy behavior.

Empirical results indicate that RLRC achieves significant improvements, including up to an 8× reduction in memory usage and a 2.3× increase in inference speed, all while maintaining the original task success rate of the VLA models. Comprehensive experiments across various VLA architectures demonstrate that RLRC outperforms existing compression methods, underscoring its effectiveness for deployment on resource-constrained platforms and enhancing the practical applicability of VLA technologies in real-world scenarios.

Introduction

The introduction of this research paper highlights significant advancements in robot learning, particularly through the development of Vision-Language-Action (VLA) models, which have shown enhanced accuracy and generalization in robotic task execution. These models, built on large foundation models, utilize pretrained Vision-Language Models (VLMs) to understand language instructions, interpret visual data, and generate actions. However, their practical application is hindered by their substantial computational and memory requirements, making them unsuitable for resource-constrained robotic platforms. The paper identifies the need for improved efficiency in VLA models, as existing strategies, such as model compression and enhanced token processing, do not sufficiently address the challenges of deployment in dynamic environments.

To tackle these limitations, the authors propose a systematic analysis of post-training compression and recovery techniques for LLM-centric VLA backbones, specifically focusing on OpenVLA, OpenVLA-OFT, and GR00T N1.6. They introduce a staged recovery pipeline, RLRC, which combines structured pruning, supervised fine-tuning (SFT), and reinforcement learning (RL) to optimize model performance while reducing size and inference latency. The findings indicate that SFT can significantly mitigate the adverse effects of aggressive pruning, while RL plays a critical role in achieving full recovery of model performance. The paper concludes that this integrated approach not only facilitates effective compression with minimal performance loss but can also enhance the capabilities of the original model, offering a viable solution for deploying VLA models in resource-limited robotic applications.

Methods

The section on Methods outlines the performance and efficiency of the RLRC approach in comparison to various baseline methods across multiple metrics, including LIBERO and ManiSkill. The results, summarized in Table II, indicate that RLRC variants not only match the performance of larger baseline models but also achieve significant reductions in model size and latency. For example, the OpenVLA-OFT-RLRC variant reaches an average LIBERO score of 94.8 while decreasing its parameter count from 7 billion to 2 billion and reducing latency from 149.23 ms to 65.59 ms. RLRC demonstrates up to a 2.3× speedup in inference and a 3.5× reduction in model size, providing a favorable balance between inference speed, memory usage, and task performance.

Despite incurring additional training costs due to the need for task-specific refinement through supervised fine-tuning (SFT) and reinforcement learning (RL), RLRC outperforms training-free methods and smaller models. The training process is efficient, with SFT converging quickly and requiring fewer steps than training a dense VLA. However, RLRC’s effectiveness is contingent on the architecture of the underlying models, showing optimal performance in large-scale VLAs where the language model (LLM) predominates. The method faces challenges with models that tightly couple language and action components, as aggressive pruning can disrupt performance. Overall, the complementary roles of SFT, RL, critic warm-up, and behavior cloning (BC) loss regularization are essential for stabilizing training and enhancing performance, as confirmed by ablation studies.

Discussion

The discussion section of the paper outlines the advancements in model compression techniques for Vision-Language Agents (VLAs), particularly focusing on structured pruning, reinforcement learning fine-tuning (RLFT), and quantization. The authors highlight that traditional methods such as quantization and pruning have shown promise in reducing model size and inference latency for large language models (LLMs), but their application to VLAs requires careful consideration to maintain performance. Quantization, while effective in reducing memory usage, can sometimes lead to increased inference latency due to computational overhead. Structured pruning is favored for its hardware efficiency, allowing for significant speedups while minimizing performance degradation.

The authors propose a three-stage pipeline, RLRC, which integrates structured pruning, performance recovery through supervised fine-tuning (SFT) and reinforcement learning (RL), and optional quantization. This approach aims to mitigate the performance drop associated with aggressive pruning by first adapting the model to the task distribution through SFT and then refining it with RL to enhance generalization, especially in complex tasks. The empirical results demonstrate that RLRC can achieve up to an 8× reduction in memory usage and a 2.3× increase in inference throughput, while preserving or even improving task performance, thereby making VLAs more viable for deployment in resource-constrained environments.

Limitations

The research presents notable limitations in its approach, particularly concerning the reinforcement learning (RL) component of the Reinforcement Learning with Robust Control (RLRC) framework. The reliance on parallelized simulation environments, while facilitating efficient learning, leads to low training efficiency and considerable computational overhead. Additionally, the study highlights the persistent challenge of the sim-to-real gap, where policies developed in simulated environments may experience performance degradation when applied to real-world robotic systems. This degradation is attributed to differences in dynamics, sensing capabilities, and environmental conditions between the simulation and real-world settings, warranting further investigation to enhance the robustness of the proposed methods.