DOI: https://doi.org/10.1109/tpami.2026.3653866
PMID: https://pubmed.ncbi.nlm.nih.gov/41533609
تاريخ النشر: 2026-01-14
المؤلف: Haochen Liu وآخرون
الموضوع الرئيسي: تكنولوجيا وسلامة المركبات المستقلة
نظرة عامة
تقدم هذه القسم نظرة عامة على نهج جديد للقيادة الذاتية من النهاية إلى النهاية يسمى تحسين معزز مع توسيع ذاتي الوعي (R2SE). يعالج هذا الأسلوب قيود نماذج التعلم التقليدي (IL) الحالية، التي تواجه صعوبة في التعميم في السيناريوهات الصعبة وتفتقر إلى آلية التغذية الراجعة بعد النشر. بينما يمكن أن يعزز التعلم المعزز (RL) الأداء في الحالات الصعبة، فإنه غالبًا ما يؤدي إلى الإفراط في التكيف وفقدان المعرفة القابلة للتعميم. يهدف R2SE إلى تحسين التعامل مع الحالات الصعبة مع الحفاظ على سياسة قيادة عامة قوية.
يتكون R2SE من ثلاثة مكونات رئيسية: (1) **التدريب المسبق العام مع تخصيص الحالات الصعبة**، الذي يدرب نظام IL عام بينما يحدد السيناريوهات المعرضة للفشل من أجل تحسين مستهدف؛ (2) **التحسين الدقيق المتبقي المعزز**، الذي يستخدم RL لتحسين التصحيحات في المجالات الصعبة مع الحفاظ على المعرفة العامة للقيادة؛ و (3) **توسيع المحول الذاتي الوعي**، الذي يدمج السياسات المتخصصة مرة أخرى في النموذج العام لتسهيل تحسين الأداء المستمر. تشير النتائج التجريبية إلى أن R2SE يحسن بشكل كبير من التعميم والسلامة والصلابة في السياسات طويلة الأمد مقارنة بأنظمة النهاية إلى النهاية المتطورة، مما يبرز إمكانيته لتطبيقات القيادة الذاتية القابلة للتوسع.
مقدمة
تناقش مقدمة الورقة التقدم في أنظمة القيادة الذاتية من النهاية إلى النهاية (E2E)، مع التأكيد على إمكانياتها في دمج الإدراك والتنبؤ والتخطيط من خلال نهج قائم على التعلم. يقلل هذا الدمج من فقدان المعلومات والأخطاء الشائعة في الأنظمة التقليدية المعيارية. على الرغم من مزاياها، تواجه أنظمة E2E تحديات في التعميم على الحالات النادرة، التي يمكن تصنيفها إلى عينات نادرة غير ممثلة في بيانات التدريب وحالات صعبة تتجاوز قدرات نماذج التعلم التقليدي (IL) المدربة مسبقًا. تساهم عوامل مثل فشل الإدراك والتفاعلات المرورية المعقدة في هذه الحالات النادرة.
لمعالجة هذه التحديات، يقترح المؤلفون إطار عمل جديد يسمى تحسين معزز مع توسيع ذاتي الوعي (R2SE). يهدف هذا النهج غير المعتمد على نموذج إلى تعزيز الأداء في السيناريوهات الصعبة مع الاحتفاظ بالمعرفة العامة المكتسبة خلال التدريب المسبق. يحدد R2SE الوحدات المعرضة للفشل داخل نظام E2E ويطبق تحسينات مستهدفة من خلال نموذج تحسين دقيق متبقي. بالإضافة إلى ذلك، يتضمن محولات منخفضة الرتبة لتحقيق توازن بين تحسينات الأداء في الحالات الصعبة مع الاحتفاظ بالمعرفة العامة. تدعي الورقة أن R2SE يظهر تقدمًا كبيرًا في التعميم والسلامة والأداء على المدى الطويل عبر عدة معايير حقيقية واسعة النطاق، مما يمهد الطريق لمزيد من الاستكشاف في الأقسام التالية.
طرق
ت outlines قسم الطرق إعداد التجارب ومعايير التقييم المستخدمة لتقييم أداء R2SE في سيناريوهات القيادة الذاتية. يركز التقييم على ثلاثة أسئلة رئيسية: فعالية R2SE في التطبيقات الواقعية، وصلابته ضد المعايير التحدي، وقدرته على التخفيف من نسيان وقت الاختبار. تستخدم التجارب مجموعتين رئيسيتين من البيانات: nuPlan، التي تشمل أكثر من 700,000 مقطع قيادة للتدريب والاختبار، وCARLA، وهي منصة محاكاة عالية الدقة لتقييم سلوكيات القيادة في السيناريوهات النادرة. يتم تقييم أداء R2SE مقابل معايير معروفة، بما في ذلك معدل نجاح السيناريو (SR) ومتوسط درجة القيادة (DS)، التي تتضمن إكمال المسار ودرجات المخالفات.
لقياس مرونة R2SE ضد النسيان، يتم تقديم معدل النسيان (FR)، الذي يقيس الانخفاض في الأداء عبر حالات الاختبار. تسلط تفاصيل التنفيذ الضوء على الهيكل البسيط لـ R2SE من النهاية إلى النهاية، باستخدام إدراك BEV ودمج متعدد الحساسات، مع أفق تخطيط من 2 إلى 4 ثوانٍ حسب مجموعة البيانات. يتم تدريب R2SE على منصة موزعة باستخدام حجم دفعة قدره 16 للإعدادات الفئوية و512 للتشتت، مع استخدام مُحسِّن AdamW. تلتزم التجارب بالبروتوكولات الموحدة لضمان القابلية للمقارنة، مع الإبلاغ عن النتائج باستخدام مقاييس رسمية من لوحة NAVSIM.
نتائج
يقدم قسم النتائج في ورقة البحث تقييمًا شاملاً لإطار تحسين E2E غير المعتمد على نموذج، R2SE، عبر بيئتين اختبار رئيسيتين: nuPlan وCARLA. في نتائج nuPlan، تفوقت كل من متغيرات R2SE-MDP وR2SE-Diffusion بشكل كبير على العديد من أنظمة القيادة الذاتية من النهاية إلى النهاية (E2E) المتطورة، محققة تحسينات ملحوظة في تقدم الخبراء (+6.1%)، ومعايير السلامة (مثل، زمن التصادم (TTC) ومعدلات التصادم تحسنت بنسبة +2%)، ومعايير تقدم القيادة (PDMS) مع مكاسب قدرها +3% مقارنة بأنظمة SOTA الحديثة. كما أظهر الإطار تحسينات أكبر بكثير مقارنة بالأنظمة المعيارية السابقة، مع زيادة قدرها +13.23% في PDMS وتحسينات كبيرة في السلامة.
في نتائج CARLA، تم تقييم R2SE تحت بروتوكولات اختبار مغلقة الحلقة متعددة القدرات، حيث حقق أعلى درجة قيادة مغلقة الحلقة وأفضل أداء متوسط في اختبارات متعددة القدرات. على وجه التحديد، حسّن R2SE درجة القيادة بمقدار +2.06 ومعدل النجاح العام بمقدار +2.28 مقارنة بالخط الأساسي المدرب مسبقًا. كما أظهر الإطار أداءً قويًا عبر السيناريوهات الصعبة، مما أسفر عن مكاسب كبيرة في قدرات القيادة ومعايير السلامة. علاوة على ذلك، أظهر دمج R2SE مع استراتيجيات التكيف في وقت الاختبار مرونته وفعاليته في معالجة الفجوات في مجال الاختبار، مما أدى إلى تحسينات إضافية في أداء القيادة. بشكل عام، تؤكد النتائج قدرة R2SE على تعزيز الأداء والسلامة لأنظمة القيادة الذاتية من النهاية إلى النهاية عبر بيئات متنوعة وصعبة.
نقاش
يتناول قسم النقاش في ورقة البحث التقدم في أنظمة القيادة الذاتية من النهاية إلى النهاية (E2E)، مع تسليط الضوء على التحديات والابتكارات في التعامل مع السيناريوهات المعقدة للقيادة. تواجه أنظمة E2E التقليدية، التي تعتمد على التصاميم المعيارية، مشاكل مثل عدم توافق التمثيل والصعوبات في معالجة الحالات النادرة أو الصعبة. تهدف الأساليب الحديثة، بما في ذلك دمج نماذج الرؤية واللغة (VLMs) ونماذج العالم (WMs)، إلى تعزيز صلابة أنظمة E2E من خلال محاكاة بيئات متنوعة وإثراء بيانات التدريب. ومع ذلك، غالبًا ما تفشل هذه الأساليب في معالجة حالات الفشل الصعبة بشكل صريح. بالمقابل، يقدم إطار R2SE المقترح نموذج تحسين ذاتي الوعي يحدد ديناميكيًا ويعالج السيناريوهات المعرضة للفشل، مما يمكّن نهجًا غير معتمد على نموذج يمكن أن يتكامل مع الهياكل الحالية لـ E2E.
تناقش الورقة أيضًا دور التعلم المعزز (RL) في تحسين أنظمة القيادة الذاتية من النهاية إلى النهاية، مشيرة إلى أنه على الرغم من استخدام RL لتحسين أداء القيادة في السيناريوهات المعقدة، إلا أنه غالبًا ما يعاني من بطء التقارب والإفراط في التكيف. يعالج R2SE هذه القيود من خلال استخدام آلية تحسين دقيق متبقي تسمح بالتكيف الفعال مع الحالات الصعبة دون المساس بالمعرفة العامة للنموذج. بالإضافة إلى ذلك، يتضمن الإطار استراتيجيات تعلم ذاتي الوعي تستفيد من كل من التغذية الراجعة الصريحة والضمنية لتعزيز الأداء والتخفيف من النسيان الكارثي أثناء التكيف في وقت الاختبار. بشكل عام، يظهر R2SE تحسينات كبيرة في التعامل مع الحالات الصعبة والحفاظ على القدرات العامة، مما يضعه كحل قوي للتحديات المتطورة في القيادة الذاتية.
DOI: https://doi.org/10.1109/tpami.2026.3653866
PMID: https://pubmed.ncbi.nlm.nih.gov/41533609
Publication Date: 2026-01-14
Author(s): Haochen Liu et al.
Primary Topic: Autonomous Vehicle Technology and Safety
Overview
The section presents an overview of a novel approach to end-to-end autonomous driving called Reinforced Refinement with Self-aware Expansion (R2SE). This method addresses the limitations of existing imitation learning (IL) models, which struggle with generalization in challenging scenarios and lack a feedback mechanism post-deployment. While reinforcement learning (RL) can enhance performance in difficult cases, it often leads to overfitting and the loss of generalizable knowledge. R2SE aims to refine the handling of hard cases while maintaining a robust general driving policy.
R2SE comprises three main components: (1) **Generalist Pretraining with Hard-case Allocation**, which trains a generalist IL system while identifying failure-prone scenarios for targeted refinement; (2) **Residual Reinforced Specialist Fine-tuning**, which employs RL to optimize corrections in difficult domains while preserving overall driving knowledge; and (3) **Self-aware Adapter Expansion**, which integrates specialized policies back into the generalist model to facilitate continuous performance enhancement. Experimental results indicate that R2SE significantly improves generalization, safety, and robustness in long-horizon policies compared to state-of-the-art end-to-end systems, underscoring its potential for scalable autonomous driving applications.
Introduction
The introduction of the paper discusses the advancements in end-to-end (E2E) autonomous driving systems (ADS), emphasizing their potential to integrate perception, prediction, and planning through a learning-based approach. This integration reduces information loss and errors common in traditional modular systems. Despite their advantages, E2E systems face challenges in generalizing to corner cases, which can be categorized into rare samples not represented in training data and hard cases that exceed the capabilities of imitation learning (IL)-pretrained models. Factors such as perception failures and complex traffic interactions contribute to these corner cases.
To address these challenges, the authors propose a novel framework called Reinforced Refinement with Self-aware Expansion (R2SE). This model-agnostic approach aims to enhance performance in hard-case scenarios while retaining the general knowledge acquired during pretraining. R2SE identifies failure-prone modules within the E2E system and applies targeted refinements through a residual reinforced finetuning paradigm. Additionally, it incorporates low-ranked adapters to balance performance improvements in hard cases with the retention of generalist knowledge. The paper claims that R2SE demonstrates significant advancements in generalization, safety, and long-term performance across multiple large-scale real-world benchmarks, setting the stage for further exploration in subsequent sections.
Methods
The methods section outlines the experimental setup and evaluation metrics used to assess the performance of R2SE in autonomous driving scenarios. The evaluation focuses on three primary questions: the effectiveness of R2SE in real-world applications, its robustness against challenging benchmarks, and its ability to mitigate test-time forgetting. The experiments utilize two main datasets: nuPlan, which includes over 700,000 driving clips for training and testing, and CARLA, a high-fidelity simulation platform for evaluating driving behaviors in corner-case scenarios. R2SE’s performance is benchmarked against established metrics, including the scenario success rate (SR) and the mean Driving Score (DS), which incorporates route completion and infraction scores.
To quantify R2SE’s resilience to forgetting, the Forget Rate (FR) is introduced, measuring the decline in performance across test cases. The implementation details highlight R2SE’s minimalist end-to-end structure, utilizing BEV perception and multi-sensor fusion, with a planning horizon of 2 to 4 seconds depending on the dataset. R2SE is trained on a distributed platform using a batch size of 16 for categorical setups and 512 for diffusion, employing the AdamW optimizer. The experiments adhere to standardized protocols to ensure comparability, with results reported using official metrics from the NAVSIM leaderboard.
Results
The results section of the research paper presents a comprehensive evaluation of the model-agnostic E2E refinement framework, R2SE, across two primary testing environments: nuPlan and CARLA. In the nuPlan results, both R2SE-MDP and R2SE-Diffusion variants significantly outperformed several state-of-the-art (SOTA) end-to-end (E2E) autonomous driving systems, achieving notable improvements in expert progress (+6.1%), safety metrics (e.g., Time-to-Collision (TTC) and collision rates improved by +2%), and driving progress metrics (PDMS) with gains of +3% over recent SOTA systems. The framework also demonstrated even larger enhancements against prior modular systems, with a +13.23% increase in PDMS and substantial safety improvements.
In the CARLA results, R2SE was evaluated under the Bench2Drive closed-loop and multi-ability testing protocols, where it achieved the highest closed-loop driving score and the best average performance in multi-ability tests. Specifically, R2SE improved the driving score by +2.06 and the overall success rate by +2.28 compared to the pretrained baseline. The framework also showed robust performance across challenging scenarios, yielding significant gains in driving abilities and safety metrics. Furthermore, R2SE’s integration with test-time adaptation strategies demonstrated its flexibility and effectiveness in addressing test-time domain gaps, resulting in additional improvements in driving performance. Overall, the findings underscore R2SE’s capacity to enhance the performance and safety of E2E autonomous driving systems across diverse and challenging environments.
Discussion
The discussion section of the research paper elaborates on the advancements in end-to-end (E2E) autonomous driving systems (ADS), highlighting the challenges and innovations in handling complex driving scenarios. Traditional E2E systems, which rely on modular designs, face issues such as representation misalignment and difficulties in addressing rare or hard cases. Recent approaches, including the integration of vision-language models (VLMs) and world models (WMs), aim to enhance the robustness of E2E systems by simulating diverse environments and enriching the training data. However, these methods often fall short in explicitly addressing hard-case failures. In contrast, the proposed R2SE framework introduces a self-aware refinement paradigm that dynamically identifies and addresses failure-prone scenarios, enabling a model-agnostic approach that can integrate with existing E2E architectures.
The paper also discusses the role of reinforcement learning (RL) in optimizing E2E ADS, noting that while RL has been utilized to improve driving performance in complex scenarios, it often suffers from slow convergence and overfitting. R2SE addresses these limitations by employing a residual reinforcement fine-tuning mechanism that allows for efficient adaptation to hard cases without compromising the generalist knowledge of the model. Additionally, the framework incorporates self-aware learning strategies that leverage both explicit and implicit feedback to enhance performance and mitigate catastrophic forgetting during test-time adaptation. Overall, R2SE demonstrates significant improvements in handling hard cases and maintaining generalist capabilities, positioning itself as a robust solution for the evolving challenges in autonomous driving.