تصميم مشترك للتحكم متعدد الأجيال مدعوم بالتوأم الرقمي مع التعلم العميق المعزز Digital Twin-Enabled Multigeneration Control Co-Design With Deep Reinforcement Learning

شارك:
المجلة: Journal of Mechanical Design، المجلد: 148، العدد: 7
DOI: https://doi.org/10.1115/1.4072056
تاريخ النشر: 2026-05-29
المؤلف: Ying-Kuan Tsai وآخرون
الموضوع الرئيسي: التحول الرقمي في الصناعة

نظرة عامة

تقدم ورقة البحث إطار عمل مدعوم بتوأم رقمي (DT) لتصميم التحكم متعدد الأجيال (CCD) الذي يدمج التعلم العميق المعزز (DRL) لتحسين كل من التصميمات الفيزيائية وأنظمة التحكم في التطبيقات الديناميكية والمستقلة. يتناول هذا النهج عدم القدرة على التنبؤ بالشكوك في العالم الحقيقي من خلال استخدام استراتيجية تصميم متعددة الأجيال، حيث تُستخدم البيانات من كل دورة حياة منتج لإبلاغ التكرارات اللاحقة، مما يعزز القوة والكفاءة. يستفيد الإطار من تقنية DT لإنشاء تمثيلات افتراضية متطورة للأنظمة، مما يسمح بالاستشعار في الوقت الحقيقي، وتحديث النماذج، وإعادة التحسين التكيفية. يتم إثبات فعالية هذا الإطار من خلال نظام تعليق نشط، حيث يؤدي دمج DT و DRL إلى تحسين الأداء الديناميكي، والقوة، ومسارات التحكم الأكثر سلاسة.

تناقش الورقة أيضًا القيود، وخاصة الحاجة إلى فترات تدريب واسعة لتحقيق تقارب مستقر في عملية التحسين المشترك، وهو أمر أساسي للتعميم. تشمل اتجاهات البحث المستقبلية دمج التحكم التنبؤي بالنموذج (MPC) لتعزيز التخطيط على المدى الطويل وكفاءة العينة، بالإضافة إلى توسيع تطبيق الإطار على سيناريوهات تعليق نشط مختلفة عبر أنواع المركبات وظروف القيادة المختلفة. تشير قابلية التكيف في المنهجية إلى إمكانية تطبيقها في مجالات هندسية أخرى، مثل توربينات الرياح والمركبات المستقلة، حيث يكون التفاعل بين التحكم والتصميم الفيزيائي أمرًا حاسمًا.

مقدمة

تناقش مقدمة ورقة البحث الاعتماد المتزايد على الأنظمة المستقلة، وخاصة في التطبيقات مثل المركبات ذاتية القيادة والروبوتات، حيث يكون التكيف مع البيئات غير المؤكدة أمرًا أساسيًا. غالبًا ما تفصل طرق التصميم التقليدية بين تصميم النظام الفيزيائي وسياسة التحكم، مما يؤدي إلى أداء دون المستوى الأمثل. يعالج تصميم التحكم المشترك (CCD) هذا من خلال تحسين كلاهما في وقت واحد، كما يتضح من أنظمة التعليق النشطة التي تتكيف في الوقت الحقيقي لتعزيز أداء المركبة تحت ظروف متغيرة. ومع ذلك، غالبًا ما تعتمد طرق CCD الحالية على نماذج اضطراب محددة مسبقًا، مما يمكن أن يحد من قوتها في سيناريوهات العالم الحقيقي غير المتوقعة.

لتجاوز هذه القيود، تسلط الورقة الضوء على إمكانيات الأساليب المدفوعة بالبيانات، وخاصة تلك التي تستخدم التعلم المعزز (RL)، للتكيف المستمر مع نماذج النظام بناءً على بيانات العالم الحقيقي. يتم مناقشة صيغتين رئيسيتين: تحسين على مستويين، حيث يتم تحسين معلمات الأجهزة وسياسات التحكم بشكل منفصل، ونموذج “الأجهزة كسياسة”، الذي يدمج التصميم الميكانيكي في سياسة التحكم من أجل تحسين متزامن. يتم تقديم إدخال تقنية التوأم الرقمي (DT) كحل تحويلي، مما يمكّن من استيعاب البيانات المستمرة وإعادة التحسين التكيفية، مما يعزز قابلية التكيف للأنظمة مثل تعليقات المركبات. تقترح الورقة إطار عمل CCD جديد يستفيد من التعلم العميق المعزز (DRL) ومفاهيم التصميم متعدد الأجيال، بهدف تحسين كل من دقة النماذج الرقمية وأداء الأنظمة الفيزيائية مع مرور الوقت. تشمل المساهمات الرئيسية دمج طرق قياس الشكوك والتحقق من الصحة من خلال دراسة حالة نظام تعليق نشط، مما يوضح قدرة الإطار على التكيف مع الظروف غير المؤكدة أثناء تحسين كل من التصميم وسياسات التحكم.

نقاش

تتناول قسم النقاش في الورقة مفهوم تصميم التحكم المشترك (CCD)، الذي يدمج تصميم النظام الفيزيائي واستراتيجيات التحكم لتحسين أداء النظام. يتم تسليط الضوء على صيغتين رئيسيتين لـ CCD: المتزامنة والمتداخلة. يقوم النهج المتزامن بتحسين كل من متغيرات التصميم وسياسات التحكم في إطار عمل موحد، بينما يفصل النهج المتداخل بين الاثنين في حلقات تحسين متميزة. يقترح المؤلفون طريقة CCD متزامنة تستخدم تقنيات قائمة على التعلم لتعزيز قابلية التكيف في البيئات الديناميكية من خلال الاستفادة من البيانات في الوقت الحقيقي.

تتعمق الورقة أيضًا في التعلم المعزز (RL) كإطار قوي لصنع القرار المتسلسل، وخاصة في سياق التصميم المشترك للروبوتات. تصف كيف يتجاوز التعلم العميق المعزز (DRL) قيود طرق RL التقليدية، مما يمكّن من تحسين سياسات التحكم في فضاءات معقدة وعالية الأبعاد. يؤكد المؤلفون على إمكانيات DRL في التصميم المشترك للروبوتات، حيث يتم تحسين كل من الشكل الفيزيائي وسياسات التحكم للروبوتات في وقت واحد، مما يؤدي إلى تحسين قابلية التكيف والأداء في البيئات غير المؤكدة. يتضمن إطار CCD المقترح DRL ضمن نموذج تصميم متعدد الأجيال، مما يسهل تحسينًا تكراريًا لكل من تصميمات النظام واستراتيجيات التحكم بناءً على البيانات التشغيلية، مما يعزز القوة والكفاءة العامة للنظام.

Journal: Journal of Mechanical Design, Volume: 148, Issue: 7
DOI: https://doi.org/10.1115/1.4072056
Publication Date: 2026-05-29
Author(s): Ying-Kuan Tsai et al.
Primary Topic: Digital Transformation in Industry

Overview

The research paper presents a Digital Twin (DT)-enabled framework for Multi-generation Control Co-Design (CCD) that integrates Deep Reinforcement Learning (DRL) to optimize both physical designs and control systems in dynamic and autonomous applications. This approach addresses the unpredictability of real-world uncertainties by utilizing a multi-generation design strategy, where data from each product lifecycle informs subsequent iterations, enhancing robustness and efficiency. The framework leverages DT technology to create evolving virtual representations of systems, allowing for real-time sensing, model updates, and adaptive re-optimization. The effectiveness of this framework is demonstrated through an active suspension system, where the integration of DT and DRL leads to improved dynamic performance, robustness, and smoother control trajectories.

The paper also discusses limitations, particularly the requirement for extensive training epochs to achieve stable convergence in the joint optimization process, which is essential for generalizability. Future research directions include the incorporation of model predictive control (MPC) to enhance long-term planning and sample efficiency, as well as expanding the application of the framework to various active suspension scenarios across different vehicle types and driving conditions. The methodology’s adaptability suggests its potential applicability to other engineering domains, such as wind turbines and autonomous vehicles, where the interplay between control and physical design is critical.

Introduction

The introduction of the research paper discusses the growing adoption of autonomous systems, particularly in applications like self-driving vehicles and robotics, where adaptability to uncertain environments is essential. Traditional design methods often separate the physical system design from the control policy, leading to suboptimal performance. Control Co-Design (CCD) addresses this by optimizing both simultaneously, as exemplified by active suspension systems that adjust in real-time to enhance vehicle performance under varying conditions. However, existing CCD methods often rely on predefined disturbance models, which can limit their robustness in unpredictable real-world scenarios.

To overcome these limitations, the paper highlights the potential of data-driven approaches, particularly those utilizing reinforcement learning (RL), to continuously adapt system models based on real-world data. Two primary formulations are discussed: bi-level optimization, where hardware parameters and control policies are optimized separately, and the “hardware as policy” paradigm, which integrates mechanical design into the control policy for simultaneous optimization. The introduction of Digital Twin (DT) technology is presented as a transformative solution, enabling continuous data assimilation and adaptive re-optimization, thus enhancing the adaptability of systems like vehicle suspensions. The paper proposes a novel CCD framework that leverages Deep Reinforcement Learning (DRL) and multi-generational design concepts, aiming to improve both the accuracy of digital models and the performance of physical systems over time. Key contributions include the integration of uncertainty quantification methods and validation through an active suspension system case study, demonstrating the framework’s ability to adapt to uncertain conditions while optimizing both design and control policies.

Discussion

The discussion section of the paper elaborates on the concept of Control Co-Design (CCD), which integrates physical system design and control strategies to optimize system performance. Two primary formulations of CCD are highlighted: simultaneous and nested. The simultaneous approach optimizes both design variables and control policies in a unified framework, while the nested approach separates the two into distinct optimization loops. The authors propose a simultaneous CCD method that utilizes learning-based techniques to enhance adaptability in dynamic environments by leveraging real-time data.

The paper also delves into Reinforcement Learning (RL) as a powerful framework for sequential decision-making, particularly in the context of robotic co-design. It describes how Deep Reinforcement Learning (DRL) overcomes the limitations of traditional RL methods, enabling the optimization of control policies in complex, high-dimensional spaces. The authors emphasize the potential of DRL in robotic co-design, where both the physical morphology and control policies of robots are optimized simultaneously, leading to improved adaptability and performance in uncertain environments. The proposed CCD framework incorporates DRL within a multi-generation design paradigm, facilitating iterative refinement of both system designs and control strategies based on operational data, thereby enhancing overall system robustness and efficiency.