DOI: https://doi.org/10.1371/journal.pone.0341161
PMID: https://pubmed.ncbi.nlm.nih.gov/41616040
تاريخ النشر: 2026-01-30
المؤلف: Nadim Ahmed وآخرون
الموضوع الرئيسي: تقليل النماذج والشبكات العصبية
نظرة عامة
تقدم هذه الدراسة تعلم مشغل التعزيز (ROL)، وهو إطار تحكم هجين يدمج الشبكات العميقة للمشغلين (DeepONet) لاكتساب قوانين التحكم غير المتصلة مع بقايا سياسة التقدير العميق المتأخر المزدوج (TD3) للتكيف عبر الإنترنت. يتم تقييم فعالية ROL باستخدام معادلة كوراموتو-سيفاشينسكي أحادية البعد، وهي معيار قياسي للفوضى الزمانية المكانية. تشير النتائج إلى أن ROL يقلل بشكل كبير من طاقة النظام من حالة غير متحكم فيها تبلغ 42.8 إلى حالة مستقرة تبلغ 0.40 ± 0.14، محققًا انخفاضًا بنسبة 99.1% مقارنةً بمنظم خطي-تربيعي (LQR) وانخفاضًا بنسبة 64.3% بالنسبة لوكيل TD3 النقي. بالإضافة إلى ذلك، تظهر DeepONet خسارة تدريب قدرها $7.8 \times 10^{-6}$ بعد 200 دورة، مما يسهل التقارب أسرع بمقدار 2.5 مرة إلى هضبة المكافأة مع تباين أقل بنسبة 65% مقارنةً بالخط الأساسي.
تظهر النتائج أيضًا أن ROL يقيد بشكل فعال سعات الحالة إلى ±1.8، وهو ما هو أكثر إحكامًا ثلاث مرات من TD3 النقي وأقل بمرتبة من LQR، بينما يقلل أيضًا من الطاقة في 0.19 وحدة محاكاة—أسرع بنسبة 33% من TD3 النقي. تختتم هذه الدراسة بأن إطار ROL، من خلال دمج التعميم غير المتصل مع التكيف عبر الإنترنت، يعالج عدم كفاءة العينة في التعلم المعزز الخالي من النموذج وقيود التصاميم التقليدية للتغذية الراجعة. ستهدف الأبحاث المستقبلية إلى توسيع ROL لتدفقات مضطربة ذات أبعاد أعلى، وتعزيز تقليل التباين من خلال التعلم المعزز الجماعي، واستكشاف التطبيقات في الوقت الحقيقي في الاحتراق والديناميكا الهوائية.
مقدمة
تناقش مقدمة هذه الورقة البحثية تعقيدات الأنظمة الفوضوية، مع التركيز بشكل خاص على معادلة كوراموتو-سيفاشينسكي (KS) أحادية البعد، وهي معادلة تفاضلية جزئية غير خطية (PDE) تُستخدم على نطاق واسع لنمذجة الديناميات الفوضوية في مجالات مختلفة مثل ديناميات السوائل والهندسة الكيميائية. تتضمن معادلة KS الحمل غير الخطي، والانتشار غير المستقر، والتبدد المستقر، مما يؤدي إلى سلوك فوضوي يطرح تحديات في تطبيقات التحكم مثل الاحتراق وإدارة الاضطراب. وضعت طرق التحكم التقليدية أساسًا لاستقرار مثل هذه الأنظمة، لكنها غالبًا ما تكافح مع التعقيدات التي تطرحها غير الخطية والحالات عالية الأبعاد.
أظهرت التطورات الأخيرة في تعلم المشغلين، وخاصة من خلال إطار DeepONet، وعدًا في تقريب المشغلين غير الخطيين بكفاءة وتعزيز التطبيقات في الوقت الحقيقي. تقدم هذه الورقة إطار تعلم مشغل التعزيز (ROL) الجديد الذي يجمع بين تعلم المشغل غير المتصل مع التعلم المعزز عبر الإنترنت للتحكم التكيفي في الأنظمة الفوضوية مثل معادلة KS. يهدف إطار ROL إلى تقليل تعقيد العينة وتحسين المتانة من خلال الاستفادة من مشغل متعلم مسبق لتثبيت الإجراءات أثناء استخدام سياسة بقايا خفيفة للتكيف على السياسة. تشير النتائج التجريبية إلى أن ROL يتفوق بشكل كبير على طرق التحكم التقليدية، محققًا انخفاضًا بنسبة 99.1% في الطاقة مقارنةً بمنظم خطي-تربيعي (LQR) ويظهر موثوقية أكبر وتباين أقل. توضح الورقة هيكل الأقسام التالية، التي ستفصل إطار ROL، والنتائج، والاتجاهات المستقبلية للبحث.
طرق
تركز قسم المنهجية في هذه الورقة البحثية على استقرار معادلة كوراموتو-سيفاشينسكي (KS)، وهي معادلة تفاضلية جزئية غير خطية (PDE) ذات صلة بالفوضى الزمانية المكانية في عمليات التفاعل-الانتشار وديناميات اللهب اللامع. يستخدم المؤلفون إطار تعلم مشغل التعزيز الهجين (ROL) الذي يجمع بين الشبكات العميقة للمشغلين (DeepONet) لتعلم مشغل تحكم عام غير متصل مع تقدير سياسة عميق متأخر مزدوج (TD3) لتحسين السياسة عبر الإنترنت. توضح الدراسة صياغة المشكلة، والحل العددي باستخدام الطرق الطيفية، وإطار ROL، بينما تقارن أيضًا أدائه ضد التعلم المعزز النقي ومنظم خطي-تربيعي (LQR) كخط أساسي.
بالنسبة للحل العددي، يتم معالجة معادلة KS باستخدام طريقة طيفية تعتمد على تحويل فورييه السريع (FFT)، المناسبة للمعادلات التفاضلية الجزئية ذات شروط الحدود الدورية. يتم تقسيم المجال المكاني إلى 64 نقطة متباعدة بالتساوي، مما يؤدي إلى دقة مكانية تبلغ حوالي 1.5625. يتم تعريف متجه الحالة، ويتم التعبير عن الحدود الخطية وغير الخطية في فضاء فورييه. يتم تحديث الحالة باستخدام مخطط زمن شبه ضمني، مما يضمن الاستقرار العددي من خلال تقليم الحالة المحدثة إلى النطاق [-8، 8]. تتضمن الحالة الأولية ضوضاء غاوسية لإدخال التباين. بالإضافة إلى ذلك، يتم اختيار المعلمات الفائقة لإطار ROL من خلال بحث منهجي في الشبكة والتحقق التجريبي، مما يعكس تعقيد تحديد المعلمات الفائقة المثلى بناءً على عوامل محددة للمشكلة.
نتائج
تقيم نتائج الدراسة أداء إطار تعلم مشغل التعزيز (ROL)، المشار إليه باسم DeepONet RL، مقارنةً بطريقتين أساسيتين: TD3 النقي، الذي يعتمد فقط على التعلم المعزز، ومنظم خطي-تربيعي، وهو نهج تحكم تقليدي. تشير النتائج إلى أن DeepONet RL يتفوق على كلا الخطين الأساسيين من حيث الاستقرار والكفاءة عند تطبيقه على الأنظمة الفوضوية.
تسلط التحليل الضوء على جوانب رئيسية مثل كفاءة التدريب وأداء الاستقرار، مما يبرز المزايا المقارنة لـ DeepONet RL. بشكل عام، تؤكد النتائج على فعالية الإطار في إدارة السلوكيات الديناميكية المعقدة، مما يجعله نهجًا واعدًا في مجال أنظمة التحكم.
مناقشة
تضع قسم المناقشة في الورقة تعلم مشغل التعزيز (ROL) في سياق مجالات تعلم المشغلين العصبيين، والتعلم المعزز للمعادلات التفاضلية الجزئية (PDEs)، والتحكم في الفوضى. يسلط الضوء على تطور المشغلين العصبيين، مع التركيز بشكل خاص على DeepONet ومشغلين عصبيين فوريين (FNOs)، الذين تقدموا بشكل كبير في نمذجة PDEs من خلال تعلم الخرائط في فضاءات الدوال ذات الأبعاد اللانهائية. لقد عززت التطورات الأخيرة، مثل المشغلين العصبيين المدعومين بالفيزياء وتقنيات تسريع الكم، كفاءة البيانات وقابلية التطبيق. ومن الجدير بالذكر أن عمل Bhan وآخرين (2025) يظهر قدرة المشغلين العصبيين على تعلم نوى كسب العودة للمعادلات التفاضلية الجزئية مع الحفاظ على استقرار ليابونوف، مما يوفر أساسًا نظريًا لـ ROL.
يتناول القسم أيضًا التحديات التي تواجه التعلم العميق المعزز (DRL) في الأنظمة الفوضوية، بما في ذلك عدم كفاءة العينة وعدم استقرار التدريب. يخفف ROL من هذه القضايا من خلال تدريب مشغل عصبي مسبق، مما يقلل من تكاليف الاستكشاف ويوفر سياسة مدفوعة مسبقًا لخوارزمية TD3. يتم مناقشة طرق التحكم التقليدية، مثل المنظمات الخطية-التربيعية (LQR) والتحكم التنبؤي النموذجي (MPC)، كخطوط أساسية، مع تسليط الضوء على قيودها في التعامل مع غير الخطية لمعادلة كوراموتو-سيفاشينسكي (KS). تختتم الورقة بأن ROL يمثل نهجًا هجينًا يجمع بين مزايا المشغلين العصبيين وDRL، محققًا توازنًا بين كفاءة العينة وقابلية التكيف مع الاعتراف بالتنازلات في الضمانات الرسمية للاستقرار وقابلية التفسير.
القيود
يسلط قسم القيود في الورقة البحثية الضوء على كل من نقاط القوة والقيود لإطار تعلم التعزيز DeepONet (RL) في التحكم في الأنظمة الفوضوية. من الجدير بالذكر أن DeepONet RL يظهر قمعًا كبيرًا للفوضى، محققًا انخفاضًا بنسبة 99.1% في الطاقة النهائية مقارنةً بمنظم خطي-تربيعي (LQR) وانخفاضًا بنسبة 64.6% بالنسبة لـ TD3 النقي، بينما يظهر أيضًا تباينًا أقل. ومع ذلك، قد تتجاهل دقة الإطار الحالية (n_x = 64) الهياكل الفوضوية الدقيقة، وقد لا تكون أفقه المكون من 100 خطوة كافية لتقييم الاستقرار على المدى الطويل، مما يشير إلى مجالات للتحسين في المستقبل.
على الرغم من مزاياها، مثل تحسين كفاءة العينة والتقارب الموثوق للسياسة، تواجه الإطار قيودًا تؤثر على متانتها التشغيلية. تشمل هذه القيود قيودًا على الدقة (n_x ≤ 128)، وعدم التحقق من التحكم على المدى الطويل لأكثر من وحدتين زمنيتين، والحساسية للمعلمات الفائقة، وغياب الضمانات الرسمية للتطبيقات الحرجة للسلامة. بالإضافة إلى ذلك، فإن قابلية تفسير وحدة التحكم محدودة، وعملية التدريب تستغرق وقتًا طويلاً (4-5 ساعات)، مما قد يعيق النشر السريع. يوصي المؤلفون بأن يأخذ الممارسون في الاعتبار سياق الاستخدام: DeepONet RL مفيد للعمليات في الوقت الحقيقي مع أبعاد نظام معتدلة، بينما تعتبر الطرق التقليدية مفضلة للسيناريوهات التي تتطلب استقرارًا مثبتًا وضمانات طويلة الأجل.
DOI: https://doi.org/10.1371/journal.pone.0341161
PMID: https://pubmed.ncbi.nlm.nih.gov/41616040
Publication Date: 2026-01-30
Author(s): Nadim Ahmed et al.
Primary Topic: Model Reduction and Neural Networks
Overview
This study introduces Reinforcement Operator Learning (ROL), a hybrid control framework that integrates Deep Operator Networks (DeepONet) for offline control law acquisition with a Twin-Delayed Deep Deterministic Policy Gradient (TD3) residual for online adaptation. The effectiveness of ROL is evaluated using the one-dimensional Kuramoto-Sivashinsky equation, a standard benchmark for spatio-temporal chaos. The results indicate that ROL significantly reduces the system’s energy from an uncontrolled state of 42.8 to a steady-state of 0.40 ± 0.14, achieving a 99.1% reduction compared to a linear-quadratic regulator (LQR) and a 64.3% reduction relative to a pure TD3 agent. Additionally, DeepONet demonstrates a training loss of $7.8 \times 10^{-6}$ after 200 epochs, facilitating a 2.5-fold faster convergence to the reward plateau with 65% lower variance than the baseline.
The findings further reveal that ROL effectively confines state amplitudes to ±1.8, which is three times tighter than pure TD3 and an order of magnitude lower than LQR, while also halving the energy in 0.19 simulation units—33% faster than pure TD3. This study concludes that the ROL framework, by combining offline generalization with online adaptability, addresses the sample inefficiency of model-free reinforcement learning and the limitations of classical feedback designs. Future research will aim to extend ROL to higher-dimensional turbulent flows, enhance variance reduction through ensemble reinforcement learning, and explore real-time applications in combustion and aerodynamics.
Introduction
The introduction of this research paper discusses the complexities of chaotic systems, particularly focusing on the one-dimensional Kuramoto-Sivashinsky (KS) equation, which is a nonlinear partial differential equation (PDE) widely used to model chaotic dynamics in various fields such as fluid dynamics and chemical engineering. The KS equation incorporates nonlinear convection, destabilizing diffusion, and stabilizing dissipation, leading to chaotic behavior that poses challenges in control applications like combustion and turbulence management. Traditional control methods have laid a foundation for stabilizing such systems, but they often struggle with the complexities introduced by nonlinearity and high-dimensional states.
Recent advancements in operator learning, particularly through the DeepONet framework, have shown promise in efficiently approximating nonlinear operators and enhancing real-time applications. This paper introduces a novel Reinforcement Operator Learning (ROL) framework that combines offline operator learning with online reinforcement learning to adaptively control chaotic systems like the KS equation. The ROL framework aims to reduce sample complexity and improve robustness by leveraging a learned operator prior for stabilizing actions while employing a lightweight residual policy for on-policy adaptation. Experimental results indicate that ROL significantly outperforms traditional control methods, achieving a 99.1% energy reduction compared to Linear Quadratic Regulator (LQR) and demonstrating greater reliability and lower variability. The paper outlines the structure of the subsequent sections, which will detail the ROL framework, results, and future directions for research.
Methods
The methodology section of this research paper focuses on the stabilization of the Kuramoto-Sivashinsky (KS) equation, a nonlinear partial differential equation (PDE) relevant to spatiotemporal chaos in reaction-diffusion processes and laminar flame dynamics. The authors employ a hybrid Reinforcement Operator Learning (ROL) framework that combines Deep Operator Networks (DeepONet) for offline learning of a generalized control operator with Twin Delayed Deep Deterministic Policy Gradient (TD3) for online policy refinement. The study outlines the problem formulation, numerical solution using spectral methods, and the ROL framework, while also comparing its performance against pure reinforcement learning and a Linear Quadratic Regulator (LQR) baseline.
For the numerical solution, the KS equation is addressed using a spectral method based on the Fast Fourier Transform (FFT), suitable for PDEs with periodic boundary conditions. The spatial domain is discretized into 64 equally spaced points, resulting in a spatial resolution of approximately 1.5625. The state vector is defined, and the linear and nonlinear terms are expressed in Fourier space. The state is updated using a semi-implicit time-stepping scheme, ensuring numerical stability by clipping the updated state to the range [-8, 8]. The initial condition incorporates Gaussian noise to introduce variability. Additionally, the hyperparameter selection for the ROL framework is conducted through systematic grid search and empirical validation, reflecting the complexity of determining optimal hyperparameters based on problem-specific factors.
Results
The results of the study assess the performance of the Reinforcement Operator Learning (ROL) framework, referred to as DeepONet RL, in comparison to two baseline methods: Pure TD3, which relies solely on reinforcement learning, and the Linear-Quadratic Regulator, a classical control approach. The findings indicate that DeepONet RL outperforms both baselines in terms of stabilization and efficiency when applied to chaotic systems.
The analysis highlights key aspects such as training efficiency and stabilization performance, emphasizing the comparative advantages of DeepONet RL. Overall, the results underscore the framework’s effectiveness in managing complex dynamic behaviors, positioning it as a promising approach in the field of control systems.
Discussion
The discussion section of the paper contextualizes Reinforcement Operator Learning (ROL) within the fields of neural operator learning, reinforcement learning for partial differential equations (PDEs), and chaos control. It highlights the evolution of neural operators, particularly emphasizing DeepONet and Fourier Neural Operators (FNOs), which have significantly advanced the modeling of PDEs by learning mappings in infinite-dimensional function spaces. Recent developments, such as physics-informed neural operators and quantum acceleration techniques, have further enhanced data efficiency and applicability. Notably, the work of Bhan et al. (2025) demonstrates the capability of neural operators to learn PDE backstepping gain kernels while maintaining Lyapunov stability, providing a theoretical foundation for ROL.
The section also addresses the challenges faced by deep reinforcement learning (DRL) in chaotic systems, including sample inefficiency and training instability. ROL mitigates these issues by pretraining a neural operator, which reduces exploration costs and provides a warm-started policy for the TD3 algorithm. Classical control methods, such as Linear Quadratic Regulators (LQR) and model predictive control (MPC), are discussed as baselines, with their limitations in handling the nonlinearity of the Kuramoto-Sivashinsky (KS) equation highlighted. The paper concludes that ROL represents a hybrid approach that combines the strengths of neural operators and DRL, achieving a balance between sample efficiency and adaptability while acknowledging the trade-offs in formal stability guarantees and explainability.
Limitations
The section on limitations of the research paper highlights both the strengths and constraints of the DeepONet Reinforcement Learning (RL) framework in controlling chaotic systems. Notably, DeepONet RL demonstrates significant chaos suppression, achieving a 99.1% reduction in final energy compared to Linear Quadratic Regulator (LQR) and a 64.6% reduction relative to Pure TD3, while also exhibiting lower variability. However, the framework’s current spatial resolution (n_x = 64) may overlook finer chaotic structures, and its 100-step horizon may not adequately evaluate long-term stability, suggesting areas for future enhancement.
Despite its advantages, such as improved sample efficiency and reliable policy convergence, the framework faces limitations that affect its operational robustness. These include constraints on resolution (n_x ≤ 128), unverified long-term control beyond two time units, sensitivity to hyperparameters, and a lack of formal guarantees for safety-critical applications. Additionally, the interpretability of the controller is limited, and the training process is time-consuming (4-5 hours), which may hinder rapid deployment. The authors recommend that practitioners consider the context of use: DeepONet RL is beneficial for real-time operations with moderate system dimensions, while classical methods are preferable for scenarios requiring provable stability and long-term assurances.