DOI: https://doi.org/10.1016/j.cma.2026.118917
تاريخ النشر: 2026-03-17
المؤلف: Luis Mandl وآخرون
الموضوع الرئيسي: تقليل النماذج والشبكات العصبية
نظرة عامة
يقدم هذا القسم شبكة المشغل العميق المدمجة في الفيزياء والمتكاملة زمنياً (PITI-DeepONet)، وهي إطار مبتكر يهدف إلى معالجة التحديات المتعلقة بنمذجة المعادلات التفاضلية الجزئية (PDEs) المعتمدة على الزمن بدقة على مدى زمني ممتد. تعاني الطرق التقليدية، مثل النشر الكامل (FR) والطرق الذاتية الانحدار (AR)، من صعوبة في التقاط الاعتماديات السببية وتعاني من تراكم الأخطاء، مما يؤدي إلى توقعات طويلة الأمد ضعيفة. تتغلب PITI-DeepONet على هذه القيود من خلال استخدام بنية مزدوجة المخرجات تتعلم مشغل المشتق الزمني من الحالة الحالية وتدمجه باستخدام طرق الخطوات الزمنية التقليدية، مما يعزز الاستقرار والدقة في التوقعات طويلة الأمد.
يظهر الإطار تحسينات كبيرة في دقة التوقع مقارنة بالطرق التقليدية، حيث تحقق تقليصات في الخطأ النسبي المتوسط \(L^2\) تصل إلى 98% عبر مجموعة متنوعة من المشكلات المرجعية، بما في ذلك معادلة الحرارة أحادية البعد ومعادلة ألين-كان ثنائية البعد. لا توفر PITI-DeepONet فقط تكاملًا موثوقًا على المدى الطويل للمعادلات التفاضلية الجزئية المعقدة، بل تسمح أيضًا بمراقبة المتبقي أثناء الاستدلال لتقييم جودة التوقع. تؤكد الخاتمة على إمكانيات البنية للتوقعات القريبة من الزمن الحقيقي مع الحد الأدنى من الحمل الحسابي، مما يشير إلى قابليتها للتطبيق على أنظمة PDE أكثر تعقيدًا وفوضى في الأبحاث المستقبلية.
مقدمة
في السنوات الأخيرة، اكتسبت المشغلون العصبيون (NOs) شهرة كنماذج بديلة فعالة لمعالجة كل من المشكلات الأمامية والعكسية عبر مجالات متنوعة، بما في ذلك التصنيع الإضافي، والطاقة النووية، والتطبيقات الطبية الحيوية. تختلف الطرق العددية التقليدية لحل المعادلات التفاضلية الجزئية (PDEs) اختلافًا جوهريًا عن تعلم المشغل، حيث تواجه الأساليب الشائعة مثل نماذج النشر الكامل (FR) والطرق الذاتية الانحدار (AR) تحديات في الاستقراء وتراكم الأخطاء، خاصة في الأنظمة المعتمدة على الزمن. تعيق هذه القيود موثوقية التوقعات طويلة الأمد، والتي تعتبر ضرورية لنمذجة بديلة فعالة.
لمعالجة هذه القضايا، قدمت التطورات الأخيرة تعديلات معمارية على NOs، مثل الشبكات الإضافية لالتقاط الاعتماديات الزمنية وآليات الذاكرة لمواجهة السلوك غير ماركوف. ومع ذلك، تعتمد العديد من هذه الطرق على حلول زمنية عامة لا تستغل بالكامل المعلومات الديناميكية الكامنة في الأنظمة المعتمدة على الزمن. لقد ظهر إطار تعلم المشغل المدمج في الزمن كحل، مما يمكّن الاستدلال القريب من الزمن الحقيقي من خلال الاستفادة من الديناميات الجوهرية للنظام وتحويل المتطلبات الحسابية إلى مرحلة غير متصلة. بناءً على هذا الإطار، يعزز مشغل الفضاء المماس الزمني المستمر المقترح تطور الزمن المتعلم من خلال دمج المنهجيات المستندة إلى الفيزياء والمستندة إلى البيانات، مع تضمين آلية توقع المتبقي. تسهل هذه الآلية تتبع الأخطاء عبر الإنترنت، مما يحسن جودة التوقع مع الحد الأدنى من الحمل الحسابي ويمهد الطريق لتعلم مشغل أكثر قوة.
طرق
في هذا القسم، يحدد المؤلفون منهجيتهم لمقارنة نهجهم المقترح ضد التقنيات المعتمدة، وخاصة النشر الكامل (FR) والنشر الذاتي الانحدار (AR). يقوم أسلوب FR بتدريب مشغل للتنبؤ بالإخراج المكاني الزمني بالكامل على مدى الفترة $t \in [0, 0.5]$ في خطوة واحدة، متجاهلاً السببية، بينما يستخدم AR ثلاث شرائح زمنية منفصلة ($t \in \{0, 0.25, 0.5\}$) لتعلم الخرائط من كل شريحة إلى التالية. تتضمن كلا الطريقتين خسائر مستندة إلى الفيزياء، حيث تطبق FR هذه الخسائر عبر الأفق التدريبي بالكامل وتركز AR على الشرائح الزمنية المحلية. يضمن المؤلفون مقارنة عادلة من خلال استخدام بيانات تدريب متطابقة مستمدة من نفس المسارات المرجعية، مع أهداف مشرفة محددة مصممة لكل طريقة.
بالإضافة إلى ذلك، يقدم المؤلفون طريقتين أساسيتين لمعادلة بورجرز أحادية البعد: الشبكات الذاتية الانحدار المقيدة بالفيزياء (PCAR) والشبكة العصبية المدمجة في الفيزياء (PINODE). تستخدم PCAR متنبئًا تلافيفيًا يدفع الحل من خلال نهج تدريب مقيد بالفيزياء، بينما تجمع PINODE بين مشفر تلقائي ونموذج عصبي لتطور الزمن في فضاء كامن، مما يفرض التناسق مع الديناميات الحاكمة. يشير المؤلفون إلى أن PINODE تعمل في الزمن المستمر، حيث تتأثر أدائها بالأبعاد الكامنة واستقرار تكامل ODE. يذكرون نتائج منشورة لـ PINODE كمرجع خارجي لتقييم دقة النشر على المدى الطويل.
نتائج
تظهر النتائج المقدمة في هذا القسم أداء طريقة PITI-DeepONet عبر مجموعة متنوعة من المعادلات التفاضلية الجزئية (PDEs)، وخاصة معادلات الحرارة، وبورجرز، وألين-كان، وكوراموتو-سيفاشينسكي (KS). تقلل الطريقة بشكل كبير من الأخطاء النسبية المتوسطة $L^2$ مقارنة بأنظمة الاستدلال التقليدية، حيث تحقق تقليصات بنسبة 84% و79% لمعادلة الحرارة أحادية البعد مقابل طرق التمثيل المحدود (FR) والتمثيل التكيفي (AR) على التوالي. بالنسبة لمعادلة بورجرز أحادية البعد، تكون التخفيضات 87% (FR) و98% (AR)، بينما لمعادلة ألين-كان ثنائية البعد، تكون التخفيضات 42% (FR) و89% (AR). تظهر معادلة KS أحادية البعد تخفيضات بنسبة 58% (FR) و61% (AR).
تم إجراء تحسين المعلمات الفائقة باستخدام Optuna، وتشير النتائج إلى أن جميع الشبكات العصبية التلافيفية (CNNs) تقاربت إلى هياكل مشابهة، مع اختلافات في الغالب في عرض الطبقات الكثيفة. تم إجراء التدريب والاستدلال على وحدة معالجة الرسومات NVIDIA A40، وتم إنشاء مجموعة البيانات خصيصًا لهذه الدراسة، لمعالجة نقص المشتقات الزمنية عالية الدقة في مجموعات البيانات الحالية. تؤكد النتائج على فعالية نهج PITI-DeepONet في تحسين الدقة في حل PDEs مع الحفاظ على الكفاءة الحسابية.
نقاش
يعيد إطار شبكة المشغل العميق المدمجة في الزمن (TI-DeepONet) صياغة التنبؤ الزمني في الأنظمة الديناميكية كمشكلة تعلم مشتق، حيث يقوم النموذج بتقريب الفضاء المماس الزمني للنظام. بدلاً من التنبؤ الذاتي الانحدار بالحالات المستقبلية، فإنه يحسب المشتق الزمني للحالة الحالية، والذي يتم دمجه بعد ذلك باستخدام طرق عددية مثل أويلر أو رانج-كوتا للتنبؤ بالحالة التالية. يدمج هذا النهج تعلم المشغل مع التكامل الزمني، مما يسمح بإدماج الأولويات الفيزيائية والأنظمة العددية بطريقة معيارية. بالمقابل، تتعلم شبكة المشغل العميق المدمجة في الفيزياء والمتكاملة زمنياً (PITI-DeepONet) مشغل المماس الزمني المستمر الذي يربط مباشرة الحالة الحالية بمشتقها الزمني، مما يفصل تعلم المشغل عن التكامل الزمني. تتيح هذه المرونة استخدام أي مُتكامل زمني قياسي أثناء الاستدلال دون الحاجة إلى أوزان تكامل قابلة للتعلم.
تستخدم عملية التدريب التفاضل التلقائي لحساب مصطلحات خسارة متنوعة، بما في ذلك المتبقي PDE، وخسائر الشروط الأولية والحدودية، وخسارة إعادة البناء، وخسارة التناسق. يتم استخدام استراتيجية أخذ عينات فريدة لضمان أن بيانات التدريب تمتد بفعالية عبر فضاء الحل، مستفيدة من المعرفة الميدانية لتعزيز تنوع الشروط الأولية. يسمح إعداد الاستدلال بتطبيق أنظمة الخطوات الزمنية المعروفة، حيث يسهل المشغل المتعلم توقعات دقيقة عبر طرق عددية متنوعة. يتم توضيح أداء PITI-DeepONet من خلال أمثلة مثل معادلة الحرارة أحادية البعد ومعادلة بورجرز، مما يظهر قدرتها على التفوق على الطرق التقليدية الذاتية الانحدار والنشر الكامل من حيث الدقة والكفاءة، مع توفير آلية لمراقبة المتبقي لتقييم جودة التوقع.
DOI: https://doi.org/10.1016/j.cma.2026.118917
Publication Date: 2026-03-17
Author(s): Luis Mandl et al.
Primary Topic: Model Reduction and Neural Networks
Overview
The section presents the Physics-Informed Time-Integrated Deep Operator Network (PITI-DeepONet), an innovative framework aimed at addressing the challenges of accurately modeling time-dependent partial differential equations (PDEs) over extended temporal horizons. Traditional methods, such as full rollout (FR) and autoregressive (AR) approaches, struggle with capturing causal dependencies and suffer from error accumulation, respectively, leading to poor long-term predictions. PITI-DeepONet overcomes these limitations by employing a dual-output architecture that learns the time-derivative operator from the current state and integrates it using classical time-stepping methods, thereby enhancing stability and accuracy in long-term predictions.
The framework demonstrates significant improvements in prediction accuracy compared to traditional methods, achieving mean relative \(L^2\) error reductions of up to 98% across various benchmark problems, including the one-dimensional heat equation and the two-dimensional Allen-Cahn equation. PITI-DeepONet not only provides reliable long-term integration of complex PDEs but also allows for residual monitoring during inference to assess prediction quality. The conclusion emphasizes the architecture’s potential for near real-time predictions with minimal computational overhead, suggesting its applicability to more complex and chaotic PDE systems in future research.
Introduction
In recent years, neural operators (NOs) have gained prominence as effective surrogate models for addressing both forward and inverse problems across various fields, including additive manufacturing, nuclear energy, and biomedical applications. Traditional numerical methods for solving partial differential equations (PDEs) differ fundamentally from operator learning, with common approaches such as full rollout (FR) models and discrete autoregressive (AR) methods facing challenges in extrapolation and error accumulation, particularly in time-dependent systems. These limitations hinder the reliability of long-term predictions, which are essential for effective surrogate modeling.
To address these issues, recent advancements have introduced architectural modifications to NOs, such as additional networks for capturing temporal dependencies and memory mechanisms to counteract non-Markovian behavior. However, many of these methods rely on generic time-series solutions that do not fully exploit the dynamical information inherent in time-dependent systems. The time-integration embedded operator learning framework has emerged as a solution, enabling near real-time inference by leveraging the system’s intrinsic dynamics and shifting computational demands to an offline phase. Building on this framework, the proposed continuous temporal tangent space operator enhances learned time evolution by integrating physics-informed and data-driven methodologies, while also incorporating a residual prediction mechanism. This mechanism facilitates online error tracking, thereby improving prediction quality with minimal computational overhead and paving the way for more robust operator learning.
Methods
In this section, the authors outline their methodology for comparing their proposed approach against established techniques, specifically Full Rollout (FR) and Autoregressive Rollout (AR). The FR method trains an operator to predict the entire spatiotemporal output over the interval $t \in [0, 0.5]$ in a single step, disregarding causality, while AR utilizes three discrete time slices ($t \in \{0, 0.25, 0.5\}$) to learn mappings from each slice to the next. Both methods incorporate physics-informed losses, with FR applying these losses across the entire training horizon and AR focusing on localized time slices. The authors ensure a fair comparison by using identical training data derived from the same reference trajectories, with specific supervised targets tailored to each method.
Additionally, the authors introduce two baseline methods for the 1D Burgers’ equation: Physics-Constrained Deep Autoregressive Networks (PCAR) and Physics-Informed Neural ODE (PINODE). PCAR employs a convolutional predictor that advances the solution through a physics-constrained training approach, while PINODE combines an autoencoder with a neural model for time evolution in a latent space, enforcing consistency with governing dynamics. The authors note that PINODE operates in continuous time, with its performance influenced by latent dimensionality and the stability of ODE integration. They report published results for PINODE as an external reference for evaluating long-horizon rollout accuracy.
Results
The results presented in this section demonstrate the performance of the PITI-DeepONet method across various partial differential equations (PDEs), specifically the Heat, Burgers’, Allen-Cahn, and Kuramoto-Sivashinsky (KS) equations. The method significantly reduces the mean relative $L^2$ errors compared to traditional inference schemes, achieving reductions of 84% and 79% for the one-dimensional heat equation against finite representation (FR) and adaptive representation (AR) methods, respectively. For the one-dimensional Burgers’ equation, the reductions are 87% (FR) and 98% (AR), while for the two-dimensional Allen-Cahn equation, the reductions are 42% (FR) and 89% (AR). The one-dimensional KS equation shows reductions of 58% (FR) and 61% (AR).
The optimization of hyperparameters was conducted using Optuna, and the results indicate that all convolutional neural networks (CNNs) converged to similar architectures, with variations primarily in the width of the dense layers. The training and inference were performed on an NVIDIA A40 GPU, and the dataset was generated specifically for this study, addressing the lack of high-accuracy time derivatives in existing datasets. The findings underscore the efficacy of the PITI-DeepONet approach in improving accuracy in solving PDEs while maintaining computational efficiency.
Discussion
The Time-Integrator embedded Deep Operator Network (TI-DeepONet) framework reformulates temporal prediction in dynamical systems as a derivative learning problem, where the model approximates the temporal tangent space of the system. Instead of autoregressively predicting future states, it computes the temporal derivative of the current state, which is then integrated using numerical methods like Euler or Runge-Kutta to forecast the next state. This approach integrates operator learning with time integration, allowing for the incorporation of physical priors and numerical schemes in a modular manner. In contrast, the Physics-Informed Time-Integrated Deep Operator Network (PITI-DeepONet) learns a continuous temporal tangent operator that directly maps the current state to its time derivative, decoupling operator learning from time integration. This flexibility allows for the use of any standard time integrator during inference without the need for learnable integration weights.
The training process utilizes automatic differentiation to compute various loss terms, including PDE residual, initial and boundary condition losses, reconstruction loss, and consistency loss. A unique sampling strategy is employed to ensure that the training data effectively spans the solution space, leveraging domain knowledge to enhance the diversity of initial conditions. The inference setup allows for the application of well-established time-stepping schemes, with the learned operator facilitating accurate predictions across various numerical methods. The performance of PITI-DeepONet is illustrated through examples such as the one-dimensional heat equation and Burgers’ equation, demonstrating its capability to outperform traditional autoregressive and full rollout methods in terms of accuracy and efficiency, while also providing a mechanism for residual monitoring to assess prediction quality.