DOI: https://doi.org/10.1016/j.cma.2024.116904
تاريخ النشر: 2024-03-18
المؤلف: Sergio Rojas وآخرون
الموضوع الرئيسي: تقليل النماذج والشبكات العصبية
نظرة عامة
في هذا القسم، يقدم المؤلفون نسخة قوية من طريقة الشبكات العصبية المدعومة بالمعلومات الفيزيائية المتغيرة (RVPINNs)، والتي تعزز إطار عمل VPINNs الحالي. تحدد طريقة RVPINNs دالة خسارة تربيعية باستخدام صيغة متغيرة من نوع بيتروف-غاليركين للمعادلات التفاضلية الجزئية (PDEs)، حيث يتم تمثيل مساحة التجربة بواسطة مجموعة الشبكات العصبية العميقة (DNN) وتكون مساحة الاختبار مساحة متجهية ذات أبعاد محدودة. على عكس VPINNs، التي تعتمد على دوال أساسية محددة لمساحة الاختبار، تقلل RVPINNs خسارة بناءً على المعيار الثنائي المنفصل للبقايا. توفر هذه التعريف الجديد للخسارة مقدرًا موثوقًا للخطأ الحقيقي في معيار الطاقة، مشروطًا بوجود مشغل فورتين محلي. يتحقق المؤلفون من أداء وقوة RVPINNs من خلال اختبارات عددية على مشاكل الانتقال والانتشار المختلفة، مما يظهر أن النتائج تتماشى مع توقعاتهم النظرية.
في استنتاجاتهم، يحدد المؤلفون إطارًا رياضيًا عامًا لبناء دوال خسارة قوية بناءً على VPINNs. يقومون بتعميم تعريف دالة الخسارة لاستيعاب دالة اختبار واحدة، والتي يتم تحديدها كممثل ريز لل residual الضعيف على مساحة اختبار منفصلة. يتضمن الإطار عكس مصفوفة غرام المرتبطة بالضرب الداخلي، مما يثبت أن الخطأ الحقيقي في معيار الطاقة يعادل معيار اختبار مقدر خطأ البقايا. يتم إثبات قوة الطريقة من خلال تقديم معيار اختبار يضمن استقرار inf-sup على المستوى المستمر. كما يظهر المؤلفون أن مقدر الخطأ بعد ذلك قوي وغير حساس لاختيار دوال الأساس. تشمل اتجاهات البحث المستقبلية تطبيق الإطار على عائلات PDE أخرى، وتوسيعه إلى صيغ غير متوافقة، وإجراء دراسات كفاءة تتعلق بتكوينات مختلفة.
مقدمة
تتناول مقدمة الورقة التطبيق المتزايد لتقنيات التعلم العميق (DL)، وخاصة الشبكات العصبية المدعومة بالمعلومات الفيزيائية (PINNs)، في حل المشكلات الكلاسيكية في الفيزياء والرياضيات، مثل تقريب الحلول للمعادلات التفاضلية الجزئية (PDEs). بينما أظهرت PINNs وعدًا من خلال دمج القوانين الفيزيائية الحاكمة في عمليات التعلم الخاصة بها، فإنها تواجه صعوبات مع المشكلات التي تتميز بانخفاض انتظام البيانات، حيث يتم تمثيل الحلول بشكل أفضل في شكل متغير. لمعالجة هذه القيود، تم اقتراح PINNs المتغيرة (VPINNs)، باستخدام إطار عمل بيتروف-غاليركين. ومع ذلك، فإن VPINNs حساسة لاختيار دوال اختبار الأساس، مما يؤثر على استقرارها وقوتها.
يقدم المؤلفون نسخة قوية من الشبكات العصبية المدعومة بالمعلومات الفيزيائية المتغيرة (RVPINNs) التي تهدف إلى التغلب على أوجه القصور في VPINNs من خلال تقليل البقايا في معيار ثنائي منفصل. تستخدم هذه الطريقة دالة اختبار واحدة، وهي تمثيل ريز للبقايا الضعيفة، وتحدد دالة خسارة قوية أقل اعتمادًا على اختيار دوال الأساس. توضح الورقة الإطار الرياضي لـ RVPINNs، مع التأكيد على أهمية اختيار ضرب داخلي مناسب في مساحة الاختبار ومزايا استخدام تمثيل ريز. كما يبرز المؤلفون إمكانيات RVPINNs في حل المشكلات العكسية ويحددون هيكل الورقة، الذي يتضمن أقسامًا حول الصياغة المتغيرة، والمنهجية، وتقديرات الخطأ، والاختبارات العددية التي تظهر قوة النهج المقترح.
مناقشة
في هذا القسم، يناقش المؤلفون الإطار لتقريب الحلول للمعادلات التفاضلية الجزئية (PDEs) باستخدام الشبكات العصبية المدعومة بالمعلومات الفيزيائية المتغيرة (VPINNs) ويقدمون نسخة قوية تعرف باسم الشبكات العصبية المدعومة بالمعلومات الفيزيائية المتغيرة القوية (RVPINNs). يتم صياغة المشكلة المتغيرة الأساسية كالبحث عن \( u \in U \) بحيث تكون البقايا الضعيفة \( r(u, v) = l(v) – a(u, v) = 0 \) لجميع \( v \in V \)، حيث \( a(\cdot, \cdot) \) هو شكل ثنائي يحقق شروط استقرار معينة. يثبت المؤلفون أن وجود حل فريد مضمون من خلال نظرية باناش-نيتشاس-بابوشكا، مما يؤدي إلى تقدير مسبق لمعيار الحل.
يعزز إطار RVPINNs النهج الكلاسيكي لـ VPINNs من خلال تعريف دالة خسارة تتضمن ممثل ريز للبقايا الضعيفة، مما يسمح بتقدير خطأ أكثر قوة. يستخرج المؤلفون تقديرات خطأ بعدية تظهر موثوقية وكفاءة الممثل الباقي كمقدر للخطأ. كما يقدمون شبه مُصغرات لمعالجة السيناريوهات التي قد لا تنطبق فيها الافتراضات القياسية، مما يوسع من قابلية تطبيق طريقتهم. يختتم القسم بأمثلة عددية تتحقق من الاستراتيجية المقترحة، خاصة في مشكلات الانتشار-الانتقال الصعبة، مما يظهر فعالية RVPINNs في تقريب الحلول التي قد لا تنتمي إلى فضاءات الدوال التقليدية.
DOI: https://doi.org/10.1016/j.cma.2024.116904
Publication Date: 2024-03-18
Author(s): Sergio Rojas et al.
Primary Topic: Model Reduction and Neural Networks
Overview
In this section, the authors present a Robust version of the Variational Physics-Informed Neural Networks method (RVPINNs), which enhances the existing VPINNs framework. The RVPINNs approach defines a quadratic loss functional using a Petrov-Galerkin-type variational formulation of partial differential equations (PDEs), where the trial space is represented by a Deep Neural Network (DNN) manifold and the test space is a finite-dimensional vector space. Unlike VPINNs, which rely on specific basis functions for the test space, RVPINNs minimize a loss based on the discrete dual norm of the residual. This novel loss definition offers a reliable estimator of the true error in the energy norm, contingent upon the existence of a local Fortin operator. The authors validate the performance and robustness of RVPINNs through numerical tests on various advection-diffusion problems, demonstrating that the results are consistent with their theoretical predictions.
In their conclusions, the authors outline a general mathematical framework for constructing robust loss functionals based on VPINNs. They generalize the loss functional definition to accommodate a single test function, which is identified as the Riesz representative of the weak residual over a discrete test space. The framework incorporates the inversion of the Gram matrix associated with the inner product, proving that the true error in the energy norm is equivalent to the test norm of the residual error estimator. The robustness of the method is established through the introduction of a test norm that ensures inf-sup stability at the continuous level. The authors also demonstrate that their a posteriori error estimator is robust and insensitive to the choice of basis functions. Future research directions include applying the framework to other PDE families, extending it to nonconforming formulations, and conducting efficiency studies related to various configurations.
Introduction
The introduction of the paper discusses the growing application of Deep Learning (DL) techniques, particularly Physics Informed Neural Networks (PINNs), in solving classical problems in physics and mathematics, such as approximating solutions to Partial Differential Equations (PDEs). While PINNs have shown promise by integrating governing physical laws into their learning processes, they struggle with problems characterized by low data regularity, where solutions are better represented in a variational form. To address this limitation, Variational PINNs (VPINNs) were proposed, utilizing a Petrov-Galerkin framework. However, VPINNs are sensitive to the choice of basis test functions, which affects their stability and robustness.
The authors introduce a Robust version of Variational Physics-Informed Neural Networks (RVPINNs) that aims to overcome the shortcomings of VPINNs by minimizing the residual in a discrete dual norm. This approach employs a single test function, the Riesz representation of the weak residual, and defines a robust loss function that is less dependent on the choice of basis functions. The paper outlines the mathematical framework for RVPINNs, emphasizing the importance of selecting an appropriate inner product in the test space and the advantages of using the Riesz representation. The authors also highlight the potential of RVPINNs in solving inverse problems and outline the structure of the paper, which includes sections on the variational formulation, methodology, error estimates, and numerical tests demonstrating the robustness of the proposed approach.
Discussion
In this section, the authors discuss the framework for approximating solutions to partial differential equations (PDEs) using Variational Physics-Informed Neural Networks (VPINNs) and introduce a robust variant known as Robust Variational Physics-Informed Neural Networks (RVPINNs). The foundational variational problem is framed as finding \( u \in U \) such that the weak residual \( r(u, v) = l(v) – a(u, v) = 0 \) for all \( v \in V \), where \( a(\cdot, \cdot) \) is a bilinear form satisfying certain stability conditions. The authors establish that the existence of a unique solution is guaranteed by the Banach-Nečas-Babuška theorem, leading to an a priori estimate for the solution norm.
The RVPINNs framework enhances the classical VPINNs approach by defining a loss functional that incorporates a Riesz representative of the weak residual, allowing for more robust error estimation. The authors derive a posteriori error estimates that demonstrate the reliability and efficiency of the residual representative as an error estimator. They also introduce quasi-minimizers to address scenarios where the standard assumptions may not hold, thus broadening the applicability of their method. The section concludes with numerical examples that validate the proposed strategy, particularly in challenging diffusion-advection problems, showcasing the effectiveness of the RVPINNs in approximating solutions that may not belong to traditional function spaces.