الشبكات العصبية المدعومة بالفيزياء مع شبكة كولموغوروف-أرنولد الهجينة ودالة لاغرانج المعززة لحل المعادلات التفاضلية الجزئية
Physics-informed neural networks with hybrid Kolmogorov-Arnold network and augmented Lagrangian function for solving partial differential equations

شارك:
المجلة: Scientific Reports، المجلد: 15، العدد: 1
DOI: https://doi.org/10.1038/s41598-025-92900-1
PMID: https://pubmed.ncbi.nlm.nih.gov/40148388
تاريخ النشر: 2025-03-27
المؤلف: Zhaoyang Zhang وآخرون
الموضوع الرئيسي: تقليل النماذج والشبكات العصبية

نظرة عامة

تقدم ورقة البحث نموذجًا هجينًا جديدًا للترميز وفك الترميز، يُطلق عليه AL-PKAN، والذي يدمج شبكة كولموغوروف-أرنولد (KAN) ضمن إطار الشبكات العصبية المدعومة بالمعلومات الفيزيائية (PINNs) لتعزيز دقة المعادلات التفاضلية الجزئية (PDEs). تعاني الشبكات العصبية متعددة الطبقات التقليدية (MLPs) من مشكلات مثل التحيز الطيفي ونقص القابلية للتفسير، مما يمكن أن يعيق فعاليتها في تقريب الدوال في PINNs. يتناول نموذج AL-PKAN هذه التحديات من خلال استخدام وحدة متكررة محكومة (GRU) لترميز تسلسلات الإدخال إلى فضاء كامن عالي الأبعاد، تليها وحدة KAN التي تقوم بتفكيك الدوال متعددة المتغيرات إلى دوال تنشيط أحادية المتغير قابلة للتدريب باستخدام دوال B-spline للتداخل. بالإضافة إلى ذلك، يتضمن النموذج دالة لاجرانج الموسعة لإعادة تعريف دالة الخسارة، مما يسمح لعوامل العقوبة ومضاعفات لاجرانج أن تُعتبر معلمات قابلة للتعلم، وبالتالي تحسين التوازن في التحسين بين القيود.

تظهر النتائج التجريبية أن AL-PKAN يحقق دقة كبيرة وقابلية تعميم عبر مجموعة متنوعة من المعادلات التفاضلية الجزئية المرجعية، مما يشير إلى إمكانيته كركيزة لتطبيقات الذكاء الاصطناعي في حل المعادلات التفاضلية الجزئية. تؤكد الدراسة على الحاجة إلى مزيد من الاستكشاف لشبكة KAN في التعلم الآلي المدعوم بالمعلومات الفيزيائية (PIML) وتحدد اتجاهات البحث المستقبلية، بما في ذلك تطوير نماذج تحسين قائمة على المناطق واستراتيجيات تحسين من الدرجة الثانية أكثر كفاءة لمعالجة قيود الطرق الحالية، لا سيما في سيناريوهات المعادلات التفاضلية الجزئية عالية الأبعاد والمعقدة. بشكل عام، تشير النتائج إلى أن هيكل KAN يتماشى جيدًا مع الطبيعة الجوهرية لحلول المعادلات التفاضلية الجزئية، مما يمهد الطريق للتقدم في الطرق الحسابية لمشاكل الفيزياء الرياضية.

الطرق

في هذا القسم، يقدم المؤلفون المنهجية لنموذجهم المقترح، AL-PKAN، الذي يهدف إلى تحسين القابلية للتفسير والدقة لشبكات الأعصاب المدعومة بالمعلومات الفيزيائية (PINNs). يقدمون دالة لاجرانج الموسعة لتحسين دالة خسارة النموذج، معالجين قيود الطرق التقليدية للعقوبات. يتضمن الإعداد التجريبي مقارنة أداء AL-PKAN مع طرق العقوبات القائمة على المعلومات الفيزيائية عبر عدة معادلات مرجعية، باستخدام خوارزمية تسلسل سوبول لتوليد مجموعات بيانات التدريب التي تلتزم بالقيود التشغيلية والحدودية. تتكون مجموعات بيانات التدريب من 5000 عينة للتعلم غير المراقب و256 للتعلم المراقب، مع تقييم أداء النموذج باستخدام مقياس خطأ \( L^2 \) النسبي.

تشير النتائج إلى أن AL-PKAN يتفوق بشكل كبير على الطرق الأخرى، محققًا تحسينًا يتراوح بين مرتبتين إلى ثلاث مراتب في دقة التنبؤ عبر معادلات مرجعية متنوعة. يسمح تصميم النموذج بعامل عقوبة قابل للتعلم \( \sigma \)، والذي يوازن بشكل مثالي بين القيود المتعددة أثناء التدريب، على عكس النماذج السابقة التي كانت تثبت \( \sigma \) كمعلمة فائقة. يبرز المؤلفون أن هيكل AL-PKAN الهجين للترميز وفك الترميز، الذي يستخدم GRU وKAN، يعزز دقة فك الترميز العددي بينما يدير بفعالية انتهاكات القيود. تكشف ديناميات تعلم عوامل العقوبة أن \( \lambda \) يتقارب إلى توزيع مستقر، مما يشير إلى قدرة النموذج على تنظيم انتهاكات القيود بفعالية. بشكل عام، تؤكد النتائج مزايا AL-PKAN في الدقة وإدارة القيود مقارنة بالطرق الحالية المعتمدة على PINN.

المناقشة

في هذا القسم من المناقشة، يحلل المؤلفون الحالة الحالية لشبكات الأعصاب المدعومة بالمعلومات الفيزيائية (PINNs) لحل المعادلات التفاضلية الجزئية (PDEs) ويسلطون الضوء على قيودها، بما في ذلك الهياكل المبسطة للغاية وطرق التحسين غير المستقرة. ظهرت متغيرات من PINNs، تركز على تحسين الهياكل العصبية وأهداف التحسين. على سبيل المثال، دمجت بعض الدراسات الشبكات العصبية المتكررة، مثل الذاكرة طويلة وقصيرة الأجل (LSTM) ووحدات متكررة محكومة (GRU)، لالتقاط الارتباطات الزمنية بشكل أفضل في الأنظمة الفيزيائية. ومع ذلك، لا تزال التحديات قائمة، لا سيما فيما يتعلق بتوازن التحسين متعدد الأهداف وعدم استقرار دوال الخسارة.

يقدم المؤلفون أيضًا استراتيجيات تحسين جديدة، مثل دالة لاجرانج الموسعة، لتعزيز استقرار PINNs. يقترحون هيكلًا جديدًا، شبكة كولموغوروف-أرنولد المدعومة بالمعلومات الفيزيائية (AL-PKAN)، التي تجمع بين GRU لنمذجة التسلسل وشبكات كولموغوروف-أرنولد (KAN) لفك الترميز. يهدف هذا الهيكل إلى معالجة قيود PINNs التقليدية من خلال تحسين القابلية للتفسير وتقليل العبء الحسابي المرتبط بمشاكل المعادلات التفاضلية الجزئية عالية الأبعاد. يؤكد المؤلفون أن نهجهم لا يخفف فقط من المشكلات المتعلقة بزيادة عوامل العقوبة في دوال الخسارة، بل يعزز أيضًا الاستقرار العام للتحسين في النموذج، مما يحسن من قابليته للتطبيق في حل المعادلات التفاضلية الجزئية المعقدة.

Journal: Scientific Reports, Volume: 15, Issue: 1
DOI: https://doi.org/10.1038/s41598-025-92900-1
PMID: https://pubmed.ncbi.nlm.nih.gov/40148388
Publication Date: 2025-03-27
Author(s): Zhaoyang Zhang et al.
Primary Topic: Model Reduction and Neural Networks

Overview

The research paper introduces a novel hybrid encoder-decoder model, termed AL-PKAN, which integrates the Kolmogorov-Arnold network (KAN) within the framework of physics-informed neural networks (PINNs) to enhance the resolution of partial differential equations (PDEs). Traditional multilayer perceptrons (MLPs) suffer from issues such as spectral bias and lack of interpretability, which can hinder their effectiveness in approximating functions in PINNs. The AL-PKAN model addresses these challenges by employing a gated recurrent unit (GRU) to encode input sequences into a high-dimensional latent space, followed by the KAN module that decomposes multivariate functions into trainable univariate activation functions using B-spline functions for spline interpolation. Additionally, the model incorporates an augmented Lagrangian function to redefine the loss function, allowing penalty factors and Lagrangian multipliers to be treated as learnable parameters, thus improving optimization balance among constraints.

The experimental results demonstrate that AL-PKAN achieves significant accuracy and generalizability across various benchmark PDEs, suggesting its potential as a cornerstone for AI applications in solving PDEs. The study emphasizes the need for further exploration of KAN in physics-informed machine learning (PIML) and identifies future research directions, including the development of region-based optimization paradigms and more efficient second-order optimization strategies to address the limitations of current methods, particularly in high-dimensional and complex PDE scenarios. Overall, the findings indicate that KAN’s structure aligns well with the inherent nature of PDE solutions, paving the way for advancements in computational methods for mathematical physics problems.

Methods

In this section, the authors present the methodology for their proposed model, AL-PKAN, aimed at improving the interpretability and accuracy of Physics-Informed Neural Networks (PINNs). They introduce an augmented Lagrangian function to refine the model’s loss function, addressing the limitations of traditional penalty methods. The experimental setup involves comparing AL-PKAN’s performance against existing physical information penalty methods across several benchmark equations, utilizing a Sobol sequence algorithm to generate training datasets that adhere to operator and boundary constraints. The training datasets consist of 5000 samples for unsupervised learning and 256 for supervised learning, with the model’s performance evaluated using the relative \( L^2 \) error metric.

The results indicate that AL-PKAN significantly outperforms other methods, achieving one to two orders of magnitude improvement in prediction accuracy across various benchmark equations. The model’s design allows for a learnable penalty factor \( \sigma \), which optimally balances multiple constraints during training, unlike previous models that fixed \( \sigma \) as a hyperparameter. The authors highlight that AL-PKAN’s hybrid encoder-decoder architecture, which employs GRU and KAN, enhances numerical decoding accuracy while effectively managing constraint violations. The learning dynamics of the penalty factors reveal that \( \lambda \) converges to a stable distribution, indicating the model’s capability to regulate constraint violations effectively. Overall, the findings underscore AL-PKAN’s advantages in accuracy and constraint management compared to existing PINN-based methods.

Discussion

In this discussion section, the authors analyze the current state of Physics-Informed Neural Networks (PINNs) for solving partial differential equations (PDEs) and highlight their limitations, including oversimplified architectures and unstable optimization methods. Variants of PINNs have emerged, focusing on improved neural architectures and optimization objectives. For instance, some studies have integrated recurrent neural networks, such as Long Short-Term Memory (LSTM) and Gated Recurrent Units (GRU), to better capture temporal correlations in physical systems. However, challenges remain, particularly regarding the balance of multi-objective optimization and the instability of loss functions.

The authors also introduce novel optimization strategies, such as the Augmented Lagrangian function, to enhance the stability of PINNs. They propose a new architecture, the Augmented Lagrangian Physics-informed Kolmogorov-Arnold Network (AL-PKAN), which combines GRU for sequence modeling and Kolmogorov-Arnold Networks (KAN) for decoding. This architecture aims to address the limitations of traditional PINNs by improving interpretability and reducing the computational burden associated with high-dimensional PDE problems. The authors emphasize that their approach not only mitigates issues related to penalty factor inflation in loss functions but also enhances the overall optimization stability of the model, thereby improving its applicability in solving complex PDEs.