DOI: https://doi.org/10.1016/j.neucom.2026.133090
تاريخ النشر: 2026-02-14
المؤلف: Vikas Dwivedi وآخرون
الموضوع الرئيسي: تقليل النماذج والشبكات العصبية
نظرة عامة
تقدم البحث Gated X-TFC، وهو إطار مبتكر مصمم لمعالجة التحديات التي تواجه الشبكات العصبية المدعومة بالفيزياء (PINNs) في حل التدرجات الحادة في مشاكل القيمة الحدية المضطربة بشكل فردي. تعتمد الطرق التقليدية غالبًا على تقسيم المجال المعقد، مما يقدم عقوبات على الواجهات ومشاكل تحسين متعددة الأهداف. يتجاوز Gated X-TFC هذه القيود من خلال تنفيذ تقسيم مجال ناعم ومتعلم باستخدام بوابات لوجستية قابلة للاشتقاق تتكيف مع عرض دوال الأساس الشعاعية (RBF) عبر المجال. لا يحافظ هذا النهج فقط على فرض شروط الحدود بدقة، بل يعزز أيضًا الكفاءة والدقة الحسابية بشكل كبير.
في اختبارات المعايير، أظهر Gated X-TFC تقليصًا كبيرًا في الخطأ مقارنةً بـ X-TFC القياسي، مستخدمًا 80% نقاط تلاقي أقل وحقق تقليصًا بنسبة 66% في وقت التدريب على مشكلة الحمل والانتشار أحادية البعد. بالإضافة إلى ذلك، يتضمن الإطار طبقة تعلم ميتا مشروطة بالمشغل تسهل بدء التشغيل الدافئ الواعي بعدم اليقين لحالات المشكلة الجديدة، مما يبسط حل المشكلات الأمامية والعكسية. تم التحقق من قابلية توسيع Gated X-TFC من خلال تطبيقه على معادلة طبقة الحدود التوأمية ومشكلة بواسون ثنائية الأبعاد مع مصدر غاوسي حاد. ستركز الأبحاث المستقبلية على توسيع المنهجية لتشمل PDEs غير الخطية وتعزيز التكامل مع الحلول السريعة وتسريع الأجهزة.
مقدمة
تناقش مقدمة الورقة التقدم في حل المشكلات الأمامية والعكسية التي تتضمن المعادلات التفاضلية الجزئية (PDEs) من خلال الشبكات العصبية المدعومة بالفيزياء (PINNs) وتقنيات تعلم المشغل ذات الصلة، مثل DeepONets و Fourier Neural Operators (FNO). على الرغم من إمكانياتها، تواجه هذه الطرق تحديات عند تطبيقها على الأنظمة المضطربة بشكل فردي والتي تتميز بتدرجات مكانية حادة أو سلوك زمني صارم. توضح الورقة هيكلها، مشيرة إلى أن القسم 2 سيستعرض PINNs، وآلات التعلم المتطرفة المدعومة بالفيزياء (PIELMs)، ونظرية الاتصال الوظيفي المتطرفة (X-TFC). سيقدم القسم 3 إطار Gated X-TFC، موضحًا مكوناته لحل المشكلات الأمامية، وتقدير المعلمات العكسية، وتعلم الميتا المشروط بالمشغل. سيعرض القسم 4 نتائج من اختبارات المعايير، بما في ذلك مشكلة الحمل والانتشار وامتدادات إلى معادلات بواسون ثنائية الأبعاد، بينما سيختتم القسم 5 النتائج.
تتوسع القسم أكثر في المنهجيات. تستخدم PINNs شبكة عصبية عميقة لتقريب حلول PDE من خلال تقليل دالة خسارة مدعومة بالفيزياء مشتقة من المتبقيات للـ PDE وشروط الحدود. في المقابل، تعتمد PIELMs على بنية طبقة مخفية واحدة مع أوزان طبقة إدخال ثابتة، مما يسمح بتقريب خطي لحل PDE وحل فعال من خلال عكس المصفوفات بدلاً من الانحدار. يعزز X-TFC هذا النهج من خلال بناء دوال تجريبية مقيدة تلبي شروط الحدود بشكل جوهري، مما يبسط عملية التحسين ويضمن تدريبًا سريعًا. تمهد المقدمة الطريق لاستكشاف تطبيقات Gated X-TFC في المشكلات المعقدة، بما في ذلك مشكلة طبقة الحدود التوأمية ومعادلة بواسون ثنائية الأبعاد مع حد مصدر حاد.
طرق
يستخدم البحث تكوينًا تجريبيًا متسقًا عبر قيم مختلفة من $\nu$، مع التركيز على المتبقيات PDE المطلقة والأخطاء المطلقة لسيناريوهات مختلفة. تتضمن التحليل تقييم حل Gated X-TFC مقابل الحل الدقيق، مع تسليط الضوء على الأداء عند $\nu = 10^{-2}$، $10^{-3}$، و $10^{-4}$. تشير النتائج إلى أن طريقة Gated X-TFC تقلل بفعالية من المتبقيات القوية، محققة دقة عالية في تقريب الحل الدقيق، خاصة بالقرب من طبقة الحدود عند $x = 1$.
تم تنفيذ آلية بوابة تكيفية باستخدام دالة لوجستية لدمج عرض دوال الأساس الشعاعية (RBF) بسلاسة. يتم تحديد عرض الانتقال، $\epsilon_b$، من خلال مجموعة من المقاييس الهندسية والمدعومة بالفيزياء، مما يضمن بقاء النموذج قويًا عبر ظروف متغيرة. تتضمن عملية التحسين استراتيجيات متعددة المستويات لتحديد موقع الانقسام الأمثل $x_s$ ومقياس هندسي $\epsilon_{\text{scale}}$، باستخدام fminbnd في MATLAB لإجراء تعديلات دقيقة. الهدف هو تقليل المتبقي PDE على مجموعة تحقق مستقلة، مع تقييم الأداء على شبكة اختبار كثيفة لتخفيف الإفراط في التكيف، مما يضمن تحليل موثوق للأخطاء وتصوير النتائج.
نتائج
في هذا القسم، يتم تقييم أداء إطار Gated X-TFC على معيار الحمل والانتشار أحادي البعد عبر أنظمة انتشار مختلفة، تحديدًا لـ $\nu \in \{10^{-2}, 10^{-3}, 10^{-4}\}$. تركز الدراسة على عدة جوانب رئيسية، بما في ذلك قابلية تفسير البوابات المتعلمة وملفات العرض، ودقة الأمام، واستعادة المعلمات العكسية، وتعلم الميتا المشروط بالمشغل. يتم مقارنة Gated X-TFC مع طرق متطورة مثل X-TFC غير المقيد، PIELM، Deep-TFC، وشبكة عصبية مدعومة بالفيزياء (PINN) كخط أساسي. تم إجراء التجارب باستخدام MATLAB R2022b على جهاز كمبيوتر محمول عالي الأداء.
تشير النتائج إلى أنه مع انخفاض معامل الانتشار $\nu$، يتحول موقع الانقسام المحسن $x^*_s$ نحو حدود التدفق (عند $x = 1$)، ويصبح ملف البوابة أكثر حدة، مما يعزز الدقة العددية داخل طبقة الحدود الضيقة بشكل متزايد. تظل المتبقيات المطلقة والأخطاء المطلقة منخفضة عبر المجال، مع قمم محلية بالقرب من الواجهة، وتطابق الحلول المتوقعة عن كثب الملفات الدقيقة دون إظهار تذبذبات زائفة. يتم تحقيق هذه الدقة دون الحاجة إلى شروط الاستمرارية أو عقوبات في الانقسام الداخلي، مما يضمن بقاء تجربة X-TFC العالمية مستمرة وتلتزم بشروط الحدود. تتماشى النتائج مع الدراسات السابقة التي قيمت أساليب النمذجة البديلة المختلفة على نفس المشكلة، مما يعزز فعالية طريقة Gated X-TFC.
مناقشة
تناقش الورقة البحثية صياغة Gated X-TFC المطبقة على مشكلة الحمل والانتشار الثابتة أحادية البعد التي تتميز بالمشغل \( L_\nu[u](x) := u'(x) – \nu u”(x) = 0 \) مع شروط حدود ديريشليت. يظهر الحل طبقة حدودية حيث يقترب معامل اللزوجة \( \nu \) من الصفر. يقترح المؤلفون حلاً تجريبيًا باستخدام تعبير مقيد يتضمن دوال الأساس الشعاعية الغاوسية (RBFs) لتلبية شروط الحدود وتحسين تمثيل الحل. تم تصميم توزيع مراكز RBF وعروضها بشكل استراتيجي لتعزيز الدقة بالقرب من الحدود، مما يكون فعالًا بشكل خاص في حل طبقات الحدود.
تشمل عملية التحسين كل من التحسينات الداخلية والخارجية، حيث تحدد التحسينات الداخلية متجه المعاملات من خلال نهج المربعات الصغرى الخطية، بينما تختار التحسينات الخارجية المعلمات الفائقة لتقليل طاقة المتبقي على شبكة تحقق. تتناول الورقة أيضًا مشكلة عكسية حيث يتم استنتاج معامل الانتشار \( \nu \) من الملاحظات المزعجة، باستخدام إطار خطي-غاوسي لربط البيانات والفيزياء دون إدخال عقوبات على شروط الحدود. تشير النتائج إلى أن طريقة Gated X-TFC تتفوق بشكل كبير على الطرق التقليدية، خاصة في السيناريوهات الصعبة ذات معاملات الانتشار المنخفضة، محققة أخطاء أقل وتكاليف حسابية أقل. يقدم المؤلفون أيضًا تعلم الميتا المشروط بالمشغل للتنبؤ بالمعلمات الفائقة المثلى للبوابة، مما يعزز كفاءة عملية التحسين من خلال توفير تهيئات مستنيرة وتقليل عدد التقييمات المطلوبة.
القيود
تسلط القيود المفروضة على طرق X-TFC و Gated X-TFC الضوء على تحدياتها في التعامل مع التدرجات الحادة للغاية، وهي مشكلة شائعة في الأساليب المدعومة بالفيزياء. على الرغم من أن آلية البوابة تقدم بعض التحسين من خلال تعزيز الدقة بشكل تكيفي، إلا أن هناك حاجة إلى مزيد من التقدم لتحقيق مزيد من القوة عبر أنظمة الاضطراب الفردية المختلفة.
بالإضافة إلى ذلك، فإن البحث الحالي يعمل بشكل أساسي كإثبات للمفهوم، مع التركيز على المشكلات المقسمة إلى ثلاثة مجالات فرعية محددة بشكل ناعم كحد أقصى. لا يزال هناك تحدٍ كبير في توسيع هذه الطرق لاستيعاب هندسيات أكثر تعقيدًا وعدد غير محدد من الأقسام بطريقة قابلة للتوسع، مما يشير إلى مجالات للاستكشاف والتطوير في المستقبل.
DOI: https://doi.org/10.1016/j.neucom.2026.133090
Publication Date: 2026-02-14
Author(s): Vikas Dwivedi et al.
Primary Topic: Model Reduction and Neural Networks
Overview
The research presents Gated X-TFC, an innovative framework designed to address the challenges faced by Physics-informed Neural Networks (PINNs) in resolving sharp gradients in singularly perturbed boundary value problems. Traditional methods often rely on complex domain decomposition, which introduces interface penalties and multi-objective optimization issues. Gated X-TFC circumvents these limitations by implementing a soft, learned domain decomposition using differentiable logistic gates that adapt the widths of radial basis function (RBF) kernels across the domain. This approach not only maintains exact boundary condition enforcement but also significantly enhances computational efficiency and accuracy.
In benchmark tests, Gated X-TFC demonstrated an order-of-magnitude reduction in error compared to standard X-TFC, utilizing 80% fewer collocation points and achieving a 66% reduction in training time on a one-dimensional convection-diffusion problem. Additionally, the framework incorporates an operator-conditioned meta-learning layer that facilitates uncertainty-aware warm-starting for new problem instances, thus streamlining both forward and inverse problem-solving. The scalability of Gated X-TFC is validated through its application to a twin boundary-layer equation and a two-dimensional Poisson problem with a sharp Gaussian source. Future research will focus on extending the methodology to nonlinear PDEs and enhancing integration with fast solvers and hardware acceleration.
Introduction
The introduction of the paper discusses the advancements in solving forward and inverse problems involving partial differential equations (PDEs) through Physics-informed Neural Networks (PINNs) and related operator-learning techniques, such as DeepONets and Fourier Neural Operators (FNO). Despite their potential, these methods face challenges when applied to singularly perturbed systems characterized by sharp spatial gradients or stiff temporal behavior. The paper outlines its structure, indicating that Section 2 will review PINNs, Physics-Informed Extreme Learning Machines (PIELMs), and the Extreme Theory of Functional Connections (X-TFC). Section 3 will introduce the Gated X-TFC framework, detailing its components for forward solving, inverse parameter estimation, and operator-conditioned meta-learning. Section 4 will present results from benchmark tests, including a convection-diffusion problem and extensions to multi-domain and 2D Poisson equations, while Section 5 will conclude the findings.
The section further elaborates on the methodologies. PINNs utilize a deep neural network to approximate PDE solutions by minimizing a physics-informed loss function derived from the residuals of the PDE and boundary conditions. In contrast, PIELMs adopt a single-hidden-layer architecture with fixed input layer weights, allowing for a linear approximation of the PDE solution and efficient resolution through matrix inversion rather than gradient descent. X-TFC enhances this approach by constructing constrained trial functions that inherently satisfy boundary conditions, thus streamlining the optimization process and ensuring rapid training. The introduction sets the stage for exploring the Gated X-TFC’s applications in complex problems, including the twin boundary layer problem and a 2D Poisson equation with a sharp source term.
Methods
The research employs a consistent experimental configuration across various values of $\nu$, focusing on the pointwise PDE residuals and absolute errors for different scenarios. The analysis includes the evaluation of the Gated X-TFC solution against the exact solution, highlighting the performance at $\nu = 10^{-2}$, $10^{-3}$, and $10^{-4}$. The results indicate that the Gated X-TFC method effectively minimizes the strong-form residual, achieving high accuracy in approximating the exact solution, particularly near the boundary layer at $x = 1$.
An adaptive gating mechanism is implemented using a logistic function to blend radial basis function (RBF) widths smoothly. The transition width, $\epsilon_b$, is determined by a combination of geometric and physics-informed scales, ensuring that the model remains robust across varying conditions. The optimization process involves bilevel strategies to identify the optimal split location $x_s$ and geometric scale $\epsilon_{\text{scale}}$, utilizing MATLAB’s fminbnd for precise adjustments. The objective is to minimize the PDE residual on an independent validation set, with performance assessed on a dense test grid to mitigate overfitting, thereby ensuring reliable error analysis and visualization of results.
Results
In this section, the performance of the Gated X-TFC framework is evaluated on the 1D convection-diffusion benchmark across varying diffusion regimes, specifically for $\nu \in \{10^{-2}, 10^{-3}, 10^{-4}\}$. The study focuses on several key aspects, including interpretability of the learned gates and width profiles, forward accuracy, inverse parameter recovery, and operator-conditioned meta-learning. The Gated X-TFC is compared against state-of-the-art methods such as ungated X-TFC, PIELM, Deep-TFC, and a baseline Physics-Informed Neural Network (PINN). The experiments were conducted using MATLAB R2022b on a high-performance laptop.
The results indicate that as the diffusion coefficient $\nu$ decreases, the optimized split location $x^*_s$ shifts towards the outflow boundary (at $x = 1$), and the gate profile sharpens, enhancing numerical resolution within the increasingly narrow boundary layer. The pointwise residuals and absolute errors remain low across the domain, with localized peaks near the interface, and the predicted solutions closely match the exact profiles without exhibiting spurious oscillations. This accuracy is achieved without the need for continuity or penalty terms at the interior split, ensuring that the global X-TFC trial remains continuous and adheres to boundary conditions. The findings align with previous benchmark studies that evaluated various surrogate modeling approaches on the same problem, reinforcing the efficacy of the Gated X-TFC method.
Discussion
The research paper discusses the Gated X-TFC formulation applied to a one-dimensional steady convection-diffusion problem characterized by the operator \( L_\nu[u](x) := u'(x) – \nu u”(x) = 0 \) with Dirichlet boundary conditions. The solution exhibits a boundary layer as the viscosity parameter \( \nu \) approaches zero. The authors propose a trial solution using a constrained expression that incorporates Gaussian radial basis functions (RBFs) to satisfy boundary conditions and optimize the representation of the solution. The distribution of RBF centers and widths is strategically designed to enhance resolution near boundaries, particularly effective for resolving boundary layers.
The optimization process involves both inner and outer optimizations, where the inner optimization determines the coefficient vector through a linear least-squares approach, while the outer optimization selects hyperparameters to minimize residual energy on a validation grid. The paper also addresses an inverse problem where the diffusion parameter \( \nu \) is inferred from noisy observations, employing a linear-Gaussian framework to couple data and physics without introducing penalties for boundary conditions. The results indicate that the Gated X-TFC method significantly outperforms traditional methods, particularly in challenging scenarios with low diffusion coefficients, achieving lower errors and computational costs. The authors further introduce operator-conditioned meta-learning to predict optimal gating hyperparameters, enhancing the efficiency of the optimization process by providing informed initializations and reducing the number of evaluations required.
Limitations
The limitations of the X-TFC and Gated X-TFC methods highlight their challenges in handling extremely sharp gradients, a common issue in physics-informed approaches. Although the gating mechanism offers some improvement by adaptively enhancing resolution, further advancements are required to achieve greater robustness across various singular perturbation regimes.
Additionally, the current research primarily serves as a proof-of-concept, focusing on problems divided into a maximum of three softly defined subdomains. There remains a significant challenge in extending these methods to accommodate more complex geometries and an arbitrary number of partitions in a scalable manner, indicating areas for future exploration and development.