DOI: https://doi.org/10.1090/mcom/4220
تاريخ النشر: 2026-06-23
المؤلف: Alexander Keller وآخرون
الموضوع الرئيسي: تقليل النماذج والشبكات العصبية
نظرة عامة
في هذه الورقة، يحقق المؤلفون في الشبكات العصبية العميقة (DNNs) مع دوال تنشيط سلسة كمقربات لدوال عالية الأبعاد، سلسة ولكن مكلفة حسابيًا. يقدمون نموذجًا جديدًا من DNNs الدورية، فعّال بشكل خاص للدوال المستهدفة الدورية عند تدريبها باستخدام نقاط شبكة كوازى-مونت كارلو. مساهمة كبيرة في الدراسة هي اشتقاق حدود صريحة لجميع المشتقات المختلطة لـ DNNs فيما يتعلق بمعلمات الإدخال الخاصة بها، والتي تعتمد على معلمات الشبكة ودالة التنشيط المختارة، بينما تظل مستقلة عن الدالة المستهدفة وبيانات التدريب.
يؤكد المؤلفون أنه من خلال فرض قيود محددة على معلمات الشبكة لتتوافق مع ميزات الانتظام للدوال المستهدفة، يمكن لـ DNNs مع $N$ نقاط تدريب مصممة أن تحقق حد خطأ تعميم قدره $\text{tol} + O(N^{-r/2})$، حيث تمثل $\text{tol} \in (0, 1)$ تسامح خطأ التدريب، و$r = 1/p^*$، مع كون $p^*$ هو أس exponent التجميع لسلسلة تدهور المتغير المدخل. كما توضح الورقة حدود الانتظام للدوال التنشيط الشائعة الاستخدام مثل sigmoid وtanh وswish، وتظهر من خلال التجارب العددية أن DNNs المدربة مع تنظيم مصمم تتفوق على تلك التي تستخدم تنظيم $\ell^2$ القياسي في سياق PDEs البيضاوية المعاملات. تشير النتائج إلى أن حدود الانتظام المستمدة قابلة للتطبيق على نطاق واسع عبر مختلف الأطر النظرية واستراتيجيات التدريب.
مقدمة
تتناول مقدمة هذه الورقة البحثية التحدي المتمثل في تقريب خرائط البيانات إلى الملاحظات (DtOs) بكفاءة في المشكلات المعتمدة على الفيزياء، وخاصة تلك التي تتضمن معادلات تفاضلية جزئية (PDEs) معلمات. الهدف هو حساب الملاحظات \( G(y) \in Z \) من بيانات الإدخال \( y \in Y \)، حيث \( Y \) هو مجموعة فرعية من \( \mathbb{R}^s \). يمكن أن تختلف الملاحظات في التعقيد، إما تمثل قيمة متوسطة واحدة أو متجه من قيم الحل عند نقاط شبكة العناصر المحدودة. يبرز المؤلفون “لعنة الأبعاد” التي تعقد الحسابات عند التعامل مع العديد من معلمات الإدخال غير المؤكدة، مما يدفع إلى البحث عن نماذج بديلة فعالة، بما في ذلك نمذجة النظام المنخفض الترتيب وطرق متعددة الموثوقية.
تركز الورقة على استخدام الشبكات العصبية العميقة (DNNs) كوسيلة لتقريب \( G(y) \). يفسر المؤلفون رياضيًا DNNs كخوارزميات غير خطية لتقريب الدوال متعددة المتغيرات ويهدفون إلى اشتقاق حدود خطأ نظرية لهذه الشبكات. يؤكدون على أهمية الشبكات العصبية “المعتمدة على الفيزياء” التي تحترم الفيزياء الأساسية لأنظمة PDE. من الجدير بالذكر أن الورقة تقدم ابتكارين رئيسيين: تطوير DNNs دورية واستخدام نقاط كوازى-مونت كارلو (QMC) المصممة لتناسب الدورية. علاوة على ذلك، تؤسس حدود انتظام صريحة لكل من DNNs القياسية والدورية، والتي لا تعتمد على الدالة المستهدفة واختيار نقاط التدريب. هذه العمل مهم لأنه الأول الذي يقدم حدود انتظام معلمات مع ثوابت صريحة تتعلق بمعلمات الشبكة، مما يوفر قابلية تطبيق أوسع في مختلف الإعدادات الحسابية.
النتائج
تقدم هذه القسم نتائج جديدة للانتظام لشبكات الأعصاب العميقة (DNNs) باستخدام حجج استقرائية ذات قيم حقيقية، مما يثبت حدود انتظام صريحة لكل من DNNs غير الدورية والدورية. يوضح النظرية 2.1 أنه بالنسبة لأي عمق $\ell \geq 1$، فإن المشتقات الجزئية لمخرج DNN $G^{[\ell]}_\theta(y)$ بالنسبة لمعلمات الإدخال تظهر اعتمادًا منظمًا على التسلسلات $(\beta_j)_{j \geq 1}$، $(R_\ell)_{\ell \geq 1}$، و$(A_n)_{n \geq 1}$. على وجه التحديد، تُعطى الحدود بواسطة:
1. بالنسبة لـ DNNs غير الدورية:
\[
|\partial^\nu G^{[\ell]}_\theta(y)_p| \leq R_\ell \beta^\nu \Gamma^{[\ell]} |\nu|
\]
2. بالنسبة لـ DNNs الدورية:
\[
|\partial^\nu G^{[\ell]}_\theta(y)_p| \leq R_\ell (2\pi)^{|\nu|} \sum_{m \leq \nu} \beta^m \Gamma^{[\ell]} |m| S(\nu, m)
\]
يتم تعريف التسلسل $\Gamma^{[\ell]}_n$ بشكل تكراري ويعكس التأثيرات المجمعة لدالة التنشيط والمصفوفات الداخلية. تؤكد النتائج على أهمية التحكم في معدلات التدهور للتسلسلات $(\beta_j)$ وحدود مشتقات دالة التنشيط لضمان أن تظل حدود الانتظام قائمة، خاصة في الإعدادات عالية الأبعاد.
توسع النظرية 2.2 هذه النتائج لتشمل الحالات التي تكون فيها مشتقات دالة التنشيط محدودة، مما يؤدي إلى حدود من الشكل:
1. بالنسبة لـ DNNs غير الدورية:
\[
|\partial^\nu G^{[\ell]}_\theta(y)_p| \leq C_\ell | \nu |! (S_\ell \beta)^\nu
\]
2. بالنسبة لـ DNNs الدورية:
\[
|\partial^\nu G^{[\ell]}_\theta(y)_p| \leq C_\ell (2\pi)^{|\nu|} \sum_{m \leq \nu} |m|! (S_\ell \beta)^m S(\nu, m)
\]
تُعرف هذه الحدود بأنها من أشكال POD وSPOD، والتي تم مواجهتها سابقًا في سياق PDEs المعاملات في تقدير عدم اليقين. تشير النتائج إلى أنه مع زيادة عمق DNN، من الضروري إدارة أحجام التسلسلات المعنية للحفاظ على الحدود في حدود الانتظام.
نقاش
في هذا القسم، يقدم المؤلفون إطارًا لشبكات الأعصاب العميقة (DNNs) كمقربات لدالة مستهدفة \( G \). يعرفون DNN ذو عمق \( L \) يتكون من تحويلات خطية ممثلة بواسطة مصفوفات الوزن \( W^\ell \) ومتجهات الانحياز \( v^\ell \)، مع دالة تنشيط غير خطية \( \sigma \) تُطبق بين الطبقات. تتضمن البنية طبقة إدخال، وطبقات مخفية، وطبقة إخراج، مع العدد الإجمالي للمعلمات القابلة للتعلم يُشار إليه بـ \( N_{\text{DNN}} \). يؤكد المؤلفون على أهمية المعلمات الفائقة، مثل العمق والعرض، في عملية التدريب، التي تهدف إلى تقليل دالة خسارة تقيس الفرق بين مخرج DNN والدالة المستهدفة.
تقدم الورقة نوعًا جديدًا دوريًا من DNN، يتضمن خريطة جيب للتعامل مع الدوال المستهدفة الدورية بفعالية. تم تصميم هذا DNN الدوري لتقريب الدوال التي تظهر سلوكًا دوريًا، بينما يُشار إلى DNN القياسي على أنه غير دوري. يحدد المؤلفون حدود الانتظام لكل من نوعي DNN، مع التركيز على التحكم في معايير المصفوفة وحدود مشتقات دالة التنشيط لضمان الاستقرار والأداء مع زيادة الأبعاد وعمق الشبكة. تشمل المساهمات الرئيسية حدودًا صريحة على المشتقات المختلطة وتطوير قواعد شبكة مصممة للتدريب، مما يحسن معدلات التقارب وخطأ التعميم، خاصة في سياق PDEs المعاملات في تقدير عدم اليقين.
DOI: https://doi.org/10.1090/mcom/4220
Publication Date: 2026-06-23
Author(s): Alexander Keller et al.
Primary Topic: Model Reduction and Neural Networks
Overview
In this paper, the authors investigate Deep Neural Networks (DNNs) with smooth activation functions as approximators for high-dimensional, smooth but computationally expensive functions. They introduce a novel model of periodic DNNs, particularly effective for periodic target functions when trained with Quasi-Monte Carlo lattice points. A significant contribution of the study is the derivation of explicit bounds for all mixed derivatives of DNNs concerning their input parameters, which depend on the network parameters and the chosen activation function, while remaining independent of the target function and training data.
The authors establish that by imposing specific restrictions on the network parameters to align with the regularity features of the target functions, DNNs with $N$ tailored lattice training points can achieve a generalization error bound of $\text{tol} + O(N^{-r/2})$, where $\text{tol} \in (0, 1)$ represents the training error tolerance, and $r = 1/p^*$, with $p^*$ being the summability exponent of the input variable decay sequence. The paper also details regularity bounds for commonly used activation functions such as sigmoid, tanh, and swish, and demonstrates through numerical experiments that DNNs trained with tailored regularization outperform those using standard $\ell^2$ regularization in the context of parametric elliptic PDEs. The findings suggest that the derived regularity bounds are broadly applicable across various theoretical frameworks and training strategies.
Introduction
The introduction of this research paper addresses the challenge of efficiently approximating Data-to-Observables maps (DtOs) in physics-based problems, specifically those involving parametric partial differential equations (PDEs). The goal is to compute observables \( G(y) \in Z \) from input data \( y \in Y \), where \( Y \) is a subset of \( \mathbb{R}^s \). The observables can vary in complexity, either representing a single average value or a vector of solution values at finite element mesh points. The authors highlight the “curse of dimensionality” that complicates computations when dealing with numerous uncertain input parameters, prompting a search for efficient surrogate models, including reduced order modeling and multi-fidelity methods.
The paper focuses on using Deep Neural Networks (DNNs) as a means to approximate \( G(y) \). The authors mathematically interpret DNNs as nonlinear algorithms for multivariate function approximation and aim to derive theoretical error bounds for these networks. They emphasize the importance of “physics-informed” neural networks that respect the underlying physics of the PDE systems. Notably, the paper introduces two key innovations: the development of periodic DNNs and the use of Quasi-Monte Carlo (QMC) points tailored to periodicity. Furthermore, it establishes explicit regularity bounds for both standard and periodic DNNs, which are independent of the target function and training point selection. This work is significant as it is the first to provide parametric regularity bounds with explicit constants related to network parameters, offering broader applicability in various computational settings.
Results
The section presents new regularity results for deep neural networks (DNNs) using real-valued induction arguments, establishing explicit regularity bounds for both non-periodic and periodic DNNs. Theorem 2.1 outlines that for any depth $\ell \geq 1$, the partial derivatives of the DNN output $G^{[\ell]}_\theta(y)$ with respect to input parameters exhibit structured dependence on the sequences $(\beta_j)_{j \geq 1}$, $(R_\ell)_{\ell \geq 1}$, and $(A_n)_{n \geq 1}$. Specifically, the bounds are given by:
1. For non-periodic DNNs:
\[
|\partial^\nu G^{[\ell]}_\theta(y)_p| \leq R_\ell \beta^\nu \Gamma^{[\ell]} |\nu|
\]
2. For periodic DNNs:
\[
|\partial^\nu G^{[\ell]}_\theta(y)_p| \leq R_\ell (2\pi)^{|\nu|} \sum_{m \leq \nu} \beta^m \Gamma^{[\ell]} |m| S(\nu, m)
\]
The sequence $\Gamma^{[\ell]}_n$ is recursively defined and reflects the combined effects of the activation function and the interior matrices. The results emphasize the importance of controlling the decay rates of the sequences $(\beta_j)$ and the boundedness of the activation function’s derivatives to ensure the regularity bounds hold, particularly in high-dimensional settings.
Theorem 2.2 extends these results to cases where the activation function derivatives are bounded, yielding bounds of the form:
1. For non-periodic DNNs:
\[
|\partial^\nu G^{[\ell]}_\theta(y)_p| \leq C_\ell | \nu |! (S_\ell \beta)^\nu
\]
2. For periodic DNNs:
\[
|\partial^\nu G^{[\ell]}_\theta(y)_p| \leq C_\ell (2\pi)^{|\nu|} \sum_{m \leq \nu} |m|! (S_\ell \beta)^m S(\nu, m)
\]
These bounds are identified as being of the POD and SPOD forms, which have been previously encountered in the context of parametric PDEs in uncertainty quantification. The findings suggest that as the depth of the DNN increases, it is crucial to manage the magnitudes of the sequences involved to maintain boundedness in the regularity bounds.
Discussion
In this section, the authors present a framework for deep neural networks (DNNs) as approximators of a target function \( G \). They define a feed-forward DNN of depth \( L \) consisting of affine transformations represented by weight matrices \( W^\ell \) and bias vectors \( v^\ell \), with a nonlinear activation function \( \sigma \) applied between layers. The architecture includes an input layer, hidden layers, and an output layer, with the total number of learnable parameters denoted as \( N_{\text{DNN}} \). The authors emphasize the importance of hyperparameters, such as depth and width, in the training process, which aims to minimize a loss function that quantifies the difference between the DNN’s output and the target function.
The paper introduces a novel periodic variant of the DNN, incorporating a sine mapping to handle periodic target functions effectively. This periodic DNN is designed to approximate functions that exhibit periodic behavior, while the standard DNN is referred to as non-periodic. The authors establish regularity bounds for both DNN types, focusing on the control of matrix norms and the boundedness of activation function derivatives to ensure stability and performance as the dimensionality and depth of the network increase. The main contributions include explicit bounds on mixed derivatives and the development of tailored lattice rules for training, which improve convergence rates and generalization error, particularly in the context of parametric PDEs in uncertainty quantification.