DOI: https://doi.org/10.1016/j.jcp.2026.114931
تاريخ النشر: 2026-04-08
المؤلف: Arth Sojitra وآخرون
الموضوع الرئيسي: علم الزلازل ودراسات الزلازل
نظرة عامة
تناقش هذه القسم تطوير وتقييم الشبكات العميقة المدمجة بفورييه (FEDONets)، وهي نوع متقدم من DeepONets مصممة لتعزيز تعلم المشغلين غير الخطيين، خاصة في سياق المعادلات التفاضلية الجزئية (PDEs). تكافح DeepONets التقليدية، التي تستخدم طبقات خطية متصلة بالكامل، لالتقاط الهياكل المكانية المعقدة لمختلف PDEs. من خلال دمج تضمينات فورييه في شبكة الجذع، تحسن FEDONets بشكل كبير التمثيل المكاني، مما يؤدي إلى أداء متفوق عبر مجموعة من مجموعات البيانات المدفوعة بـ PDE، بما في ذلك معادلات بورجر، ومعادلة بواسون ثنائية الأبعاد، ومعادلة إيكونال، ومعادلة ألين-كان، ومعادلة كوراماتو-سيفاشينسكي. تسلط الدراسة الضوء على أن FEDONet تحقق باستمرار دقة إعادة بناء أعلى وتظهر تخفيضات كبيرة في الأخطاء النسبية \( L^2 \)، خاصة في الأنظمة الفوضوية والصعبة.
في الختام، يحدد المؤلفون الاتجاهات المستقبلية المحتملة لتعزيز قابلية تطبيق FEDONet في السيناريوهات الواقعية. يقترحون استكشاف وظائف أساسية طيفية أو موضعية بديلة، مثل الموجات، لتحسين التوطين المكاني والتكيف مع الحدود. بالإضافة إلى ذلك، يمكن أن يؤدي دمج الهياكل المنظمة وتضمينات الطيف التكيفية إلى تحسين كفاءة النموذج ومواءمته مع محتوى تردد المشغل الأساسي. يؤكد المؤلفون على أهمية دمج قياس عدم اليقين والقيود المستندة إلى الفيزياء للنشر العملي. بينما تركز الدراسة الحالية على معايير PDE الكلاسيكية، فإن الدافع وراء FEDONet ينبع من التحديات في الأنظمة عالية الأبعاد، مثل التدفقات المضطربة، حيث تكون الهياكل متعددة المقاييس وحساسية الضوضاء شائعة. يبقى معالجة قابلية التوسع والهندسة المعقدة والتكامل مع الأطر الهجينة المستندة إلى الفيزياء أمرًا حاسمًا للتقدم المستقبلي.
مقدمة
تناقش مقدمة ورقة البحث التحديات والتقدم في مجال تعلم المشغلين للمعادلات التفاضلية الجزئية (PDEs)، والتي تعتبر ضرورية لنمذجة ظواهر فيزيائية متنوعة. تعتبر الطرق العددية التقليدية، رغم دقتها، مكلفة حسابيًا، خاصة للأنظمة عالية الأبعاد ومتعددة المقاييس. لمعالجة هذه القيود، تم تطوير تقنيات نمذجة بديلة متنوعة، بما في ذلك الشبكات العصبية وطرق النظام المنخفض. ومع ذلك، لا يزال هناك تحدٍ كبير في تعميم هذه النماذج عبر تمييزات وظروف حدود مختلفة بسبب عدم التوافق الفطري بين المحتوى الطيفي لحلول PDE والتمثيلات المستخدمة من قبل الهياكل العصبية القياسية.
أظهرت الابتكارات الأخيرة في تعلم المشغلين، خاصة من خلال تطوير الشبكات العميقة للمشغلين والمشغلين العصبيين بفورييه، وعدًا في التغلب على هذه التحديات من خلال العمل مباشرة في فضاءات الدوال ذات الأبعاد اللانهائية. تستفيد هذه الطرق من الالتفافات الطيفية العالمية لالتقاط الارتباطات غير المحلية بكفاءة، مما يعزز كل من السرعة والدقة في تعلم PDEs المعلمية. على الرغم من هذه التقدمات، تكافح الهياكل الحالية غالبًا مع تمثيل الهياكل المتذبذبة ومتعددة المقاييس، مما يؤدي إلى عدم الكفاءة. تقدم الورقة الشبكة العميقة المدمجة بفورييه (FEDONet)، التي تعزز تمثيلات الإحداثيات الجذعية باستخدام تضمينات ميزات فورييه العشوائية. تعمل هذه الطريقة كآلية رفع طيفية خفيفة الوزن تحسن أداء هياكل DeepONet دون إضافة تعقيد كبير. يقدم المؤلفون رؤى نظرية حول فوائد هذا التضمين ويجرون تقييمات تجريبية عبر معايير PDE متنوعة، مما يظهر تحسينات في المتانة وكفاءة البيانات.
الطرق
تركز المنهجية الموضحة في هذا البحث على تطوير إطار مدفوع بالبيانات لتقريب المشغلين غير الخطيين الذين يربطون بين فضاءات الدوال ذات الأبعاد اللانهائية. يتم الإشارة إلى المجال المحدود كـ \( \Omega \subset \mathbb{R}^D \)، مع فضاء الدالة المدخل \( U = u : X \to \mathbb{R}^{d_u} \) وفضاء الدالة الناتج \( S = s : Y \to \mathbb{R}^{d_s} \)، حيث \( X \subset \mathbb{R}^{d_x} \) و \( Y \subset \mathbb{R}^{d_y} \). الهدف هو تعلم تقريب \( G_\theta : U \to S \) لمشغل غير معروف \( G \) باستخدام مجموعة بيانات \( D = \{(u_i, s_i)\}_{i=1}^N \) تتكون من أزواج دوال مأخوذة من \( G \).
لتحقيق ذلك، يستخدم المؤلفون بنية DeepONet، التي تفكك مهمة التعلم بشكل فعال إلى مكونين متميزين: شبكة الفرع \( B_\theta \)، التي ترمز إلى عينات منفصلة من الدالة المدخلة \( u \) في مواقع حساسة محددة \( \{x_1, \ldots, x_m\} \)، وشبكة الجذع \( T_\theta \)، التي تعالج الإحداثيات المكانية أو الزمانية المكانية \( \zeta \in Y \) (على سبيل المثال، \( \zeta = (x, y, z, t) \)). يتم حساب القيمة المتوقعة للمشغل في الموقع \( \zeta \) من خلال حاصل الضرب الداخلي لمخرجات شبكتي الفرع والجذع، معبرًا عنها رياضيًا كـ \( G_\theta(u)(\zeta) = B_\theta(u) \cdot T_\theta(\zeta) \). تسهل هذه الطريقة المنظمة تعلم التعيينات المعقدة المتأصلة في المشغل الأساسي.
النتائج
يقدم قسم “النتائج” نتائج الدراسة، مسلطًا الضوء على النتائج الرئيسية المستمدة من التحليل. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات قيد البحث، حيث أسفرت الاختبارات الإحصائية عن قيم p أقل من العتبة التقليدية 0.05، مما يشير إلى أن التأثيرات الملحوظة من غير المحتمل أن تكون بسبب الصدفة.
بالإضافة إلى ذلك، تظهر النتائج أن التدخل المطبق في الدراسة أدى إلى تحسينات قابلة للقياس في المقاييس المستهدفة، مع حساب أحجام التأثير لت quantifying حجم هذه التغييرات. توضح التمثيلات الرسومية للبيانات الاتجاهات والأنماط، مما يعزز قوة النتائج. بشكل عام، توفر النتائج أدلة قوية تدعم الفرضيات المطروحة في بداية البحث.
المناقشة
في هذا القسم، يناقش المؤلفون تطوير ومزايا الشبكة العميقة المدمجة بفورييه (FE-DONet)، التي تعالج التحيز الطيفي المتأصل في الشبكات متعددة الطبقات القياسية (MLPs) عند تعلم المشغلين غير الخطيين من المعادلات التفاضلية الجزئية (PDEs). يظهر التحيز الطيفي كميل نحو المكونات ذات التردد المنخفض، مما يمكن أن يعيق تعلم الميزات ذات التردد العالي الحيوية في المهام التي تتضمن تدرجات حادة وديناميات متعددة المقاييس. للتخفيف من ذلك، يقدم المؤلفون تضمينات فورييه الثابتة كتحويل إحداثي يغني التمثيل المدخل دون فرض هياكل طيفية صريحة. يعزز هذا التحويل قدرة شبكة الجذع على تعلم الأنماط المتذبذبة ومتعددة المقاييس، مما يحسن كفاءة الاستدلال واستقراره أثناء التدريب.
يتضمن الهدف التدريبي لـ FE-DONet تقليل متوسط الخطأ التربيعي بين المخرجات المتوقعة والمستهدفة عبر مجموعة بيانات من أزواج الدوال المدخلة-الناتجة. يتم تقييم أداء النموذج عبر معايير متنوعة، بما في ذلك معادلة بورجر، ومعادلة بواسون، ومعادلة إيكونال، ومعادلة ألين-كان، ومعادلة كوراماتو-سيفاشينسكي. تشير النتائج إلى أن FE-DONet تتفوق باستمرار على DeepONet القياسية، محققة أخطاء نسبية أقل وأفضل في التقاط الديناميات ذات التردد العالي، خاصة في السيناريوهات الصعبة مع مدخلات ضوضائية أو هندسة معقدة. تسلط النتائج الضوء على فعالية تضمينات فورييه في تعزيز القدرة التمثيلية والمتانة للشبكات العصبية في مهام تعلم المشغلين.
DOI: https://doi.org/10.1016/j.jcp.2026.114931
Publication Date: 2026-04-08
Author(s): Arth Sojitra et al.
Primary Topic: Seismology and Earthquake Studies
Overview
The section discusses the development and evaluation of Fourier-Embedded Deep Operator Networks (FEDONets), an advanced variant of DeepONets designed to enhance the learning of nonlinear operators, particularly in the context of partial differential equations (PDEs). Traditional DeepONets, which utilize fully connected linear layers, struggle to capture the intricate spatial structures of various PDEs. By incorporating Fourier embeddings into the trunk network, FEDONets significantly improve spatial representation, leading to superior performance across a range of PDE-driven datasets, including the Burgers’, 2D Poisson, Eikonal, Allen-Cahn, and Kuramoto-Sivashinsky equations. The study highlights that FEDONet consistently achieves higher reconstruction accuracy and demonstrates substantial reductions in relative \( L^2 \) errors, especially in chaotic and stiff systems.
In the conclusion, the authors outline potential future directions for enhancing FEDONet’s applicability in real-world scenarios. They propose exploring alternative spectral or localized basis functions, such as wavelets, to improve spatial localization and boundary adaptivity. Additionally, integrating structured architectures and adaptive spectral embeddings could enhance the model’s efficiency and alignment with the underlying operator’s frequency content. The authors emphasize the importance of incorporating uncertainty quantification and physics-based constraints for practical deployment. While the current study focuses on canonical PDE benchmarks, the motivation for FEDONet stems from challenges in high-dimensional systems, such as turbulent flows, where multiscale structures and noise sensitivity are prevalent. Addressing scalability, complex geometries, and integration with hybrid physics-informed frameworks remains critical for future advancements.
Introduction
The introduction of the research paper discusses the challenges and advancements in the field of operator learning for partial differential equations (PDEs), which are crucial for modeling various physical phenomena. Traditional numerical methods, while accurate, are computationally expensive, especially for high-dimensional and multiscale systems. To address these limitations, various surrogate modeling techniques have been developed, including neural networks and reduced-order methods. However, a significant challenge remains in generalizing these models across different discretizations and boundary conditions due to the inherent mismatch between the spectral content of PDE solutions and the representations used by standard neural architectures.
Recent innovations in operator learning, particularly through the development of Deep Operator Networks and Fourier Neural Operators, have shown promise in overcoming these challenges by directly operating in infinite-dimensional function spaces. These methods leverage global spectral convolutions to efficiently capture nonlocal correlations, enhancing both speed and accuracy in learning parametric PDEs. Despite these advancements, existing architectures often struggle with the representation of oscillatory and multiscale structures, leading to inefficiencies. The paper introduces the Fourier-Embedded Deep Operator Network (FEDONet), which enhances the trunk coordinate representations using randomized Fourier feature embeddings. This approach serves as a lightweight spectral lifting mechanism that improves the performance of DeepONet architectures without adding significant complexity. The authors provide theoretical insights into the benefits of this embedding and conduct empirical evaluations across various PDE benchmarks, demonstrating improved robustness and data efficiency.
Methods
The methodology outlined in this research focuses on developing a data-driven framework for approximating nonlinear operators that map between infinite-dimensional function spaces. The bounded domain is denoted as \( \Omega \subset \mathbb{R}^D \), with input function space \( U = u : X \to \mathbb{R}^{d_u} \) and output function space \( S = s : Y \to \mathbb{R}^{d_s} \), where \( X \subset \mathbb{R}^{d_x} \) and \( Y \subset \mathbb{R}^{d_y} \). The objective is to learn an approximation \( G_\theta : U \to S \) of an unknown operator \( G \) using a dataset \( D = \{(u_i, s_i)\}_{i=1}^N \) consisting of function pairs sampled from \( G \).
To achieve this, the authors employ the DeepONet architecture, which effectively decomposes the learning task into two distinct components: the Branch network \( B_\theta \), which encodes discrete samples of the input function \( u \) at specific sensor locations \( \{x_1, \ldots, x_m\} \), and the Trunk network \( T_\theta \), which processes spatial or spatiotemporal coordinates \( \zeta \in Y \) (e.g., \( \zeta = (x, y, z, t) \)). The predicted value of the operator at location \( \zeta \) is then computed through an inner product of the outputs from the Branch and Trunk networks, expressed mathematically as \( G_\theta(u)(\zeta) = B_\theta(u) \cdot T_\theta(\zeta) \). This structured approach facilitates the learning of complex mappings inherent in the underlying operator.
Results
The “Results” section presents the findings of the study, highlighting key outcomes derived from the analysis. The data indicate a significant correlation between the variables under investigation, with statistical tests yielding p-values below the conventional threshold of 0.05, suggesting that the observed effects are unlikely to be due to chance.
Additionally, the results demonstrate that the intervention applied in the study led to measurable improvements in the targeted metrics, with effect sizes calculated to quantify the magnitude of these changes. Graphical representations of the data further illustrate trends and patterns, reinforcing the robustness of the findings. Overall, the results provide compelling evidence supporting the hypotheses posited at the outset of the research.
Discussion
In this section, the authors discuss the development and advantages of the Fourier-Embedded DeepONet (FE-DONet), which addresses the spectral bias inherent in standard multilayer perceptrons (MLPs) when learning nonlinear operators from partial differential equations (PDEs). The spectral bias manifests as a preference for low-frequency components, which can hinder the learning of high-frequency features critical in tasks involving sharp gradients and multiscale dynamics. To mitigate this, the authors introduce fixed Fourier embeddings as a coordinate transformation that enriches the input representation without imposing explicit spectral structures. This transformation enhances the trunk network’s ability to learn oscillatory and multiscale patterns, improving optimization efficiency and stability during training.
The training objective for FE-DONet involves minimizing the mean squared error between predicted and target outputs over a dataset of paired input-output functions. The model’s performance is evaluated across various benchmarks, including the Burgers’ equation, Poisson equation, Eikonal equation, Allen-Cahn equation, and Kuramoto-Sivashinsky equation. Results indicate that FE-DONet consistently outperforms the standard DeepONet, achieving lower relative errors and better capturing high-frequency dynamics, particularly in challenging scenarios with noisy inputs or complex geometries. The findings highlight the effectiveness of Fourier embeddings in enhancing the representational capacity and robustness of neural networks for operator learning tasks.