DOI: https://doi.org/10.1038/s41598-025-16922-5
PMID: https://pubmed.ncbi.nlm.nih.gov/40998917
تاريخ النشر: 2025-09-25
المؤلف: Waleed Diab وآخرون
الموضوع الرئيسي: تقليل النماذج والشبكات العصبية
نظرة عامة
يقدم هذا القسم نظرة عامة على المشغلين العصبيين (NOs)، وهم نماذج تعلم آلي تهدف إلى حل المعادلات التفاضلية الجزئية (PDEs) من خلال رسم الخرائط بين فضاءات الدوال. بينما تظهر النماذج الحالية مثل شبكة المشغل العميق (DeepONet) والمشغل العصبي فورييه (FNO) تعميماً قوياً في الخرائط المكانية، فإنها تواجه تحديات في التقاط الديناميات الزمنية بدقة للمعادلات التفاضلية الجزئية المعتمدة على الزمن، خاصة بالنسبة لخطوات الزمن التي لم يتم مواجهتها أثناء التدريب. تؤثر هذه القيود على دقتها الزمنية وتجعلها مكلفة للتدريب، خاصة بالنسبة للمعادلات التفاضلية الجزئية ذات الأبعاد الأعلى.
لمعالجة هذه القضايا، يقدم المؤلفون المشغل العصبي الزمني (TNO)، وهو إطار عمل جديد مصمم لتعلم المشغل الزمني المكاني بكفاءة. يعزز TNO بنية DeepONet من خلال دمج فرع زمني ودمج استراتيجيات فعالة مثل فرضية ماركوف، والدفع التعليمي، وتجميع الزمن. يسمح هذا النهج لـ TNO بشرط المخرجات على كل من الحالات الحالية والسابقة. يذكر البحث اختبارات شاملة ودراسة إلغاء توضح قدرات TNO في الاستقراء الزمني على المدى الطويل، والصلابة ضد تراكم الأخطاء، وعدم الاعتماد على الدقة، والقدرة على التكيف مع دوال الإدخال المتعددة.
النتائج
يقيم قسم النتائج أداء نموذج TNO في توقع درجات حرارة الهواء عبر أوروبا وعالمياً، بالإضافة إلى تطبيقه في احتجاز الكربون الجيولوجي. بالنسبة لتوقعات درجات حرارة الهواء الأوروبية، تم اختبار TNO باستخدام مجموعة بيانات عمياء من عام 2023، محققاً متوسط خطأ مطلق (MAE) قدره 2.68 °C عبر عدة لقطات، مما يشير إلى تراكم خطأ ضئيل على مدى الإصدارات المتعاقبة. بينما أظهر النموذج دقة تنبؤية قوية، إلا أنه واجه صعوبة في التقاط درجات الحرارة القصوى، خاصة في شمال أوروبا. عند اختباره بدقة أعلى تبلغ 0.1 °C، حافظ TNO على MAE مماثل قدره 2.83 °C، مما يبرز صلابته عبر الدقة المكانية.
في توقع درجة حرارة الهواء العالمية، استخدم TNO مجموعة بيانات لمدة خمس سنوات تغطي مستويات ضغط جوي مختلفة، محققاً متوسط خطأ نسبي L2 قدره 0.016. كانت هذه الأداء قوية بشكل خاص عند مستوى 1000 مللي بار، حيث تطابق دقة نموذج متخصص، بينما عمم بفعالية عبر جميع مستويات الضغط باستخدام نموذج واحد. أخيراً، في مهام احتجاز الكربون الجيولوجي، أظهر TNO تعميماً فعالاً واستقراء زمنياً لتشبع CO2 وتراكم الضغط، على الرغم من ملاحظة انخفاض طفيف في جودة الحل نحو نهاية فترة الاستقراء. بشكل عام، تسلط النتائج الضوء على قدرات TNO في كل من الاستقراء الزمني وعدم الاعتماد على الدقة، بينما تحدد أيضاً مجالات للتحسين المحتمل في توقعات درجات الحرارة القصوى.
المناقشة
في هذا القسم، يناقش المؤلفون تطوير وتطبيق مشغل عصبي زمني (TNO) لحل المعادلات التفاضلية الجزئية المعتمدة على الزمن (PDEs). تم تصميم TNO للتنبؤ بالتطور الزمني المكاني للحلول، المشار إليها بـ \( u(t, x) \)، من خلال استخدام مشغل تطور زمني \( G_{\Delta t} \) يقوم برسم الخرائط من الحالات الحالية إلى الحالات المستقبلية. تتضمن البنية فرعاً زمنياً لالتقاط ديناميات النظام وتستخدم تجميع الزمن لتعزيز الكفاءة، مما يسمح للنموذج بالتنبؤ بعدة حالات مستقبلية في تمريرة واحدة للأمام. يتم تحديد TNO بشكل تلقائي، مما يعني أنه يمكنه استخدام الحالات السابقة لإبلاغ التنبؤات المستقبلية، وهو قابل للتكيف مع إعدادات المشكلات المختلفة من خلال تحديد عدد خطوات الزمن للإدخال والإخراج بشكل تجريبي.
تظهر فعالية TNO من خلال التجارب على مجموعات بيانات العالم الحقيقي، مثل مجموعة بيانات المناخ E-OBS لتوقع درجات حرارة الهواء الأوروبية ومجموعة بيانات إعادة التحليل NCEP/NCAR لنمذجة درجات حرارة الهواء العالمية. تشير النتائج إلى أن TNO يمكنه التعميم عبر دقة مكانية مختلفة والتعامل بفعالية مع الضوضاء الملاحظة والفجوات في البيانات. تكشف دراسة إلغاء عن أهمية الفرع الزمني وهياكل U-Net في تحسين دقة التنبؤ، بينما تبرز المقارنات المرجعية مع المشغلين العصبيين المتقدمين أداء TNO المتفوق في التنبؤ متعدد الخطوات. بشكل عام، يمثل TNO تقدماً كبيراً في نمذجة الأنظمة المعقدة المعتمدة على الزمن، مقدماً إطار عمل فعال من حيث الحوسبة وموثوق للعديد من التطبيقات العلمية.
DOI: https://doi.org/10.1038/s41598-025-16922-5
PMID: https://pubmed.ncbi.nlm.nih.gov/40998917
Publication Date: 2025-09-25
Author(s): Waleed Diab et al.
Primary Topic: Model Reduction and Neural Networks
Overview
The section presents an overview of Neural Operators (NOs), which are machine learning models aimed at solving partial differential equations (PDEs) by mapping between function spaces. While existing models like the Deep Operator Network (DeepONet) and the Fourier Neural Operator (FNO) exhibit strong generalization in spatial mappings, they face challenges in accurately capturing the temporal dynamics of time-dependent PDEs, particularly for time steps not encountered during training. This limitation affects their temporal accuracy and makes them costly to train, especially for higher-dimensional PDEs.
To address these issues, the authors introduce the Temporal Neural Operator (TNO), a novel framework designed for efficient spatio-temporal operator learning. TNO enhances the DeepONet architecture by incorporating a temporal branch and integrating effective strategies such as the Markov assumption, teacher forcing, and temporal bundling. This approach allows TNO to condition outputs on both current and past states. The paper reports extensive benchmarking and an ablation study demonstrating TNO’s capabilities in long-range temporal extrapolation, robustness against error accumulation, resolution invariance, and adaptability to multiple input functions.
Results
The results section evaluates the performance of the TNO model in forecasting air temperatures across Europe and globally, as well as its application in geologic carbon sequestration. For European air temperature predictions, the TNO was tested using a blind dataset from 2023, achieving a mean absolute error (MAE) of 2.68 °C across multiple snapshots, indicating minimal error accumulation over successive rollouts. While the model demonstrated strong predictive accuracy, it struggled with capturing temperature extremes, particularly in northern Europe. When tested at a higher resolution of 0.1 °C, the TNO maintained a comparable MAE of 2.83 °C, showcasing its robustness across spatial resolutions.
In the global air temperature forecast, the TNO utilized a five-year dataset spanning various atmospheric pressure levels, achieving a mean relative L2 error of 0.016. This performance was particularly strong at the 1000 mb level, where it matched the accuracy of a specialized model, while also generalizing effectively across all pressure levels with a single model. Lastly, in geologic carbon sequestration tasks, the TNO demonstrated effective generalization and temporal extrapolation for CO2 saturation and pressure buildup, although a slight decline in solution quality was observed towards the end of the extrapolation period. Overall, the findings highlight the TNO’s capabilities in both temporal extrapolation and resolution invariance, while also identifying areas for potential improvement in extreme temperature predictions.
Discussion
In this section, the authors discuss the development and application of a Temporal Neural Operator (TNO) for solving time-dependent partial differential equations (PDEs). The TNO is designed to predict the spatio-temporal evolution of solutions, denoted as \( u(t, x) \), by utilizing a time evolution operator \( G_{\Delta t} \) that maps current states to future states. The architecture incorporates a temporal branch to capture the dynamics of the system and employs temporal bundling to enhance efficiency, allowing the model to predict multiple future states in a single forward pass. The TNO is autoregressively parameterized, meaning it can utilize past states to inform future predictions, and it is adaptable to various problem settings by empirically determining the number of input and output time steps.
The TNO’s effectiveness is demonstrated through experiments on real-world datasets, such as the E-OBS climate dataset for European air temperature forecasting and the NCEP/NCAR Reanalysis dataset for global air temperature modeling. The results indicate that the TNO can generalize across different spatial resolutions and effectively handle observational noise and gaps in the data. An ablation study reveals the importance of the temporal branch and U-Net architectures in improving prediction accuracy, while benchmark comparisons with state-of-the-art neural operators highlight the TNO’s superior performance in multi-step forecasting. Overall, the TNO represents a significant advancement in the modeling of complex, time-dependent systems, offering a computationally efficient and robust framework for scientific applications.