إطار عمل هجين للتعلم العميق المستند إلى الفيزياء لنمذجة الأنظمة متعددة المتغيرات بشكل قوي تحت عدم اليقين A Hybrid Physics-Informed Deep Learning Framework for Robust Multivariate System Modelling Under Uncertainty

شارك:
المجلة: Precision Journal of Information Technology & Scientific Innovation، المجلد: 1
DOI: https://doi.org/10.67887/pd2601202005
تاريخ النشر: 2026-06-26
المؤلف: Sonu Pandey
الموضوع الرئيسي: تقليل النماذج والشبكات العصبية

نظرة عامة

تقدم هذه الدراسة إطار عمل موحد يعتمد على الفيزياء لتنظيم نموذج Transformer مصمم لنمذجة الأنظمة الديناميكية المتعددة المتغيرات بشكل قوي تحت عدم اليقين. تتفوق نماذج التعلم العميق التقليدية المدفوعة بالبيانات في التقاط الأنماط الزمنية غير الخطية، لكنها غالبًا ما تنتج توقعات غير متسقة من الناحية الفيزيائية عند مواجهة تغييرات في التوزيع. على النقيض من ذلك، تعزز الشبكات العصبية المدفوعة بالفيزياء (PINNs) الاتساق الفيزيائي، لكنها تواجه تحديات مثل وزن الخسارة الثابت وقياس عدم اليقين المحدود. للتغلب على هذه المشكلات، يتضمن الإطار المقترح ثلاثة مكونات رئيسية: استراتيجية وزن فيزيائي تكيفي تعتمد على معيار التدرج، ومشفّر زمني قائم على الانتباه، وطبقة تقدير عدم اليقين غير المتجانس. يسمح هذا النهج لمعادلات الحوكمة بأن تعمل كتحيزات استقرائية ناعمة، مما يسهل التوازن بين ملاءمة البيانات التجريبية والتنظيم الموجه بالفيزياء.

تظهر النتائج التجريبية أن الإطار المقترح يتفوق بشكل كبير على نماذج الأساس، بما في ذلك LSTM وPure Transformer وStandard PINN وDeep Ensemble، من حيث دقة التنبؤ، وقياس عدم اليقين، والصلابة تجاه الاضطرابات. حقق النموذج أخطاء جذر متوسط مربع أقل (RMSE) وخطأ مطلق متوسط (MAE) واحتمالية سلبية أقل، مع إظهار استقرار أكبر تحت ظروف البيانات المفقودة والمشوشة. تؤكد دراسات الإلغاء أن مساهمات الوزن التكيفي، وتنظيم الفيزياء، ونمذجة عدم اليقين غير المتجانس حاسمة لأداء النموذج. ومع ذلك، يحذر المؤلفون من أن هذه النتائج تستند إلى معايير صناعية خاضعة للتحكم، وأن التحقق الإضافي على مجموعات بيانات العالم الحقيقي، مثل NASA C-MAPSS، ضروري لتقييم قابلية تطبيق الإطار في السياقات الهندسية العملية. يجب أن تشمل الأبحاث المستقبلية أيضًا مقارنات مع نماذج التعلم الآلي العلمية الحديثة الأخرى لتعزيز الصلاحية الخارجية.

مقدمة

تناقش مقدمة الورقة ظهور التعلم الآلي العلمي الإداري (SciML) كنهج تحويلي يجسر بين نمذجة الأنظمة التقليدية وتقنيات الذكاء الاصطناعي المعتمدة على البيانات المعاصرة. تتفوق طرق النمذجة التقليدية، التي تعتمد على اشتقاق معادلات الحوكمة من المبادئ الأساسية أو تهيئة البيانات التجريبية، في القابلية للتفسير والاتساق الفيزيائي. ومع ذلك، غالبًا ما تكافح لالتقاط تعقيدات الديناميات غير الخطية عالية الأبعاد المتأصلة في الأنظمة متعددة الأوجه. بالمقابل، تتمتع نماذج التعلم العميق بقدرة كبيرة على تقريب الدوال وتحديد الأنماط واسعة النطاق، لكنها تفتقر في كثير من الأحيان إلى القابلية للتفسير الفيزيائي والامتثال للقوانين المعمول بها للحركة ومبادئ الحفظ.

لمعالجة هذه القيود، اكتسب مفهوم النمذجة الهجينة زخمًا، بهدف دمج نقاط القوة في التفكير القائم على الفيزياء مع قابلية التكيف للشبكات العصبية. يسعى هذا النهج إلى دمج القيود الفيزيائية في أطر التعلم الآلي، مما يعزز قابلية التفسير وموثوقية النماذج مع الحفاظ على قدرتها على التعامل مع الديناميات المعقدة.

الطرق

توضح قسم المنهجية الإطار الرياضي ومبادئ التصميم التي تدعم نموذج Transformer الهجين المدرك للفيزياء والتكيف مع عدم اليقين المقترح. يبرز الصرامة الرياضية للنهج، مما يضمن إمكانية تكرار الطرق باستخدام Python في بيئة Google Colab. علاوة على ذلك، يوضح القسم المنطق وراء كل قرار نمذجي، مما يوفر وضوحًا حول الأساليب التجريبية المستخدمة في تطوير الإطار. لا يعزز هذا النهج المنظم فقط إمكانية التكرار، بل يعزز أيضًا الأسس النظرية للبحث.

النتائج

يستعرض قسم النتائج التقييم التجريبي لإطار Transformer المنظم بالفيزياء المقترح، مع التركيز على دقة التنبؤ، وقياس عدم اليقين، والصلابة، وسلوك الإلغاء، وتكلفة الحساب. يقارن التقييم النموذج المقترح مع الأسس المعروفة، بما في ذلك LSTM وPure Transformer وStandard PINN وDeep Ensemble، باستخدام تقسيم بيانات زمني ثابت بنسبة 70% للتدريب، و10% للتحقق، و20% للاختبار عبر خمس جولات عشوائية متكررة. تشمل مقاييس الأداء المبلغ عنها متوسط خطأ الجذر التربيعي (RMSE)، ومتوسط الخطأ المطلق (MAE)، والاحتمالية السلبية، والانحراف المعياري، وفترات الثقة بنسبة 95%.

تتجنب التحليلات الإبلاغ عن قيم p الاستنتاجية واختبارات t المزدوجة بسبب استخدام الجولات المتكررة بدلاً من الطيات الزمنية، مع التركيز بدلاً من ذلك على الإحصائيات الوصفية، وفترات الثقة، وأحجام التأثير، وسلوك الصلابة. تم حساب فترات الثقة باستخدام الصيغة \( CI_{95\%} = \bar{x} \pm 1.96 \frac{s}{\sqrt{n}} \)، حيث \( \bar{x} \) هو متوسط الدرجة، و\( s \) هو الانحراف المعياري، و\( n \) هو عدد الجولات. تم تحديد أحجام التأثير باستخدام \( d \) لـ Cohen، المعرفة كـ \( d = \frac{\bar{x}_{baseline} – \bar{x}_{proposed}}{s_p} \)، حيث \( s_p \) هو الانحراف المعياري المدمج. تم تحديد الأهمية الإحصائية عند \( p < 0.05 \)، بينما تم تقييم الأهمية العملية من خلال حجم التأثير والاتساق عبر المقاييس.

المناقشة

تسلط قسم المناقشة في ورقة البحث الضوء على قيود الشبكات العصبية المدفوعة بالفيزياء التقليدية (PINNs) في نمذجة الأنظمة الديناميكية غير الخطية متعددة المتغيرات، لا سيما في سياق زيادة عدم اليقين والتعقيد في التطبيقات الواقعية. بينما تدمج PINNs بشكل فعال القوانين الفيزيائية في تدريب الشبكات العصبية، فإنها تعتمد في الغالب على أطر حتمية مع توازن وزن خسارة ثابت، مما قد يؤدي إلى عدم الاستقرار وأداء غير كافٍ تحت ظروف البيانات المشوشة أو غير المكتملة. تحدد الورقة التحديات الحرجة مثل عدم القدرة على نمذجة الاقتران غير الخطي، وتأثير كل من عدم اليقين العشوائي والمعرفي، ونقص بروتوكولات التقييم القوية لتقييم أداء النموذج تحت الاضطرابات.

لمعالجة هذه القضايا، يقترح المؤلفون إطار عمل هجين يدمج توازن خسارة تكيفي، وهندسة مشتركة تجمع بين القيود الفيزيائية مع الترميز الزمني القائم على الانتباه، وبروتوكول تقييم صلابة منظم. يهدف هذا الإطار إلى تعزيز موثوقية التنبؤ وقابلية التكيف للنماذج في البيئات غير المؤكدة من خلال تعديل وزن بيانات الخسارة الفيزيائية بشكل ديناميكي أثناء التدريب. يتم وضع دمج هذه العناصر كتحسين كبير على PINNs التقليدية، متجهًا نحو نهج أكثر مرونة وصلابة لنمذجة الأنظمة الديناميكية المعقدة مع ضمان احترام المبادئ الفيزيائية. تؤكد الدراسة على ضرورة سد الفجوات في المنهجيات الحالية لإنشاء إطار موحد يعالج بشكل فعال تحديات عدم اليقين والصلابة في التعلم الآلي العلمي.

Journal: Precision Journal of Information Technology & Scientific Innovation, Volume: 1
DOI: https://doi.org/10.67887/pd2601202005
Publication Date: 2026-06-26
Author(s): Sonu Pandey
Primary Topic: Model Reduction and Neural Networks

Overview

This study introduces a unified physics-regularised Transformer framework designed for robust multivariate dynamical-system modeling under uncertainty. Traditional data-driven deep learning models excel in capturing nonlinear temporal patterns but often yield physically inconsistent predictions when faced with distribution shifts. Conversely, Physics-Informed Neural Networks (PINNs) enhance physical consistency but encounter challenges such as fixed loss weighting and limited uncertainty calibration. To overcome these issues, the proposed framework incorporates three key components: a gradient-norm-based adaptive physics-weighting strategy, an attention-based temporal encoder, and a heteroscedastic uncertainty-estimation layer. This approach allows the governing equations to serve as soft inductive biases, facilitating a balance between empirical data fitting and physics-guided regularization.

Experimental results demonstrate that the proposed framework significantly outperforms baseline models, including LSTM, Pure Transformer, Standard PINN, and Deep Ensemble, in terms of predictive accuracy, uncertainty calibration, and robustness to perturbations. The model achieved lower root mean square error (RMSE), mean absolute error (MAE), and negative log-likelihood while exhibiting greater stability under noisy and missing data conditions. Ablation studies confirm that the contributions of adaptive weighting, physics regularization, and heteroscedastic uncertainty modeling are crucial for the model’s performance. However, the authors caution that these findings are based on controlled synthetic benchmarks, and further validation on real-world datasets, such as NASA C-MAPSS, is necessary to assess the framework’s applicability in practical engineering contexts. Future research should also include comparisons with other state-of-the-art scientific machine learning models to enhance external validity.

Introduction

The introduction of the paper discusses the emergence of Management Scientific Machine Learning (SciML) as a transformative approach that bridges traditional system modeling with contemporary data-driven artificial intelligence techniques. Conventional modeling methods, which rely on deriving governing equations from first principles or parameterizing empirical data, excel in interpretability and physical consistency. However, they often struggle to capture the complexities of high-dimensional, nonlinear dynamics inherent in multifaceted systems. In contrast, deep learning models are adept at function approximation and identifying large-scale patterns but frequently lack physical interpretability and adherence to established laws of motion and conservation principles.

To address these limitations, the concept of hybrid modeling has gained traction, aiming to integrate the strengths of physics-based reasoning with the adaptability of neural networks. This approach seeks to incorporate physical constraints into machine learning frameworks, thereby enhancing the interpretability and reliability of models while maintaining their capacity to handle complex dynamics.

Methods

The methodology section details the mathematical framework and design principles underpinning the proposed adaptive, uncertainty-conscious hybrid physics-informed Transformer model. It emphasizes the mathematical rigor of the approach, ensuring that the methods can be replicated using Python in a Google Colab environment. Furthermore, the section elucidates the rationale behind each modeling decision, providing clarity on the experimental methods employed in the development of the framework. This structured approach not only enhances reproducibility but also reinforces the theoretical foundations of the research.

Results

The results section details the empirical evaluation of the proposed physics-regularised Transformer framework, emphasizing its predictive accuracy, uncertainty calibration, robustness, ablation behavior, and computational cost. The evaluation compares the proposed model against established baselines, including LSTM, Pure Transformer, Standard PINN, and Deep Ensemble, using a fixed chronological data split of 70% for training, 10% for validation, and 20% for testing across five repeated random-seed runs. Performance metrics reported include mean Root Mean Square Error (RMSE), Mean Absolute Error (MAE), negative log-likelihood, standard deviation, and 95% confidence intervals.

The analysis refrains from reporting inferential p-values and paired t-tests due to the use of repeated runs rather than temporal folds, focusing instead on descriptive statistics, confidence intervals, effect sizes, and robustness behavior. Confidence intervals were calculated using the formula \( CI_{95\%} = \bar{x} \pm 1.96 \frac{s}{\sqrt{n}} \), where \( \bar{x} \) is the mean score, \( s \) is the standard deviation, and \( n \) is the number of runs. Effect sizes were determined using Cohen’s \( d \), defined as \( d = \frac{\bar{x}_{baseline} – \bar{x}_{proposed}}{s_p} \), where \( s_p \) is the pooled standard deviation. Statistical significance was set at \( p < 0.05 \), while practical significance was evaluated through effect size and consistency across metrics.

Discussion

The discussion section of the research paper highlights the limitations of traditional Physics-Informed Neural Networks (PINNs) in modeling multivariate nonlinear dynamical systems, particularly in the context of increasing uncertainty and complexity in real-world applications. While PINNs effectively integrate physical laws into neural network training, they predominantly rely on deterministic frameworks with fixed-weight loss balancing, which can lead to instability and inadequate performance under noisy or incomplete data conditions. The paper identifies critical challenges such as the inability to model nonlinear coupling, the impact of both aleatoric and epistemic uncertainties, and the lack of robust evaluation protocols for assessing model performance under perturbations.

To address these issues, the authors propose a hybrid framework that incorporates adaptive loss balancing, a joint architecture combining physics constraints with attention-based temporal encoding, and a structured robustness evaluation protocol. This framework aims to enhance the predictive reliability and adaptability of models in uncertain environments by dynamically adjusting the weighting of data and physics residual losses during training. The integration of these elements is positioned as a significant advancement over traditional PINNs, moving towards a more flexible and robust approach for modeling complex dynamical systems while ensuring that physical principles are respected. The study emphasizes the necessity of bridging gaps in existing methodologies to create a unified framework that effectively addresses the challenges of uncertainty and robustness in scientific machine learning.