DOI: https://doi.org/10.1016/j.jfranklin.2026.108607
تاريخ النشر: 2026-03-19
المؤلف: Ali Mohammad-djafari A وآخرون
الموضوع الرئيسي: تقليل النماذج والشبكات العصبية
نظرة عامة
تقدم الورقة البحثية إطارًا جديدًا يسمى الشبكة العصبية المستنيرة بالفيزياء بايزيان لمشاكل العكس (BPINN-IP)، والذي يوسع صياغة الشبكة العصبية المستنيرة بالفيزياء (PINN) القياسية لمعالجة مشاكل العكس، لا سيما في مهام معالجة الصور تحت الحمراء مثل فك الالتواء والتكبير الفائق. يدمج إطار BPINN-IP الاستدلال البايزي في هيكل PINN، مما يسمح بالإدماج المتزامن للقيود الفيزيائية والمعرفة السابقة والاستدلال المدفوع بالبيانات. يسهل هذا الدمج تقدير المعلمات بشكل قوي وتحديد عدم اليقين بشكل ذي معنى، وهو أمر ضروري للتطبيقات التي تتضمن بيانات مشوشة وغير مكتملة.
يبرز المؤلفون أنه بينما تركز الأدبيات السابقة بشكل أساسي على المعادلات التفاضلية العادية والجزئية، فإن نهجهم يعالج فئة أوسع من مشاكل العكس الخطية التكاملية. من خلال الاستفادة من النمذجة الاحتمالية في توليد البيانات والتدريب، يعزز إطار BPINN-IP قدرات التعميم للشبكات العصبية، لا سيما في السيناريوهات غير المحددة والأبعاد العالية. تظهر النتائج من كل من البيانات الصناعية الحقيقية والمحاكاة أن BPINN-IP يتفوق على الطرق التقليدية من حيث المتانة والتعميم، بينما يقلل أيضًا من الاعتماد على مجموعات البيانات الكبيرة المعنونة. تشمل اتجاهات البحث المستقبلية توسيع الإطار ليشمل مشاكل العكس غير الخطية والديناميكية، وتحسين هياكل الشبكات، والتحقق من الطريقة على مجموعات بيانات أكثر تعقيدًا، مما يضع BPINN-IP كأداة واعدة لمجموعة واسعة من مشاكل العكس في العلوم والهندسة.
مقدمة
تناقش مقدمة هذه الورقة البحثية أهمية مشاكل العكس عبر مجالات علمية وهندسية متنوعة، حيث الهدف هو استنتاج كميات فيزيائية مخفية من بيانات غير مباشرة أو مشوشة أو غير مكتملة. تشمل الطرق التقليدية لمعالجة هذه المشاكل الصيغ التحليلية، والتقنيات التكرارية، والاستدلال البايزي، حيث تكون الأخيرة مفيدة بشكل خاص بسبب قدرتها على نمذجة عدم اليقين من خلال التوزيع اللاحق للمتغيرات المجهولة المشروطة على الملاحظات. ومع ذلك، يمكن أن تصبح التقنيات البايزية الكلاسيكية، مثل سلسلة ماركوف مونت كارلو (MCMC)، مكلفة حسابيًا في السيناريوهات عالية الأبعاد أو عندما تكون النماذج الفيزيائية المعقدة متورطة.
لمعالجة هذه التحديات، تقدم الورقة نهجًا جديدًا يسمى الشبكة العصبية المستنيرة بالفيزياء بايزيان لمشاكل العكس (BPINN-IP). تعزز هذه الصياغة الشبكات العصبية المستنيرة بالفيزياء (PINNs) الحالية من خلال دمج عدم اليقين المتعلق بتوليد بيانات التدريب والنمذجة السابقة بشكل صريح، مما يسمح باشتقاق توزيع لاحق لمخرجات الشبكة العصبية. تدمج المنهجية نموذجًا احتماليًا توليديًا يلتقط كل من بيانات التدريب ونماذج الملاحظات، مع فرض مشغل الأمام الفيزيائي كقيد ضمن الإطار البايزي. تؤدي هذه الوحدة بين PINNs الحتمية والاستدلال البايزي إلى مُقدِّر أقصى أ posteriori (MAP)، مما يسهل كل من تقدير المعلمات وتحديد عدم اليقين. تتناول الورقة بشكل أكبر الصياغة المقترحة، موضحة فعاليتها من خلال تطبيقات التصوير تحت الحمراء الاصطناعية والعالمية، وتناقش آثارها لمجموعة أوسع من مشاكل العكس.
طرق
تستعرض قسم الطرق لمشاكل العكس مجموعة متنوعة من الأساليب، بما في ذلك الأساليب التحليلية، والتكرارية، والتقنيات الاحتمالية. توفر الأساليب التحليلية حلولًا دقيقة ولكنها محدودة في التكوينات البسيطة. تعمل تقنيات التكرار، مثل تنظيم تيخونوف والأولويات التي تعزز الندرة، على استقرار المشاكل غير المحددة، على الرغم من أن اختيار المعلمات المناسبة في البيئات المشوشة لا يزال يمثل تحديًا. يوفر الاستدلال البايزي إطارًا لدمج المعرفة السابقة وتحديد عدم اليقين، مع استراتيجيات قائمة على العينة مثل سلسلة ماركوف مونت كارلو (MCMC) وهاميلتونيان مونت كارلو التي تقدم استكشافًا لتوزيعات لاحقة معقدة، على الرغم من التكلفة الحسابية العالية. تعزز طرق الاستدلال التقريبي التكراري القابلية للتوسع ولكن قد تواجه صعوبات مع التوزيعات متعددة الأوجه.
يناقش النص أيضًا التقدم الذي أحرزته التعلم العميق، لا سيما من خلال الشبكات العصبية التلافيفية (CNNs) والشبكات العصبية المتكررة (RNNs)، التي تتعلم الخرائط المعقدة من البيانات. ومع ذلك، يمكن أن تعيق اعتمادها على مجموعات بيانات كبيرة معنونة وقلة القابلية للتفسير التناسق الفيزيائي. تخفف الشبكات العصبية المستنيرة بالفيزياء (PINNs) من هذه القضايا من خلال دمج المعادلات الحاكمة كقيود ناعمة، مما يعزز التعميم ويقلل من احتياجات البيانات. أدت التطورات الأخيرة إلى صياغات بايزية لـ PINNs (BPINNs)، التي تقدم تنظيمًا عشوائيًا وأولويات احتمالية. يقترح المؤلفون إطارًا جديدًا من BPINN، مصمم خصيصًا لمشاكل العكس. يجمع هذا الإطار بين القابلية للتفسير والتناسق الفيزيائي لـ PINNs مع تحديد عدم اليقين البايزي، مما يوفر منهجية قوية قابلة للتطبيق على كل من مجموعات البيانات المحاكاة والتجريبية. من الجدير بالذكر أن PINNs الحتمية تظهر كحالة خاصة من إطار BPINN-IP، والتي تتوافق مع الحل الأقصى posteriori (MAP).
نقاش
تقدم البحث إطارًا جديدًا من الشبكة العصبية المستنيرة بالفيزياء بايزيان (BPINN) مصممًا لمشاكل العكس، لا سيما في استعادة الصور تحت الحمراء (IR) والتكبير الفائق. يدمج هذا الإطار التنظيم الكلاسيكي، والاستدلال البايزي، والتعلم العميق المستنير بالفيزياء في نموذج احتمالي موحد. من خلال نمذجة عملية توليد البيانات بشكل صريح من خلال المشغل الأمامي \( H \) وأخذ عدم اليقين في القياسات في الاعتبار، يستنتج إطار BPINN بشكل منهجي التوزيع اللاحق البايزي للصورة المجهولة \( f \) ومعلمات الشبكة العصبية \( w \). تكشف المنهجية أن الشبكات العصبية المستنيرة بالفيزياء الكلاسيكية (PINNs) يمكن اعتبارها الحل الأقصى posteriori (MAP) ضمن هذا السياق البايزي، بينما تسهل أيضًا تحديد عدم اليقين من خلال التباينات اللاحقة.
تشير النتائج الرئيسية إلى أن دمج المشغل الأمامي \( H \) يعزز جودة الاستعادة، لا سيما في السيناريوهات غير المراقبة حيث تكون بيانات الحقيقة الأرضية غائبة. توضح تفكيك دالة الخسارة \( J(w) = J_{NN}(w) + J_{PI}(w) + J_{PR}(w) \) أدوار المصطلحات الخاضعة للإشراف، والمستنيرة بالفيزياء، والسابقة، مما يوفر مبررًا واضحًا لهياكل الخسارة المستخدمة عادة في أدبيات PINN. يظهر إطار BPINN متانة ضد تأثيرات الانبعاث غير الخطية وضوضاء القياس، مع تحقيق هياكل U-Net لأداء محسّن. تشمل اتجاهات البحث المستقبلية توسيع الإطار ليشمل المعادلات التفاضلية الجزئية غير الخطية وتحسين هياكل الشبكات لتطبيقات أوسع عبر مجالات علمية وهندسية متنوعة.
DOI: https://doi.org/10.1016/j.jfranklin.2026.108607
Publication Date: 2026-03-19
Author(s): Ali Mohammad-djafari A et al.
Primary Topic: Model Reduction and Neural Networks
Overview
The research paper introduces a novel framework termed Bayesian Physics-Informed Neural Network for Inverse Problems (BPINN-IP), which extends the standard Physics-Informed Neural Network (PINN) formulation to address inverse problems, particularly in infrared image processing tasks such as deconvolution and super-resolution. The BPINN-IP framework integrates Bayesian inference into the PINN structure, allowing for the simultaneous incorporation of physical constraints, prior knowledge, and data-driven inference. This integration facilitates robust parameter estimation and meaningful uncertainty quantification, which is essential for applications involving noisy and incomplete data.
The authors highlight that while previous literature predominantly focuses on ordinary and partial differential equations, their approach addresses a broader class of integral linear inverse problems. By leveraging probabilistic modeling in data generation and training, the BPINN-IP framework enhances the generalization capabilities of neural networks, particularly in ill-posed and high-dimensional scenarios. The results from both simulated and real industrial data demonstrate that BPINN-IP outperforms traditional methods in terms of robustness and generalization, while also reducing the dependency on large labeled datasets. Future research directions include extending the framework to non-linear and dynamic inverse problems, optimizing network architectures, and validating the method on more complex datasets, positioning BPINN-IP as a promising tool for a wide array of inverse problems in science and engineering.
Introduction
The introduction of this research paper discusses the significance of inverse problems across various scientific and engineering domains, where the goal is to deduce hidden physical quantities from indirect, noisy, or incomplete data. Traditional methods for addressing these problems include analytical formulations, variational regularization, and Bayesian inference, the latter being particularly advantageous due to its ability to model uncertainties through the posterior distribution of unknowns conditioned on observations. However, classical Bayesian techniques, such as Markov Chain Monte Carlo (MCMC), can become computationally intensive in high-dimensional scenarios or when complex physical models are involved.
To address these challenges, the paper introduces a novel approach termed Bayesian Physics-Informed Neural Network for Inverse Problems (BPINN-IP). This formulation enhances the existing Physics-Informed Neural Networks (PINNs) by explicitly incorporating uncertainties related to training data generation and prior modeling, allowing for the derivation of a posterior distribution for the neural network outputs. The methodology integrates a probabilistic generative model that captures both the training data and observation models, while imposing the physical forward operator as a constraint within the Bayesian framework. This unification of deterministic PINNs and Bayesian inference results in a Maximum A Posteriori (MAP) estimator, facilitating both parameter estimation and uncertainty quantification. The paper further elaborates on the proposed formulation, demonstrating its efficacy through synthetic and real-world infrared imaging applications, and discusses its implications for a wider range of inverse problems.
Methods
The section on methods for inverse problems outlines various approaches, including analytical, variational, and probabilistic techniques. Analytical methods yield exact solutions but are limited to simple configurations. Variational regularization techniques, such as Tikhonov regularization and sparsity-promoting priors, stabilize ill-posed problems, although selecting appropriate parameters in noisy environments remains challenging. Bayesian inference provides a framework for incorporating prior knowledge and quantifying uncertainties, with sampling-based strategies like Markov Chain Monte Carlo (MCMC) and Hamiltonian Monte Carlo offering exploration of complex posterior distributions, albeit at a high computational cost. Variational approximate inference methods enhance scalability but may struggle with multimodal distributions.
The text further discusses the advancements brought by deep learning, particularly through Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs), which learn complex mappings from data. However, their reliance on large labeled datasets and limited interpretability can impede physical consistency. Physics-Informed Neural Networks (PINNs) mitigate these issues by integrating governing equations as soft constraints, enhancing generalization and reducing data needs. Recent developments have led to Bayesian formulations of PINNs (BPINNs), which introduce stochastic regularization and probabilistic priors. The authors propose a new Bayesian PINN framework, termed BPINN-IP, specifically designed for inverse problems. This framework combines the interpretability and physical consistency of PINNs with Bayesian uncertainty quantification, providing a robust methodology applicable to both simulated and experimental datasets. Notably, deterministic PINNs emerge as a special case of the BPINN-IP framework, corresponding to the maximum a posteriori (MAP) solution.
Discussion
The research presents a novel Bayesian Physics-Informed Neural Network (BPINN) framework tailored for inverse problems, particularly in infrared (IR) image restoration and super-resolution. This framework integrates classical regularization, Bayesian inference, and physics-informed deep learning into a unified probabilistic model. By explicitly modeling the data-generation process through the forward operator \( H \) and accounting for measurement uncertainties, the BPINN framework systematically derives the Bayesian posterior distribution of the unknown image \( f \) and the neural network parameters \( w \). The methodology reveals that classical Physics-Informed Neural Networks (PINNs) can be viewed as the Maximum A Posteriori (MAP) solution within this Bayesian context, while also facilitating uncertainty quantification through posterior variances.
Key findings indicate that incorporating the forward operator \( H \) enhances reconstruction quality, particularly in unsupervised scenarios where ground-truth data is absent. The decomposition of the loss function \( J(w) = J_{NN}(w) + J_{PI}(w) + J_{PR}(w) \) elucidates the roles of supervised, physics-informed, and prior terms, providing a clear justification for the loss structures commonly employed in PINN literature. The BPINN framework demonstrates robustness against nonlinear emissivity effects and measurement noise, with U-Net architectures yielding improved performance. Future research directions include extending the framework to nonlinear partial differential equations and optimizing network architectures for broader applicability across various scientific and engineering domains.