DOI: https://doi.org/10.1016/j.cma.2026.118916
تاريخ النشر: 2026-03-24
المؤلف: Filippo Zacchei وآخرون
الموضوع الرئيسي: سلاسل ماركوف وطرق مونت كارلو
نظرة عامة
تقدم البحث إطار عمل قبول مؤجل متعدد الدقة (MFDA) يهدف إلى تعزيز المشاكل العكسية بايزي التي تحكمها المعادلات التفاضلية الجزئية (PDEs). تعالج هذه الطريقة التحديات الحسابية المرتبطة بالأساليب التقليدية، مثل سلسلة ماركوف مونت كارلو (MCMC)، خاصة عندما تكون المحاكاة عالية الدقة مكلفة بشكل مفرط. من خلال دمج الشبكات العصبية متعددة الدقة، يسمح إطار MFDA بالجمع الفعال لمخرجات من مجموعة متنوعة من الحلول منخفضة الدقة، مما يحسن دقة نماذج البدائل بينما يقتصر التقييم عالي الدقة على مرحلة تدريب غير متصلة. تمكن هذه الطريقة أخذ العينات عبر الإنترنت للاعتماد فقط على الحلول منخفضة الدقة وتصحيحات الشبكة العصبية، مما يعزز بشكل كبير الكفاءة الحسابية.
تظهر فعالية إطار MFDA من خلال مشكلتين مرجعيتين: إعادة بناء مجالات النفاذية في نموذج تدفق المياه الجوفية واستنتاج المعلمات لنظام تفاعل-انتشار غير الخطي. تشير النتائج إلى أن MFDA تحقق تقديرات لاحقة قابلة للمقارنة مع تلك المستمدة من الأساليب عالية الدقة مع تقليل وقت الحساب لكل عينة فعالة بعوامل تقارب خمسة وثلاثة بالنسبة لـ MCMC و قبول مؤجل متعدد المستويات (MLDA) على التوالي. يسمح التصميم المعياري للإطار بالمرونة في هياكل ونماذج البدائل، مما يجعله قابلاً للتطبيق على مجموعة واسعة من المشاكل العكسية بايزي. ستستكشف الأبحاث المستقبلية استراتيجيات تدريب عبر الإنترنت التكيفية وتطبيق MFDA في السيناريوهات التي تختلف فيها النماذج منخفضة الدقة في الفيزياء أو الأبعاد.
مقدمة
تسلط المقدمة الضوء على أهمية تقدير المعلمات في مجالات الهندسة المختلفة، بما في ذلك ديناميات السوائل، وأنظمة المناخ، والهياكل المدنية، والأنظمة الدقيقة، حيث تعتبر التقديرات الدقيقة ضرورية لأداء النظام وسلامته. على الرغم من التقدم في المحاكاة العددية، فإن تعقيد النماذج الرياضية، التي غالبًا ما تمثلها المعادلات التفاضلية الجزئية (PDEs)، يطرح تحديات في الكفاءة الحسابية، خاصة في السيناريوهات التي تتطلب استفسارات متعددة، مثل تقدير عدم اليقين (UQ). يتم التأكيد على الأساليب البايزية لقدرتها على تحديث المعتقدات السابقة بناءً على البيانات الملاحظة، مما ينتج عنه توزيع لاحق يجسد عدم اليقين. ومع ذلك، فإن الحصول على هذا التوزيع اللاحق في شكل مغلق نادر، مما يتطلب تقنيات حسابية متنوعة، حيث تعتبر طرق سلسلة ماركوف مونت كارلو (MCMC) خيارًا بارزًا نظرًا لتطبيقها العام.
تناقش هذه القسم أيضًا الأساليب البديلة، بما في ذلك أخذ العينات المهمة، وطرق مونت كارلو المتسلسلة، ومرشحات كالمان، التي، على الرغم من كونها مكثفة حسابيًا مقارنة بالأساليب التكرارية مثل تقدير الاحتمالية القصوى، توفر معلومات احتمالية أغنى. يُلاحظ أن الاستدلال التبايني (VI) هو طريقة قابلة للتوسع تصيغ تقريبًا لاحقًا كمشكلة تحسين، على الرغم من أنها قد تقدم تحيزًا. لمعالجة قيود الأساليب الحالية، يقترح المؤلفون مخطط أخذ عينات جديد يسمى قبول مؤجل متعدد الدقة (MFDA)، والذي يعزز الاستدلال القائم على MCMC من خلال الاستفادة من نماذج بديلة ذات دقة متغيرة من خلال دمج متعدد الدقة واستراتيجيات تصفية مستوحاة من إطار قبول مؤجل متعدد المستويات (MLDA).
طرق
في هذا القسم، يناقش المؤلفون الأساليب متعددة المستويات الموجودة لأخذ عينات سلسلة ماركوف مونت كارلو (MCMC)، مع التركيز على نقاط قوتها وقيودها في الاستدلال البايزي. يعتمد خوارزمية MCMC الكلاسيكية على عملية تكرارية حيث يتم اقتراح معلمات مرشحة بناءً على عينات سابقة، ويتم تقييم احتمالاتها باستخدام نموذج أمامي. بينما يمكن أن تسرع البدائل منخفضة الدقة تقييمات الاحتمالات وتقلل التكاليف الحسابية، إلا أنها قد تقدم مخاوف تتعلق بالدقة تعتمد على خصائص نموذج البديل. غالبًا ما يحد الارتباط الذاتي العالي في عينات MCMC من حجم العينة الفعالة، مما يحفز تطوير استراتيجيات مثل خوارزميات ميتروبوليس التكيفية وخوارزميات ميتروبوليس المعدلة لانغفين لتعزيز استكشاف فضاء المعلمات، على الرغم من تكلفة الطلبات الحسابية المتزايدة.
يسلط المؤلفون الضوء على ظهور الأساليب متعددة المستويات، التي تستفيد من هرمية التقديرات العددية لتحقيق توازن بين الدقة والكفاءة الحسابية. تهدف تقنيات مثل خوارزميات القبول المؤجل وMCMC متعدد المستويات إلى تصفية اقتراحات المعلمات غير المحتملة مبكرًا في عملية التقييم، مما يقلل من تقييمات النماذج عالية الدقة المكلفة. ومع ذلك، يمكن أن تتعرض فعالية هذه الأساليب للخطر بسبب التحيزات التي تقدمها النماذج الخشنة، مما يتطلب إما أطوال سلسلة فرعية أقصر أو نماذج خشنة أكثر دقة، مما يقلل من المزايا الحسابية. لمعالجة هذه التحديات، تقترح طرق دمج متعدد الدقة، وخاصة تلك التي تستخدم الشبكات العصبية (NNs)، كوسيلة لتحسين اتساق التقديرات المعتمدة على البدائل من خلال تقييم نماذج متعددة في وقت واحد ودمج مخرجاتها. يؤدي ذلك إلى تقديم مخطط MFDA، الذي يدمج هذه التقنيات المتقدمة في إطار مشاكل بايزي العكسية وأخذ عينات MCMC.
مناقشة
تعزز استراتيجية قبول مؤجل متعدد الدقة لسلسلة ماركوف مونت كارلو (MFDA) الإطار الحالي لـ MLDA من خلال دمج نهج دمج متعدد الدقة باستخدام الشبكات العصبية (NNs). تبدأ هذه الطريقة ذات المرحلتين بمرحلة تدريب غير متصلة، حيث تتعلم الشبكات العصبية خريطة تصحيحية لمواءمة مخرجات الحلول الخشنة مع نموذج عالي الدقة، مما يتطلب تقييمات عالية الدقة فقط في هذه المرحلة. تستخدم المرحلة عبر الإنترنت أخذ عينات متعددة المستويات باستخدام حلول خشنة فقط، حيث تعمل مخرجات جميع النماذج الخشنة كمدخلات للشبكة العصبية المقابلة، مما ينتج عنه توقعات مصححة. لا يحسن هذا الهيكل دقة مستويات الدقة المنخفضة فحسب، بل يضمن أيضًا أن يبقى تقريب المستوى الأدق متسقًا مع النموذج عالي الدقة. وبالتالي، يحقق إطار MFDA توازنًا بين البدائل المدفوعة بالبيانات، التي تكون مكلفة للتدريب ولكن سريعة في التقييم، ومخططات MLDA المعتمدة على الحلول التي تتجنب التدريب غير المتصل ولكن تعتمد بشكل كبير على الحسابات عالية الدقة المكلفة أثناء أخذ العينات.
تتمتع نهج MFDA بمزايا متعددة. يعزز اتساق التقديرات اللاحقة عبر مستويات الدقة، مما يمكّن من استخدام سلاسل فرعية أطول في المستويات الخشنة، مما يقلل من الارتباط الذاتي للعينة ويعزز الكفاءة العامة لأخذ العينات. تسمح القدرة التصحيحية للشبكات العصبية متعددة الدقة باستخدام نماذج خشنة أقل دقة قد تعيق الأداء عادةً في مخططات MLDA القياسية. تشير النتائج التجريبية إلى أن تدريب الشبكات العصبية على هرمية من مخرجات النماذج الخشنة ينتج أداءً أفضل مقارنةً بالاعتماد فقط على البديل الأكثر دقة، مما يبرز أهمية الاستفادة من الارتباطات عبر مستويات دقة متعددة. تمثل هذه العمل تقدمًا كبيرًا في الدمج المنهجي لدمج بيانات متعددة الدقة واستراتيجيات التصفية ضمن إطار MCMC لتقدير عدم اليقين العكسي.
DOI: https://doi.org/10.1016/j.cma.2026.118916
Publication Date: 2026-03-24
Author(s): Filippo Zacchei et al.
Primary Topic: Markov Chains and Monte Carlo Methods
Overview
The research presents a Multi-Fidelity Delayed Acceptance (MFDA) framework aimed at enhancing Bayesian inverse problems governed by partial differential equations (PDEs). This method addresses the computational challenges associated with traditional approaches, such as Markov Chain Monte Carlo (MCMC), particularly when high-fidelity simulations are prohibitively expensive. By integrating multi-fidelity neural networks, the MFDA framework allows for the effective combination of outputs from various low-fidelity solvers, thus improving the accuracy of surrogate models while confining high-fidelity evaluations to an offline training phase. This approach enables online sampling to rely solely on low-fidelity solvers and neural network corrections, significantly enhancing computational efficiency.
The effectiveness of the MFDA framework is demonstrated through two benchmark problems: the reconstruction of transmissivity fields in a groundwater flow model and parameter inference for a nonlinear reaction-diffusion system. Results indicate that MFDA achieves posterior estimates comparable to those derived from high-fidelity methods while reducing computation time per effective sample by factors of approximately five and three relative to MCMC and Multi-Level Delayed Acceptance (MLDA), respectively. The framework’s modular design allows for flexibility in surrogate architectures and configurations, making it applicable to a wide range of Bayesian inverse problems. Future research will explore adaptive online training strategies and the application of MFDA in scenarios where low-fidelity models differ in physics or dimensionality.
Introduction
The introduction highlights the significance of parameter estimation in various engineering domains, including fluid dynamics, climate systems, civil structures, and microsystems, where accurate estimates are crucial for system performance and safety. Despite advancements in numerical simulations, the complexity of mathematical models, often represented by Partial Differential Equations (PDEs), poses challenges in computational efficiency, particularly in scenarios requiring multiple queries, such as Uncertainty Quantification (UQ). Bayesian methods are emphasized for their ability to update prior beliefs based on observed data, yielding a posterior distribution that encapsulates uncertainty. However, obtaining this posterior in closed form is rare, necessitating various computational techniques, with Markov Chain Monte Carlo (MCMC) methods being a prominent choice due to their general applicability.
The section further discusses alternative approaches, including Importance Sampling, Sequential Monte Carlo methods, and Kalman filters, which, while computationally intensive compared to frequentist methods like maximum likelihood estimation, provide richer probabilistic information. Variational Inference (VI) is noted as a scalable method that formulates posterior approximation as an optimization problem, though it may introduce bias. To address the limitations of existing methods, the authors propose a novel sampling scheme called Multi-Fidelity Delayed Acceptance (MFDA), which enhances MCMC-based inference by leveraging surrogate models of varying fidelity through multi-fidelity fusion and incorporating filtering strategies inspired by the Multi-Level Delayed Acceptance (MLDA) framework.
Methods
In this section, the authors discuss existing multi-level methods for Markov Chain Monte Carlo (MCMC) sampling, emphasizing their strengths and limitations in Bayesian inference. The classical MCMC algorithm relies on an iterative process where candidate parameters are proposed based on previous samples, and their likelihoods are evaluated using a forward model. While low-fidelity surrogates can accelerate likelihood evaluations and reduce computational costs, they may introduce accuracy concerns that depend on the surrogate model’s characteristics. High autocorrelation in MCMC samples often limits effective sample size, prompting the development of strategies such as adaptive Metropolis and Metropolis-adjusted Langevin algorithms to enhance parameter space exploration, albeit at the cost of increased computational demands.
The authors highlight the emergence of multi-level methods, which leverage hierarchies of numerical discretizations to balance accuracy and computational efficiency. Techniques like Delayed Acceptance algorithms and Multi-level MCMC aim to filter out unlikely parameter proposals early in the evaluation process, thereby minimizing expensive high-fidelity model evaluations. However, the effectiveness of these methods can be compromised by biases introduced by coarse models, necessitating either shorter sub-chain lengths or more accurate coarse models, which diminishes the computational advantages. To address these challenges, multi-fidelity fusion methods, particularly those utilizing neural networks (NNs), are proposed as a means to improve the consistency of surrogate-based approximations by simultaneously evaluating multiple models and combining their outputs. This leads to the introduction of the MFDA scheme, which integrates these advanced techniques into the framework of Bayesian inverse problems and MCMC sampling.
Discussion
The proposed multi-fidelity delayed acceptance Markov Chain Monte Carlo (MFDA) strategy enhances the existing MLDA framework by integrating a multi-fidelity fusion approach utilizing neural networks (NNs). This two-stage method begins with an offline training phase, where NNs learn a corrective mapping to align coarse solver outputs with a high-fidelity model, requiring high-fidelity evaluations only at this stage. The online phase employs multi-level sampling using only coarse solvers, where outputs from all coarser models serve as inputs to the corresponding NN, yielding corrected predictions. This structure not only improves the accuracy of lower fidelity levels but also ensures that the finest level’s approximation remains consistent with the high-fidelity model. The MFDA framework thus strikes a balance between data-driven surrogates, which are costly to train but fast in evaluation, and solver-based MLDA schemes that avoid offline training but rely heavily on expensive high-fidelity computations during sampling.
The advantages of the MFDA approach are multifaceted. It enhances the consistency of posterior approximations across fidelity levels, enabling longer sub-chains at coarse levels, which reduces sample autocorrelation and boosts overall sampling efficiency. The corrective capability of the multi-fidelity NNs allows for the use of less accurate coarse models that would typically hinder performance in standard MLDA schemes. Empirical results indicate that training NNs on a hierarchy of coarse model outputs yields superior performance compared to relying solely on the most accurate surrogate, underscoring the importance of leveraging correlations across multiple fidelity levels. This work represents a significant advancement in the systematic integration of multi-fidelity data fusion and filtering strategies within an MCMC framework for inverse uncertainty quantification.
