DOI: https://doi.org/10.1103/wms4-m4cb
تاريخ النشر: 2026-02-18
المؤلف: Hendrik Roch وآخرون
الموضوع الرئيسي: العمليات الغاوسية والاستدلال البايزي
نظرة عامة
في هذا البحث، يستقصي المؤلفون تطبيق نماذج التدفق الطبيعي (NF) كأولويات مرنة في الاستدلال بايزي، مع استخدام عينات سلسلة ماركوف مونت كارلو (MCMC) للتعديل البايزي التكراري. من خلال تدريب نماذج NF على النتائج اللاحقة من التحليلات السابقة، يظهرون أن هذه النماذج يمكن أن تلتقط بفعالية التوزيعات المعقدة والارتباطات، وبالتالي تعمل كأولويات معلوماتية في مهام الاستدلال اللاحقة. تقارن الدراسة استراتيجيات تدريب مختلفة ودوال خسارة، كاشفة أن التدريب القائم على تباين كولباك-ليبلر (KL) والتعلم غير المراقب ينتج عنه أكثر النسخ دقة للتوزيعات المرجعية. يتم تطبيق سير العمل البايزي التسلسلي على مشكلة فيزياء نووية عالية الطاقة، حيث يعيد MCMC مع أولويات قائمة على NF بنجاح إنتاج النتائج من الاستدلال المشترك لمرة واحدة، خاصة عندما تكون التوزيعات المستهدفة أحادية الشكل.
تشير النتائج إلى أنه بينما تعتبر أولويات قائمة على NF أدوات فعالة للاستدلال البايزي التسلسلي في فضاءات المعلمات عالية الأبعاد، يجب توخي الحذر في السيناريوهات التي تتضمن تعددية الأشكال أو توتر مجموعة البيانات، حيث يمكن أن تؤدي هذه إلى تشوهات في النتائج. تؤكد المقارنة بين عينة pocoMC وعينات emcee القياسية على ضرورة وجود خوارزميات قوية لاستكشاف الفضاء اللاحق بفعالية. بشكل عام، تؤسس الدراسة أولويات قائمة على NF كإطار عملي لدمج المعرفة السابقة في التحليلات البايزية، مما يمهد الطريق لتطبيقات أكثر تعقيدًا في فيزياء النووية عالية الطاقة ويعزز الكفاءة الحسابية في دراسات الاستدلال على نطاق واسع. تهدف الأعمال المستقبلية إلى تنفيذ هذا الإطار في تحليلات بايزي تسلسلية حقيقية، مما يبرز إمكانيات نماذج NF كعناصر قابلة لإعادة الاستخدام لاستكشاف مستنير للنماذج النظرية في فيزياء النووية والجسيمات.
مقدمة
تناقش مقدمة هذه الورقة البحثية تطبيق الاستدلال بايزي كإطار إحصائي قوي لتقييد توزيعات معلمات النموذج بناءً على البيانات التجريبية في فيزياء النووية عالية الطاقة. تبرز قدرة الأساليب البايزية على إدارة فضاءات المعلمات عالية الأبعاد ودمج قيود تجريبية متعددة، مما يسهل تقدير عدم اليقين من خلال التوزيعات اللاحقة المستمدة من نظرية بايز:
\[
P(\theta | y_{\text{exp}}) = \frac{P(y_{\text{exp}} | \theta) P(\theta)}{P(y_{\text{exp}})}.
\]
تؤكد الورقة على أهمية توزيعات الأولويات، التي يمكن أن تكون موحدة أو غاوسية، ودورها في التحليل البايزي التسلسلي، خاصة عند دمج البيانات من مصادر تجريبية متنوعة، مثل التشتت العميق غير المرن واصطدامات الأيونات الثقيلة. يقترح المؤلفون استخدام نموذج تدفق طبيعي (NF) لتوليد عينات بكفاءة تلتقط الهياكل المعقدة لتوزيعات الأولويات، خاصة في الفضاءات عالية الأبعاد حيث قد تفشل طرق العينة التقليدية.
علاوة على ذلك، يوسع البحث إطار NF ليشمل سيناريوهات التعلم غير المراقب ويطبقه كأولوية معلوماتية في التحليلات البايزية التسلسلية. يخطط المؤلفون للتحقق من نتائجهم مقابل تلك التي تم الحصول عليها من استدلال بايزي مشترك لمرة واحدة والتحقق من اتساق النتائج اللاحقة من خلال تغيير ترتيب دمج البيانات. ستفصل الأقسام التالية من الورقة نموذج NF، والإطار البايزي، وتطبيق عملي في فضاء معلمات سباعي الأبعاد ذي الصلة بفيزياء النووية عالية الطاقة.
النتائج
في هذا القسم، يقدم المؤلفون نتائج تحقيقهم في الهيكل الأمثل للتدفق العصبي (NF) من خلال مسح للمعلمات الفائقة يتضمن 200,000 خطوة تدريب على مجموعة بيانات تتكون من 85,000 عينة. يستكشفون تركيبات مختلفة من أحجام الدفعات، وطبقات الربط، ومعدلات التعلم، ويقيمون أداء النموذج باستخدام تباين كولباك-ليبلر (KL) لكل من التوزيعات الهامشية أحادية البعد والهياكل التغايرية ثنائية الأبعاد. يتم اختيار الهيكل الذي ينتج أقل تباين KL متوسط لمزيد من التحليل البايزي. تقيم الدراسة دالتين للخسارة في إعداد مراقب—تباين جيفريز وتباين KL—بينما يستخدم التدريب غير المراقب باستمرار هدف الاحتمالية السالبة.
تشير النتائج إلى أن نموذج NF يلتقط بفعالية التوزيعات المستهدفة، خاصة لمجموعة بيانات γ + p، حيث تكون التوزيعات الهامشية أحادية البعد في الغالب أحادية الشكل وداخل الحدود السابقة. ومع ذلك، تظهر تحديات مع مجموعة بيانات γ + Pb، حيث تظهر بعض المعلمات توزيعات واسعة وذيول طويلة، مما يعقد عملية التعيين إلى توزيع غاوسي. على الرغم من هذه التحديات، يعيد نموذج NF بنجاح إنتاج قمم الحدود والتوزيعات ذات الذيل الثقيل. يتم تلخيص أفضل التكوينات لكلتا المجموعتين في الجدول II، مما يكشف أن نماذج NF المحسنة لـ γ + Pb تتطلب المزيد من الطبقات مقارنة بتلك الخاصة بـ γ + p، مما يعكس التعقيد المتزايد للتوزيع اللاحق. من الجدير بالذكر أن دالة خسارة تباين KL تتفوق باستمرار على تباين جيفريز، وأن التدريب غير المراقب مع الاحتمالية السالبة يحقق دقة مقارنة بالنماذج المراقبة باستخدام خسارة KL. لبقية الدراسة، يختار المؤلفون استخدام نماذج NF المراقبة المدربة بخسارة KL لكلتا المجموعتين.
المناقشة
في هذا القسم، يقدم المؤلفون إطارًا شاملاً للاستدلال البايزي متعدد المراحل باستخدام التدفقات الطبيعية (NF) لبناء أولويات معلوماتية من التوزيعات اللاحقة التي تم الحصول عليها في التحليلات السابقة. يسهل نموذج NF تعيينًا ثنائي الاتجاه بين التوزيعات المستهدفة المعقدة والتوزيعات المرجعية الأبسط، مما يسمح بعينات فعالة والتقاط الارتباطات المعقدة بين المعلمات. يوضح المؤلفون عملية تدريب NF، التي تستخدم إما التعلم المراقب باستخدام تباين جيفريز أو التعلم غير المراقب من خلال تقدير الاحتمالية القصوى، مما يظهر أن دالة خسارة تباين KL تحقق أداءً متفوقًا في تقريب التوزيعات اللاحقة الحقيقية.
يتم توضيح تطبيق هذا الإطار من خلال دراسة استدلال بايزي تسلسلي تتضمن بيانات فيزياء نووية عالية الطاقة من تصادمات γ + p و γ + Pb. يظهر المؤلفون أن النتيجة اللاحقة من مجموعة بيانات واحدة يمكن أن تعمل بفعالية كأولوية للتحليلات اللاحقة، مما يعزز عملية الاستدلال العامة. يبرزون أهمية تقنيات أخذ العينات MCMC القوية، مشيرين إلى أن أداء عينات مختلفة يمكن أن يؤثر بشكل كبير على دقة التوزيعات اللاحقة النهائية. تؤكد النتائج على إمكانيات نماذج NF لتحسين الكفاءة والموثوقية للاستدلال البايزي في فضاءات المعلمات عالية الأبعاد، مما يمهد الطريق لتطبيقات مستقبلية في التحليلات المعقدة ضمن فيزياء النووية والجسيمات.
DOI: https://doi.org/10.1103/wms4-m4cb
Publication Date: 2026-02-18
Author(s): Hendrik Roch et al.
Primary Topic: Gaussian Processes and Bayesian Inference
Overview
In this research, the authors investigate the application of normalizing flow (NF) models as flexible priors in Bayesian inference, specifically utilizing Markov Chain Monte Carlo (MCMC) sampling for iterative Bayesian calibration. By training NF models on posteriors from prior analyses, they demonstrate that these models can effectively capture complex distributions and correlations, thus serving as informative priors in subsequent inference tasks. The study compares various training strategies and loss functions, revealing that training based on Kullback-Leibler (KL) divergence and unsupervised learning yields the most accurate reproductions of reference distributions. The sequential Bayesian workflow is applied to a high-energy nuclear physics problem, where MCMC with NF-based priors successfully reproduces results from one-shot joint inference, particularly when target distributions are unimodal.
The findings indicate that while NF-based priors are efficient tools for sequential Bayesian inference in high-dimensional parameter spaces, caution is warranted in scenarios involving multi-modality or dataset tension, as these can lead to distortions in the results. The comparison between the pocoMC and standard emcee samplers further emphasizes the necessity of robust algorithms for effective posterior space exploration. Overall, the study establishes NF-based priors as a practical framework for incorporating prior knowledge into Bayesian analyses, paving the way for more complex applications in high-energy nuclear physics and enhancing computational efficiency in large-scale inference studies. Future work aims to implement this framework in real sequential Bayesian analyses, highlighting the potential of NF models as reusable components for informed exploration of theoretical models in nuclear and particle physics.
Introduction
The introduction of this research paper discusses the application of Bayesian inference as a robust statistical framework for constraining model parameter distributions based on experimental data in high-energy nuclear physics. It highlights the ability of Bayesian methods to manage high-dimensional parameter spaces and incorporate multiple experimental constraints, thereby facilitating uncertainty quantification through the posterior distributions derived from Bayes’ theorem:
\[
P(\theta | y_{\text{exp}}) = \frac{P(y_{\text{exp}} | \theta) P(\theta)}{P(y_{\text{exp}})}.
\]
The paper emphasizes the importance of prior distributions, which can be uniform or Gaussian, and their role in sequential Bayesian analysis, particularly when integrating data from various experimental sources, such as Deep Inelastic Scatterings and heavy-ion collisions. The authors propose using a normalizing flow (NF) model to efficiently generate samples that capture the complex structures of prior distributions, especially in high-dimensional spaces where traditional sampling methods may falter.
Furthermore, the research extends the NF framework to unsupervised learning scenarios and applies it as an informative prior in sequential Bayesian analyses. The authors plan to validate their results against those obtained from a one-shot joint Bayesian inference and investigate the consistency of posteriors by varying the order of data incorporation. The subsequent sections of the paper will detail the NF model, the Bayesian framework, and a practical application in a seven-dimensional parameter space relevant to high-energy nuclear physics.
Results
In this section, the authors present the results of their investigation into the optimal neural flow (NF) architecture through a hyperparameter scan involving 200,000 training steps on a dataset of 85,000 samples. They explore various combinations of batch sizes, coupling layers, and learning rates, assessing model performance using the Kullback-Leibler (KL) divergence for both one-dimensional marginalized distributions and two-dimensional covariance structures. The architecture yielding the lowest average KL divergence is selected for further Bayesian analysis. The study evaluates two loss functions in a supervised setup—Jeffreys’ divergence and KL divergence—while unsupervised training consistently employs the negative log-likelihood objective.
The results indicate that the NF model effectively captures the target distributions, particularly for the γ + p dataset, where the one-dimensional marginal distributions are mostly unimodal and well within prior boundaries. However, challenges arise with the γ + Pb dataset, where certain parameters exhibit broad distributions and long tails, complicating the mapping to a Gaussian distribution. Despite these challenges, the NF model successfully reproduces boundary peaks and heavy-tailed distributions. The best-performing configurations for both datasets are summarized in Table II, revealing that the optimized NF models for γ + Pb require more layers than those for γ + p, reflecting the increased complexity of the posterior distribution. Notably, the KL divergence loss function consistently outperforms Jeffreys’ divergence, and unsupervised training with the log-likelihood achieves comparable accuracy to supervised models using KL loss. For the remainder of the study, the authors opt to utilize the supervised NF models trained with KL loss for both datasets.
Discussion
In this section, the authors present a comprehensive framework for multi-stage Bayesian inference utilizing normalizing flows (NF) to construct informative priors from posterior distributions obtained in earlier analyses. The NF model facilitates a bijective mapping between complex target distributions and simpler reference distributions, allowing for efficient sampling and capturing intricate correlations among parameters. The authors detail the training process of the NF, which employs either supervised learning using Jeffreys’ divergence or unsupervised learning through maximum likelihood estimation, demonstrating that the KL divergence loss function yields superior performance in approximating true posterior distributions.
The application of this framework is illustrated through a sequential Bayesian inference study involving high-energy nuclear physics data from γ + p and γ + Pb collisions. The authors show that the first-stage posterior from one dataset can effectively serve as a prior for subsequent analyses, enhancing the overall inference process. They highlight the importance of robust MCMC sampling techniques, noting that the performance of different samplers can significantly impact the accuracy of the final posterior distributions. The results underscore the potential of NF models to improve the efficiency and reliability of Bayesian inference in high-dimensional parameter spaces, paving the way for future applications in complex analyses within nuclear and particle physics.