DOI: https://doi.org/10.1016/j.knosys.2026.115824
تاريخ النشر: 2026-03-21
المؤلف: Ghifari Adam Faza وآخرون
الموضوع الرئيسي: تصميم هندسي احتمالي وقوي
نظرة عامة
تقدم هذه القسم تقييمًا شاملاً لطرق انتشار عدم اليقين في الفترات المباشرة ضمن نماذج الشبكات العصبية البديلة، مقارنتها بالأساليب المعتمدة على التحسين. تدرس الدراسة بشكل خاص انتشار الفترات الساذجة، انتشار الحدود، والشبكات العصبية الفترية التي تستخدم أوزانًا ذات قيم فترية، موضحة مزاياها وعيوبها على حد سواء.
تتمثل مساهمة كبيرة في هذا البحث في تقديم بنية معدلة لـ DeepONet مصممة لإدارة المتغيرات ذات القيم الفترية مباشرة. يسمح هذا التحسين للبدائل المعتمدة على تعلم المشغلين بنشر عدم اليقين الفترى بفعالية عبر كل من فضاءات المدخلات والمخرجات، مما يوسع من قابليتها للتطبيق على المشكلات الكاملة الشائعة في الميكانيكا الحاسوبية. بالإضافة إلى ذلك، يقترح المؤلفون استراتيجية لزيادة البيانات تمكن من تدريب نماذج انتشار الفترات المباشرة باستخدام مجموعات بيانات نقطية فقط، مما يعالج تحدي محدودية توفر بيانات التدريب ذات القيم الفترية، والتي غالبًا ما تكون مكلفة أو صعبة الحصول عليها.
تناقش الورقة أيضًا التحديات التي تم مواجهتها عند تدريب نماذج تعلم المشغلين باستخدام مجموعات بيانات فترية معززة وتقدم حلولًا عملية للتخفيف من هذه المشكلات، مما يعزز من قوة وملاءمة تقدير عدم اليقين الفترى في السياقات الهندسية.
مقدمة
تتناول مقدمة هذه الورقة البحثية القضية الحرجة لانتشار عدم اليقين في التطبيقات الهندسية، متميزة عن توقع عدم اليقين. تبرز الأساليب الكلاسيكية مثل محاكاة مونت كارلو (MC) ومحاكاة كوانتي مونت كارلو (qMC)، والتي، على الرغم من فعاليتها في تقديم تقديرات احتمالية لتباين المخرجات، إلا أنها تتطلب حسابات مكثفة، خاصةً لمحاكاة عالية الدقة. للتخفيف من هذه التحديات، تؤكد الورقة على استخدام نماذج بديلة، بما في ذلك العمليات الغاوسية والشبكات العصبية، لتسهيل انتشار عدم اليقين بكفاءة، مع التركيز بشكل خاص على انتشار عدم اليقين الفترى حيث يتم تمثيل عدم اليقين بواسطة الحدود السفلية والعلوية.
يقترح المؤلفون التحقيق في استراتيجيات انتشار عدم اليقين الفترى المباشر باستخدام نماذج بديلة تعتمد على الشبكات العصبية، مقارنةً بثلاثة أساليب: انتشار الفترات الساذجة، انتشار الحدود باستخدام خوارزميات انتشار الحدود الفترية (IBP) وCROWN، والشبكات العصبية الفترية ذات الأوزان ذات القيم الفترية. يهدفون إلى تقييم هذه الأساليب في سيناريوهين: أحدهما مع الوصول إلى مجموعات بيانات ذات قيم فترية والآخر مع توفر بيانات نقطية فقط للتدريب. توضح الورقة مساهماتها الرئيسية، بما في ذلك تقييم شامل للاستراتيجيات المقترحة، تقديم بنية معدلة لـ DeepONet للتعامل مع المتغيرات ذات القيم الفترية، استراتيجية زيادة البيانات للتدريب باستخدام مجموعات بيانات محدودة، وتحليل التحديات في تدريب نماذج تعلم المشغلين باستخدام بيانات فترية معززة. كما يتم توضيح هيكل الورقة، مع تفاصيل الأقسام التالية التي ستتناول الأساليب الأساسية، صياغة الأساليب، إعدادات التجارب، والنقاشات الختامية.
الطرق
تحدد هذه القسم طرق انتشار الفترات في النماذج الحتمية المستخدمة في الأنظمة الهندسية، حيث تكون معلمات المدخلات عرضة لعدم اليقين الفترى. يقوم النموذج \( M \) بتعيين متجه المدخلات \( x \) إلى كمية المخرجات ذات الاهتمام (QoI) \( y \). عندما يتم تمثيل المدخلات كمتجه فترى \( \mathbf{x}^\dagger = [\mathbf{x}_L, \mathbf{x}_U] \)، يمكن تحديد الحدود على QoI من خلال مشاكل التحسين التي تقلل وتزيد من \( M(x) \) عبر الفترات المدخلة. ومع ذلك، بسبب السلوك غير الأحادي المحتمل لـ \( M \)، يتم عادةً حل هذه المشاكل عدديًا، مما يجعل انتشار الفترات يتطلب حسابات مكثفة، خاصةً للنماذج المعقدة التي تحتوي على العديد من المعلمات غير المؤكدة. لمعالجة ذلك، يتم استخدام نماذج بديلة لتقريب النظام الأصلي، مما يسمح بنشر عدم اليقين بشكل أسرع. تناقش القسم أيضًا طرقًا بديلة، مثل التحسين البايزي وطرق كوانتي مونت كارلو متعددة المستويات، التي تقدم كفاءة حسابية وتكاليف تقييم منخفضة.
بالإضافة إلى ذلك، تميز الورقة بين طرق توقع الفترات وطرق انتشار عدم اليقين، مشددة على أنه بينما تركز الأولى على الخصائص الإحصائية واحتمالات التغطية، تهدف الأخيرة إلى تحويل الفترات المدخلة من خلال نماذج حتمية للحصول على فترات مخرجات تعكس عدم اليقين المنتشر. تقدم القسم مجموعة متنوعة من مقاييس تقدير الفترات، مثل عرض الفترات المتوسطة المنضبطة المتوقعة (PINAW) واحتمالية تغطية الفترات المتوقعة (PICP)، لتقييم أداء طرق انتشار الفترات. أخيرًا، تصف تقنيات الزيادة لتحويل مجموعات البيانات النقطية إلى مجموعات بيانات ذات قيم فترية، باستخدام التجميع القائم على القرب وخوارزميات التجميع لتعزيز قوة وعمومية النماذج الفترية المتعلمة، خاصةً في الإعدادات عالية الأبعاد حيث قد تفشل الطرق التقليدية المعتمدة على الشبكات.
نقاش
في هذه القسم، يقدم المؤلفون انتشار الفترات المباشر (DIP)، وهو نهج جديد يستخدم تقنيات التعلم الآلي لتقدير فترات المخرجات مباشرة من فترات المدخلات، متناقضًا مع الأساليب التقليدية التي تعتمد على نماذج بديلة للتحسين. يركز النقاش على هياكل الشبكات العصبية، وبشكل خاص على الشبكات متعددة الطبقات (MLPs) وشبكات المشغل العميقة (DeepONet)، لتنفيذ ثلاث استراتيجيات لـ DIP: انتشار الفترات المباشر الساذج، طرق انتشار الحدود (بما في ذلك انتشار الحدود الفترية (IBP) وCROWN)، والشبكات العصبية الفترية (INNs). تمتد الطريقة الساذجة لتشمل الشبكات العصبية القياسية لاستيعاب المدخلات والمخرجات الفترية دون دمج الحسابات الفترية، بينما تهدف طرق انتشار الحدود إلى تعزيز قوة النموذج من خلال تأكيد حدود المخرجات تحت الاضطرابات المدخلة.
يتضمن تنفيذ DIP الساذج هيكل شبكة عصبية يمثل بوضوح الحدود السفلية والعلوية للمدخلات والمخرجات، مستخدمًا تقنيات مثل التنظيم غير المتقاطع لمنع انتهاكات قيود الفترات. يناقش المؤلفون أيضًا دمج DIP ضمن إطار DeepONet، المصمم لتعلم المشغلين في الأنظمة المعقدة التي تحكمها المعادلات التفاضلية الجزئية (PDEs). يتم تكييف طرق انتشار الحدود، وخاصة IBP وCROWN، لإدارة عدم اليقين الفترى، مما يوفر حدودًا معتمدة على المخرجات. تختتم القسم بوصف الشبكات العصبية الفترية، التي تستخدم أوزانًا وميولًا ذات قيم فترية للتعامل مع المدخلات والمخرجات الفترية بشكل أكثر فعالية، مما يعزز من قدرة النموذج على نشر عدم اليقين الفترى عبر الشبكة.
DOI: https://doi.org/10.1016/j.knosys.2026.115824
Publication Date: 2026-03-21
Author(s): Ghifari Adam Faza et al.
Primary Topic: Probabilistic and Robust Engineering Design
Overview
This section presents a thorough evaluation of direct interval uncertainty propagation methods within neural network surrogate models, contrasting them with optimization-based approaches. The study specifically examines naive interval propagation, bound propagation, and interval neural networks that utilize interval-valued weights, elucidating their respective advantages and drawbacks.
A significant contribution of this research is the introduction of a modified DeepONet architecture designed to manage interval-valued variables directly. This enhancement allows operator-learning-based surrogates to effectively propagate interval uncertainties throughout both input and output spaces, thereby extending their applicability to full-field problems prevalent in computational mechanics. Additionally, the authors propose a data augmentation strategy that enables the training of direct interval propagation models using only pointwise datasets, addressing the challenge of limited availability of interval-valued training data, which is often costly or difficult to acquire.
The paper also discusses the challenges encountered when training operator-learning models with augmented interval datasets and offers practical solutions to mitigate these issues, thereby enhancing the robustness and applicability of interval uncertainty quantification in engineering contexts.
Introduction
The introduction of this research paper addresses the critical issue of uncertainty propagation in engineering applications, distinguishing it from uncertainty prediction. It highlights classical methods such as Monte Carlo (MC) and quasi-Monte Carlo (qMC) simulations, which, while effective in providing probabilistic estimates of output variability, are computationally intensive, especially for high-fidelity simulations. To mitigate these challenges, the paper emphasizes the use of surrogate models, including Gaussian processes and neural networks, to facilitate efficient uncertainty propagation, particularly focusing on interval uncertainty propagation where uncertainties are represented by lower and upper bounds.
The authors propose to investigate direct interval uncertainty propagation strategies using neural network-based surrogate models, comparing three approaches: naive interval propagation, bound propagation using the Interval Bound Propagation (IBP) and CROWN algorithms, and interval neural networks with interval-valued weights. They aim to evaluate these methods under two scenarios: one with access to interval-valued datasets and another with only pointwise data available for training. The paper outlines its main contributions, including a comprehensive evaluation of the proposed strategies, the introduction of a modified DeepONet architecture for handling interval-valued variables, a data augmentation strategy for training with limited datasets, and an analysis of challenges in training operator-learning models with augmented interval data. The structure of the paper is also outlined, detailing subsequent sections that will cover foundational methods, formulation of approaches, experimental setups, and concluding discussions.
Methods
The section outlines methods for interval propagation in deterministic models used in engineering systems, where input parameters are subject to interval uncertainty. The model \( M \) maps an input vector \( x \) to an output quantity of interest (QoI) \( y \). When inputs are represented as an interval vector \( \mathbf{x}^\dagger = [\mathbf{x}_L, \mathbf{x}_U] \), the bounds on the QoI can be determined through optimization problems that minimize and maximize \( M(x) \) over the input intervals. However, due to the potential non-monotonic behavior of \( M \), these problems are typically solved numerically, making interval propagation computationally intensive, especially for complex models with many uncertain parameters. To address this, surrogate models are employed to approximate the original system, allowing for faster uncertainty propagation. The section also discusses alternative methods, such as Bayesian optimization and multilevel quasi-Monte Carlo methods, which offer computational efficiency and reduced evaluation costs.
Additionally, the paper distinguishes between interval prediction and uncertainty propagation methods, emphasizing that while the former focuses on statistical properties and coverage probabilities, the latter aims to transform input intervals through deterministic models to obtain output intervals reflecting propagated uncertainty. The section introduces various interval estimation metrics, such as predicted interval normalized average width (PINAW) and predicted interval coverage probability (PICP), to evaluate the performance of interval propagation methods. Finally, it describes augmentation techniques to convert pointwise datasets into interval-valued datasets, utilizing proximity-based grouping and clustering algorithms to enhance the robustness and generalization of the learned interval models, particularly in high-dimensional settings where traditional grid-based methods may falter.
Discussion
In this section, the authors introduce Direct Interval Propagation (DIP), a novel approach that utilizes machine learning techniques to directly estimate output intervals from input intervals, contrasting with traditional methods that rely on surrogate models for optimization. The focus is on neural network architectures, specifically multilayer perceptrons (MLPs) and Deep Operator Networks (DeepONet), to implement three strategies for DIP: naive direct interval propagation, bound propagation methods (including Interval Bound Propagation (IBP) and CROWN), and interval neural networks (INNs). The naive approach extends standard neural networks to accommodate interval inputs and outputs without incorporating interval arithmetic, while the bound propagation methods aim to enhance model robustness by certifying output bounds under input perturbations.
The naive DIP implementation involves a neural network structure that explicitly represents lower and upper bounds of inputs and outputs, employing techniques such as non-crossing regularization to prevent violations of interval constraints. The authors also discuss the integration of DIP within the DeepONet framework, which is designed for operator learning in complex systems governed by partial differential equations (PDEs). The bound propagation methods, particularly IBP and CROWN, are adapted to manage interval uncertainty, providing certified bounds on outputs. The section concludes with a description of interval neural networks, which utilize interval-valued weights and biases to handle interval inputs and outputs more effectively, thereby enhancing the model’s ability to propagate interval uncertainty through the network.
