DOI: https://doi.org/10.1016/j.cma.2026.118891
تاريخ النشر: 2026-03-16
المؤلف: Gianmaria Viola وآخرون
الموضوع الرئيسي: تقليل النماذج والشبكات العصبية
نظرة عامة
تقدم البحث المقترح إطار عمل للتعلم الآلي من ثلاث طبقات يستخدم خوارزميات بدون معادلات من الجيل التالي لتعلم الديناميات المكانية الزمنية للأنظمة المعقدة المقيدة بالكتلة والتي تتميز بحالات مخفية. يبدأ الإطار باستخدام خرائط الانتشار (DMs) لاستخراج تمثيلات كامنة منخفضة الأبعاد لتطور النظام. بعد ذلك، يستخدم التعرف النادر على الديناميات غير الخطية (SINDy) ونماذج الانحدار الذاتي المتعددة المتغيرات (MVARs) لتطوير نماذج مرتبة منخفضة مستندة إلى المنحنيات (ROMs) التي تقارب مشغل الحل في الفضاء الكامن. تتضمن الخطوة النهائية إعادة بناء الديناميات في الفضاء الأصلي عالي الأبعاد من خلال طريقة تقاطع محدب تعتمد على خوارزمية الجيران الأقرب (k-NN)، مما يعالج بفعالية مشكلة الصورة السابقة غير المحددة.
تظهر النتائج أن نماذج ROMs المستندة إلى DMs تتفوق على النماذج التقليدية المعتمدة على التحلل المتعامد المناسب (POD)، حيث تقدم تقريبات مستقرة ودقيقة على مدى زمني ممتد. يتجاوز الإطار بفعالية التحديات المرتبطة بتعلم مشغلات الحلول عالية الأبعاد الكاملة للمعادلات التفاضلية الجزئية التي تحافظ على الكتلة، والتي غالبًا ما تعاني من أخطاء مركبة أثناء التكامل على المدى الطويل. من خلال التركيز على النمذجة منخفضة الترتيب في الفضاءات الكامنة، يعزز النهج الكفاءة الحسابية والدقة، مع ضمان الحفاظ على الكتلة من خلال مخططات رفع مناسبة. تشمل اتجاهات البحث المستقبلية استكشاف الأنظمة ذات الأحواض الجذابة المتعددة ومقارنة نماذج ROMs المقترحة ضد هياكل التعلم الآلي الأخرى لتقييم القوة والقدرة على التعميم.
مقدمة
تناقش مقدمة الورقة نمذجة الديناميات المكانية الزمنية المعقدة في الأنظمة الواقعية، والتي يمكن وصفها بالمعادلات التفاضلية الجزئية (PDEs) ولكن تتأثر بمتغيرات مخفية غير قابلة للرصد. قد تمثل هذه المتغيرات إغلاقات غير معروفة في ديناميات السوائل الحسابية (CFD)، أو حالات داخلية في الأنظمة البيولوجية، أو استراتيجيات النقل الأمثل في ديناميات الحشود. يقترح المؤلفون نهجًا مدفوعًا بالبيانات لنمذجة هذه الأنظمة، حيث لا تُعرف الأشكال المحددة للمعادلات التفاضلية الحاكمة بشكل صريح.
يقدم الدراسة إطار عمل يستخدم بيانات من محاكاة عالية الدقة أو قياسات من العالم الحقيقي لتطوير نماذج مرتبة منخفضة (ROMs). من الجدير بالذكر أن المؤلفين يظهرون أن كل من التحلل المتعامد المناسب (POD) الخطي ومشغل الرفع الجيران الأقرب (k-NN) يحافظان على الحفاظ على الكتلة في الحالة المعاد بناؤها. تشير النتائج إلى أن النماذج المدفوعة بالبيانات تتفوق على نماذج ROMs المعتمدة على POD التقليدية، حيث تحقق طريقة التعرف النادر على الأنظمة الديناميكية غير الخطية (SINDy) نمذجة فعالة باستخدام تأخير زمني واحد فقط. توضح الورقة هيكلها، موضحة المنهجية، ودراسات الحالة المرجعية، والنتائج العددية، والاستنتاجات، مع توفير معلومات إضافية في الملاحق.
طرق
تهدف المنهجية المقترحة إلى تعلم مشغل الحل في فضاء كامن منخفض الأبعاد باستخدام نماذج مرتبة منخفضة مستندة إلى المنحنيات (ROMs) من مجموعة من اللقطات المكانية الزمنية لحقل، يُشار إليها بـ \(\{x_m\}_{m=1}^M\). تمثل كل لقطة \(x_m\) الكثافة عبر مجال مكاني، مُهيكلة كـ \(x_m = [\rho(t_m, x_i, y_j)]^\top \in \mathbb{R}^N\)، حيث \(N = N_x \times N_y\) هو العدد الإجمالي لنقاط الشبكة. يتم تمثيل مجموعة البيانات كـ \(X = [x_1, x_2, \ldots, x_M] \in \mathbb{R}^{N \times M}\). تفترض المنهجية أن هذه النقاط البيانية تقع على منحنى سلس بُعده \(d\) حيث \(M \subset \mathbb{R}^N\) وتسعى إلى إيجاد خريطة \(\Phi: \mathbb{R}^N \to \mathbb{R}^d\) تلتقط الهياكل السائدة في الفضاء الكامن، حيث \(d \ll N\).
تتضمن الخطوة الأولى بناء الخريطة \(\Phi\) باستخدام تقنيات تعلم المنحنيات، وتحديدًا خرائط الانتشار، مع التحلل المتعامد المناسب (POD) كطريقة مقارنة. بمجرد إنشاء \(\Phi\)، يتم تعلم نماذج ROMs الديناميكية عالية الأبعاد في الفضاء الكامن، ممثلة كـ \(y(t + T) = S_T[y(t), \ldots, y(t – (l-1)\Delta t)]\)، حيث \(T\) هو أفق التنبؤ، و\(l\) هو عدد التأخيرات، و\(\Delta t\) هو فترة العينة. تتناول الخطوة النهائية مشكلة الصورة السابقة من خلال تطوير مشغل رفع \(L\) لإعادة بناء الديناميات عالية الأبعاد من الفضاء الكامن، مما يسمح بالتعبير \(x(t + T) = L S_T[y(t), \ldots, y(t – (l-1)\Delta t)]\). يضمن هذا النهج الحفاظ على الكتلة في الفضاء عالي الأبعاد، وهو أمر حاسم للأنظمة التي تحكمها قوانين الحفظ، ويؤدي إلى نماذج بديلة فعالة من الناحية الحسابية وغير متطفلة مناسبة لعمليات العمل بدون معادلات، مما يسهل التنبؤات السريعة وإعادة البناء عالية الدقة.
نتائج
يقدم قسم النتائج العددية النتائج المستمدة من المحاكاة الحسابية أو التحليلات التي أجريت في الدراسة. هذه النتائج حاسمة للتحقق من النماذج النظرية المقترحة سابقًا في الورقة. يبلغ المؤلفون عن مقاييس رئيسية، مثل معدلات التقارب، وحدود الخطأ، ومقارنات الأداء ضد الطرق الحالية، مما يظهر فعالية وكفاءة نهجهم.
بالإضافة إلى ذلك، تسلط النتائج الضوء على سيناريوهات أو معلمات محددة يتم فيها تفوق الطريقة المقترحة على التقنيات التقليدية. من المحتمل أن تتضمن التمثيلات الرسومية، مثل الرسوم البيانية أو الجداول، لتوضيح العلاقات بين المتغيرات وتأثير الظروف المختلفة على النتائج. بشكل عام، تدعم النتائج العددية المطالبات النظرية وتوفر أساسًا قويًا لمزيد من البحث والتطبيق في المجال المعني.
نقاش
في هذا القسم، يناقش المؤلفون تطبيق تقنيات تعلم المنحنيات، وتحديدًا التحلل المتعامد المناسب (POD) وخرائط الانتشار (DMs)، لمعالجة مشكلة الصورة السابقة أو إعادة البناء في تحليل البيانات عالية الأبعاد. يتم تحقيق التحويل من الفضاء عالي الأبعاد إلى الفضاء الكامن من خلال هذه الطرق، حيث يفترض POD تحويلًا خطيًا يعظم التباين، بينما تبني DMs خريطة غير خطية تحافظ على الهندسة الجوهرية للبيانات. تتضمن عملية إعادة البناء مشغل رفع يقترب من الخريطة العكسية، وهو أمر صعب بشكل خاص بالنسبة لنقاط البيانات غير المرئية، مما يؤدي إلى مشكلة “تمديد الصورة السابقة خارج العينة”. يظهر المؤلفون أن إعادة البناء المعتمدة على POD تحافظ على الكتلة، كما يتضح من خلال إثبات رياضي يؤكد أن الكتلة الكلية للحالة المعاد بناؤها تظل مساوية لتلك الخاصة بالبيانات الأصلية.
يتناول القسم أيضًا تنفيذ DMs، التي تستخدم نواة غاوسية لتعريف مصفوفة التوافق وتبني مصفوفة انتقال ماركوف لالتقاط احتمالية الانتقالات بين نقاط البيانات. تقترب التضمينات منخفضة الأبعاد الناتجة من مسافات الانتشار، مما يسهل ترميز البيانات عالية الأبعاد في شكل يمكن التحكم فيه. يقدم المؤلفون أيضًا نهج الجيران الأقرب (k-NN) لفك التشفير، والذي يحافظ على كل من الكتلة والإيجابية في الحالة المعاد بناؤها. يبرزون توافق نماذج ROMs المستندة إلى المنحنيات مع تقنيات النمذجة المختلفة، مثل نماذج الانحدار الذاتي المتعددة المتغيرات (MVARs) والتعرف النادر على الديناميات غير الخطية (SINDy)، مؤكدين على كفاءتها وقابليتها للتفسير في التقاط ديناميات الأنظمة المعقدة. يختتم القسم بمناقشة حول تقييم أخطاء إعادة البناء باستخدام مقاييس مختلفة، بما في ذلك الأخطاء المطلقة والنسبية، بالإضافة إلى مسافة فاسرشتاين، التي تناسب بشكل خاص لتقييم الديناميات المكانية الزمنية.
DOI: https://doi.org/10.1016/j.cma.2026.118891
Publication Date: 2026-03-16
Author(s): Gianmaria Viola et al.
Primary Topic: Model Reduction and Neural Networks
Overview
The proposed research introduces a three-tier machine learning framework utilizing next-generation Equation-free algorithms to learn the spatio-temporal dynamics of mass-constrained complex systems characterized by hidden states. The framework begins with Diffusion Maps (DMs) to extract low-dimensional latent representations of the system’s evolution. Subsequently, it employs Sparse Identification of Nonlinear Dynamics (SINDy) and Multivariate Autoregressive models (MVARs) to develop manifold-informed reduced-order models (ROMs) that approximate the solution operator in the latent space. The final step involves reconstructing the dynamics in the original high-dimensional space through a convex interpolation method based on the k-nearest neighbors (k-NN) algorithm, effectively addressing the ill-posed pre-image problem.
The findings demonstrate that the DMs-informed ROMs outperform traditional Proper Orthogonal Decomposition (POD)-based models, providing stable and accurate approximations over extended time horizons. The framework effectively circumvents the challenges associated with learning full high-dimensional solution operators for mass-conserving PDEs, which often suffer from compounded errors during long-time integration. By focusing on reduced-order modeling in latent spaces, the approach enhances computational efficiency and accuracy, while ensuring mass conservation through appropriate lifting schemes. Future research directions include exploring systems with multiple basins of attraction and comparing the proposed ROMs against other machine learning architectures to assess robustness and generalization capabilities.
Introduction
The introduction of the paper discusses the modeling of complex spatio-temporal dynamics in real-world systems, which can be described by partial differential equations (PDEs) but are influenced by unobservable hidden variables. These variables may represent unknown closures in computational fluid dynamics (CFD), internal states in biological systems, or optimal transport strategies in crowd dynamics. The authors propose a data-driven approach to model these systems, where the specific forms of the governing PDEs are not explicitly known.
The study introduces a framework that utilizes data from high-fidelity simulations or real-world measurements to develop reduced-order models (ROMs). Notably, the authors demonstrate that both linear Proper Orthogonal Decomposition (POD) and a k-nearest neighbors (k-NN) lifting operator maintain mass preservation in the reconstructed state. The results indicate that data-informed models outperform traditional POD-informed ROMs, with the Sparse Identification of Nonlinear Dynamical Systems (SINDy) method achieving effective modeling using only a single time delay. The paper outlines its structure, detailing the methodology, benchmark case studies, numerical results, and conclusions, with supplementary information provided in the appendices.
Methods
The proposed methodology aims to learn a solution operator in a low-dimensional latent space using manifold-informed reduced-order models (ROMs) from a set of spatio-temporal snapshots of a field, denoted as \(\{x_m\}_{m=1}^M\). Each snapshot \(x_m\) represents the density across a spatial domain, structured as \(x_m = [\rho(t_m, x_i, y_j)]^\top \in \mathbb{R}^N\), where \(N = N_x \times N_y\) is the total number of grid points. The dataset is represented as \(X = [x_1, x_2, \ldots, x_M] \in \mathbb{R}^{N \times M}\). The methodology assumes that these data points lie on a smooth \(d\)-dimensional manifold \(M \subset \mathbb{R}^N\) and seeks a mapping \(\Phi: \mathbb{R}^N \to \mathbb{R}^d\) that captures the dominant structures in the latent space, where \(d \ll N\).
The first step involves constructing the mapping \(\Phi\) using manifold learning techniques, specifically Diffusion Maps, with Proper Orthogonal Decomposition (POD) as a comparative method. Once \(\Phi\) is established, surrogate ROMs of the high-dimensional dynamics are learned in the latent space, represented as \(y(t + T) = S_T[y(t), \ldots, y(t – (l-1)\Delta t)]\), where \(T\) is the prediction horizon, \(l\) is the number of delays, and \(\Delta t\) is the sampling interval. The final step addresses the pre-image problem by developing a lifting operator \(L\) to reconstruct the high-dimensional dynamics from the latent space, allowing for the expression \(x(t + T) = L S_T[y(t), \ldots, y(t – (l-1)\Delta t)]\). This approach ensures mass conservation in the high-dimensional space, which is critical for systems governed by conservation laws, and results in computationally efficient, non-intrusive surrogates suitable for Equation-free workflows, facilitating rapid predictions and high-fidelity reconstructions.
Results
The section on numerical results presents the findings derived from computational simulations or analyses conducted in the study. These results are crucial for validating the theoretical models proposed earlier in the paper. The authors report key metrics, such as convergence rates, error bounds, and performance comparisons against existing methods, demonstrating the effectiveness and efficiency of their approach.
Additionally, the results highlight specific scenarios or parameters under which the proposed method outperforms traditional techniques. Graphical representations, such as plots or tables, are likely included to illustrate the relationships between variables and the impact of different conditions on the outcomes. Overall, the numerical results substantiate the theoretical claims and provide a robust foundation for further research and application in the relevant field.
Discussion
In this section, the authors discuss the application of manifold learning techniques, specifically Proper Orthogonal Decomposition (POD) and Diffusion Maps (DMs), to address the pre-image or reconstruction problem in high-dimensional data analysis. The mapping from high-dimensional space to a latent space is achieved through these methods, with POD assuming a linear transformation that maximizes variance, while DMs construct a nonlinear mapping that preserves the intrinsic geometry of the data. The reconstruction process involves a lifting operator that approximates the inverse map, which is particularly challenging for unseen data points, leading to the “out-of-sample extension pre-image” problem. The authors demonstrate that POD-based reconstruction conserves mass, as shown through a mathematical proof that confirms the total mass of the reconstructed state remains equal to that of the original data.
The section further elaborates on the implementation of DMs, which utilizes a Gaussian kernel to define an affinity matrix and constructs a Markov transition matrix to capture the probability of transitions between data points. The resulting low-dimensional embeddings approximate diffusion distances, facilitating the encoding of high-dimensional data into a manageable form. The authors also introduce a k-nearest neighbors (k-NN) approach for decoding, which preserves both mass and positivity in the reconstructed state. They highlight the compatibility of manifold-informed reduced-order models (ROMs) with various modeling techniques, such as multivariate autoregressive models (MVARs) and Sparse Identification of Nonlinear Dynamics (SINDy), emphasizing their efficiency and interpretability in capturing the dynamics of complex systems. The section concludes with a discussion on assessing reconstruction errors using various metrics, including absolute and relative errors, as well as the Wasserstein distance, which is particularly suited for evaluating spatio-temporal dynamics.
