DOI: https://doi.org/10.1016/j.ymssp.2026.114660
تاريخ النشر: 2026-07-11
المؤلف: Tengjie Zheng وآخرون
الموضوع الرئيسي: العمليات الغاوسية والاستدلال البايزي
نظرة عامة
تقدم ورقة البحث طريقة جديدة للتعلم التكراري، تُسمى RGPSSM، تهدف إلى تعزيز الاستدلال عبر الإنترنت في نماذج الفضاء الحالة لعمليات Gaussian (GPSSMs). تتناول الطريقة التحديات الحرجة في تعلم النماذج الديناميكية من البيانات، لا سيما في السيناريوهات التي تحتوي على معلومات سابقة محدودة حول توزيع البيانات ووظائف النموذج. يستخلص المؤلفون معادلة تحديث بايزي ثنائية الخطوات تسهل التعلم عبر مجالات التشغيل المختلفة دون الاعتماد على تقريبات عملية Gaussian (GP)، مما يعالج مشاكل عدم الخطية وغير المعلمية المتأصلة في GPSSMs.
لتحسين الكفاءة الحسابية، تقدم الورقة خوارزمية تعديل مجموعة النقاط المحفزة الديناميكية، التي تخفف العبء الحسابي المرتبط بالطبيعة غير المعلمية لـ GPs. بالإضافة إلى ذلك، تم تطوير طريقة تحسين عبر الإنترنت لتعزيز دقة التعلم من خلال استخراج معلومات القياس من التوزيع البعدي التقريبي، مما يقلل من الحاجة إلى ضبط المعلمات الأولية. كما تتناول الورقة نسخة Cholesky من RGPSSM لتحسين الاستقرار العددي وتناقش تمديدها إلى سيناريوهات GP متعددة المخرجات. تظهر التقييمات الشاملة على كل من مجموعات البيانات الاصطناعية والحقيقية أن RGPSSM يتفوق على تقنيات GPSSM عبر الإنترنت الحالية من حيث الدقة والكفاءة الحسابية والقدرة على التكيف، بينما يعمم أيضًا العديد من الأساليب المعروفة في هذا المجال.
مقدمة
تناقش مقدمة الورقة نماذج الفضاء الحالة (SSMs)، لا سيما نماذج الفضاء الحالة لعمليات Gaussian (GPSSMs)، التي تُستخدم لتمثيل ديناميات الحالات الكامنة في تطبيقات متنوعة مثل تخطيط الحركة وأنظمة التحكم. تواجه SSMs التقليدية تحديات في نمذجة الأنظمة المعقدة في العالم الحقيقي بدقة، مما يدفع نحو التحول إلى الأساليب المدفوعة بالبيانات. يبرز المؤلفون مزايا GPs في توفير إطار عمل مرن واحتمالي لنمذجة الوظائف غير المعروفة، وهو أمر حاسم للتطبيقات الحرجة للسلامة. على الرغم من التقدم الكبير في أساليب GPSSM، فإن معظم الأبحاث الحالية تركزت على السيناريوهات غير المتصلة، مما يبرز الحاجة إلى أساليب التعلم عبر الإنترنت التي يمكن أن تتكيف مع البيئات غير الثابتة.
تحدد الورقة عدة تحديات مرتبطة بتعلم GPSSM عبر الإنترنت، بما في ذلك عدم الخطية في الاستدلال، والطبيعة غير المعلمية لـ GPs التي تؤدي إلى تكاليف حسابية عالية، والترابط بين حالات النظام والنماذج. تواجه الأساليب الحالية عبر الإنترنت، مثل تلك المستندة إلى مرشحات كالمان المعززة، ومرشحات الجسيمات، والاستدلال المتغير العشوائي، قيودًا فيما يتعلق بضبط المعلمات وسرعة التعلم. لمعالجة هذه القضايا، يقترح المؤلفون خوارزمية تعلم تكرارية لـ GPSSMs تتيح التكيف عبر الإنترنت مع كل من مجال التشغيل والمعلمات. تشمل المساهمات الرئيسية معادلة تحديث بايزي جديدة لـ GPSSMs، وخوارزمية اختيار لإدارة النقاط المحفزة، وطريقة تحسين المعلمات عبر الإنترنت. يتم التحقق من النهج المقترح من خلال المحاكاة ومجموعات البيانات الحقيقية، مما يظهر تحسينًا في الدقة والكفاءة الحسابية مقارنة بتقنيات GPSSM الحالية عبر الإنترنت.
نقاش
في هذا القسم، يناقش المؤلفون صياغة وتنفيذ نماذج الفضاء الحالة لعمليات Gaussian (GPSSMs) للتعلم عبر الإنترنت. يتم تقديم عمليات Gaussian (GPs) كإطار عمل احتمالي لتقريب الوظائف، حيث يتم وضع أولوية GP على وظيفة \( f(x) \) تتميز بوظيفة متوسطة \( m_0(x) \) ووظيفة تغاير \( K_0(x, x’; \theta) \). يركز المؤلفون على نموذج فضاء حالة في الزمن المنفصل حيث تتطور الحالة \( x_{t+1} \) بناءً على وظيفة انتقال معروفة \( F \) ووظيفة غير معروفة \( f \)، بينما يتم توليد القياسات \( y_t \) من وظيفة قياس معروفة \( g \). يتم صياغة مشكلة التعلم عبر الإنترنت كعملية تقريب تسلسلي للتوزيع الفلتر \( p(x_t, f | y_{1:t}) \) باستخدام القياسات التاريخية، مما يقدم تحديات بسبب عدم الخطية والطبيعة غير المعلمية لـ GPs.
لمعالجة هذه التحديات، يقترح المؤلفون إطار تحديث بايزي ثنائي الخطوات باستخدام مرشح كالمان الموسع (EKF) للاستدلال. يستخلصون توزيعًا تقريبيًا مفككًا يحافظ على شكل Gaussian، مما يسمح بمعادلات مطابقة اللحظات الفعالة لكل من خطوات التنبؤ والتصحيح. يبرز القسم أهمية الخطية من الدرجة الأولى للتعامل مع عدم الخطية في نماذج الانتقال والقياس، مما يؤدي في النهاية إلى استدلال تكراري لـ GPSSMs. ومع ذلك، يعترف المؤلفون بالعبء الحسابي المرتبط بإضافة النقاط المحفزة باستمرار، مما يتطلب خوارزمية تعديل ديناميكية لإدارة حجم مجموعة النقاط المحفزة مع ضمان استقرار الخوارزمية ودقة التعلم.
DOI: https://doi.org/10.1016/j.ymssp.2026.114660
Publication Date: 2026-07-11
Author(s): Tengjie Zheng et al.
Primary Topic: Gaussian Processes and Bayesian Inference
Overview
The research paper presents a novel recursive learning method, termed RGPSSM, aimed at enhancing online inference in Gaussian Process State-Space Models (GPSSMs). The method addresses critical challenges in learning dynamical models from data, particularly in scenarios with limited prior information about data distribution and model functions. The authors derive a two-step Bayesian update equation that facilitates learning across various operating domains without relying on Gaussian Process (GP) approximations, thereby addressing nonlinearity and nonparametric issues inherent in GPSSMs.
To improve computational efficiency, the paper introduces a dynamic inducing-point set adjustment algorithm, which mitigates the computational burden associated with the nonparametric nature of GPs. Additionally, an online optimization method is developed to enhance learning accuracy by extracting measurement information from the approximate posterior distribution, thus reducing the need for initial hyperparameter tuning. The paper also details a Cholesky version of RGPSSM to improve numerical stability and discusses its extension to multi-output GP scenarios. Comprehensive evaluations on both synthetic and real-world datasets demonstrate that RGPSSM outperforms existing online GPSSM techniques in terms of accuracy, computational efficiency, and adaptability, while also generalizing several established approaches in the field.
Introduction
The introduction of the paper discusses state-space models (SSMs), particularly Gaussian process state-space models (GPSSMs), which are utilized to represent the dynamics of latent states in various applications such as motion planning and control systems. Traditional SSMs face challenges in accurately modeling complex real-world systems, prompting a shift towards data-driven approaches. The authors highlight the advantages of GPs in providing a flexible, probabilistic framework for modeling unknown functions, which is crucial for safety-critical applications. Despite significant advancements in GPSSM methods, most existing research has focused on offline scenarios, underscoring the need for online learning methods that can adapt to non-stationary environments.
The paper identifies several challenges associated with online GPSSM learning, including nonlinearity in inference, the nonparametric nature of GPs leading to high computational costs, and the coupling between system states and models. Existing online methods, such as those based on Augmented Kalman Filters, Particle Filters, and Stochastic Variational Inference, have limitations regarding hyperparameter tuning and learning speed. To address these issues, the authors propose a recursive learning algorithm for GPSSMs that enables online adaptation to both the operating domain and hyperparameters. Key contributions include a novel Bayesian update equation for GPSSMs, a selection algorithm for managing inducing points, and an online hyperparameter optimization method. The proposed approach is validated through simulations and real-world datasets, demonstrating improved accuracy and computational efficiency compared to current online GPSSM techniques.
Discussion
In this section, the authors discuss the formulation and implementation of Gaussian Process State-Space Models (GPSSMs) for online learning. Gaussian Processes (GPs) are introduced as a probabilistic framework for function approximation, where a GP prior is placed on a function \( f(x) \) characterized by a mean function \( m_0(x) \) and a covariance function \( K_0(x, x’; \theta) \). The authors focus on a discrete-time state-space model where the state \( x_{t+1} \) evolves based on a known transition function \( F \) and an unknown function \( f \), while measurements \( y_t \) are generated from a known measurement function \( g \). The online learning problem is framed as sequentially approximating the filtering distribution \( p(x_t, f | y_{1:t}) \) using historical measurements, which presents challenges due to the nonlinearity and nonparametric nature of GPs.
To address these challenges, the authors propose a two-step Bayesian update framework utilizing the Extended Kalman Filter (EKF) for inference. They derive a factorized approximate distribution that maintains a Gaussian form, allowing for efficient moment matching equations for both prediction and correction steps. The section emphasizes the importance of first-order linearization to handle nonlinearity in the transition and measurement models, ultimately leading to recursive inference for GPSSMs. However, the authors acknowledge the computational burden associated with continuously adding inducing points, which necessitates a dynamic adjustment algorithm to manage the size of the inducing-point set while ensuring algorithm stability and learning accuracy.