DOI: https://doi.org/10.1145/3690624.3709325
تاريخ النشر: 2025-04-04
المؤلف: Xiangfei Qiu وآخرون
الموضوع الرئيسي: تحليل السلاسل الزمنية والتنبؤ
نظرة عامة
تقدم ورقة البحث DUET، وهو إطار عمل جديد مصمم لتعزيز توقعات السلاسل الزمنية متعددة المتغيرات، حيث يتناول التحديات التي تطرحها الأنماط الزمنية غير المتجانسة والارتباطات المعقدة بين القنوات. يستخدم DUET نهج تجميع مزدوج، يتضمن وحدة تجميع زمنية (TCM) تصنف السلاسل الزمنية إلى توزيعات دقيقة. وهذا يسمح بتطبيق مستخلصات أنماط متخصصة مصممة لكل مجموعة، مما يعكس تنوع السلوكيات الزمنية بشكل فعال.
بالإضافة إلى ذلك، يتضمن الإطار وحدة تجميع قنوات (CCM) تستخدم استراتيجية تجميع ناعمة للقنوات لتحليل العلاقات بين القنوات في مجال التردد من خلال تعلم القياس، بينما تنفذ أيضًا تقليل الضوضاء من القنوات الأقل صلة. يتم تحسين دمج هذه الوحدات بشكل أكبر من خلال وحدة دمج (FM) تستخدم آلية انتباه مقنعة لدمج الميزات الزمنية من TCM مع مصفوفة قناع القناة من CCM. تظهر التجارب الواسعة عبر 25 مجموعة بيانات من العالم الحقيقي أن DUET يحقق أداءً متفوقًا في التوقعات، مما يبرز فعاليته في معالجة تعقيدات بيانات السلاسل الزمنية متعددة المتغيرات.
مقدمة
في مقدمة ورقة البحث، يقدم المؤلفون النتائج الرئيسية المتعلقة بأداء نموذج التوقع المقترح، DUET. تلخص النتائج في الجدول 3 أن DUET يتفوق بشكل كبير على نماذج الأساس المختلفة، محققًا تقليصًا بنسبة 7.1% في متوسط الخطأ التربيعي (MSE) وتقليصًا بنسبة 6.5% في متوسط الخطأ المطلق (MAE) مقارنة بالنموذج الثاني الأفضل، PDF. ومن الجدير بالذكر أن DUET يتفوق مع نهج تجميع استراتيجية القناة (CSC)، خاصة على مجموعات البيانات الكبيرة مثل الطاقة الشمسية وحركة المرور، حيث يتفوق على نماذج CI مثل FITS وPatchTST. في المقابل، تكافح النماذج المتطورة الحالية مثل iTransformer وCrossformer مع مجموعات بيانات مثل ETT بسبب الضوضاء من القنوات غير المرتبطة، بينما يخفف CSC الخاص بـ DUET هذه المشكلة من خلال التركيز على الارتباطات ذات الصلة بين القنوات.
علاوة على ذلك، يظهر DUET قدرات قوية في معالجة التباين الزمني، خاصة في سياق تحول التوزيع الزمني. يحقق تقليصًا ملحوظًا بنسبة 32.4% في MSE و21.7% في MAE مقارنة بأفضل نموذج محول غير ثابت للسلاسل الزمنية غير الثابتة. تؤكد هذه التحسينات على فعالية وحدة التجميع الزمني لـ DUET في التقاط ونمذجة الأنماط الزمنية المتنوعة، مما يمثل تقدمًا كبيرًا في منهجيات التوقع.
طرق
توضح قسم المنهجية هيكل DUET، الذي يستخدم تقنيات تجميع مزدوجة عبر الأبعاد الزمنية والقناة لاستخراج الأنماط الزمنية الجوهرية والارتباطات الديناميكية بين القنوات. في البداية، يتم تطبيق معيار الحالة القياسية لتوحيد توزيعات بيانات التدريب والاختبار. تستخدم وحدة التجميع الزمني (TCM) جهاز توجيه التوزيع لتحديد التوزيعات الكامنة لبيانات السلاسل الزمنية بطريقة مستقلة عن القناة، حيث تجمع السلاسل الزمنية المتشابهة لتعزيز استخراج الميزات الزمنية على الرغم من التباين الفطري. في الوقت نفسه، تحلل وحدة تجميع القنوات (CCM) الارتباطات بين القنوات في مجال التردد، باستخدام تعلم القياس التكيفي وتقليل الضوضاء لإنتاج مصفوفة قناع القناة التي تعطي الأولوية للقنوات المفيدة مع تقليل تأثير القنوات غير ذات الصلة.
تدمج وحدة الدمج (FM) الميزات الزمنية من TCM ومصفوفة قناع القناة من CCM باستخدام آلية انتباه مقنعة. ينتهي هذا إلى متنبئ خطي يتوقع القيم المستقبلية. يمكن تمثيل العملية رياضيًا كما يلي:
1. \( X_{\text{norm}} = \text{InstanceNorm}(X) \)
2. \( X_{\text{temp}} = \text{TCM}(X_{\text{norm}}) \)
3. \( M = \text{CCM}(X_{\text{norm}}) \)
4. \( X_{\text{mix}} = \text{FM}(X_{\text{temp}}, M), \hat{Y} = \text{Predictor}(X_{\text{mix}}) \)،
حيث \( X_{\text{temp}}, X_{\text{mix}} \in \mathbb{R}^{N \times d} \) و \( M \in \mathbb{R}^{N \times N} \). من الجدير بالذكر أن الخطوتين 2 و3 يمكن تنفيذهما بالتوازي لتعزيز الكفاءة الحسابية. سيتم تقديم مزيد من التفاصيل حول كل وحدة في الأقسام التالية.
نقاش
في هذا البحث، يقدم المؤلفون DUET، وهو إطار عمل جديد مصمم لتعزيز توقعات السلاسل الزمنية متعددة المتغيرات من خلال معالجة التحديات التي تطرحها تحول التوزيع الزمني (TDS) والارتباطات بين القنوات. يستخدم DUET وحدة تجميع زمنية (TCM) تصنف السلاسل الزمنية إلى توزيعات دقيقة، مما يسمح بتطبيق مستخلصات أنماط مصممة خصيصًا تلتقط الأنماط الزمنية الفريدة وتقوم بنمذجة التباين بشكل فعال. بالإضافة إلى ذلك، تستخدم وحدة تجميع القنوات (CCM) استراتيجية تجميع ناعمة للقنوات لتقييم العلاقات بين القنوات في مجال التردد من خلال تعلم القياس، مما يعزز القدرة التنبؤية للنموذج.
تظهر التجارب الواسعة التي أجريت على 25 مجموعة بيانات أن DUET يتفوق بشكل كبير على نماذج الأساس المتطورة، مما يثبت فعالية نهجه في التجميع المزدوج. كما يبرز المؤلفون أهمية خيارات التصميم الخاصة بهم، مثل استخدام مقياس مسافة ماهالانوبس القابل للتعلم لتجميع القنوات وآلية انتباه مقنعة في وحدة الدمج، والتي تعزز مجتمعة من قوة النموذج ومرونته. تؤكد النتائج على إمكانيات DUET في تحسين دقة التوقع من خلال إدارة تعقيدات الديناميات الزمنية والقناة في بيانات السلاسل الزمنية متعددة المتغيرات بشكل فعال.
DOI: https://doi.org/10.1145/3690624.3709325
Publication Date: 2025-04-04
Author(s): Xiangfei Qiu et al.
Primary Topic: Time Series Analysis and Forecasting
Overview
The research paper presents DUET, a novel framework designed to enhance multivariate time series forecasting, addressing the challenges posed by heterogeneous temporal patterns and complex inter-channel correlations. DUET employs a dual clustering approach, incorporating a Temporal Clustering Module (TCM) that categorizes time series into fine-grained distributions. This allows for the application of specialized pattern extractors tailored to each cluster, effectively modeling the diversity in temporal behaviors.
Additionally, the framework includes a Channel Clustering Module (CCM) that utilizes a channel-soft-clustering strategy to analyze channel relationships in the frequency domain through metric learning, while also implementing sparsification to reduce noise from less relevant channels. The integration of these modules is further refined by a Fusion Module (FM) that employs a masked attention mechanism to combine the temporal features from TCM with the channel mask matrix from CCM. Extensive experiments across 25 real-world datasets demonstrate that DUET achieves state-of-the-art forecasting performance, showcasing its effectiveness in addressing the complexities of multivariate time series data.
Introduction
In the introduction of the research paper, the authors present the main findings regarding the performance of their proposed forecasting model, DUET. The results, summarized in Table 3, highlight that DUET significantly outperforms various baseline models, achieving a 7.1% reduction in Mean Squared Error (MSE) and a 6.5% reduction in Mean Absolute Error (MAE) compared to the second-best model, PDF. Notably, DUET excels with its Channel Strategy Clustering (CSC) approach, particularly on large datasets like Solar and Traffic, where it outperforms CI models such as FITS and PatchTST. In contrast, existing state-of-the-art models like iTransformer and Crossformer struggle with datasets like ETT due to noise from uncorrelated channels, while DUET’s CSC effectively mitigates this issue by focusing on relevant channel correlations.
Furthermore, DUET demonstrates robust capabilities in addressing temporal heterogeneity, particularly in the context of Temporal Distribution Shift. It achieves a remarkable 32.4% reduction in MSE and 21.7% reduction in MAE compared to the leading Non-stationary Transformer model for non-stationary time series. This improvement underscores the effectiveness of DUET’s Temporal Clustering Module in capturing and modeling diverse temporal patterns, marking a significant advancement in forecasting methodologies.
Methods
The methodology section outlines the architecture of DUET, which employs dual clustering techniques across temporal and channel dimensions to extract intrinsic temporal patterns and dynamic channel correlations. Initially, the Instance Norm is applied to standardize the training and testing data distributions. The Temporal Clustering Module (TCM) utilizes a Distribution Router to identify latent distributions of time series data in a channel-independent manner, clustering similar time series to enhance the extraction of temporal features despite the inherent heterogeneity. Concurrently, the Channel Clustering Module (CCM) analyzes channel correlations in the frequency domain, employing adaptive metric learning and sparsification to produce a channel-mask matrix that prioritizes beneficial channels while minimizing the impact of irrelevant ones.
The Fusion Module (FM) integrates the temporal features from the TCM and the channel-mask matrix from the CCM using a masked attention mechanism. This culminates in a linear predictor that forecasts future values. The process can be mathematically represented as follows:
1. \( X_{\text{norm}} = \text{InstanceNorm}(X) \)
2. \( X_{\text{temp}} = \text{TCM}(X_{\text{norm}}) \)
3. \( M = \text{CCM}(X_{\text{norm}}) \)
4. \( X_{\text{mix}} = \text{FM}(X_{\text{temp}}, M), \hat{Y} = \text{Predictor}(X_{\text{mix}}) \),
where \( X_{\text{temp}}, X_{\text{mix}} \in \mathbb{R}^{N \times d} \) and \( M \in \mathbb{R}^{N \times N} \). Notably, steps 2 and 3 can be executed concurrently to enhance computational efficiency. Further details on each module will be provided in subsequent sections.
Discussion
In this research, the authors introduce DUET, a novel framework designed to enhance multivariate time series forecasting by addressing the challenges posed by Temporal Distribution Shift (TDS) and channel correlations. DUET employs a Temporal Clustering Module (TCM) that categorizes time series into fine-grained distributions, allowing for the application of tailored pattern extractors that capture unique temporal patterns and model heterogeneity effectively. Additionally, the Channel Clustering Module (CCM) utilizes a channel-soft-clustering strategy to assess relationships among channels in the frequency domain through metric learning, thereby optimizing the predictive capacity of the model.
Extensive experiments conducted on 25 datasets demonstrate that DUET significantly outperforms state-of-the-art baselines, validating the effectiveness of its dual clustering approach. The authors also highlight the importance of their design choices, such as the use of a learnable Mahalanobis distance metric for channel clustering and a masked attention mechanism in the Fusion Module, which collectively enhance the model’s robustness and adaptability. The findings underscore DUET’s potential in improving forecasting accuracy by effectively managing the complexities of temporal and channel dynamics in multivariate time series data.