جدولة موارد الشبكة الديناميكية للطاقة الحاسوبية مع دمج تقدير الحالة الديناميكية المختلطة لسلاسل الزمن والتعلم التعزيزي الهرمي
Computing power network dynamic resource scheduling integrating time series mixing dynamic state estimation and hierarchical reinforcement learning

شارك:
المجلة: Scientific Reports، المجلد: 16، العدد: 1
DOI: https://doi.org/10.1038/s41598-025-32753-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41486178
تاريخ النشر: 2026-01-04
المؤلف: Hong Liu وآخرون
الموضوع الرئيسي: الحوسبة السحابية وإدارة الموارد

نظرة عامة

تقدم ورقة البحث إطار جدولة ذكي TSL-HRL، المصمم لمواجهة تحديات جدولة الموارد عبر السحابة في الهياكل متعددة السحابة، مع التركيز بشكل خاص على التكيف مع البيئات غير المتجانسة والاستجابة الديناميكية للحمل. يستخدم الإطار وحدة خلط السلاسل الزمنية لتحليل التقلبات الدورية والطلب المفاجئ في الموارد الحاسوبية والتخزين والشبكة. كما يتضمن وحدة تقدير الحالة الديناميكية باستخدام تصفية كالمان لمراقبة التغيرات في العرض والطلب على الموارد في الوقت الحقيقي.

يتميز إطار TSL-HRL بهيكل تعلم تعزيز هرمي، حيث يطور خوارزمية Q-learning عالية المستوى استراتيجية تخصيص موارد طويلة الأجل، بينما تقوم خوارزمية Advantage Actor-Critic (A2C) منخفضة المستوى بضبط خطط التنفيذ استجابة للتقلبات في الوقت الحقيقي. تظهر النتائج التجريبية على مجموعة بيانات تكوين خدمات السحابة المتعددة وسيناريوهات مجموعة Google 2019 أن TSL-HRL يوازن بشكل فعال بين استخدام الموارد وأداء الجدولة من خلال نهجه ثلاثي المستويات: استخراج ميزات السلاسل الزمنية، وإدراك الحالة الديناميكية، وتحسين الاستراتيجية الهرمية. تستنتج الدراسة أن TSL-HRL يقدم حلاً شاملاً لإدارة الموارد في البيئات متعددة السحابة، مع توجيه الأبحاث المستقبلية نحو تعزيز قابليته للتطبيق في التعاونات السحابية الحافة وتحسين استهلاك الطاقة من خلال تقنيات التعلم الميتا.

مقدمة

تسلط مقدمة ورقة البحث الضوء على التأثير التحويلي للتقنيات المتقدمة مثل الحوسبة السحابية، والحوسبة الحافة، والذكاء الاصطناعي على الاقتصاد الرقمي. أدى انتشار 5G وإنترنت الأشياء (IoT) إلى ظهور سيناريوهات أعمال ديناميكية، بما في ذلك التعليم عبر الإنترنت، والتجارة الإلكترونية، وإنترنت الأشياء الصناعي، والنقل الذكي، التي تتطلب حركة مرور عالية في الوقت الحقيقي وتظهر تقلبات كبيرة. نماذج حجز الموارد التقليدية، التي تعتمد عادةً على البيانات التاريخية أو القواعد البسيطة، غير كافية لمعالجة احتياجات الموارد المتقلبة لهذه التطبيقات.

على وجه الخصوص، تؤكد الورقة على أوجه القصور في استراتيجيات تخصيص الموارد التقليدية في سياقات إنترنت الأشياء الصناعي، مثل تصنيع السيارات، حيث تعتبر معالجة البيانات في الوقت الحقيقي حاسمة لمراقبة الجودة واكتشاف الأعطال. غالبًا ما تؤدي هذه النماذج التقليدية إلى نقص في الموارد يعطل الإنتاج أو عدم الاستغلال الذي يتسبب في تكاليف غير ضرورية. علاوة على ذلك، تشير الورقة إلى أن طرق تخصيص الوقت الثابت أو الحصص الموحدة لا تعكس بدقة متطلبات الموارد المتغيرة وأولويات المهام المختلفة، كما يتضح من سوء تخصيص الموارد في معالجة الصور الطبية، حيث يتم التعامل مع الاستشارات العاجلة بشكل مشابه للمهام الروتينية. هذا التباين لا يعيق فقط كفاءة استخدام الموارد ولكنه أيضًا يفشل في تحفيز مقدمي الخدمات على إعطاء الأولوية للعمليات الحرجة.

الطرق

في هذا القسم، توضح البحث الطرق المستخدمة لتقييم نموذج TSL-HRL لإدارة موارد شبكة القدرة الحاسوبية. تم تصميم التجربة لتقييم ثلاثة مقاييس أداء رئيسية: دقة حجز الموارد الديناميكية، وقدرة التحسين متعدد الأهداف، والقدرة على التكيف تحت الازدحام العالي. لمحاكاة التحديات الواقعية، مثل الارتفاعات المفاجئة في حركة المرور والتغيرات الديناميكية في العقد، تم تطوير ثلاثة سيناريوهات تجريبية، حيث يستخدم أحد السيناريوهات مجموعة بيانات عينة Google 2019 Cluster لنمذجة ارتفاعات الطلب على الموارد على المدى القصير.

تستمد البيانات التجريبية من مجموعة بيانات تكوين خدمات السحابة المتعددة وعينة Google 2019 Cluster، والتي تخضع لعمليات معالجة مسبقة تشمل التنظيف، والتحويل، والتعزيز لإنشاء بيانات منظمة مناسبة لإدخال النموذج. يتم تلخيص الخصائص الرئيسية لمجموعات البيانات، مثل كمية العقد ومقاييس الموارد، من أجل الوضوح. من الجدير بالذكر أن عينة Google 2019 Cluster تتكون من 2 مليون سجل تفصيل استخدام الموارد، مع مقاييس مثل استخدام وحدة المعالجة المركزية واستخدام الذاكرة التي يتم التقاطها على فترات دقيقة واحدة. لتحليل ميزات حركة المرور المفاجئة وديناميات العقد بشكل فعال على مدى 30 يومًا، يتم استخدام نهج النافذة المنزلقة بحجم نافذة ساعة واحدة، مما يسمح باستخراج مقاطع البيانات ذات الصلة التي تعكس تغييرات كبيرة في استخدام الموارد.

النتائج

تقيم نتائج التجربة أداء خوارزميات مختلفة مقابل نموذج TSL-HRL المقترح، بما في ذلك خوارزمية الحوسبة الحافة المعتمدة على LSTM لـ Zhan، وتوقع تحميل موارد السحابة باستخدام RNN لـ Zi، والعديد من الخوارزميات الأخرى التي تشمل تقنيات إدارة الموارد التقليدية والحديثة. يهدف المقارنة إلى التحقق من فعالية TSL-HRL من حيث وقت الاستدلال واستخدام الموارد عبر أحجام دفعات مختلفة ومجموعات بيانات.

تشير النتائج إلى أن TSL-HRL يتفوق بشكل كبير على النماذج الأخرى من حيث وقت الاستدلال، خاصة عند حجم دفعة 16، حيث يظهر زمن استجابة أقل بكثير مقارنة بالنماذج مثل Zhan وZi وALMAZROI. حتى مع زيادة حجم الدفعة إلى 128، يحافظ TSL-HRL على أوقات استدلال فعالة، بينما تواجه نماذج مثل GA-PSO زيادات كبيرة في زمن الاستجابة، خاصة على مجموعة بيانات Google. هذا يظهر قدرة TSL-HRL الفائقة في تحسين جدولة الموارد وكفاءة الحوسبة في البيئات الديناميكية متعددة السحابة. بالإضافة إلى ذلك، تؤكد تحليل استخدام الموارد وزمن استجابة جدولة الموارد عبر السحابة مزايا TSL-HRL، مما يبرز ملاءمته لشبكات القدرة الحاسوبية ذات الطلب العالي والسيناريوهات المتعددة.

المناقشة

تسلط قسم المناقشة في ورقة البحث الضوء على قيود نماذج التنبؤ بالسلاسل الزمنية التقليدية ونماذج إدارة الموارد في شبكات القدرة الحاسوبية، خاصة في التقاط التقلبات غير الخطية والتكيف مع البيئات الديناميكية. تفشل الطرق التقليدية مثل ARIMA والخوارزميات المبنية على القواعد المبكرة في حساب تعقيدات سلوك المستخدم وحالة الشبكة، مما يؤدي إلى عدم كفاءة في تخصيص الموارد. بينما تحسن النماذج المتقدمة مثل LSTM وTransformers من التقاط الاعتماد على المدى الطويل، فإنها تواجه صعوبات في دمج البيانات متعددة الأنماط ومتطلبات الحوسبة العالية، والتي ليست مناسبة لسيناريوهات الحوسبة الحافة. تهدف الابتكارات الحديثة، بما في ذلك الأطر الهجينة مثل VMD-Transformer وTSMixer، إلى تعزيز دقة التنبؤ وكفاءة التشغيل ولكن لا تزال تواجه تحديات في قابلية التوسع والتكيف.

يعالج هيكل نموذج TSL-HRL المقترح هذه التحديات من خلال دمج TSMixer، ووحدة الحالة الخطية الديناميكية (LDS)، واستراتيجية التعلم المعزز (RL) الهرمية. يلتقط هذا النموذج بفعالية ميزات البيانات الزمنية، ويقوم بنمذجة الطلب الديناميكي على الموارد، ويعمل على تحسين استراتيجيات حجز الموارد من خلال عملية اتخاذ قرار من طبقتين. يظهر نموذج TSL-HRL أداءً متفوقًا في التنبؤ بدقة بالطلب على الموارد والتكيف مع التغيرات المفاجئة في ظروف الشبكة، مما يحسن من استخدام الموارد وجودة الخدمة. يوفر نهجه في تحسين متعدد الأهداف توازنًا بين كفاءة الموارد، وإكمال المهام، وجودة الخدمة، مما يقدم حلاً قويًا لإدارة شبكات القدرة الحاسوبية في البيئات الديناميكية في الوقت الحقيقي.

Journal: Scientific Reports, Volume: 16, Issue: 1
DOI: https://doi.org/10.1038/s41598-025-32753-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41486178
Publication Date: 2026-01-04
Author(s): Hong Liu et al.
Primary Topic: Cloud Computing and Resource Management

Overview

The research paper presents the TSL-HRL intelligent scheduling framework, designed to tackle the challenges of cross-cloud resource scheduling in multi-cloud architectures, particularly focusing on heterogeneous environment adaptation and dynamic load response. The framework employs a time-series mixing module to analyze periodic fluctuations and burst demand in computing, storage, and network resources. It also incorporates a dynamic state estimation module utilizing Kalman filtering to monitor real-time resource supply and demand changes.

The TSL-HRL framework features a hierarchical reinforcement learning architecture, where a high-level Q-learning algorithm develops a long-term resource allocation strategy, while a low-level Advantage Actor-Critic (A2C) algorithm fine-tunes execution plans in response to real-time fluctuations. Experimental results on the Multi-Cloud Service Composition Dataset and Google 2019 Cluster scenarios demonstrate that TSL-HRL effectively balances resource utilization and scheduling performance through its three-tiered approach: time-series feature extraction, dynamic state perception, and hierarchical strategy optimization. The study concludes that TSL-HRL offers a comprehensive solution for resource management in multi-cloud environments, with future research aimed at enhancing its applicability in edge-cloud collaborations and optimizing energy consumption through meta-learning techniques.

Introduction

The introduction of the research paper highlights the transformative impact of advanced technologies such as cloud computing, edge computing, and artificial intelligence on the digital economy. The proliferation of 5G and the Internet of Things (IoT) has led to the emergence of dynamic business scenarios, including online education, e-commerce, industrial IoT, and intelligent transportation, which demand high real-time traffic and exhibit significant burstiness. Traditional resource reservation models, which typically rely on historical data or simplistic heuristics, are inadequate for addressing the fluctuating resource needs of these applications.

In particular, the paper emphasizes the shortcomings of conventional resource allocation strategies in industrial IoT contexts, such as car manufacturing, where real-time data processing is critical for quality control and fault detection. These traditional models often result in either resource shortages that disrupt production or underutilization that incurs unnecessary costs. Furthermore, the paper points out that fixed-time or uniform-quota allocation methods do not accurately reflect the varying resource requirements and priorities of different tasks, exemplified by the misallocation of resources in medical image processing, where urgent consultations are treated similarly to routine tasks. This misalignment not only hampers the efficiency of resource utilization but also fails to incentivize service providers to prioritize critical operations.

Methods

In this section, the research outlines the methods employed to evaluate the TSL-HRL model for managing computing power network resources. The experiment is designed to assess three primary performance metrics: dynamic resource reservation accuracy, multi-objective optimization capability, and adaptability under high concurrency. To simulate real-world challenges, such as sudden traffic surges and dynamic node changes, three experimental scenarios are developed, with one scenario specifically utilizing the Google 2019 Cluster sample dataset to model short-term resource demand spikes.

The experimental data is derived from the Multi-Cloud Service Composition Dataset and the Google 2019 Cluster sample, which undergoes preprocessing that includes cleaning, transformation, and augmentation to create structured data suitable for model input. Key characteristics of the datasets, such as node quantity and resource metrics, are summarized for clarity. Notably, the Google 2019 Cluster sample comprises 2 million records detailing resource usage, with metrics like CPU utilization and memory usage captured at one-minute intervals. To effectively analyze burst traffic features and node dynamics over a 30-day period, a sliding window approach with a one-hour window size is employed, allowing for the extraction of relevant data segments that reflect significant resource utilization changes.

Results

The results of the experiment evaluate the performance of various algorithms against the proposed TSL-HRL model, including Zhan’s LSTM-based edge computing algorithm, Zi’s RNN cloud resource load prediction, and several others encompassing traditional and modern resource management techniques. The comparison aims to validate the effectiveness of TSL-HRL in terms of inference time and resource utilization across different batch sizes and datasets.

The findings indicate that TSL-HRL significantly outperforms the other models in terms of inference time, particularly at a batch size of 16, where it exhibits markedly lower latency compared to models like Zhan, Zi, and ALMAZROI. Even as the batch size increases to 128, TSL-HRL maintains efficient inference times, while models such as GA-PSO experience substantial increases in latency, especially on the Google dataset. This demonstrates TSL-HRL’s superior capability in optimizing resource scheduling and computational efficiency in dynamic multi-cloud environments. Additionally, the analysis of resource utilization and cross-cloud scheduling latency further confirms TSL-HRL’s advantages, highlighting its suitability for high-demand, multi-scenario computing power networks.

Discussion

The discussion section of the research paper highlights the limitations of traditional time series prediction and resource management models in computing power networks, particularly in capturing nonlinear fluctuations and adapting to dynamic environments. Traditional methods like ARIMA and early rule-driven algorithms fail to account for the complexities of user behavior and network status, leading to inefficiencies in resource allocation. While advanced models such as LSTM and Transformers improve long-term dependency capture, they struggle with multimodal data integration and high computational demands, which are not suitable for edge computing scenarios. Recent innovations, including hybrid frameworks like VMD-Transformer and TSMixer, aim to enhance prediction accuracy and operational efficiency but still face challenges in scalability and adaptability.

The proposed TSL-HRL model architecture addresses these challenges by integrating TSMixer, a dynamic linear state (LDS) module, and a hierarchical reinforcement learning (RL) strategy. This model effectively captures temporal data features, models dynamic resource demand, and optimizes resource reservation strategies through a two-layer decision-making process. The TSL-HRL model demonstrates superior performance in accurately predicting resource demand and adapting to sudden changes in network conditions, thereby improving resource utilization and service quality. Its multi-objective optimization approach balances resource efficiency, task completion, and service quality, offering a robust solution for managing computing power networks in real-time, dynamic environments.

شارك: