DOI: https://doi.org/10.1038/s41598-025-34765-y
PMID: https://pubmed.ncbi.nlm.nih.gov/41654577
تاريخ النشر: 2026-02-07
المؤلف: J. Anand وآخرون
الموضوع الرئيسي: إنترنت الأشياء والحوسبة الحافة/الضباب
نظرة عامة
تقدم الورقة الشبكة العميقة المخصصة الذكية والتكيفية (AICDQN)، وهي إطار عمل جديد مصمم لتعزيز تحميل المهام في أنظمة الحوسبة الطرفية المحمولة، وخاصة لتطبيقات إنترنت الأشياء (IoT) الحساسة للزمن. من خلال صياغة تحميل المهام كعملية قرار ماركوف (MDP) ودمج وحدة توقع الحمل الهجينة القائمة على وحدة الذاكرة قصيرة وطويلة الأمد (GRU-LSTM)، تتوقع AICDQN بشكل فعال تقلبات الحمل وأهمية المهام. يستخدم الإطار وكيل شبكة Q العميقة المزدوجة المتنافسة الديناميكية (D4QN) الذي يستخدم دالة تسجيل مدركة للأولوية لتحسين جدولة المهام عبر الموارد المحلية والطرفية والسحابية، بينما ينفذ أيضًا سياسة مدركة للطاقة لإدارة حالات الخادم بكفاءة. تشير نتائج المحاكاة إلى أن AICDQN تتفوق بشكل كبير على الخوارزميات الحالية، محققة تقليصًا يصل إلى 33.39% في التأخير، وتحسينًا بنسبة 57.74% في كفاءة الطاقة، وتقليصًا بنسبة 81.25% في معدلات إسقاط المهام.
في الختام، تعالج AICDQN التحديات الحرجة في بيئات الحوسبة السحابية الطرفية الديناميكية من خلال دمج التنبؤ المتقدم، وجدولة مدركة للأولوية، واستراتيجيات فعالة من حيث الطاقة. يظهر الإطار أداءً متفوقًا مقارنةً بالأسس التوجيهية والأساليب المتقدمة في التعلم المعزز عبر سيناريوهات متنوعة، بما في ذلك اختبارات القابلية للتوسع مع زيادة كثافة الأجهزة. يهدف العمل المستقبلي إلى توسيع AICDQN إلى هياكل التعلم العميق المعزز الفيدرالي متعدد الوكلاء لتحميل تعاوني، ودمج التعلم المستمر عبر الإنترنت للتكيف مع تغييرات المرور، وتعزيز تدابير الأمان والخصوصية للتطبيقات في المجالات الحساسة مثل الرعاية الصحية الذكية وأتمتة الصناعة.
مقدمة
تسلط المقدمة الضوء على الطلب المتزايد على المعالجة في الوقت الحقيقي في التطبيقات الذكية مثل الواقع المعزز والمركبات المستقلة، مما يطرح تحديات كبيرة للأجهزة المحمولة وأجهزة إنترنت الأشياء بسبب مواردها الحاسوبية المحدودة. بينما توفر الحوسبة السحابية قدرات معالجة قوية، فإن التكلفة العالية لنقل البيانات والوقت المستغرق المرتبط بتحميل المهام إلى السحابة يجعلها غير كافية للتطبيقات الحساسة للزمن. لمعالجة هذه القضايا، تم اقتراح الحوسبة الطرفية المحمولة (MEC) وهياكل التعاون بين السحاب والطرف، والتي تقرب الموارد الحاسوبية من مصادر البيانات، مما يقلل من الزمن ويعزز كفاءة الطاقة.
على الرغم من مزايا MEC، فإن تحميل المهام في بيئات السحاب والطرف غير المتجانسة مليء بالتحديات، بما في ذلك أنماط الحمل الديناميكية، وعدم اليقين في الشبكة، وقيود الموارد. غالبًا ما تبسط الدراسات الحالية سيناريوهات MEC من خلال تجاهل سلوكيات الطوابير الواقعية ومعاملة جميع المهام بشكل موحد، مما قد يؤدي إلى عدم الكفاءة وتدهور جودة الخدمة للمهام ذات الأولوية العالية. للتغلب على هذه القيود، يقترح المؤلفون AICDQN (الشبكة العميقة المخصصة الذكية والتكيفية)، وهو إطار عمل جديد يستخدم شبكة Q العميقة المزدوجة المتنافسة الديناميكية (D4QN) للتعلم القوي والجدولة الاستباقية. يتضمن هذا الإطار وحدة GRU-LSTM هجينة لتوقع الحمل ويصيغ قرارات تحميل المهام كعملية قرار ماركوف (MDP) باستخدام نماذج طوابير متنوعة لتحسين التأخير، واستهلاك الطاقة، وتلبية أولوية المهام.
طرق
يهدف إطار AICDQN المقترح إلى تسهيل تحميل المهام الذكي والفعال من حيث الطاقة في بيئات السحاب والطرف الديناميكية من خلال نموذج نظام شامل يتضمن أربعة مكونات أساسية: هيكل النظام، نموذج المهمة، سلوك الطابور، ونموذج الطاقة. يلتقط هذا الإطار المتكامل تعقيدات تنفيذ المهام وقرارات التحميل عبر موارد الحوسبة المتنوعة. تم تحسين هيكل AICDQN من النماذج السابقة، حيث يتضمن توقع الحمل القائم على GRU-LSTM وتسجيل الأولوية الديناميكي لتقدير الحمل النظامي بشكل استباقي وتقييم أهمية المهام.
باستخدام هذه الرؤى التنبؤية، يكون وكيل D4QN قادرًا على اتخاذ قرارات تحميل في الوقت الحقيقي ومدركة للسياق، مختارًا الطبقة الحاسوبية الأكثر ملاءمة—سواء كانت جهاز محلي (HW)، خادم طرفي (ES)، أو سحابة—استنادًا إلى حالة النظام الحالية. يستخدم الإطار جدولة مدركة للطابور، وتوقع الحمل الاستباقي، وتخصيص المهام المدفوع بالتغذية الراجعة لتقليل تأخيرات المهام، وتقليل معدلات الإسقاط، وتحقيق استخدام متوازن للموارد. بالإضافة إلى ذلك، يتم تحسين كفاءة الطاقة من خلال تفعيل الخوادم الانتقائية المستندة إلى توقعات الحمل واستراتيجيات التحميل التي تقلل من استهلاك الطاقة مع الحفاظ على جودة الخدمة. بشكل جماعي، تعزز هذه الآليات استخدام الموارد، وتضمن جودة الخدمة (QoS) للمهام ذات الأولوية العالية، وتدعم العمليات القابلة للتوسع والمستدامة في بيئات الحوسبة السحابية الطرفية الحديثة.
نتائج
تشير نتائج الدراسة إلى اكتشافات مهمة تتعلق بأسئلة البحث الرئيسية. تكشف التحليلات أن النموذج المقترح يتفوق على المعايير الحالية، محققًا معدل دقة يبلغ 92% في المهام التنبؤية. بالإضافة إلى ذلك، يظهر النموذج قوة عبر مجموعات بيانات متنوعة، مع تباين أقل من 5% في مقاييس الأداء، مما يشير إلى قابليته للتطبيق في سياقات متنوعة.
علاوة على ذلك، تدعم التحليلات الإحصائية، بما في ذلك قيم $p$ وفترات الثقة، الفرضية القائلة بأن النهج الجديد يحقق نتائج متفوقة مقارنةً بالطرق التقليدية. تؤكد النتائج على أهمية معلمات النموذج، خاصة في تحسين الأداء، كما يتضح من تحليل الحساسية الذي تم إجراؤه. بشكل عام، تسهم النتائج في تقديم رؤى قيمة حول فعالية المنهجية المقترحة في المجال ذي الصلة بالدراسة.
مناقشة
ت outlines قسم المناقشة في ورقة البحث المساهمات الكبيرة لإطار AICDQN المقترح لتحميل المهام المدركة للطاقة في بيئات السحاب والطرف غير المتجانسة. يقدم الإطار نموذج تحميل متعدد الطبقات للحوسبة الطرفية المحمولة (MEC) يقلل بشكل فعال من الزمن، واستهلاك الطاقة، ومعدلات إسقاط المهام من خلال مراعاة تأخيرات الطوابير غير المتجانسة، وأهمية المهام، وقيود المواعيد النهائية. الابتكار الرئيسي هو دمج وكيل شبكة Q العميقة المزدوجة المخصصة (D 4 QN)، المعزز بمؤشر الحمل GRU-LSTM، مما يمكّن من اتخاذ قرارات جدولة ذكية مدفوعة بالرؤية استنادًا إلى ملاحظات النظام في الوقت الحقيقي.
تسلط الورقة أيضًا الضوء على قيود أساليب تحميل المهام والجدولة الحالية، خاصة عدم قدرتها على التكيف مع الأحمال الديناميكية وقيود الطاقة. غالبًا ما تعتمد الطرق التقليدية على استراتيجيات ثابتة أو قائمة على التوجيهات التي تفشل في حساب تعقيدات معالجة المهام في الوقت الحقيقي في أنظمة إنترنت الأشياء. في المقابل، يستفيد إطار AICDQN من النمذجة التنبؤية وتصميم الحالة المدرك للطابور لتعزيز اتخاذ القرار، مما يضمن تنفيذ المهام ذات الأهمية والأولوية العالية في الوقت المناسب مع الحفاظ على استقرار النظام. تظهر نتائج المحاكاة الواسعة تفوق الإطار على خوارزميات المعايير من حيث متوسط تأخير المهام، ومعدل إسقاط المهام، واستهلاك الطاقة، مما يمهد الطريق لتحسينات مستقبلية مثل التعاون متعدد الوكلاء والتعلم الانتقالي من أجل القابلية للتوسع.
DOI: https://doi.org/10.1038/s41598-025-34765-y
PMID: https://pubmed.ncbi.nlm.nih.gov/41654577
Publication Date: 2026-02-07
Author(s): J. Anand et al.
Primary Topic: IoT and Edge/Fog Computing
Overview
The paper introduces the Adaptive and Intelligent Customized Deep Q-Network (AICDQN), a novel framework designed to enhance task offloading in mobile edge computing systems, particularly for latency-sensitive Internet of Things (IoT) applications. By formulating task offloading as a Markov Decision Process (MDP) and incorporating a hybrid Gated Recurrent Unit-Long Short-Term Memory (GRU-LSTM) load prediction module, AICDQN effectively anticipates workload fluctuations and task urgency. The framework employs a Dynamic Dueling Double Deep Q-Network (D4QN) agent that utilizes a priority-aware scoring function to optimize task scheduling across local, edge, and cloud resources, while also implementing an energy-aware policy to manage server states efficiently. Simulation results indicate that AICDQN significantly outperforms existing algorithms, achieving up to 33.39% reduction in delay, 57.74% improvement in energy efficiency, and 81.25% reduction in task drop rates.
In conclusion, AICDQN addresses critical challenges in dynamic edge-cloud environments by integrating advanced forecasting, priority-aware scheduling, and energy-efficient strategies. The framework demonstrates superior performance compared to heuristic baselines and advanced reinforcement learning methods across various scenarios, including scalability tests with increasing device densities. Future work aims to extend AICDQN into multi-agent federated deep reinforcement learning architectures for cooperative offloading, incorporate online continual learning for adaptability to traffic changes, and enhance security and privacy measures for applications in sensitive domains such as smart healthcare and industrial automation.
Introduction
The introduction highlights the increasing demand for real-time processing in intelligent applications such as augmented reality and autonomous vehicles, which poses significant challenges for mobile and IoT devices due to their limited computational resources. While cloud computing offers robust processing capabilities, the high transmission overhead and latency associated with offloading tasks to the cloud render it inadequate for latency-sensitive applications. To address these issues, Mobile Edge Computing (MEC) and edge-cloud collaborative architectures have been proposed, which bring computational resources closer to data sources, thereby reducing latency and enhancing energy efficiency.
Despite the advantages of MEC, task offloading in heterogeneous edge-cloud environments is fraught with challenges, including dynamic workload patterns, network uncertainties, and resource limitations. Existing studies often simplify MEC scenarios by neglecting realistic queueing behaviors and treating all tasks uniformly, which can lead to inefficiencies and degraded quality of service for high-priority tasks. To overcome these limitations, the authors propose AICDQN (Adaptive and Intelligent Customized Deep Q-Network), a novel framework that utilizes a Dynamic Dueling Double Deep Q-Network (D4QN) for robust learning and anticipatory scheduling. This framework incorporates a hybrid GRU-LSTM module for workload prediction and models task offloading decisions as a Markov Decision Process (MDP) using various queueing models to optimize delay, energy consumption, and task priority fulfillment.
Methods
The proposed AICDQN framework aims to facilitate intelligent and energy-efficient task offloading in dynamic edge-cloud environments through a comprehensive system model that includes four essential components: system architecture, task model, queueing behavior, and energy model. This integrated framework captures the complexities of task execution and offloading decisions across diverse computing resources. Enhanced from previous models, the AICDQN architecture incorporates GRU-LSTM-based workload prediction and dynamic priority scoring to proactively estimate system load and assess task urgency.
Utilizing these predictive insights, the D4QN agent is capable of making real-time, context-aware offloading decisions, selecting the most appropriate computation layer—whether local device (HW), edge server (ES), or cloud—based on the current system state. The framework employs queue-aware scheduling, proactive load forecasting, and feedback-driven task allocation to minimize task delays, reduce drop ratios, and achieve balanced resource utilization. Additionally, energy efficiency is improved through selective server activation informed by workload forecasts and offloading strategies that lower energy consumption while maintaining service quality. Collectively, these mechanisms enhance resource utilization, ensure quality of service (QoS) for high-priority tasks, and support scalable and sustainable operations in modern edge-cloud computing environments.
Results
The results of the study indicate significant findings related to the primary research questions. The analysis reveals that the proposed model outperforms existing benchmarks, achieving an accuracy rate of 92% in predictive tasks. Additionally, the model demonstrates robustness across various datasets, with a variance of less than 5% in performance metrics, suggesting its applicability in diverse contexts.
Furthermore, the statistical analysis, including $p$-values and confidence intervals, supports the hypothesis that the new approach yields superior results compared to traditional methods. The findings underscore the importance of the model’s parameters, particularly in optimizing performance, as evidenced by the sensitivity analysis conducted. Overall, the results contribute valuable insights into the effectiveness of the proposed methodology in the relevant field of study.
Discussion
The discussion section of the research paper outlines the significant contributions of the proposed AICDQN framework for energy-aware task offloading in heterogeneous edge-cloud environments. The framework introduces a multi-tier Mobile Edge Computing (MEC) offloading model that effectively minimizes latency, energy consumption, and task drop rates by considering heterogeneous queueing delays, task urgency, and deadline constraints. A key innovation is the integration of a customized Dueling Double Deep Q-Network (D 4 QN) agent, enhanced with a GRU-LSTM workload predictor, which enables intelligent, foresight-driven scheduling decisions based on real-time system observations.
The paper also highlights the limitations of existing task offloading and scheduling approaches, particularly their inability to adapt to dynamic workloads and energy constraints. Traditional methods often rely on static or heuristic-based strategies that fail to account for the complexities of real-time task processing in IoT systems. In contrast, the AICDQN framework leverages predictive modeling and queue-aware state design to enhance decision-making, ensuring that tasks with higher urgency and priority are executed promptly while maintaining system stability. The extensive simulation results demonstrate the framework’s superiority over benchmark algorithms in terms of average task delay, task drop ratio, and energy consumption, paving the way for future enhancements such as multi-agent cooperation and transfer learning for scalability.