DOI: https://doi.org/10.1038/s41598-024-84038-3
PMID: https://pubmed.ncbi.nlm.nih.gov/39747491
تاريخ النشر: 2025-01-02
المؤلف: Yi Qin وآخرون
الموضوع الرئيسي: إنترنت الأشياء والحوسبة الحافة/الضباب
نظرة عامة
يقدم هذا القسم نظرة عامة على طريقة التعلم العميق المعتمد على التعزيز والتجمع والتكتل الكثافة المقترحة (DCEDRL) لتحسين قرارات تحميل المهام في الحوسبة الطرفية المتنقلة (MEC). تعالج طريقة DCEDRL التحديات المتعلقة بتخصيص الموارد غير الفعال الناتج عن تحميل المهام المكثفة حسابيًا من الأجهزة اللاسلكية المتنقلة (WDs) إلى خوادم الحافة (ESs). من خلال استخدام عدة شبكات عصبية عميقة (DNNs) وتقنيات التعلم التجميعي، تعزز DCEDRL دقة التنبؤ بقرارات التحميل. بالإضافة إلى ذلك، تتضمن نهج تكتل كثافة محسّن لتصنيف المهام ذات الخصائص المتشابهة، مما يحسن من جدولة المهام وكفاءة تخصيص الموارد.
تشير النتائج التجريبية إلى أن طريقة DCEDRL تقلل بشكل كبير من تراكم المهام بأكثر من 21% مقارنة بالخوارزميات الأساسية، مما يوضح فعاليتها في بيئات الشبكات الديناميكية. لا تعزز الطريقة أداء النظام فحسب، بل تضمن أيضًا الاستقرار على المدى الطويل والقدرة على التكيف مع ظروف الشبكة المتغيرة. ومع ذلك، تعترف الدراسة بالقيود، مثل تبسيط التجارب التي تتجاهل عوامل حاسمة مثل تأخيرات تحميل المهام وعدم اليقين الحسابي. يُقترح إجراء أبحاث مستقبلية لتعزيز قوة طريقة DCEDRL من خلال محاكاة سيناريوهات أكثر تعقيدًا واستكشاف تقنيات تحسين مثل تقليم النموذج والتعلم الموزع لتحسين الكفاءة الحسابية مع الحفاظ على الأداء.
الطرق
في هذا القسم، يوضح المؤلفون الطرق التجريبية المستخدمة لتقييم أداء خوارزمية DCEDRL المقترحة، التي تم تنفيذها باستخدام إطار عمل PyTorch على إعدادات الأجهزة المحددة. تم قياس المعلمات التجريبية مقارنة بالدراسات السابقة، حيث تم نمذجة متوسط مكاسب القناة كالتالي \( h_i = A_d \left( \frac{3 \times 10^8}{4\pi f_c d_i} \right)^{d_e} \)، حيث \( A_d = 3 \)، \( f_c = 915 \text{ MHz} \)، و \( d_e = 3 \). استخدمت الدراسة توزيع ريسيان لنمذجة النقل اللاسلكي، مع تعريف قوة الضوضاء كالتالي \( N_0 = w \nu_0 \) و \( \nu_0 = -174 \text{ dBm/Hz} \). كما تم تحديد المعلمات لمعدلات وصول المهام والمسافات بين الأجهزة اللاسلكية (WDs) وخادم الحافة (ES) لتحسين تحليل قوائم البيانات واستهلاك الطاقة.
تم فحص تأثير معلمات خوارزمية DBSCAN، تحديدًا \( \epsilon \) و MinPts، على أداء تفريغ المهام. أظهرت النتائج أن الإعدادات المثلى لـ \( \epsilon = 20 \) و MinPts = 20 قللت بشكل كبير من أطوال قوائم البيانات وحسنت الأداء بنسبة 42.41% و 34.99%، على التوالي. كما استكشف المؤلفون طرق تكتل متنوعة، بما في ذلك K-means، والتكتل الهرمي، ونماذج المزيج الغاوسي (GMM)، وMeanShift، ووجدوا أن DBSCAN تفوقت على هذه الطرق بنسبة 40.02%، 29.41%، 20.49%، و17.72%، على التوالي، خاصة في التعامل مع المهام المعقدة وكبيرة الحجم. تم تحديد معدل التعلم الأمثل للنموذج ليكون 0.01، مما أسفر عن أفضل ملاءمة واستقرار أثناء التدريب.
المناقشة
في قسم المناقشة من الورقة، يبرز المؤلفون الأهمية المتزايدة لتحميل الحسابات في بيئات الحوسبة الطرفية المتنقلة (MEC)، حيث يمكن للأجهزة اللاسلكية (WDs) نقل المهام المكثفة حسابيًا إلى خوادم الحافة (ES) لتعزيز الكفاءة وتقليل زمن الانتظار. تم تطوير خوارزميات متنوعة لمعالجة مشكلة تحميل الحسابات الثنائية، مع التركيز على تحسين عمليات اتخاذ القرار. بينما كانت تقنيات التحسين التقليدية فعالة، إلا أنها غالبًا ما تواجه صعوبات في التوازن بين الأداء والتعقيد، خاصة في البيئات الديناميكية. أظهرت التطورات الأخيرة في التعلم العميق المعتمد على التعزيز (DRL) وعدًا في تحسين قرارات التحميل من خلال الاستفادة من قدرة التكيف لشبكات الأعصاب العميقة (DNNs). من الجدير بالذكر أن خوارزمية التعلم العميق المعتمد على التعزيز مع الاستكشاف المتوازي والتدريب غير المتزامن (PEATDRL) أظهرت تحسنًا بنسبة تزيد عن 20% في سرعة تقارب قوائم المهام مقارنة بالطرق الأساسية.
لتحسين استراتيجيات التحميل بشكل أكبر، يقترح المؤلفون إطار عمل جديد يدمج خوارزمية DBSCAN للتكتل القائم على الكثافة والتعلم التجميعي لتحسين قوة ودقة اتخاذ القرار في ظروف الشبكة المتغيرة بسرعة. تحدد خوارزمية DBSCAN المهام والعقد ذات الأداء غير الطبيعي، مما يقلل من التعقيد الحسابي ويعزز دقة اتخاذ القرار في الوقت الحقيقي. بالإضافة إلى ذلك، تجمع طريقة التعلم التجميعي بين عدة متعلمين أساسيين للتغلب على قيود النماذج الفردية، مما يضمن قدرة أفضل على التكيف مع التغيرات البيئية. تتضمن استراتيجية التحميل المعتمدة على DCEDRL المقترحة هذه العناصر بشكل منهجي، مما يحسن قرارات تحميل المهام من خلال نهج منظم يتضمن التكتل، وتحديث السياسات، وإدارة القوائم، مما يوفر في النهاية حلاً أكثر مرونة لشبكات MEC.
DOI: https://doi.org/10.1038/s41598-024-84038-3
PMID: https://pubmed.ncbi.nlm.nih.gov/39747491
Publication Date: 2025-01-02
Author(s): Yi Qin et al.
Primary Topic: IoT and Edge/Fog Computing
Overview
The section presents an overview of the proposed Density Clustering and Ensemble Learning Training-based Deep Reinforcement Learning (DCEDRL) method for optimizing task offloading decisions in mobile edge computing (MEC). The DCEDRL method addresses the challenges of inefficient resource allocation caused by careless offloading of compute-intensive tasks from mobile wireless devices (WDs) to edge servers (ESs). By employing multiple deep neural networks (DNNs) and ensemble learning techniques, DCEDRL enhances the prediction accuracy of offloading decisions. Additionally, it incorporates an optimized density clustering approach to categorize tasks with similar characteristics, thereby improving task scheduling and resource allocation efficiency.
The experimental results indicate that the DCEDRL method significantly reduces task backlog by over 21% compared to baseline algorithms, demonstrating its effectiveness in dynamic edge network environments. The method not only maximizes system performance but also ensures long-term stability and adaptability to varying network conditions. However, the study acknowledges limitations, such as the simplification of experiments that overlook critical factors like task upload delays and computational uncertainties. Future research is suggested to enhance the robustness of the DCEDRL method by simulating more complex scenarios and exploring optimization techniques like model pruning and distributed learning to improve computational efficiency while maintaining performance.
Methods
In this section, the authors detail the experimental methods used to evaluate the performance of the proposed DCEDRL algorithm, implemented using the PyTorch framework on a specified hardware setup. The experimental parameters were benchmarked against previous studies, with the average channel gain modeled as \( h_i = A_d \left( \frac{3 \times 10^8}{4\pi f_c d_i} \right)^{d_e} \), where \( A_d = 3 \), \( f_c = 915 \text{ MHz} \), and \( d_e = 3 \). The study utilized a Rician distribution for wireless transmission modeling, with noise power defined as \( N_0 = w \nu_0 \) and \( \nu_0 = -174 \text{ dBm/Hz} \). The parameters for task arrival rates and distances between wireless devices (WDs) and the edge server (ES) were also specified to optimize the analysis of data queues and energy consumption.
The influence of the DBSCAN algorithm’s parameters, specifically \( \epsilon \) and MinPts, on task unloading performance was examined. Results indicated that optimal settings of \( \epsilon = 20 \) and MinPts = 20 significantly reduced data queue lengths and improved performance by 42.41% and 34.99%, respectively. The authors also explored various clustering methods, including K-means, hierarchical clustering, Gaussian mixture models (GMM), and MeanShift, finding that DBSCAN outperformed these methods by 40.02%, 29.41%, 20.49%, and 17.72%, respectively, particularly in handling complex and large-scale tasks. The optimal learning rate for the model was determined to be 0.01, which yielded the best fitting and stability during training.
Discussion
In the discussion section of the paper, the authors highlight the growing significance of computation offloading in Mobile Edge Computing (MEC) environments, where wireless devices (WDs) can transfer compute-intensive tasks to edge servers (ES) to enhance efficiency and reduce latency. Various algorithms have been developed to address the binary computation offloading problem, focusing on optimizing decision-making processes. Traditional heuristic and optimization techniques, while effective, often struggle with performance and complexity trade-offs, especially in dynamic environments. Recent advancements in Deep Reinforcement Learning (DRL) have shown promise in improving offloading decisions by leveraging the adaptability of Deep Neural Networks (DNNs). Notably, the proposed Parallel Exploration with Asynchronous Training-based Deep Reinforcement Learning (PEATDRL) algorithm demonstrated over a 20% improvement in task queue convergence speed compared to baseline methods.
To further enhance offloading strategies, the authors propose a novel framework that integrates the DBSCAN algorithm for density-based clustering and ensemble learning to improve decision-making robustness and accuracy in rapidly changing network conditions. The DBSCAN algorithm identifies tasks and nodes with abnormal performance, thereby reducing computational complexity and enhancing real-time decision accuracy. Additionally, the ensemble learning method combines multiple base learners to overcome the limitations of single models, ensuring better adaptability to environmental changes. The proposed DCEDRL-based offloading strategy systematically incorporates these elements, optimizing task offloading decisions through a structured approach that includes clustering, policy updates, and queue management, ultimately providing a more resilient solution for MEC networks.