DOI: https://doi.org/10.24002/ijis.v8i2.11760
تاريخ النشر: 2026-02-28
المؤلف: Alon Jala Tirta Segara وآخرون
الموضوع الرئيسي: الشبكات المتنقلة المؤقتة
نظرة عامة
تتناول ورقة البحث التحديات المتعلقة بالتوجيه التكيفي في الشبكات المتنقلة المؤقتة (MANETs)، مع التركيز بشكل خاص على قيود بروتوكول توجيه الحالة الرابط المحسن (OLSR)، الذي يواجه صعوبات مع التغيرات الطوبولوجية في الوقت الحقيقي وتقييم جودة الرابط بسبب اعتماده على التحديثات الدورية. لتعزيز قابلية التوجيه وكفاءة OLSR، يقترح المؤلفون دمج استراتيجية التعلم المعزز باستخدام شبكة Q العميقة (DQN). يستخدم نموذج DQN مقاييس شبكة متنوعة، بما في ذلك الكمون، وعدد النقل المتوقع (ETX)، واحتلال الذاكرة، وعدد الجيران، كمدخلات حالة، مع اتخاذ إجراءات مستمدة من قيم Q بناءً على التفاعلات البيئية. تشير نتائج المحاكاة باستخدام NS-3 وPyTorch إلى أن بروتوكول OLSR-DQN يحسن بشكل كبير نسبة تسليم الحزم (PDR) بنسبة تصل إلى 20%، ويقلل من التأخير بنسبة 15-25%، ويعزز من الإنتاجية في سيناريوهات MANET الديناميكية.
في الختام، تُظهر الدراسة أن بروتوكول OLSR-DQN يتفوق بشكل ملحوظ على OLSR التقليدي من حيث PDR، وتأخير من طرف إلى طرف، والإنتاجية من خلال تمكين العقد من اتخاذ قرارات مستقلة بناءً على الملاحظات المحلية من خلال التعلم المعزز. تشمل التحسينات زيادة في PDR تصل إلى 13%، وتقليل التأخير بنسبة تصل إلى 47 مللي ثانية، وتحسينات مستمرة في الإنتاجية عبر كثافات العقد المتغيرة. على الرغم من وجود زيادة طفيفة في عبء التوجيه، إلا أنها تظل مقبولة نظرًا لمكاسب الأداء العامة. تقدم الدراسة نظام تعلم لامركزي في الوقت الحقيقي يكمل الطبيعة الاستباقية لـ OLSR بينما يعزز سلوك التوجيه الذكي والقابل للتكيف. تشمل اتجاهات البحث المستقبلية تحسين الكفاءة الحسابية لنموذج DQN، وتقييم الأداء في MANETs أكبر وأكثر تنوعًا، واستغلال مقاييس الشبكة عبر الطبقات لمزيد من تحسين قرارات التوجيه.
مقدمة
تناقش مقدمة ورقة البحث التحديات والإمكانات الخاصة بالشبكات المتنقلة المؤقتة (MANETs)، التي تتميز بقدرتها على تشكيل شبكات ديناميكية دون بنية تحتية ثابتة. تعمل كل عقدة في MANET ككل من مضيف وموجه، مما يسهل توجيه حزم البيانات. بينما تعتبر MANETs قيمة في البيئات غير المتوقعة مثل مناطق الكوارث أو العمليات العسكرية، فإن قابليتها للتكيف تؤدي إلى صعوبات كبيرة في التوجيه بسبب التغيرات السريعة في الطوبولوجيا الشبكية. تكافح بروتوكولات التوجيه التقليدية، مثل بروتوكول توجيه الحالة الرابط المحسن (OLSR)، للحفاظ على الكفاءة في ظل ظروف الحركة العالية، بشكل أساسي لأنها تعتمد على التحديثات الدورية ومقاييس عدد القفزات، متجاهلة عوامل حاسمة مثل جودة الاتصال.
لمعالجة هذه القيود، تقترح الورقة دمج التعلم المعزز العميق (DRL)، وتحديدًا شبكة Q العميقة (DQN)، في بروتوكول OLSR، مما يؤدي إلى نهج جديد يسمى OLSR-DQN. يسمح هذا الدمج لكل عقدة بتعلم استراتيجيات التوجيه المثلى بشكل مستقل بناءً على المعلمات المحلية في الوقت الحقيقي، مما يعزز القابلية للتكيف وقابلية التوسع. تميز الدراسة نفسها عن الأبحاث السابقة من خلال تضمين التعلم المعزز مباشرة في إطار عمل OLSR مع الحفاظ على طبيعته الاستباقية. يتم تقييم أداء OLSR-DQN من خلال المحاكاة التي تقيم المقاييس الرئيسية مثل نسبة تسليم الحزم (PDR)، والتأخير، والإنتاجية، ووقت التقارب، مما يوفر في النهاية رؤى حول التوازن بين أداء التوجيه والعبء في سيناريوهات الحركة الواقعية.
الطرق
تم تنظيم منهجية البحث في خمس مراحل متسلسلة لتسهيل التطوير والتقييم المنهجي للنهج المقترح. تتضمن المرحلة الأولى، تصميم الهيكل، تعريف هيكل النظام، وخاصة دمج بروتوكول توجيه الحالة الرابط المحسن (OLSR) مع شبكة Q العميقة (DQN). في المرحلة الثانية، تنفيذ DQN، يتم تطوير وحدات التعلم المعزز لتحسين قرارات التوجيه بشكل تكيفي.
تستخدم المرحلة الثالثة، إعداد المحاكاة، محاكي الشبكة NS-3 بالتزامن مع PyTorch لإنشاء البيئة التجريبية لتنفيذ التعلم الآلي. بعد ذلك، تقيم مرحلة اختبار المعلمات تأثير مختلف معلمات الشبكة والتعلم على الأداء. أخيرًا، في مرحلة تحليل النتائج، يتم تقييم فعالية النهج باستخدام مقاييس الأداء الرئيسية، بما في ذلك نسبة تسليم الحزم (PDR)، وتأخير من طرف إلى طرف، وعبء التوجيه.
النتائج
كانت نتائج المحاكاة تهدف إلى تقييم الفروق في الأداء بين بروتوكول توجيه الحالة الرابط المحسن (OLSR) القياسي وبروتوكول OLSR-DQN ضمن شبكة Ad Hoc متنقلة (MANET). تم هيكلة التقييم حول ثلاثة سيناريوهات متميزة بناءً على عدد العقد—20، 30، و50 عقدة—لتحليل كيفية تأثير كثافات الشبكة المتغيرة على أداء التوجيه.
تمت دراسة أربعة مقاييس أداء رئيسية: نسبة تسليم الحزم (PDR)، ومتوسط التأخير من طرف إلى طرف، والإنتاجية، وعبء التوجيه. توفر هذه المعلمات نظرة شاملة على كفاءة وفعالية التوجيه للبروتوكولات تحت ظروف شبكة مختلفة، مما يبرز المزايا المحتملة لبروتوكول OLSR-DQN بالمقارنة مع النهج التقليدي لـ OLSR.
المناقشة
تقدم قسم المناقشة في الورقة من Segara وآخرون بنية OLSR-DQN، التي تدمج بروتوكول توجيه الحالة الرابط المحسن (OLSR) مع وكيل شبكة Q العميقة (DQN) في كل عقدة في شبكة Ad-Hoc متنقلة (MANET). تتيح هذه البنية اتخاذ قرارات توجيه تكيفية بناءً على ظروف الشبكة المحلية في الوقت الحقيقي، مثل التأخير، وعدد النقل المتوقع (ETX)، واحتلال الذاكرة، وعدد الجيران، والطاقة المتبقية. يستخدم DQN شبكة عصبية ثلاثية الطبقات مع 64 خلية عصبية لكل طبقة ويستخدم استراتيجية ε-greedy لاختيار الإجراءات، مما يسمح للعقد بتحديث مسارات التوجيه واختيارات MultiPoint Relay (MPR) ديناميكيًا بناءً على التعلم التجريبي. يتم تقييم أداء OLSR-DQN من خلال مقاييس متنوعة، بما في ذلك نسبة تسليم الحزم (PDR)، ومتوسط التأخير من طرف إلى طرف، والإنتاجية، وعبء التوجيه، مما يظهر تحسينات كبيرة مقارنة ببروتوكول OLSR القياسي.
تشير نتائج المحاكاة إلى أن OLSR-DQN يتفوق باستمرار على OLSR التقليدي عبر كثافات العقد المختلفة، محققًا زيادة تصل إلى 13% في PDR وتقليل التأخير بنسبة تصل إلى 47 مللي ثانية. يسمح الطابع التكيفي لوكيل DQN باختيار مسارات أفضل، خاصة في البيئات الكثيفة والديناميكية، مما يعزز الإنتاجية ويحافظ على معدلات فقدان حزم أقل. على الرغم من وجود زيادة طفيفة في عبء التوجيه بسبب عمليات اتخاذ القرار لـ DQN، إلا أن ذلك يعتبر مقبولًا نظرًا للمكاسب الكبيرة في الأداء العام للشبكة. تؤكد النتائج على إمكانيات أنظمة التعلم اللامركزية في الوقت الحقيقي في تحسين فعالية التوجيه في MANETs، مع آثار على التطبيقات في الاتصالات التكتيكية، والاستجابة للكوارث، وشبكات المركبات المستقلة. تشمل اتجاهات البحث المستقبلية تحسين الكفاءة الحسابية لنموذج DQN واستكشاف أدائه في سيناريوهات MANET متنوعة.
DOI: https://doi.org/10.24002/ijis.v8i2.11760
Publication Date: 2026-02-28
Author(s): Alon Jala Tirta Segara et al.
Primary Topic: Mobile Ad Hoc Networks
Overview
The research paper addresses the challenges of adaptive routing in Mobile Ad-Hoc Networks (MANETs), particularly focusing on the limitations of the Optimized Link State Routing (OLSR) protocol, which struggles with real-time topology changes and link quality assessment due to its reliance on periodic updates. To enhance the routing adaptability and efficiency of OLSR, the authors propose integrating a Deep Q-Network (DQN) reinforcement learning strategy. The DQN model utilizes various network metrics, including latency, Expected Transmission Count (ETX), buffer occupancy, and neighbor count, as state inputs, with actions derived from Q-values based on environmental interactions. Simulation results using NS-3 and PyTorch indicate that the OLSR-DQN protocol significantly improves the Packet Delivery Ratio (PDR) by up to 20%, reduces delay by 15-25%, and enhances throughput in dynamic MANET scenarios.
In conclusion, the study demonstrates that the OLSR-DQN protocol markedly outperforms traditional OLSR in terms of PDR, end-to-end delay, and throughput by enabling nodes to make independent decisions based on local observations through reinforcement learning. The improvements include a PDR increase of up to 13%, a delay reduction of up to 47 ms, and consistent throughput enhancements across varying node densities. Although there is a slight increase in routing overhead, it remains acceptable given the overall performance gains. The research introduces a decentralized, real-time learning system that complements the proactive nature of OLSR while fostering intelligent and adaptable routing behavior. Future research directions include enhancing the computational efficiency of the DQN model, evaluating performance in larger and more heterogeneous MANETs, and leveraging cross-layer network metrics to further refine routing decisions.
Introduction
The introduction of the research paper discusses the challenges and potential of Mobile Ad-Hoc Networks (MANETs), which are characterized by their ability to form dynamic networks without fixed infrastructure. Each node in a MANET functions as both a host and a router, facilitating data packet forwarding. While MANETs are valuable in unpredictable environments such as disaster zones or military operations, their adaptability leads to significant routing difficulties due to rapid changes in network topology. Traditional routing protocols, such as Optimized Link State Routing (OLSR), struggle to maintain efficiency under high mobility conditions, primarily because they rely on periodic updates and hop count metrics, neglecting critical factors like connection quality.
To address these limitations, the paper proposes the integration of Deep Reinforcement Learning (DRL), specifically a Deep Q-Network (DQN), into the OLSR protocol, resulting in a novel approach termed OLSR-DQN. This integration allows each node to autonomously learn optimal routing strategies based on real-time local parameters, enhancing adaptability and scalability. The study distinguishes itself from previous research by embedding reinforcement learning directly into the OLSR framework while maintaining its proactive nature. The performance of OLSR-DQN is evaluated through simulations that assess key metrics such as Packet Delivery Ratio (PDR), delay, throughput, and convergence time, ultimately providing insights into the balance between routing performance and overhead in realistic mobility scenarios.
Methods
The research methodology is organized into five sequential phases to facilitate systematic development and evaluation of the proposed approach. The first phase, Architecture Design, involves defining the system structure, particularly the integration of Optimized Link State Routing (OLSR) with Deep Q-Network (DQN). In the second phase, DQN Implementation, reinforcement learning modules are developed to optimize routing decisions adaptively.
The third phase, Simulation Setup, utilizes the NS-3 network simulator in conjunction with PyTorch to create the experimental environment for machine learning execution. Subsequently, the Parameter Testing phase assesses the impact of various network and learning parameters on performance. Finally, in the Result Analysis phase, the effectiveness of the approach is evaluated using key performance metrics, including Packet Delivery Ratio (PDR), end-to-end delay, and routing overhead.
Results
The results of the simulation aimed to assess the performance differences between the standard Optimized Link State Routing (OLSR) protocol and the OLSR-DQN protocol within a Mobile Ad Hoc Network (MANET). The evaluation was structured around three distinct scenarios based on node counts—20, 30, and 50 nodes—to analyze how varying network densities influence routing performance.
Four key performance metrics were scrutinized: Packet Delivery Ratio (PDR), Average End-to-End Delay, Throughput, and Routing Overhead. These parameters provide a comprehensive overview of the routing efficiency and effectiveness of the protocols under different network conditions, highlighting the potential advantages of the OLSR-DQN protocol in comparison to the traditional OLSR approach.
Discussion
The discussion section of the paper by Segara et al. presents the OLSR-DQN architecture, which integrates the Optimized Link State Routing (OLSR) protocol with a Deep Q-Network (DQN) agent at each node in a Mobile Ad-Hoc Network (MANET). This architecture enables adaptive routing decisions based on real-time local network conditions, such as delay, Expected Transmission Count (ETX), buffer occupancy, neighbor count, and residual energy. The DQN employs a three-layer neural network with 64 neurons per layer and utilizes an ε-greedy strategy for action selection, allowing nodes to dynamically update routing paths and MultiPoint Relay (MPR) selections based on experiential learning. The performance of OLSR-DQN is evaluated through various metrics, including Packet Delivery Ratio (PDR), average end-to-end delay, throughput, and routing overhead, demonstrating significant improvements over the standard OLSR protocol.
Simulation results indicate that OLSR-DQN consistently outperforms traditional OLSR across different node densities, achieving up to a 13% increase in PDR and a reduction in delay by up to 47 ms. The adaptive nature of the DQN agent allows for better path selection, particularly in dense and dynamic environments, thus enhancing throughput and maintaining lower packet loss rates. While there is a slight increase in routing overhead due to the DQN’s decision-making processes, this is deemed acceptable given the substantial gains in overall network performance. The findings underscore the potential of decentralized, real-time learning systems in improving routing efficacy in MANETs, with implications for applications in tactical communications, disaster response, and autonomous vehicle networks. Future research directions include optimizing the DQN model’s computational efficiency and exploring its performance in diverse MANET scenarios.
