DOI: https://doi.org/10.1016/j.rineng.2026.109458
تاريخ النشر: 2026-02-05
المؤلف: Mohammed Ali Yaseen وآخرون
الموضوع الرئيسي: أمن الشبكات وكشف التسلل
نظرة عامة
تقدم ورقة البحث شبكة Q العميقة متعددة الوكلاء السياقية التكيفية (AC-MADQN)، وهي إطار عمل للتعلم المعزز الفيدرالي الذي يحافظ على الخصوصية (PP-FRL) مصمم لمعالجة التحديات الأمنية السيبرانية التي تطرحها النمو الأسي لأجهزة إنترنت الأشياء (IoT). الحلول الأمنية المركزية التقليدية غير كافية بسبب مشاكل القابلية للتوسع، وتكاليف الاتصال العالية، ومخاوف الخصوصية. تتيح AC-MADQN لأجهزة حافة إنترنت الأشياء الموزعة التعلم بشكل تعاوني لسياسات الأمان المثلى مع الحفاظ على الخصوصية، باستخدام ابتكارات مثل تعلم تمثيل الحالة الديناميكي، ودمج معلومات التهديد متعددة المقاييس، وتحسين السياسات المعتمدة على الموارد التكيفية، ومشاركة التجارب بشكل آمن تشفيرياً. تشير النتائج التجريبية من منصة اختبار تضم 2000 جهاز عبر 15 سيناريو هجوم إلى أن AC-MADQN تحقق تقليصًا بنسبة 47.8% في الإيجابيات الكاذبة، وتحسينًا بنسبة 58.3% في فعالية التخفيف من التهديدات، وتحافظ على 99.7% من الحفاظ على الخصوصية تحت الخصوصية التفاضلية مع ε = 0.01، كل ذلك مع ضمان زمن استجابة أقل من ثانية حتى مع تعرض 40% من العقد للاختراق.
تؤكد الخاتمة على التقدم الكبير الذي حققته AC-MADQN في الدقة والموثوقية والخصوصية، مما يجعلها حلاً قابلاً للتوسع وعمليًا لأمان إنترنت الأشياء المستقل. على الرغم من نتائجها الواعدة في البيئات المحاكاة، تعترف الورقة بالقيود المتعلقة بتحديات النشر في العالم الحقيقي، مثل تباين الأجهزة واستراتيجيات الخصوم المعقدة. ستركز الأبحاث المستقبلية على اختبار AC-MADQN في البيئات الواقعية، بما في ذلك المدن الذكية وأنظمة الرعاية الصحية، مع استكشاف آليات تشفير محسّنة وضمانات طويلة الأجل للخصوصية لتعزيز قدرتها على مواجهة التهديدات الناشئة. بشكل عام، تحدد AC-MADQN معيارًا جديدًا لأنظمة أمان إنترنت الأشياء التي تحافظ على الخصوصية، مما يمهد الطريق للأبحاث المستقبلية والتطبيقات العملية.
مقدمة
تناقش مقدمة الورقة النمو السريع لإنترنت الأشياء (IoT)، حيث من المتوقع أن يتجاوز عدد الأجهزة المتصلة 75 مليار جهاز بحلول عام 2025 و175 زيتا بايت من البيانات السنوية. لقد غير هذا التوسع بشكل كبير مشهد الأمن السيبراني، مما قدم ثغرات جديدة تكافح الحلول الأمنية المركزية التقليدية لمعالجتها. تشمل التحديات الرئيسية في تأمين بيئات إنترنت الأشياء تباين الأجهزة، والتوبولوجيات الديناميكية، وأنواع البيانات المتنوعة، والمتطلبات الصارمة في الوقت الحقيقي. تواجه أنظمة الكشف عن التسلل المركزية (IDS) قيودًا مثل الحمل الزائد المفرط في الاتصال ونقاط الفشل الفردية، مما يدفع لاستكشاف التعلم الفيدرالي (FL) كبديل لامركزي يحافظ على الخصوصية. ومع ذلك، فإن نماذج FL الحالية لإنترنت الأشياء تعيقها اكتشاف الشذوذ الثابت، والصعوبات مع البيانات غير المستقلة والموزعة بشكل متطابق (non-i.i.d.)، والضعف أمام الهجمات العدائية.
لتجاوز هذه القيود، تقترح الورقة إطار عمل جديد للتعلم المعزز الفيدرالي الذي يحافظ على الخصوصية (PP-FRL)، يسمى شبكة Q العميقة متعددة الوكلاء السياقية التكيفية (AC-MADQN). يدمج هذا الإطار تشفيرًا مقاومًا للكموم، وخصوصية تفاضلية، وتحمل أخطاء بيزنطية، مما يمكّن الاستجابة الديناميكية والقابلة للتوسع للتسلل في بيئات إنترنت الأشياء المتنوعة. يستخدم إطار AC-MADQN تحليل السياسات الهرمية وتعلم تمثيل الحالة الديناميكي للتكيف مع أنماط الهجوم المتطورة. تشمل المساهمات النظرية تحليلات التقارب الرسمية وحدود تعقيد الاتصال، بينما تظهر التقييمات التجريبية على منصة اختبار إنترنت الأشياء واسعة النطاق تحسينات كبيرة في فعالية التخفيف من التهديدات والحفاظ على الخصوصية، حتى في ظل الظروف العدائية. توضح الورقة هيكلها، مع تفاصيل الأقسام التالية حول نموذج النظام، وتصميم الهيكلية، والنتائج التجريبية، والأعمال المستقبلية.
الطرق
تحدد قسم الطرق المعلمات التجريبية الرئيسية والتكوينات المستخدمة في الدراسة. تم تعيين معدل التعلم إلى 0.0005، مع عامل خصم ($\gamma$) قدره 0.95 وميزانية الخصوصية ($\epsilon$) قدرها 0.01. كانت حجم الدفعة 64، وتم تحديد فترة التجميع الفيدرالي عند 50 جولة. بالنسبة للخصوصية التفاضلية، تم استخدام مقياس الضوضاء ($\sigma$) قدره 0.01، وتم إجراء التدريب على مدى 100,000 حلقة. كانت بنية الشبكة العصبية تتكون من طبقتين مخفيتين مع 256 و128 وحدة، تستخدم دوال تنشيط ReLU.
تم تنفيذ المحاكاة على عقد حوسبة عالية الأداء تحتوي على معالجات Intel Xeon و وحدات معالجة الرسوميات NVIDIA لتسهيل المعالجة المتوازية لمجموعات بيانات إنترنت الأشياء الكبيرة وسيناريوهات الهجوم المعقدة. استخدمت التجارب NS-3 الإصدار 3.34 لمحاكاة الشبكة، إلى جانب تنفيذات التعلم العميق Q باستخدام Python و TensorFlow 2.x لتدريب النموذج. كل وكيل، يمثل أجهزة إنترنت الأشياء، قام بإجراء تدريب محلي للنموذج تلاه تجميع آمن للتدرجات، مستخدمًا بروتوكولات اتصال متنوعة مثل WiFi 802.11ac، LoRaWAN، 5G NR، و Ethernet لتعكس بيئات إنترنت الأشياء المتنوعة في العالم الحقيقي. شملت مقاييس تقييم الأداء دقة الكشف، ومعدل الإيجابيات الكاذبة، وفعالية التخفيف من التهديدات، لتقييم قدرة النظام على تحديد والاستجابة للتهديدات.
النتائج
تظهر نتائج الدراسة التي تقيم إطار AC-MADQN فعاليته في بيئة إنترنت الأشياء المحاكية، والتي تضم 2000 جهاز متنوع عبر 25 قطاع شبكة. استخدمت المحاكاة بروتوكولات اتصال متنوعة وشملت 15 سيناريو هجوم متقدم لتقييم مرونة الإطار ضد تهديدات متنوعة، مثل التهديدات المستمرة المتقدمة (APTs)، وهجمات الحرمان من الخدمة الموزعة (DDoS)، والتهديدات الداخلية. تم تقييم أداء AC-MADQN مقارنةً بسبع طرق متطورة، بما في ذلك Centralized-DQN و FedAvg-DQN، مع تحسين المعلمات الفائقة من خلال البحث الشبكي.
تكشف النتائج أن AC-MADQN تحقق دقة كشف نهائية قدرها 98.3%، متفوقة بشكل كبير على FedAvg-DQN (90.0%) و MARL-Security (89.0%). من الجدير بالذكر أن AC-MADQN تظهر أداءً قويًا ضد أنواع معينة من الهجمات، بما في ذلك APTs (96.8%) وهجمات استنتاج الخصوصية (97.2%). بالإضافة إلى ذلك، تظهر مرونة ملحوظة ضد الهجمات البيزنطية، حيث تحافظ على أداء بنسبة 82.7% تحت اختراق 40% من العقد، في حين انخفض أداء FedAvg-DQN إلى 41.8%. تشير التحليلات الإحصائية أيضًا إلى أن AC-MADQN تقدم اتساقًا متفوقًا مع تباين ضئيل (σ=0.5)، مما يعزز موثوقيتها مقارنةً بالطرق المنافسة (σ=1.5-2.1).
المناقشة
تناقش ورقة البحث هيكلًا هرميًا لشبكة إنترنت الأشياء (IoT) كبيرة ومتنوعة، مقسمة إلى ثلاث طبقات: الجهاز، والحافة، والعالمية. تعالج كل طبقة تحديات محددة تتعلق بالأمان، وإدارة الموارد، والتنسيق بين أجهزة الحافة المستقلة. تتكون طبقة الجهاز من مجموعة متنوعة من أجهزة إنترنت الأشياء ذات القدرات الحاسوبية المختلفة، بينما تجمع طبقة الحافة البيانات من هذه الأجهزة للمعالجة المحلية قبل إرسال التحديثات إلى الطبقة العالمية، التي تدير تحديثات النموذج الآمنة باستخدام بروتوكولات مقاومة للأخطاء البيزنطية. تم تصميم الهيكل لتحمل مجموعة متنوعة من هجمات البنية التحتية وتهديدات التعلم العدائي، مثل تسميم النموذج والبيانات، مع ضمان الخصوصية من خلال تقنيات تشفير متقدمة.
تقدم الورقة أيضًا هيكل أمان إنترنت الأشياء الفيدرالي المتقدم مع دفاع متعدد الطبقات، مما يبرز الحاجة إلى استجابة قوية للتحديات الأمنية المتطورة. يتم اقتراح آلية جديدة لتعلم تمثيل الحالة الديناميكي (DSRL)، والتي تستخدم ذاكرة طويلة وقصيرة الأجل (LSTM) وآليات الانتباه لالتقاط الاعتماد الزمني بشكل تكيفي في بيانات إنترنت الأشياء، مما يحسن بشكل كبير من قدرة النظام على التكيف مع أنماط الهجوم الجديدة. تشير النتائج التجريبية إلى أن DSRL تعزز القدرة على التكيف بنسبة تقارب 14% مقارنةً بالترميزات الثابتة للحالة. علاوة على ذلك، توضح الورقة بروتوكول تجميع مقاوم للبيزنطية يستخدم وزن العملاء القائم على الثقة واكتشاف القيم الشاذة للتخفيف من تأثير الأجهزة المخترقة، مما يضمن نزاهة عملية التعلم الفيدرالي مع الحفاظ على ضمانات صارمة للخصوصية من خلال الخصوصية التفاضلية والتشفير المتجانس.
DOI: https://doi.org/10.1016/j.rineng.2026.109458
Publication Date: 2026-02-05
Author(s): Mohammed Ali Yaseen et al.
Primary Topic: Network Security and Intrusion Detection
Overview
The research paper presents the Adaptive Contextual Multi-Agent Deep Q-Network (AC-MADQN), a Privacy-Preserving Federated Reinforcement Learning (PP-FRL) framework designed to address the cybersecurity challenges posed by the exponential growth of Internet of Things (IoT) devices. Traditional centralized security solutions are inadequate due to scalability issues, high communication costs, and privacy concerns. AC-MADQN enables distributed IoT edge devices to collaboratively learn optimal security policies while preserving privacy, utilizing innovations such as dynamic state representation learning, multi-scale threat intelligence fusion, adaptive resource-aware policy optimization, and cryptographically secure experience-replay sharing. Experimental results from a 2,000-device testbed across 15 attack scenarios indicate that AC-MADQN achieves a 47.8% reduction in false positives, a 58.3% improvement in threat mitigation effectiveness, and maintains 99.7% privacy preservation under differential privacy with ε = 0.01, all while ensuring sub-second latency even with a 40% Byzantine node compromise.
The conclusion emphasizes AC-MADQN’s significant advancements in accuracy, robustness, and privacy, establishing it as a scalable and practical solution for autonomous IoT security. Despite its promising results in simulated environments, the paper acknowledges limitations regarding real-world deployment challenges, such as device heterogeneity and complex adversarial strategies. Future research will focus on testing AC-MADQN in real-world settings, including smart cities and healthcare systems, while exploring enhanced encryption mechanisms and long-term privacy guarantees to bolster its resilience against emerging threats. Overall, AC-MADQN sets a new benchmark for privacy-preserving IoT security systems, paving the way for future research and practical applications.
Introduction
The introduction of the paper discusses the rapid growth of the Internet of Things (IoT), projecting over 75 billion connected devices by 2025 and 175 zettabytes of annual data generation. This expansion has significantly altered the cybersecurity landscape, introducing new vulnerabilities that traditional centralized security solutions struggle to address. Key challenges in securing IoT environments include device heterogeneity, dynamic topologies, diverse data types, and stringent real-time requirements. Centralized intrusion detection systems (IDS) face limitations such as excessive communication overhead and single points of failure, prompting the exploration of federated learning (FL) as a decentralized, privacy-preserving alternative. However, existing FL models for IoT are hindered by static anomaly detection, difficulties with non-independent and identically distributed (non-i.i.d.) data, and vulnerabilities to adversarial attacks.
To overcome these limitations, the paper proposes a novel Privacy-Preserving Federated Reinforcement Learning (PP-FRL) framework, termed Adaptive Contextual Multi-Agent Deep Q-Network (AC-MADQN). This framework integrates quantum-resilient cryptography, differential privacy, and Byzantine fault tolerance, enabling dynamic and scalable intrusion response in heterogeneous IoT environments. The AC-MADQN framework employs hierarchical policy decomposition and dynamic state representation learning to adapt to evolving attack patterns. Theoretical contributions include formal convergence analyses and communication complexity bounds, while empirical evaluations on a large-scale IoT testbed demonstrate significant improvements in threat mitigation effectiveness and privacy preservation, even under adversarial conditions. The paper outlines its structure, with subsequent sections detailing the system model, architectural design, experimental results, and future work.
Methods
The methods section outlines the key experimental parameters and configurations employed in the study. The learning rate was set to 0.0005, with a discount factor ($\gamma$) of 0.95 and a privacy budget ($\epsilon$) of 0.01. The batch size was 64, and the federated aggregation interval was established at 50 rounds. For differential privacy, a noise scale ($\sigma$) of 0.01 was utilized, and training was conducted over 100,000 episodes. The neural network architecture comprised two hidden layers with 256 and 128 units, employing ReLU activation functions.
The simulations were executed on high-performance computing nodes featuring Intel Xeon CPUs and NVIDIA GPUs to facilitate parallel processing of extensive IoT datasets and complex attack scenarios. The experiments utilized NS-3 version 3.34 for network simulation, alongside Python-based Deep Q-Learning implementations using TensorFlow 2.x for model training. Each agent, representing IoT devices, performed local model training followed by secure gradient aggregation, utilizing various communication protocols such as WiFi 802.11ac, LoRaWAN, 5G NR, and Ethernet to reflect the diverse real-world IoT environments. Performance evaluation metrics included detection accuracy, false positive rate, and threat mitigation effectiveness, assessing the system’s capability to identify and respond to threats.
Results
The results of the study evaluating the AC-MADQN framework demonstrate its effectiveness in a simulated IoT environment, comprising 2,000 heterogeneous devices across 25 network segments. The simulation utilized various communication protocols and included 15 sophisticated attack scenarios to rigorously assess the framework’s resilience against diverse threats, such as Advanced Persistent Threats (APTs), Distributed Denial-of-Service (DDoS) attacks, and insider threats. The performance of AC-MADQN was benchmarked against seven state-of-the-art methods, including Centralized-DQN and FedAvg-DQN, with hyperparameters optimized through grid search.
The findings reveal that AC-MADQN achieves a final detection accuracy of 98.3%, significantly outperforming FedAvg-DQN (90.0%) and MARL-Security (89.0%). Notably, AC-MADQN exhibits strong performance against specific attack types, including APTs (96.8%) and privacy inference attacks (97.2%). Additionally, it demonstrates remarkable resilience to Byzantine attacks, maintaining 82.7% performance under 40% node compromise, in contrast to FedAvg-DQN’s decline to 41.8%. The statistical analysis further indicates that AC-MADQN offers superior consistency with minimal variance (σ=0.5), enhancing its reliability compared to competing methods (σ=1.5-2.1).
Discussion
The research paper discusses a hierarchical architecture for a large-scale, heterogeneous Internet of Things (IoT) network, structured into three layers: Device, Edge, and Global. Each layer addresses specific challenges related to security, resource management, and coordination among autonomous edge devices. The Device Layer comprises various IoT devices with differing computational capabilities, while the Edge Layer aggregates data from these devices for local processing before sending updates to the Global Layer, which manages secure model updates using Byzantine-fault-tolerant protocols. The architecture is designed to withstand various infrastructure attacks and adversarial learning threats, such as model and data poisoning, while ensuring privacy through advanced cryptographic techniques.
The paper also introduces the Advanced Federated IoT Security Architecture with Multi-Layer Defense, emphasizing the need for a robust response to evolving security threats. A novel Dynamic State Representation Learning (DSRL) mechanism is proposed, which utilizes Long Short-Term Memory (LSTM) and attention mechanisms to adaptively capture temporal dependencies in IoT data, significantly improving the system’s adaptability to new attack patterns. Empirical results indicate that DSRL enhances adaptability by approximately 14% compared to static state encoders. Furthermore, the paper outlines a Byzantine-resilient aggregation protocol that employs trust-based client weighting and outlier detection to mitigate the impact of compromised devices, ensuring the integrity of the federated learning process while maintaining strict privacy guarantees through differential privacy and homomorphic encryption.