DOI: https://doi.org/10.1109/tnsm.2025.3564387
تاريخ النشر: 2025-04-25
المؤلف: Pavlos S. Bouzinis وآخرون
الموضوع الرئيسي: التقنيات التي تحافظ على الخصوصية في البيانات
نظرة عامة
تقدم هذه القسم نظرة عامة على التعلم الفيدرالي (FL)، وهو نهج لامركزي يمكّن الأجهزة من تطوير نماذج التعلم الآلي بشكل تعاوني مع الحفاظ على خصوصية البيانات. هذه التقنية ذات صلة خاصة بإنشاء أنظمة كشف التسلل (IDS) في الأمن السيبراني. ومع ذلك، فإن تحدي تباين البيانات بين الكيانات المشاركة يعقد التنفيذ الفعال لأنظمة IDS المعتمدة على FL.
لمعالجة هذه المشكلة، يقدم المؤلفون طريقة تسمى المتوسط الإحصائي (StatAvg)، التي تخفف من آثار الميزات غير المستقلة والموزعة بشكل متطابق (non-iid) في بيانات العملاء المحليين. يسهل StatAvg مشاركة إحصائيات البيانات الفردية بين عملاء FL، مما يسمح للخادم بتجميع هذه الإحصائيات وتوليد مقاييس عالمية لتطبيع البيانات بشكل شامل. ومن الجدير بالذكر أن StatAvg متوافق مع أي استراتيجية تجميع FL، حيث يتم تطبيقه قبل عملية التدريب. يتم تقييم الطريقة مقابل الأساليب الأساسية باستخدام مجموعات بيانات لأنظمة IDS المدعومة بالذكاء الاصطناعي، مع نتائج تجريبية تشير إلى أن StatAvg يحسن بشكل كبير من التعامل مع توزيعات الميزات غير المستقلة مقارنة بالطرق الموجودة.
مقدمة
في سياق تقدم التقنيات الذكية مثل إنترنت الأشياء (IoT)، والذكاء الاصطناعي (AI)، وشبكات 6G، تسلط المقدمة الضوء على التعقيد المتزايد والتطور في الهجمات السيبرانية. أصبح المهاجمون الآن قادرين على تنفيذ هجمات منسقة متعددة الخطوات، مستفيدين من الذكاء الاصطناعي للتكيف مع التدابير الدفاعية واستغلال الثغرات بسرعة. تواجه أنظمة كشف التسلل التقليدية (IDS)، التي تعتمد على الكشف القائم على التوقيع، قيودًا، خاصة من حيث الخصوصية والحاجة إلى مجموعات بيانات واسعة. بينما تظهر نماذج التعلم الآلي (ML) والتعلم العميق (DL) وعدًا في اكتشاف التهديدات السيبرانية، فإنها غالبًا ما تتطلب جمع بيانات مركزي، مما يثير مخاوف بشأن الخصوصية.
لمعالجة هذه التحديات، يقترح البحث نهج التعلم الفيدرالي (FL)، الذي يسمح للعملاء ببناء نماذج ML/DL بشكل تعاوني دون مشاركة البيانات الخام. ومع ذلك، فإن وجود بيانات غير مستقلة وموزعة بشكل متطابق (non-iid) بين العملاء يطرح تحديات كبيرة، بما في ذلك التحيزات المحتملة في النموذج العالمي وتأخر التقارب. للتخفيف من هذه القضايا، يقدم المؤلفون طريقة المتوسط الإحصائي (StatAvg)، التي تهدف إلى إنشاء إحصائيات بيانات عالمية لتطبيع متسق لمجموعات البيانات المحلية عبر العملاء. يعزز هذا النهج فعالية التدريب الفيدرالي من خلال ضمان توافق النماذج المحلية مع معيار تطبيع مشترك، مما يعالج آثار تباين البيانات. تم هيكلة الورقة لمراجعة الأعمال ذات الصلة أولاً، ثم تقديم معلومات أساسية حول FL، تليها تحليل مفصل لـ StatAvg، واختتامًا بتقييم أدائه.
طرق
في هذا القسم، يصف المؤلفون طرق التجميع الأساسية المستخدمة لتقييم أداء استراتيجيتهم المقترحة، StatAvg. تشمل الطرق الرئيسية المقارنة FedAvg وFedLN وFedBN. يعمل FedAvg كنهج قياسي في التعلم الفيدرالي (FL)، حيث يقوم العملاء بإجراء تحديثات نموذج محلي ويجمع الخادم هذه التحديثات لتشكيل نموذج عالمي. يتضمن FedLN تطبيع الطبقات لمعالجة توزيعات الميزات غير المستقلة، بينما يستخدم FedBN تطبيع الدفعات تحت افتراض أن النماذج المحلية تحتوي على طبقات BN، التي يتم استبعادها من عملية التجميع. تم تصميم كل من FedLN وFedBN خصيصًا للتخفيف من التحديات التي تطرحها البيانات غير المستقلة.
تشمل الإعدادات التجريبية خمسة عملاء يشاركون في 50 جولة FL، حيث يتلقى كل عميل حصة متساوية من مجموعة البيانات، مقسمة للحفاظ على توزيع مشترك للتسميات. يستخدم العملاء بنية شبكة عصبية تحتوي على ثلاث طبقات مخفية متصلة بالكامل وتفعيل ReLU، ويتم استخدام مُحسِّن Adam لتحديثات التدريب المحلية. لمعالجة عدم توازن الفئات، يتم إنشاء حالات صناعية للفئات الأقل باستخدام تقنية SMOTE. يعتمد تطبيع بيانات التدريب المحلية على إحصائيات محددة لكل عميل، ويتم تعديل بيانات الاختبار وفقًا لذلك. يتعين على StatAvg استخدام FedAvg لتجميع النموذج في خطوة محددة في الخوارزمية.
نتائج
في هذا القسم، يتم تقديم نتائج تقييم تقنية StatAvg المقترحة للتعلم الفيدرالي (FL)، مع التركيز على أدائها في تصنيف الهجمات السيبرانية عبر مجموعات بيانات TON-IoT وCIC-IoT-2023. تشمل مقاييس التقييم المستخدمة مصفوفة الالتباس، والدقة (ACC)، ودرجة F1، مع نتائج متوسطة عبر فئات متعددة وعملاء. تفوقت StatAvg بشكل كبير على الاستراتيجيات الأساسية، محققة تحسينات تزيد عن 19% و21% في الدقة ودرجة F1، على التوالي، على مجموعة بيانات TON-IoT، وأكثر من 4% و2% تحسينات على مجموعة بيانات CIC-IoT-2023. كما لوحظ استقرار منحنى تقارب StatAvg، مما يتناقض مع التباين الأعلى الذي لوحظ في الطرق الأساسية.
يتناول التحليل أيضًا آثار الميزات غير المستقلة بين العملاء، موضحًا من خلال توزيع ميزة “مدة التدفق” لفئة الهجوم “المعتمد على الويب” في مجموعة بيانات CIC-IoT-2023. على الرغم من المحاولات لتطبيع البيانات من خلال تقنيات مثل SMOTE، لوحظت تباينات كبيرة في توزيعات الميزات، مما يشير إلى أن استراتيجيات التطبيع المحلية قد تعيق أداء FL. تؤكد النتائج على فعالية StatAvg في معالجة التحديات التي تطرحها البيانات غير المستقلة، مما يعزز كل من التقارب ودقة التصنيف في أنظمة كشف التسلل المعتمدة على FL. يُقترح العمل المستقبلي لاستكشاف دمج StatAvg مع استراتيجيات تجميع FL المختلفة وتطبيقه الأوسع خارج كشف التسلل.
نقاش
في هذا القسم، يناقش المؤلفون المشهد الحالي للتعلم الفيدرالي (FL) في سياق أنظمة كشف التسلل (IDS)، مع تسليط الضوء على التحديات التي تطرحها البيانات غير المستقلة والموزعة بشكل متطابق (non-iid) عبر العملاء. يشيرون إلى دراسات مختلفة تستكشف تطبيق FL في الأمن السيبراني، مع التركيز بشكل خاص على آليات كشف التسلل المصممة لبيئات إنترنت الأشياء (IoT). تشمل المساهمات الرئيسية من الأدبيات استخدام استراتيجيات تجميع مختلفة وتقديم تقنيات مثل مُحسِّن الذئب الرمادي ونهج التعلم شبه المراقب. ومع ذلك، يشير المؤلفون إلى أن العديد من الطرق الحالية لا تعالج بشكل كافٍ تعقيدات البيانات غير المستقلة، خاصة فيما يتعلق بتوزيعات الميزات.
لمعالجة هذه التحديات، يقترح المؤلفون طريقة جديدة تسمى StatAvg، التي تهدف إلى التخفيف من آثار توزيعات الميزات غير المستقلة في IDS المدفوعة بـ FL. يعمل StatAvg من خلال جعل العملاء يحسبون ويشاركون إحصائيات محلية (المتوسط والانحراف المعياري) مع خادم مركزي، الذي يجمع هذه الإحصائيات لتشكيل معلمات عالمية. تضمن هذه العملية العالمية للتطبيع أن جميع العملاء يمكنهم توحيد ميزات الإدخال الخاصة بهم، مما يعزز أداء النموذج أثناء الاستدلال. يتحقق المؤلفون من فعالية StatAvg من خلال تجارب على مجموعات بيانات متاحة للجمهور، مما يظهر أداءً متفوقًا من حيث دقة الكشف ودرجة F1 مقارنة بالطرق الأساسية. يبرز هذا العمل أهمية معالجة تباين البيانات في تطبيقات FL، خاصة في مجال الأمن السيبراني.
DOI: https://doi.org/10.1109/tnsm.2025.3564387
Publication Date: 2025-04-25
Author(s): Pavlos S. Bouzinis et al.
Primary Topic: Privacy-Preserving Technologies in Data
Overview
The section provides an overview of Federated Learning (FL), a decentralized approach that enables devices to collaboratively develop machine learning models while preserving data privacy. This technique is particularly relevant for creating Intrusion Detection Systems (IDS) in cybersecurity. However, the challenge of data heterogeneity among participating entities complicates the effective implementation of FL-based IDS.
To address this issue, the authors introduce a method called Statistical Averaging (StatAvg), which mitigates the effects of non-independently and identically distributed (non-iid) features in local clients’ data. StatAvg facilitates the sharing of individual data statistics among FL clients, allowing a server to aggregate these statistics and generate global metrics for universal data normalization. Notably, StatAvg is compatible with any FL aggregation strategy, as it is applied prior to the training process. The method is evaluated against baseline approaches using datasets for AI-powered network and host IDS, with experimental results indicating that StatAvg significantly improves the handling of non-iid feature distributions compared to existing methods.
Introduction
In the context of advancing smart technologies such as the Internet of Things (IoT), Artificial Intelligence (AI), and 6G networks, the introduction highlights the increasing complexity and sophistication of cyberattacks. Attackers are now capable of executing coordinated multistep attacks, leveraging AI to adapt to defensive measures and exploit vulnerabilities rapidly. Traditional Intrusion Detection Systems (IDS), which rely on signature-based detection, face limitations, particularly in terms of privacy and the need for extensive datasets. While Machine Learning (ML) and Deep Learning (DL) models show promise in detecting cyber threats, they often require centralized data collection, raising privacy concerns.
To address these challenges, the paper proposes a Federated Learning (FL) approach, which allows clients to collaboratively build ML/DL models without sharing raw data. However, the presence of non-independently and identically distributed (non-iid) data among clients poses significant challenges, including potential biases in the global model and delayed convergence. To mitigate these issues, the authors introduce the Statistical Averaging (StatAvg) method, which aims to create global data statistics for consistent normalization of local datasets across clients. This approach enhances the effectiveness of federated training by ensuring that local models are aligned with a common normalization standard, thereby addressing the effects of data heterogeneity. The paper is structured to first review related works, then provide foundational information on FL, followed by a detailed analysis of StatAvg, and concluding with an evaluation of its performance.
Methods
In this section, the authors describe the baseline aggregation methods used to evaluate the performance of their proposed strategy, StatAvg. The primary methods compared include FedAvg, FedLN, and FedBN. FedAvg serves as the standard approach in federated learning (FL), where clients perform local model updates and the server aggregates these updates to form a global model. FedLN incorporates layer normalization to address non-iid feature distributions, while FedBN employs batch normalization under the assumption that local models contain BN layers, which are excluded from the aggregation process. Both FedLN and FedBN are specifically designed to mitigate the challenges posed by non-iid data.
The experimental setup involves five clients participating in 50 FL rounds, with each client receiving an equal share of the dataset, stratified to maintain a common label distribution. Clients utilize a neural network architecture with three fully connected hidden layers and ReLU activation, and the Adam optimizer is employed for local training updates. To address class imbalance, synthetic instances are generated for minority classes using the SMOTE technique. The normalization of local training data is based on client-specific statistics, and the testing data is scaled accordingly. StatAvg defaults to using FedAvg for model aggregation at a specified step in the algorithm.
Results
In this section, the evaluation results of the proposed StatAvg technique for federated learning (FL) are presented, focusing on its performance in classifying cyber-attacks across the TON-IoT and CIC-IoT-2023 datasets. The evaluation metrics employed include the confusion matrix, accuracy (ACC), and F1 score, with results averaged across multiple classes and clients. StatAvg significantly outperformed baseline strategies, achieving over 19% and 21% improvements in accuracy and F1 score, respectively, on the TON-IoT dataset, and over 4% and 2% improvements on the CIC-IoT-2023 dataset. The stability of StatAvg’s convergence curve was also noted, contrasting with the higher variance observed in baseline methods.
The analysis further delves into the implications of non-IID features among clients, illustrated through the distribution of the “Flow Duration” feature for the “Web-based” attack category in the CIC-IoT-2023 dataset. Despite attempts to normalize data through techniques like SMOTE, significant disparities in feature distributions were observed, indicating that local normalization strategies may hinder FL performance. The results underscore the effectiveness of StatAvg in addressing the challenges posed by non-IID data, enhancing both convergence and classification accuracy in FL-based intrusion detection systems. Future work is suggested to explore the integration of StatAvg with various FL aggregation strategies and its broader applicability beyond intrusion detection.
Discussion
In this section, the authors discuss the current landscape of Federated Learning (FL) in the context of intrusion detection systems (IDS), highlighting the challenges posed by non-independent and identically distributed (non-iid) data across clients. They reference various studies that explore FL’s application in cybersecurity, particularly focusing on intrusion detection mechanisms tailored for Internet of Things (IoT) environments. Key contributions from the literature include the use of different aggregation strategies and the introduction of techniques like the Grey Wolf Optimizer and semi-supervised learning approaches. However, the authors note that many existing methods inadequately address the complexities of non-iid data, particularly concerning feature distributions.
To address these challenges, the authors propose a novel method called StatAvg, which aims to mitigate the effects of non-iid feature distributions in FL-driven IDS. StatAvg operates by having clients compute and share local statistics (mean and variance) with a central server, which aggregates these statistics to form global parameters. This global normalization process ensures that all clients can standardize their input features, thereby enhancing the model’s performance during inference. The authors validate the effectiveness of StatAvg through experiments on publicly available datasets, demonstrating superior performance in terms of detection accuracy and F1 score compared to baseline methods. This work emphasizes the importance of addressing data heterogeneity in FL applications, particularly in the realm of cybersecurity.