DOI: https://doi.org/10.1371/journal.pone.0346801
PMID: https://pubmed.ncbi.nlm.nih.gov/41950277
تاريخ النشر: 2026-04-08
المؤلف: Dung Ha Thanh
الموضوع الرئيسي: أمن الشبكات وكشف التسلل
نظرة عامة
تقدم ورقة البحث TAN-IDS، وهو إطار تقييم واعٍ للنقل يهدف إلى تعزيز تقييم أنظمة كشف التسلل (IDS) المعتمدة على التعلم الآلي في ظل ظروف تغيير المجال. بينما تظهر نماذج IDS الحالية غالبًا دقة عالية في البيئات المسيطر عليها، إلا أنها تميل إلى الفشل عند تطبيقها على إعدادات الشبكة غير المرئية. تعالج TAN-IDS هذه المشكلة من خلال توفير واجهة ميزات NetFlow موحدة بثمانية أبعاد تقلل من عدم توافق مساحة الميزات، مما يسمح بتقييمات أكثر موثوقية عبر مجموعات البيانات. يقوم الإطار بتشكيل سيناريوهات نشر مختلفة، مثل تقييم داخل مجموعة البيانات والتدريب عبر مجالات مختلطة، كاشفًا أن الأداء القوي داخل مجموعة البيانات لا يضمن المتانة في التطبيقات عبر مجموعات البيانات. ومن الجدير بالذكر أن استراتيجيات التدريب الواعية بالمجال، بما في ذلك التدريب عبر مجالات مختلطة والتعديل الدقيق مع بيانات محدودة، تعزز بشكل كبير من أداء النموذج، محققة أكثر من 95% من الاسترجاع وF1-macro في بعض الحالات.
تختتم الورقة بالتأكيد على أهمية TAN-IDS في سد الفجوة بين أداء المختبر وتحديات النشر في العالم الحقيقي في IDS. وتبرز قدرة الإطار على تحليل المتانة وقابلية النقل بشكل منهجي، بينما تحدد أيضًا أوضاع الفشل تحت تغيير المجال. ستركز الأعمال المستقبلية على توسيع قابلية تطبيق الإطار من خلال دمج مجموعات بيانات متنوعة، وتعزيز قدرات التصنيف، ودمج آليات التعلم عبر الإنترنت. تدعو TAN-IDS في النهاية إلى التحول من تقييمات العالم المغلق التقليدية إلى بروتوكولات تقييم أكثر واقعية ووعيًا بالمجال تعكس بشكل أفضل التعقيدات التي تواجه أنظمة كشف التسلل التشغيلية.
مقدمة
تناقش مقدمة ورقة البحث الدور الحاسم لأنظمة كشف التسلل (IDS) في الأمن السيبراني، لا سيما في سياق المراقبة المعتمدة على التدفق، التي اكتسبت أهمية بسبب التحديات التي تطرحها التشفير واللوائح المتعلقة بالخصوصية. تبرز الورقة الاعتماد على التعلم الآلي (ML) والتعلم العميق (DL) لاكتشاف الأنشطة الضارة، مشيرة إلى أن التقييمات الحالية غالبًا ما تعمل تحت افتراضات العالم المغلق التي لا تعكس بدقة الظروف الواقعية. لمعالجة ذلك، تعيد الدراسة صياغة كشف التسلل كمسألة تصنيف ثنائي (حميد مقابل هجوم) لتسهيل تقييم أكثر موثوقية للمتانة عبر المجالات، متجنبة تعقيدات تصنيفات الهجوم غير المتسقة عبر مجموعات البيانات.
تؤكد الورقة أيضًا على أهمية تقنيات التعلم بالنقل وتكييف المجال للتخفيف من تدهور الأداء بسبب تغييرات المجال. تنتقد المنهجيات الحالية لافتقارها إلى أطر تقييم متسقة وتقترح TAN-IDS، التي توفر نهجًا منظمًا لتقييم استراتيجيات التعلم بالنقل تحت تعريفات ميزات موحدة. بالإضافة إلى ذلك، يتم وضع دمج الذكاء الاصطناعي القابل للتفسير (XAI) كأداة تشخيصية لتعزيز فهم أداء الكشف تحت تغييرات المجال. تستخدم الدراسة مجموعتين بارزتين من البيانات، UNSW-NB15 وNF-CSE-CIC-IDS2018، لاستكشاف آثار التدريب عبر مجالات مختلطة، كاشفة أن التعرض لحركة مرور متنوعة أثناء التدريب يحسن من متانة النموذج، على الرغم من أن التحديات لا تزال قائمة في التوفيق الكامل بين الاختلافات في خصائص البيانات عبر المجالات.
الطرق
تحدد هذه القسم الإطار المنهجي لـ TAN-IDS (نظام كشف التسلل الشبكي الواعي بالنقل)، مشددة على الحاجة إلى منهجية تقييم قوية في مجال كشف التسلل. تحدد فجوة كبيرة في ممارسات التقييم الحالية، التي غالبًا ما تركز على الأداء داخل مجموعة البيانات أو تستخدم تجارب عبر مجموعات بيانات غير متسقة يمكن أن تحجب آثار تغيير المجال بسبب الاختلافات في تعريفات الميزات وتقنيات المعالجة المسبقة. تحول TAN-IDS التركيز من نهج مركزي للنموذج إلى منهجية تركز على التقييم، مقدمةً وحدة تحكم سيناريو تقوم بتوحيد تقسيم البيانات الواعية بالمجال واستراتيجيات التدريب. يسمح ذلك بتقييم منهجي للمتانة عبر المجالات تحت ظروف نشر متسقة، مما يسهل المقارنات العادلة عبر خوارزميات التعلم المختلفة.
تم تصميم إعداد التجربة لضمان العدالة وقابلية التكرار، موضحًا مجموعات البيانات، وخطوط معالجة البيانات، وبروتوكولات التدريب، ومقاييس التقييم المستخدمة. تُجرى جميع التجارب في بيئة خادم مسيطر عليها، باستخدام بايثون ومكتبات التعلم الآلي الشهيرة. لتعزيز قابلية التكرار، يعتمد سير العمل على العناصر، مع تخزين جميع النتائج والنماذج الوسيطة بشكل دائم. يسمح هذا النهج بإعادة تشغيل أو توسيع التجارب دون الحاجة إلى إعادة التدريب، مما يعزز الشفافية والتكرار في نتائج البحث. تمثل تمثيل NetFlow ثماني الأبعاد المقترح خيار تصميم موجه نحو النشر، مما يضمن التوافق عبر بنى تحتية متنوعة بينما يعزل تدهور الأداء بشكل أساسي إلى تغييرات المجال بدلاً من عدم توافق الميزات.
النتائج
تقيم قسم النتائج في الورقة أداء نموذج TAN-IDS عبر سيناريوهات نشر مختلفة، بما في ذلك داخل مجموعة البيانات، وعبر مجموعة البيانات، والتدريب عبر مجالات مختلطة، والتعديل الدقيق الخفيف. يبرز التحليل تأثير تغييرات المجال على أداء النموذج ويقارن سلوك نماذج التعلم التمثيلية المختلفة. كما يقيم فعالية استراتيجيات التخفيف المختلفة تحت ظروف نشر واقعية.
نظرًا لعدم توازن الفئات السائد في مجموعات بيانات كشف التسلل الشبكي، يجادل المؤلفون بأن الدقة العامة ليست مقياسًا كافيًا للأداء. بدلاً من ذلك، يركزون على مقاييس مثل استرجاع الهجوم، ومتوسط F1-score، والدقة المتوازنة. توفر هذه المقاييس فهمًا أكثر دقة لأداء النموذج، مما يضمن عدم تحريف الاتجاهات بسبب تحيز نحو الفئة العادية السائدة. يتماشى هذا النهج مع الأهداف التشغيلية لأنظمة كشف التسلل، حيث أن تكلفة الهجمات المفقودة أعلى بكثير من تكلفة الإنذارات الكاذبة.
المناقشة
تؤكد قسم المناقشة في الورقة على عدم كفاية التقييم داخل مجموعة البيانات لأنظمة كشف التسلل (IDS)، مشددة على أن الأداء العالي في مجموعات بيانات التدريب لا يضمن الكشف الفعال في التطبيقات الواقعية بسبب تغييرات مجموعة البيانات أو المجال. تظهر الدراسات التجريبية، مثل تلك التي أجراها D’hooge وآخرون وApruzzese وآخرون، تدهورًا كبيرًا في الأداء عندما يتم اختبار النماذج على مجموعات بيانات مختلفة، مما يبرز ضرورة وجود منهجيات تقييم تعطي الأولوية للسلوك عبر المجالات. يدعو المؤلفون إلى إطار تقييم واعٍ بالنقل، TAN-IDS، الذي ينظم التجارب في سيناريوهات نشر واقعية، بما في ذلك التقييمات داخل مجموعة البيانات، وعبر مجموعة البيانات، وعبر مجالات مختلطة، والتعديل الدقيق مع بيانات محدودة.
تحدد الورقة تباين مجموعة البيانات كأحد التحديات الرئيسية، حيث تختلف مجموعات بيانات IDS العامة في تركيب الحركة، وسياسات التسمية، وتعريفات الميزات، مما يؤدي إلى “حاجز مساحة الميزات” الذي يعقد المقارنات العادلة. لمعالجة ذلك، تقترح TAN-IDS مساحة ميزات NetFlow موحدة بثمانية أبعاد تقوم بتوحيد تعريفات الميزات عبر مجموعات بيانات غير متجانسة، مما يسهل التقييمات القابلة للتكرار. علاوة على ذلك، يدمج الإطار أدوات التعلم بالنقل والقدرة على التفسير لتشخيص فشل النموذج تحت تغييرات المجال، وبالتالي الانتقال من مجرد مقاييس الدقة إلى تقييم استراتيجيات المتانة والتكيف. بشكل عام، تهدف TAN-IDS إلى توفير منهجية تقييم منظمة وموجهة نحو النشر تعزز موثوقية IDS في بيئات تشغيلية متنوعة.
DOI: https://doi.org/10.1371/journal.pone.0346801
PMID: https://pubmed.ncbi.nlm.nih.gov/41950277
Publication Date: 2026-04-08
Author(s): Dung Ha Thanh
Primary Topic: Network Security and Intrusion Detection
Overview
The research paper introduces TAN-IDS, a transfer-aware evaluation framework aimed at enhancing the assessment of machine learning-based Intrusion Detection Systems (IDS) under domain shift conditions. While existing IDS models often demonstrate high accuracy in controlled environments, they tend to falter when applied to unseen network settings. TAN-IDS addresses this issue by providing a unified 8-dimensional NetFlow feature interface that minimizes feature-space incompatibility, allowing for more reliable cross-dataset evaluations. The framework formalizes various deployment scenarios, such as in-dataset evaluation and mixed-domain training, revealing that strong in-dataset performance does not guarantee robustness in cross-dataset applications. Notably, domain-aware training strategies, including mixed-domain training and fine-tuning with limited labeled data, significantly enhance model performance, achieving over 95% recall and F1-macro in certain cases.
The paper concludes by emphasizing the importance of TAN-IDS in bridging the gap between laboratory performance and real-world deployment challenges in IDS. It highlights the framework’s ability to systematically analyze robustness and transferability, while also identifying failure modes under domain shift. Future work will focus on expanding the framework’s applicability by incorporating diverse datasets, enhancing classification capabilities, and integrating online learning mechanisms. TAN-IDS ultimately advocates for a shift from traditional closed-world benchmarking to more realistic, domain-aware evaluation protocols that better reflect the complexities faced by operational intrusion detection systems.
Introduction
The introduction of the research paper discusses the critical role of Intrusion Detection Systems (IDS) in cybersecurity, particularly in the context of flow-based monitoring, which has gained prominence due to challenges posed by encryption and privacy regulations. The paper highlights the reliance on machine learning (ML) and deep learning (DL) for detecting malicious activities, noting that existing evaluations often operate under closed-world assumptions that do not accurately reflect real-world conditions. To address this, the study reformulates intrusion detection as a binary classification task (benign vs. attack) to facilitate a more reliable assessment of cross-domain robustness, avoiding the complications of inconsistent attack taxonomies across datasets.
The paper also emphasizes the importance of transfer learning and domain adaptation techniques to mitigate performance degradation due to domain shifts. It critiques existing methodologies for their lack of consistent evaluation frameworks and proposes TAN-IDS, which provides a structured approach to assess transfer learning strategies under uniform feature definitions. Additionally, the integration of explainable artificial intelligence (XAI) is positioned as a diagnostic tool to enhance understanding of detection performance under domain shifts. The study utilizes two prominent datasets, UNSW-NB15 and NF-CSE-CIC-IDS2018, to explore the effects of mixed-domain training, revealing that exposure to diverse traffic during training improves model robustness, although challenges remain in fully reconciling differences in data characteristics across domains.
Methods
The section outlines the methodological framework of the TAN-IDS (Transfer-Aware Network Intrusion Detection System), emphasizing the need for a robust evaluation methodology in the field of intrusion detection. It identifies a significant gap in existing evaluation practices, which often focus on in-dataset performance or utilize inconsistent cross-dataset experiments that can obscure the effects of domain shift due to variations in feature definitions and preprocessing techniques. TAN-IDS shifts the focus from model-centric approaches to an evaluation-centric methodology, introducing a scenario controller that standardizes domain-aware data splitting and training strategies. This allows for a systematic assessment of cross-domain robustness under consistent deployment conditions, facilitating fair comparisons across different learning algorithms.
The experimental setup is designed to ensure fairness and reproducibility, detailing the datasets, preprocessing pipelines, training protocols, and evaluation metrics employed. All experiments are conducted in a controlled server environment, utilizing Python and popular machine learning libraries. To enhance reproducibility, the workflow is artifact-based, with all intermediate results and models stored persistently. This approach allows for the rerun or extension of experiments without the need for retraining, thereby promoting transparency and repeatability in research outcomes. The proposed 8-dimensional NetFlow representation serves as a deployment-oriented design choice, ensuring compatibility across various infrastructures while isolating performance degradation primarily to domain shifts rather than feature incompatibilities.
Results
The results section of the paper evaluates the performance of the TAN-IDS model across various deployment scenarios, including in-dataset, cross-dataset, mixed-domain training, and lightweight fine-tuning. The analysis highlights the impact of domain shifts on model performance and compares the behavior of different representative learning models. It also assesses the effectiveness of various mitigation strategies under realistic deployment conditions.
Given the class imbalance prevalent in network intrusion detection datasets, the authors argue that overall accuracy is not a sufficient measure of performance. Instead, they focus on metrics such as attack recall, macro-averaged F1-score, and balanced accuracy. These metrics provide a more nuanced understanding of model performance, ensuring that trends are not skewed by a bias towards the dominant normal class. This approach aligns with the operational goals of intrusion detection systems, where the cost of missed attacks is significantly higher than that of false alarms.
Discussion
The discussion section of the paper emphasizes the inadequacy of in-dataset evaluation for intrusion detection systems (IDS), highlighting that high performance in training datasets does not ensure effective detection in real-world applications due to dataset or domain shifts. Empirical studies, such as those by D’hooge et al. and Apruzzese et al., demonstrate significant performance degradation when models are tested on different datasets, underscoring the necessity for evaluation methodologies that prioritize cross-domain behavior. The authors advocate for a transfer-aware evaluation framework, TAN-IDS, which organizes experiments into realistic deployment scenarios, including in-dataset, cross-dataset, mixed-domain, and limited-label fine-tuning evaluations.
The paper identifies dataset heterogeneity as a major challenge, as public IDS datasets vary in traffic composition, labeling policies, and feature definitions, leading to a “feature-space barrier” that complicates fair comparisons. To address this, TAN-IDS proposes a unified 8-dimensional NetFlow feature space that standardizes feature definitions across heterogeneous datasets, facilitating reproducible evaluations. Furthermore, the framework incorporates transfer learning and explainability tools to diagnose model failures under domain shifts, thus moving beyond mere accuracy metrics to assess robustness and adaptation strategies. Overall, TAN-IDS aims to provide a structured, deployment-oriented evaluation methodology that enhances the reliability of IDS in diverse operational environments.