إطار موحد قائم على القواعد لتنسيق التسميات لاكتشاف التسلل عبر مجموعات البيانات في إنترنت الأشياء A rule-based label harmonization framework for cross-dataset IoT intrusion detection

شارك:
المجلة: Internet of Things، المجلد: 39
DOI: https://doi.org/10.1016/j.iot.2026.102030
تاريخ النشر: 2026-07-23
المؤلف: María Rodríguez وآخرون
الموضوع الرئيسي: أمن الشبكات وكشف التسلل

نظرة عامة

تتناول هذه الورقة البحثية قيود نماذج التعلم الآلي (ML) للكشف عن التسلل في شبكات إنترنت الأشياء (IoT)، وخاصة ضعف تعميمها عبر مجموعات بيانات مختلفة. من خلال تقييم منهجي عبر مجموعات بيانات متعددة تشمل ثلاث مجموعات بيانات عامة—CIC-IoT-2023 وIoT-23 وIoTID20—وجد المؤلفون أنه بينما حققت النماذج دقة عالية (متوسط F1 > 0.99) عند تدريبها واختبارها على نفس مجموعة البيانات، انخفض أداؤها بشكل كبير (متوسط F1 < 0.50) عند اختبارها على مجموعات بيانات مختلفة، باستثناء نموذج الشبكة العصبية متعددة الطبقات. للتخفيف من هذه المشكلة، اقترح المؤلفون إطار عمل قابل للتكرار يستخدم التسمية القائمة على القواعد استنادًا إلى ميزات التدفق القياسية لـ Zeek وMITRE ATT&CK/CAPEC. يتيح هذا النهج دمج مجموعات البيانات في مجموعة تدريب موحدة، مما يعزز تعميم النموذج ويسمح باكتشاف الأنشطة الخبيثة غير المعلنة سابقًا. يستنتج المؤلفون أن الاعتماد الحالي على تقييم داخل مجموعة البيانات يقوض مصداقية نماذج التعلم الآلي في الكشف عن التسلل. لا يسهل إطار العمل المقترح دمج مجموعات البيانات فحسب، بل يضمن أيضًا تعليقات متسقة ومبنية على السلوك عبر بيئات متنوعة. ستركز الأعمال المستقبلية على قابلية التوسع، والتعاون المجتمعي لمشاركة مجموعات البيانات، وأتمتة توليد القواعد وتقييم الجودة. من خلال تحويل التركيز من إعادة استخدام النموذج إلى إعادة استخدام مجموعة البيانات، يهدف المؤلفون إلى إنشاء أساس أكثر قوة وقابلية للتفسير للكشف عن التسلل القائم على التعلم الآلي، مما يعزز في النهاية تطوير أنظمة أمان موثوقة وقابلة للتكيف.

مقدمة

في مقدمة هذه الورقة البحثية، يبرز المؤلفون الاعتماد المتزايد على التعلم الآلي (ML) للكشف عن التسلل في شبكات إنترنت الأشياء (IoT). بينما تشير الدراسات الحالية إلى دقة عالية ومقاييس أداء باستخدام مجموعات بيانات محددة، مثل CIC-IoT-2023 وIoT-23، هناك قلق حاسم بشأن قابلية تعميم هذه النتائج عبر بيئات وأنماط حركة مرور متنوعة. يشير المؤلفون إلى قيود كبيرة في التوافق بين مجموعات بيانات الكشف عن التسلل، والتي تنشأ غالبًا من ممارسات التسمية غير المتسقة، وإعدادات الالتقاط غير المتجانسة، ونقص المنهجيات القياسية. تعقد هذه التجزئة دمج مجموعات البيانات وتقوض فعالية التقييمات عبر مجموعات البيانات.

لمعالجة هذه التحديات، يقترح المؤلفون إطار عمل للتنظيم القائم على القواعد يهدف إلى إنشاء استراتيجية تسمية متسقة تعزز من توافق مجموعات البيانات. يجادلون بأن الحاجز الرئيسي للتعميم ليس خوارزميات التعلم الآلي نفسها، بل غياب عملية تسمية قابلة للتكرار ومتسقة دلاليًا. من خلال استخدام إطار تحليل الشبكة Zeek ومواءمة التسميات مع تصنيفات الهجوم القياسية مثل MITRE ATT&CK وCAPEC، يهدف المؤلفون إلى تحويل مجموعات البيانات المتباينة إلى مجموعة تدريب موحدة. تشمل مساهماتهم تقييمًا منهجيًا لتعميم نموذج التعلم الآلي عبر مجموعات بيانات IoT، وإطار تكامل قابل للتكرار لتسمية البيانات بشكل متسق، وإثبات مفهوم يوضح التطبيق العملي لنهجهم في بيئات المنازل الذكية في العالم الحقيقي. يمثل هذا العمل تحولًا في التركيز من قابلية نقل النموذج إلى توافق مجموعات البيانات، مما يعزز أنظمة الكشف عن التسلل القائمة على التعلم الآلي بشكل أكثر قوة وقابلية للتوسع من خلال تحسين جودة البيانات وقابليتها للاستخدام.

طرق

تؤسس منهجية تأليف القواعد المقترحة إطار عمل قياسي وقابل لإعادة الاستخدام للتسمية يعمل على مستوى تدفق الشبكة، مستخدمًا سجلات الاتصال الكاملة لـ Zeek (conn.log) بدلاً من تتبع مستوى الحزمة. يوفر هذا النهج على مستوى التدفق تمثيلًا مستقرًا لسلوك الشبكة، مما يسهل التوافق مع تحليلات التعلم الآلي اللاحقة مع التخفيف من الآثار الناتجة عن توقيت الحزم وتنوع الالتقاط. تم تصميم القواعد لالتقاط خصائص الاتصال القابلة للملاحظة، بما في ذلك حجم الحركة، والاستمرارية الزمنية، واتجاه الاتصال، مسترشدًا بمعايير مثل التعبير السلوكي، واستقلال مجموعة البيانات، والتناسق الدلالي.

لزيادة التوافق عبر مجموعات بيانات متنوعة، يتجنب مجموعة القواعد الاعتماد على تكوينات الشبكة المحلية، مما يسمح بتحديد سلوكيات متساوية دلاليًا في بيئات مختلفة. يدعم الإطار كل من القواعد العامة والخاصة، مع المرونة لإدراج عناوين IP أو منافذ محددة في إعدادات خاضعة للرقابة مع التأكيد على قابلية التطبيق عبر مجموعات البيانات في سياقات أوسع. يتم تسمية جميع القواعد يدويًا باستخدام معرفات قياسية من MITRE ATT&CK وCAPEC، مما يعزز من تنظيم مجموعات البيانات والتوافق الدلالي. تشمل التنفيذ حوالي خمسين قاعدة تغطي أربع فئات سلوكية: حميدة، هجوم حجب الخدمة (DoS)، مسح، وقوة غاشمة، وهي مصممة لتكون قابلة للتوسع لإضافات مستقبلية. يتطلب تأليف هذه القواعد مستوى معتدل من الخبرة في أمان الشبكة، وتحليل الحركة، والمعرفة بتصنيفات الهجوم القياسية لضمان التوافق المناسب للسلوكيات مع التقنيات المعترف بها.

نتائج

تكشف نتائج تحليل التصنيف متعدد الفئات في مجموعات بيانات IoT العامة عن نتائج مهمة بشأن أداء تقنيات التعلم الآلي (ML) المختلفة في التمييز بين أنواع الهجمات المختلفة. في السيناريو 1، أدى تطبيق 40 ميزة عبر عدة طرق تعلم آلي إلى تحقيق درجات F1 عالية، خاصة لتدفقات هجوم حجب الخدمة (DoS) والمسح، بينما كانت هجمات القوة الغاشمة أكثر تحديًا للتصنيف بسبب تمثيلها المنخفض في مجموعات البيانات. من الجدير بالذكر أن شجرة القرار، والغابة العشوائية، والتجميع، والتعزيز، والشبكة العصبية متعددة الطبقات (MLP) حققت درجات F1 تتجاوز 0.95 لمعظم أنواع الهجمات، مع متوسط درجة F1 عبر جميع الفئات يتجاوز 0.99. تشير النتائج إلى أن التقنيات المعتمدة على الأشجار والتقنيات التجميعية فعالة، حيث تقدم شجرة القرار تنفيذًا أسرع، مما يجعلها مناسبة للكشف عن التسلل في الوقت الحقيقي. تظهر المقارنات مع الدراسات السابقة تحسينات كبيرة في درجات F1، تعزى إلى مجموعة ميزات أغنى، وتسمية موحدة للهجمات، ومعالجة قياسية مسبقة.

تسلط التحليلات الضوء على قيد حاسم في أبحاث أنظمة الكشف عن التسلل (IDS) الحالية: عدم التناسق في تسمية الهجمات عبر مجموعات البيانات يؤدي إلى تحديات في تعميم النموذج. حتى عندما تشترك مجموعات البيانات في تسميات اسمية مشابهة، يمكن أن تختلف السلوكيات الأساسية بشكل كبير بسبب الاختلافات في طرق الالتقاط وظروف الحركة. تعيق هذه التباينات قابلية نقل النماذج المدربة على مجموعة بيانات واحدة إلى أخرى، حيث تميل إلى التكيف بشكل مفرط مع الخصائص المحددة لبيانات التدريب. تؤكد النتائج من السيناريو 3 أن التحسينات في الأداء بعد دمج مجموعات البيانات تعود أساسًا إلى توحيد التسميات يدويًا بدلاً من تعقيد النموذج أو حجم البيانات. هذه الجهود اليدوية ضرورية لتمكين مقارنات ذات مغزى ودمج التباين داخل الفئة. لمعالجة مشكلة قابلية التوسع في التوحيد اليدوي، تقترح الدراسة إطار عمل آلي قائم على القواعد يدمج Zeek لضمان اتساق الميزات مع معايير MITRE ATT&CK وCAPEC، مما يسهل إنشاء مجموعات بيانات قابلة للتكرار والتوافق.

مناقشة

تسلط قسم المناقشة في الورقة الضوء على التحديات الكبيرة في تحقيق التعميم في أنظمة الكشف عن التسلل في إنترنت الأشياء (IDS) عبر مجموعات بيانات مختلفة. تم تحديد قضية حاسمة وهي الفجوة في الأداء بين التقييمات داخل مجموعة البيانات وعبر مجموعات البيانات، حيث أن النماذج التي تؤدي بشكل جيد ضمن مجموعة بيانات واحدة غالبًا ما تفشل عند تطبيقها على أخرى. تستعرض هذه القسم دراسات متنوعة استكشفت هذه المشكلة، مما يبرز الحاجة إلى تحسين ممارسات التقييم، وتناسق التسمية، والبنية التحتية. تشير النتائج الرئيسية إلى أن كل من النماذج الخاضعة للإشراف وغير الخاضعة للإشراف تظهر انخفاضات كبيرة في الأداء في سيناريوهات عبر مجموعات البيانات، حيث تعزو بعض الدراسات هذه الإخفاقات إلى عدم التناسق في دلالات الميزات وممارسات التسمية.

لمعالجة هذه التحديات، تناقش الورقة عدة ابتكارات منهجية، بما في ذلك التدريب العدائي وتكييف المجال، بهدف تعزيز تعميم النموذج. بالإضافة إلى ذلك، تؤكد على أهمية بنية التقييم الموثوقة، حيث أن العديد من مجموعات البيانات الحالية قديمة أو موثقة بشكل سيء. يجادل المؤلفون من أجل إطار عمل مركزي للبيانات يقيّد التسمية وتمثيل الميزات عبر مجموعات البيانات، وهو أمر ضروري لتحسين توافق النموذج وقابلية التكرار. يتم وضع هذا الإطار كحل للفجوة المستمرة في التعميم، مما يمهد الطريق للتقييمات التجريبية في الأقسام اللاحقة من الورقة.

القيود

تناقش قسم القيود كلاً من نقاط القوة والتحديات المرتبطة باستخدام إطار عمل للتسمية قائم على القواعد مع Zeek كأداة للتسمية. تشمل المزايا الرئيسية القابلية للتكرار، حيث يمكن لأي مستخدم إعادة توليد مجموعات البيانات من نفس PCAP وقاعدة القواعد؛ وقابلية التفسير، حيث تستند القواعد إلى معايير واضحة ومحددة في المجال بدلاً من الارتباطات الإحصائية الغامضة؛ وفائدة عبر السياقات، مما يسمح بتطبيق قاعدة قواعد واحدة عبر بيئات متنوعة. يسهل هذا النهج القابل للتعديل تطور قواعد الكشف استجابةً لمعلومات التهديد الجديدة، مما يعزز حلقة تغذية راجعة ديناميكية بين منطق الكشف وتنظيم البيانات.

ومع ذلك، يواجه الإطار عدة قيود. الجهد اليدوي المطلوب لإنشاء القواعد كبير، مما يتطلب معرفة متخصصة بخصائص الحركة وسلوكيات الهجوم، بالإضافة إلى الإلمام بتصنيفات معيارية مثل MITRE ATT&CK وCAPEC. يمكن التخفيف من هذه العملية من خلال التصميم القابل للتعديل للإطار، الذي يسمح بإضافة قواعد جديدة بشكل مستقل. بالإضافة إلى ذلك، قد تنشأ تباينات في تفسير القواعد، حيث قد يقوم مؤلفون مختلفون بتسمية سلوكيات الهجوم المماثلة بشكل مختلف، وتعتمد جودة التسمية بشكل كبير على الرؤى المحددة في المجال لمساهمي مجموعة البيانات. أخيرًا، يقتصر إثبات المفهوم على ثلاث فئات هجوم محددة جيدًا، مما يشير إلى أن العمل المستقبلي يجب أن يهدف إلى توسيع تغطية الإطار لتشمل مجموعة أوسع من أنواع الهجمات، مثل الاتصالات الخاصة بالتحكم والأوامر والهجمات المستندة إلى الويب، مع الحفاظ على قدرة الهيكل على دمج القواعد بشكل تدريجي.

Journal: Internet of Things, Volume: 39
DOI: https://doi.org/10.1016/j.iot.2026.102030
Publication Date: 2026-07-23
Author(s): María Rodríguez et al.
Primary Topic: Network Security and Intrusion Detection

Overview

This research paper addresses the limitations of machine learning (ML) models for intrusion detection in Internet of Things (IoT) networks, particularly their poor generalization across different datasets. Through a systematic cross-dataset evaluation involving three public datasets—CIC-IoT-2023, IoT-23, and IoTID20—the authors found that while models achieved high accuracy (average F1 > 0.99) when trained and tested on the same dataset, their performance significantly declined (average F1 < 0.50) when tested on different datasets, except for the Multi-Layer Perceptron model. To mitigate this issue, the authors proposed a reproducible framework that employs rule-based labeling based on Zeek's standardized flow features and MITRE ATT&CK/CAPEC semantics. This approach enables the merging of datasets into a unified training corpus, enhancing model generalization and allowing for the discovery of previously unlabeled malicious activities. The authors conclude that the current reliance on intra-dataset evaluation undermines the credibility of ML models in intrusion detection. Their proposed framework not only facilitates dataset fusion but also ensures consistent, behaviorally grounded annotations across diverse environments. Future work will focus on scalability, community collaboration for dataset sharing, and automating rule generation and quality assessment. By shifting the focus from model reuse to dataset reuse, the authors aim to create a more robust and interpretable foundation for ML-based intrusion detection, ultimately fostering the development of trustworthy and adaptable security systems.

Introduction

In the introduction of this research paper, the authors highlight the growing reliance on machine learning (ML) for intrusion detection in Internet of Things (IoT) networks. While existing studies report high accuracy and performance metrics using specific datasets, such as CIC-IoT-2023 and IoT-23, there is a critical concern regarding the generalizability of these results across diverse environments and traffic patterns. The authors point out significant limitations in the interoperability of intrusion detection datasets, which often arise from inconsistent labeling practices, heterogeneous capture setups, and a lack of standardized methodologies. This fragmentation complicates the integration of datasets and undermines the effectiveness of cross-dataset evaluations.

To address these challenges, the authors propose a rule-based harmonization framework aimed at creating a consistent labeling strategy that enhances dataset interoperability. They argue that the primary barrier to generalization is not the ML algorithms themselves but rather the absence of a reproducible and semantically coherent labeling process. By utilizing the Zeek network analysis framework and aligning labels with standardized attack taxonomies such as MITRE ATT&CK and CAPEC, the authors aim to transform disparate datasets into a unified training corpus. Their contributions include a systematic evaluation of ML model generalization across IoT datasets, a reproducible integration framework for consistent data annotation, and a proof of concept demonstrating the practical application of their approach in real-world smart home environments. This work represents a shift in focus from model portability to dataset interoperability, promoting more robust and scalable ML-based intrusion detection systems through improved data quality and usability.

Methods

The proposed rule authoring methodology establishes a standardized and reusable labeling framework that operates at the network-flow level, utilizing complete Zeek connection records (conn.log) instead of packet-level traces. This flow-level approach provides a stable representation of network behavior, facilitating compatibility with subsequent machine-learning analyses while mitigating artifacts from packet timing and capture variability. The rules are designed to capture observable communication properties, including traffic volume, temporal persistence, and connection directionality, guided by criteria such as behavioral expressiveness, dataset independence, and semantic consistency.

To enhance interoperability across diverse datasets, the rule set avoids reliance on local network configurations, allowing for the identification of semantically equivalent behaviors in various environments. The framework supports both generalized and specific rules, with the flexibility to incorporate specific IP addresses or ports in controlled settings while emphasizing cross-dataset applicability in broader contexts. All rules are manually labeled using standardized identifiers from MITRE ATT&CK and CAPEC, promoting dataset harmonization and semantic interoperability. The implementation includes approximately fifty rules covering four behavioral categories: Benign, DoS, Scan, and Brute Force, and is designed to be extensible for future additions. Authoring these rules necessitates a moderate level of expertise in network security, traffic analysis, and familiarity with standardized attack taxonomies to ensure appropriate mapping of behaviors to recognized techniques.

Results

The results of the multiclass classification analysis in IoT public datasets reveal significant findings regarding the performance of various machine learning (ML) techniques in distinguishing between different attack types. In Scenario 1, the application of 40 features across multiple ML methods yielded high F1-scores, particularly for Denial of Service (DoS) and Scan flows, while Brute Force attacks were more challenging to classify due to their underrepresentation in the datasets. Notably, Decision Tree, Random Forest, Bagging, Boosting, and Multi-Layer Perceptron (MLP) achieved F1-scores exceeding 0.95 for most attack types, with an average F1-score across all classes surpassing 0.99. The results indicate that tree-based and ensemble techniques are effective, with Decision Tree offering faster execution, making it suitable for real-time intrusion detection. Comparisons with previous studies show substantial improvements in F1-scores, attributed to a richer feature set, unified attack labeling, and standardized preprocessing.

The analysis highlights a critical limitation in current Intrusion Detection System (IDS) research: the inconsistency in attack labeling across datasets leads to challenges in model generalization. Even when datasets share similar nominal labels, the underlying behaviors can differ significantly due to variations in capture methods and traffic conditions. This inconsistency hampers the transferability of models trained on one dataset to another, as they tend to overfit to the specific characteristics of the training data. The findings from Scenario 3 emphasize that improvements in performance following dataset fusion are primarily due to manual label harmonization rather than model complexity or data volume. This manual effort is essential for enabling meaningful comparisons and incorporating intra-class variability. To address the scalability issue of manual unification, the study proposes an automated, rule-based framework that integrates Zeek for feature consistency with MITRE ATT&CK and CAPEC standards, facilitating reproducible and interoperable dataset generation.

Discussion

The discussion section of the paper highlights the significant challenges in achieving generalization in IoT intrusion detection systems (IDS) across different datasets. A critical issue identified is the performance disparity between intra-dataset and cross-dataset evaluations, where models that perform well within a single dataset often fail when applied to others. This section reviews various studies that have explored this problem, emphasizing the need for improved evaluation practices, labeling consistency, and infrastructure. Key findings indicate that both supervised and unsupervised models exhibit substantial performance drops in cross-dataset scenarios, with some studies attributing these failures to inconsistencies in feature semantics and labeling practices.

To address these challenges, the paper discusses several methodological innovations, including adversarial training and domain adaptation, aimed at enhancing model generalization. Additionally, it underscores the importance of reliable evaluation infrastructure, as many existing datasets are outdated or poorly documented. The authors argue for a data-centric framework that standardizes labeling and feature representation across datasets, which is essential for improving model interoperability and reproducibility. This framework is positioned as a solution to the persistent generalization gap, setting the stage for empirical evaluations in subsequent sections of the paper.

Limitations

The section on limitations discusses both the strengths and challenges of using a rule-based labeling framework with Zeek as the labeling engine. Key advantages include reproducibility, as any user can regenerate datasets from the same PCAP and rulebase; interpretability, where rules are based on transparent, domain-specific criteria rather than obscure statistical correlations; and cross-context utility, allowing a single rulebase to be applied across various environments. This modular approach facilitates the evolution of detection rules in response to new threat intelligence, fostering a dynamic feedback loop between detection logic and data curation.

However, the framework faces several limitations. The manual effort required for rule creation is significant, necessitating expert knowledge of traffic characteristics and attack behaviors, as well as familiarity with standardized taxonomies like MITRE ATT&CK and CAPEC. This process can be mitigated by the framework’s modular design, which allows for the independent addition of new rules. Additionally, discrepancies in rule interpretation may arise, as different authors might label similar attack behaviors differently, and the quality of labeling is heavily reliant on the domain-specific insights of dataset contributors. Lastly, the proof of concept is limited to three well-defined attack categories, suggesting that future work should aim to expand the framework’s coverage to include a broader range of attack types, such as command and control communication and web-based attacks, while maintaining the architecture’s capacity for incremental rule integration.