DOI: https://doi.org/10.1038/s41598-026-37769-4
PMID: https://pubmed.ncbi.nlm.nih.gov/41634085
تاريخ النشر: 2026-02-03
المؤلف: Adnane Filali وآخرون
الموضوع الرئيسي: كشف البريد المزعج والاحتيال
نظرة عامة
تتناول هذه الدراسة التحدي الحاسم في كشف رسائل SMS المزعجة، مع التركيز بشكل خاص على عدم التوازن في الفئات في مجموعات البيانات الواقعية حيث تمثل الرسائل المزعجة فقط 13-15% من إجمالي الاتصالات. تقدم الدراسة إطار عمل شامل يدمج تمثيلات الكلمات المتقدمة، وهياكل التعلم العميق، والشبكات التنافسية التوليدية (GANs) لزيادة البيانات الاصطناعية، مما يعزز بشكل كبير أداء تصنيف الرسائل المزعجة. تم إجراء تقييم منهجي لستة خوارزميات تعلم آلي (آلة الدعم الشعاعي، الانحدار اللوجستي، الجيران الأقرب، شجرة القرار، الانحدار العشوائي، الغابة العشوائية) ونموذجين من التعلم العميق (ذاكرة طويلة وقصيرة الأجل، LSTM ثنائية الاتجاه) عبر خمس تقنيات تمثيل (TF-IDF، حقيبة الكلمات، Word2Vec، GloVe، BERT)، مما أسفر عن 120 تكوينًا تجريبيًا. حقق التكوين الأمثل، وهو BERT مع Bi-LSTM وGAN، درجات F1 بلغت 97.61% لمجموعات البيانات أحادية اللغة و94.44% لمجموعات البيانات متعددة اللغات، متجاوزًا الطرق الحالية الرائدة.
تؤسس الدراسة إطار نشر استراتيجي يعتمد على مقايضات الأداء والكفاءة، موصية باستخدام BERT لتحقيق أقصى دقة، وWord2Vec لأداء متوازن، والطرق التقليدية للبيئات المحدودة الموارد. إن الاستخدام المبتكر لـ GANs لتوليد تمثيلات كلمات اصطناعية يحافظ على التماسك الدلالي ويعالج بشكل فعال عدم التوازن في مجموعة البيانات، حيث يظهر فقط تدهور في الأداء بنسبة 3.25% في السياقات متعددة اللغات. تشير النتائج إلى أن التمثيلات السياقية تتفوق باستمرار على الطرق التقليدية المعتمدة على التردد، مع إظهار التمثيلات العصبية لزيادة في الأداء نتيجة زيادة البيانات باستخدام GAN. لا تعزز هذه الدراسة الفهم النظري لتصنيف النصوص غير المتوازن فحسب، بل تقدم أيضًا منهجيات عملية لأنظمة كشف رسائل SMS المزعجة القوية، مما يساهم بشكل كبير في مجالات الأمن السيبراني ومعالجة اللغة الطبيعية. تشمل اتجاهات البحث المستقبلية دراسات طولية وضغط النماذج لتعزيز إمكانية الوصول للنشر في أمان الاتصالات المحمولة.
الطرق
تتناول المنهجية الموضحة في هذه الدراسة تحديات كشف رسائل SMS المزعجة، خاصة في ظل ظروف البيانات غير المتوازنة، من خلال خط أنابيب حسابي متعدد المراحل. يتضمن الإطار هيكل نظام يدمج معالجة البيانات، وتوليد التمثيلات، وتدريب النماذج، والتقييم، مع تدابير وقائية ضد تسرب البيانات. تشمل عملية الحصول على البيانات مجموعتين من رسائل SMS – أحادية اللغة ومتعددة اللغات – خضعت لتقنيات معالجة مسبقة موحدة مثل تقسيم النص وإزالة الكلمات الشائعة. يستخدم تمثيل النص خمس طرق تمثيل مصنفة إلى تمثيلات معزولة للتدريب (حقيبة الكلمات، TF-IDF، Word2Vec) وتمثيلات سياقية مدربة مسبقًا (GloVe، BERT). تستخدم مرحلة التصنيف ستة نماذج تقليدية للتعلم الآلي (SVM، KNN، أشجار القرار، الانحدار اللوجستي، الغابة العشوائية، الانحدار العشوائي) ونموذجي تعلم عميق (LSTM، BiLSTM)، جميعها تم تحسينها من خلال ضبط المعلمات.
تقيم الدراسة طرق زيادة البيانات التقليدية، وخاصة SMOTE وADASYN، عبر تقنيات تمثيل مختلفة. تشير النتائج إلى أن النماذج المعتمدة على BERT تحقق أعلى مقاييس الأداء، حيث حقق هيكل BiLSTM درجة F1 بلغت 97.26% ودقة 99.28%. كما يظهر Word2Vec نتائج قوية، خاصة مع نموذج الغابة العشوائية. في المقابل، تظهر التمثيلات التقليدية مثل حقيبة الكلمات وTF-IDF فعالية متوسطة، مع قيود كبيرة في الأداء. تسلط التحليل الضوء على المقايضات بين أداء التصنيف والكفاءة الحسابية، مشيرة إلى أنه بينما تكون نماذج BERT مثالية للسيناريوهات غير المتصلة، فإن Word2Vec يقدم بديلاً أكثر كفاءة للتطبيقات في الوقت الحقيقي. بشكل عام، تؤكد النتائج على أهمية التمثيلات المتقدمة وتقنيات الزيادة في تحسين أداء التصنيف في مهام تصنيف النصوص غير المتوازنة.
النتائج
استخدمت التحقق التجريبي من إطار كشف رسائل SMS المزعجة المقترح مجموعتين مرجعيتين: مجموعة بيانات UCI لجمع رسائل SMS المزعجة وبيانات الرسائل المزعجة متعددة اللغات، والتي تتكون من إجمالي 5,572 رسالة SMS. أظهرت مجموعات البيانات عدم توازن كبير في الفئات، حيث تم تصنيف 13.35% من الرسائل على أنها مزعجة و86.65% على أنها شرعية. للحفاظ على هذا التوزيع أثناء التقييم، تم تطبيق تقسيم تدريبي-اختباري بنسبة 80/20.
تم إجراء تحليل شامل شمل 120 تكوينًا للنموذج، والتي تضمنت ستة خوارزميات تقليدية للتعلم الآلي (آلة الدعم الشعاعي (SVM)، الانحدار اللوجستي (LR)، الجيران الأقرب (KNN)، أشجار القرار (DT)، الانحدار العشوائي (SGD)، والغابة العشوائية (RF))، ونموذجي تعلم عميق (ذاكرة طويلة وقصيرة الأجل (LSTM) وLSTM ثنائية الاتجاه (Bi-LSTM))، وخمس تقنيات تمثيل (تكرار المصطلح – تكرار الوثيقة العكسية (TF-IDF)، حقيبة الكلمات (BoW)، Word2Vec، GloVe، وBERT)، وأربع استراتيجيات لزيادة البيانات (الشبكات التنافسية التوليدية (GANs)، تقنية زيادة العينات الأقلية الاصطناعية (SMOTE)، أخذ العينات الاصطناعية التكيفية (ADASYN)، وخط أساس بدون زيادة). تم تنفيذ جميع التجارب في بيئة تحكم تعتمد فقط على وحدة المعالجة المركزية تحتوي على معالجات Intel Xeon مزدوجة بسرعة 2.2GHz، و32GB من ذاكرة الوصول العشوائي DDR4، وUbuntu 20.04 LTS، باستخدام Python 3.10 مع TensorFlow 2.8 وScikit-learn 1.2 لتنفيذ النموذج. تم تقييم أداء النماذج باستخدام سبعة مقاييس تقييم متميزة، مما يضمن مقارنة عادلة وقابلة للتكرار عبر التكوينات المختلفة.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على قيود منهجيات كشف رسائل SMS المزعجة الحالية، التي تستخدم بشكل أساسي أنظمة قائمة على القواعد، أو خوارزميات تعلم آلي تقليدية، أو نهج هجينة. تواجه هذه الطرق تحديات مثل عدم توازن مجموعة البيانات، حيث تشكل الرسائل المزعجة أقل من 15% من مجموعات بيانات التدريب، مما يؤدي إلى مصنفات متحيزة تؤدي أداءً ضعيفًا في تحديد الرسائل المزعجة. بالإضافة إلى ذلك، بينما أظهرت هياكل التعلم العميق وعدًا في معالجة اللغة الطبيعية، لا يزال تطبيقها في كشف رسائل SMS المزعجة غير مستكشف بشكل كافٍ، خاصة فيما يتعلق بدمج تقنيات تمثيل الكلمات المتقدمة مثل تمثيلات الترميز ثنائية الاتجاه من المحولات (BERT). تحدد الدراسة ثلاثة تحديات أساسية: التعقيد اللغوي بسبب استخدام لغة غير قياسية في رسائل SMS، عدم توازن مجموعة البيانات الذي يشوه أداء المصنف، والطبيعة التطورية لتكتيكات الرسائل المزعجة التي تتطلب أنظمة كشف قابلة للتكيف.
لمعالجة هذه التحديات، تقترح الدراسة إطار عمل شامل لكشف رسائل SMS المزعجة يقيم مختلف خوارزميات التعلم الآلي وهياكل التعلم العميق، جنبًا إلى جنب مع تقنيات تمثيل الكلمات المتعددة. كما تقدم الشبكات التنافسية التوليدية (GANs) لزيادة البيانات، بهدف التخفيف من عدم توازن مجموعة البيانات دون العيوب المرتبطة بأساليب إعادة أخذ العينات التقليدية. تشمل مساهمات الدراسة تحليلًا مقارنًا شاملاً لمجموعات نماذج-تمثيل، والتطبيق الجديد لـ GANs لتوليد تمثيلات كلمات اصطناعية، وتطوير إطار تقييم قوي يستخدم مقاييس متخصصة للتصنيف غير المتوازن. تشير النتائج إلى أن دمج هياكل BiLSTM مع تمثيلات BERT وزيادة البيانات المعتمدة على GAN تحقق أداءً رائدًا، خاصة في تحسين معدلات الاسترجاع للرسائل المزعجة، مما يوفر إطارًا منهجيًا قابلًا للتعميم يمكن تطبيقه على مهام تصنيف النصوص الأخرى التي تتميز بعدم توازن البيانات.
القيود
يسلط قسم القيود الضوء على عدة تحديات حاسمة مرتبطة باستخدام زيادة التمثيل المعتمدة على GAN لكشف رسائل SMS المزعجة. أولاً، يثير الاعتماد على مجموعة بيانات مترجمة آليًا للتجارب متعددة اللغات مخاوف بشأن التحيز المحتمل في الترجمة، مما قد يهدد الدقة الدلالية ويعيق التعميم عبر اللغات. ثانيًا، بينما تظهر زيادة GAN تحسينات متسقة في الأداء، تشير التحليلات إلى أن هذه التكوينات تتطلب موارد حسابية أكبر من الأسس الأبسط، مما قد يقيد قابليتها للتطبيق في البيئات ذات الوقت الحقيقي أو الموارد المحدودة. بالإضافة إلى ذلك، كانت عملية البحث عن المعلمات لكل من مكونات GAN والمصنفات اللاحقة مقيدة بالموارد الحسابية، مما يشير إلى أن استكشافًا أكثر شمولاً يمكن أن يؤدي إلى تكوينات أفضل.
يهدف العمل المستقبلي إلى معالجة هذه القيود من خلال تقييم الزيادة التوليدية عبر مجموعة أوسع من اللغات واللهجات للتخفيف من التحيزات المتعلقة بالترجمة. ستركز الجهود أيضًا على تحسين هيكل GAN وتطبيق تقنيات ضغط النموذج، مثل التقليم أو التكميم، لتقليل زمن الاستدلال وحجم النموذج مع الحفاظ على الدقة. علاوة على ذلك، من المتوقع أن تعزز تنفيذ تحسين المعلمات التلقائي المتقدم ودمج تحليلات الشرح للتمثيلات الاصطناعية كلاً من الكفاءة وقابلية التفسير لنماذج المعززة بـ GAN، مما يحسن تطبيقها العملي في أنظمة كشف رسائل SMS المزعجة.
DOI: https://doi.org/10.1038/s41598-026-37769-4
PMID: https://pubmed.ncbi.nlm.nih.gov/41634085
Publication Date: 2026-02-03
Author(s): Adnane Filali et al.
Primary Topic: Spam and Phishing Detection
Overview
This research addresses the critical challenge of SMS spam detection, particularly focusing on the class imbalance in real-world datasets where spam messages represent only 13-15% of total communications. The study introduces a comprehensive framework that integrates advanced word embeddings, deep learning architectures, and Generative Adversarial Networks (GANs) for synthetic data augmentation, significantly enhancing spam classification performance. A systematic evaluation of six machine learning algorithms (Support Vector Machine, Logistic Regression, K-Nearest Neighbors, Decision Tree, Stochastic Gradient Descent, Random Forest) and two deep learning models (Long Short-Term Memory, Bidirectional LSTM) across five embedding techniques (TF-IDF, Bag of Words, Word2Vec, GloVe, BERT) was conducted, resulting in 120 experimental configurations. The optimal configuration, BERT combined with Bi-LSTM and GAN, achieved F1-scores of 97.61% for monolingual and 94.44% for multilingual datasets, surpassing existing state-of-the-art methods.
The study establishes a strategic deployment framework based on performance-efficiency trade-offs, recommending BERT for maximum accuracy, Word2Vec for balanced performance, and traditional methods for resource-constrained environments. The innovative use of GANs to generate synthetic word embeddings preserves semantic coherence and effectively addresses dataset imbalance, demonstrating only a 3.25% performance degradation in multilingual contexts. The findings indicate that contextual embeddings consistently outperform traditional frequency-based methods, with neural embeddings showing performance gains from GAN augmentation. This research not only advances theoretical understanding of imbalanced text classification but also provides practical methodologies for robust SMS spam detection systems, contributing significantly to cybersecurity and natural language processing fields. Future research directions include longitudinal studies and model compression to enhance deployment accessibility in mobile communication security.
Methods
The methodology outlined in this study addresses SMS spam detection challenges, particularly under imbalanced data conditions, through a multi-stage computational pipeline. The framework includes a system architecture that integrates data preprocessing, embedding generation, model training, and evaluation, with safeguards against data leakage. Data acquisition involves two SMS corpora—monolingual and multilingual—subjected to standardized preprocessing techniques such as tokenization and stopword removal. Text representation employs five embedding methods categorized into train-isolated embeddings (Bag of Words, TF-IDF, Word2Vec) and pre-trained contextual embeddings (GloVe, BERT). The classification phase utilizes six traditional machine learning models (SVM, KNN, Decision Trees, Logistic Regression, Random Forest, Stochastic Gradient Descent) and two deep learning architectures (LSTM, BiLSTM), all optimized through hyperparameter tuning.
The study evaluates traditional data augmentation methods, specifically SMOTE and ADASYN, across various embedding techniques. Results indicate that BERT-based models achieve the highest performance metrics, with the BiLSTM architecture yielding an F1-score of 97.26% and accuracy of 99.28%. Word2Vec also demonstrates strong results, particularly with the Random Forest model. In contrast, traditional embeddings like Bag of Words and TF-IDF show moderate effectiveness, with significant performance limitations. The analysis highlights the trade-offs between classification performance and computational efficiency, suggesting that while BERT models are optimal for offline scenarios, Word2Vec offers a more efficient alternative for real-time applications. Overall, the findings underscore the importance of advanced embeddings and augmentation techniques in enhancing classification performance in imbalanced text classification tasks.
Results
The experimental validation of the proposed SMS spam detection framework utilized two benchmark datasets: the UCI SMS Spam Collection and the Multilingual Spam Data, comprising a total of 5,572 SMS messages. The datasets displayed a significant class imbalance, with 13.35% of messages labeled as spam and 86.65% as legitimate. To preserve this distribution during evaluation, an 80/20 stratified train-test split was applied.
A comprehensive analysis was conducted involving 120 model configurations, which included six traditional machine learning algorithms (Support Vector Machine (SVM), Logistic Regression (LR), K-Nearest Neighbors (KNN), Decision Trees (DT), Stochastic Gradient Descent (SGD), and Random Forest (RF)), two deep learning architectures (Long Short-Term Memory (LSTM) and Bidirectional LSTM (Bi-LSTM)), five embedding techniques (Term Frequency-Inverse Document Frequency (TF-IDF), Bag of Words (BoW), Word2Vec, GloVe, and BERT), and four data augmentation strategies (Generative Adversarial Networks (GANs), Synthetic Minority Over-sampling Technique (SMOTE), Adaptive Synthetic Sampling (ADASYN), and a no-augmentation baseline). All experiments were executed in a controlled CPU-only environment featuring dual Intel Xeon 2.2GHz processors, 32GB DDR4 RAM, and Ubuntu 20.04 LTS, utilizing Python 3.10 with TensorFlow 2.8 and Scikit-learn 1.2 for model implementation. The performance of the models was assessed using seven distinct evaluation metrics, ensuring a fair and reproducible comparison across the various configurations.
Discussion
The discussion section of the research paper highlights the limitations of current SMS spam detection methodologies, which primarily utilize rule-based systems, traditional machine learning algorithms, or hybrid approaches. These methods face challenges such as dataset imbalance, where spam messages constitute less than 15% of training datasets, leading to biased classifiers that underperform in spam identification. Additionally, while deep learning architectures have shown promise in natural language processing, their application in SMS spam detection remains underexplored, particularly regarding the integration of advanced word embedding techniques like Bidirectional Encoder Representations from Transformers (BERT). The study identifies three fundamental challenges: linguistic complexity due to non-standard language use in SMS, dataset imbalance that skews classifier performance, and the evolutionary nature of spam tactics that necessitates adaptable detection systems.
To address these challenges, the research proposes a comprehensive framework for SMS spam detection that evaluates various machine learning algorithms and deep learning architectures, alongside multiple word embedding techniques. It also introduces Generative Adversarial Networks (GANs) for data augmentation, aiming to mitigate dataset imbalance without the artifacts associated with traditional resampling methods. The study’s contributions include a thorough comparative analysis of model-embedding combinations, the novel application of GANs for generating synthetic word embeddings, and the development of a robust evaluation framework that employs specialized metrics for imbalanced classification. The findings indicate that integrating Bidirectional LSTM architectures with BERT embeddings and GAN-based data augmentation achieves state-of-the-art performance, particularly in improving recall rates for spam messages, thereby offering a generalizable methodological framework applicable to other text classification tasks characterized by data imbalance.
Limitations
The section on limitations highlights several critical challenges associated with the use of GAN-based embedding augmentation for SMS spam detection. Firstly, the reliance on a machine-translated dataset for multilingual experiments raises concerns about potential translation bias, which could compromise semantic fidelity and hinder cross-lingual generalization. Secondly, while GAN augmentation demonstrates consistent performance improvements, the analysis indicates that these configurations are computationally more intensive than simpler baselines, potentially restricting their applicability in real-time or resource-limited environments. Additionally, the hyperparameter search for both GAN components and downstream classifiers was constrained by computational resources, suggesting that a more thorough exploration could yield superior configurations.
Future work aims to address these limitations by assessing generative augmentation across a broader range of languages and dialects to mitigate translation-related biases. Efforts will also focus on optimizing the GAN architecture and employing model compression techniques, such as pruning or quantization, to reduce inference latency and model size while maintaining accuracy. Furthermore, the implementation of advanced automated hyperparameter optimization and the integration of explainability analyses for synthetic embeddings are anticipated to enhance both the efficiency and interpretability of GAN-augmented models, thereby improving their practical application in SMS spam detection systems.