DOI: https://doi.org/10.1016/j.eswa.2025.127044
تاريخ النشر: 2025-03-10
المؤلف: Chidimma Opara وآخرون
الموضوع الرئيسي: كشف البريد المزعج والاحتيال
نظرة عامة
تبحث الدراسة في فعالية أنظمة البريد الإلكتروني الحالية في اكتشاف رسائل البريد الإلكتروني الاحتيالية التي تم إنشاؤها بواسطة الذكاء الاصطناعي، وبالتحديد تلك التي تم إنشاؤها باستخدام نموذج GPT-4o. أظهر تحليل لـ 63 من هذه الرسائل أن Gmail وOutlook سمحا بعدد أكبر من محاولات الاحتيال هذه بتجاوز مرشحاتهم مقارنة بـ Yahoo، مما يشير إلى وجود ثغرات كبيرة في آليات التصفية لديهم. لتعزيز قدرات الكشف، استخدمت الدراسة 60 ميزة أسلوبية عبر أربعة نماذج تعلم آلي: الانحدار اللوجستي، آلة الدعم الناقل (SVM)، الغابة العشوائية، وXGBoost. من بين هذه النماذج، تفوق XGBoost على الآخرين، محققًا دقة تصل إلى 96% ودرجة AUC تبلغ 99%، ويرجع ذلك بشكل كبير إلى استخدامه الفعال لميزات مثل عدد الأفعال الأمر، وكثافة الجمل، واستخدام الضمائر في الشخص الأول.
تؤكد النتائج على أهمية التحليل الأسلوبي في تحديد نية الاحتيال، حيث أظهرت دراسة الإزالة أن حتى مجموعة مختصرة من الميزات تحافظ على قوة النموذج. ستركز الأبحاث المستقبلية على تحسين اختيار الميزات لتحسين أداء النموذج وتعقيده، بالإضافة إلى استكشاف آثار الاحتيال الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي عبر منصات البريد الإلكتروني المختلفة، بما في ذلك بريد iCloud. مجموعة البيانات الخاصة برسائل البريد الإلكتروني الاحتيالية التي تم إنشاؤها بواسطة الذكاء الاصطناعي متاحة للجمهور على Kaggle، مما يعزز المزيد من التحقيق في هذا المجال الحيوي من الأمن السيبراني.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التأثير التحويلي لنماذج اللغة الكبيرة (LLMs) على معالجة اللغة الطبيعية، وخاصة في إنشاء نصوص شبيهة بالبشر لمجموعة متنوعة من التطبيقات مثل إنشاء المحتوى، خدمة العملاء، والدعم الفني. ومع ذلك، فإنها تؤكد أيضًا على المخاطر المرتبطة، ولا سيما الاستخدام المحتمل لنماذج LLMs في صياغة رسائل البريد الإلكتروني الاحتيالية المقنعة، مما يشكل تهديدات كبيرة للأفراد والمنظمات. تحدد الورقة سهولة قدرة المجرمين السيبرانيين على إنشاء رسائل احتيالية مخصصة باستخدام نماذج LLMs المتاحة على نطاق واسع، مما يتجاوز مرشحات البريد العشوائي التقليدية ويستغل الثغرات في أنظمة أمان البريد الإلكتروني.
لمعالجة هذه التحديات، تبحث الدراسة في سؤالين بحثيين رئيسيين: فعالية مرشحات البريد العشوائي لمقدمي خدمات البريد الإلكتروني الرئيسيين في اكتشاف رسائل البريد الإلكتروني الاحتيالية التي تم إنشاؤها بواسطة الذكاء الاصطناعي والميزات الأسلوبية واللغوية التي يمكن أن تميز هذه الرسائل عن الرسائل الشرعية. تضمنت الأبحاث إنشاء 63 رسالة بريد إلكتروني احتيالية تعتمد على الذكاء الاصطناعي واختبارها عبر مزودي خدمات البريد الإلكتروني المختلفة، مما كشف عن تفاوتات كبيرة في معدلات الكشف – حيث قامت Yahoo بتصنيف 90% من الرسائل كرسائل عشوائية، بينما قامت Microsoft Outlook بتصنيف 4% فقط. تشير النتائج إلى الحاجة الملحة لتحسين أنظمة تصفية البريد العشوائي. تقترح الورقة نهج كشف جديد يستخدم 60 ميزة أسلوبية، العديد منها تم تطبيقه حديثًا على كشف الاحتيال، لتعزيز تحديد محاولات الاحتيال التي يتم إنشاؤها بواسطة الذكاء الاصطناعي. أظهرت المنهجية فعالية عالية، حيث حقق XGBoost دقة تصل إلى 96%، مع التركيز على ميزات مثل استخدام الأفعال الأمر وكثافة الجمل. لا تعزز هذه الدراسة فقط قابلية تفسير استراتيجيات الكشف ولكنها أيضًا تحدد معيارًا جديدًا لتطبيق التحليل الأسلوبي في الأمن السيبراني.
الطرق
تحدد قسم المنهجية في الدراسة العملية الشاملة المستخدمة في إنشاء الرسائل، واستخراج الميزات الأسلوبية، وتنفيذ تصنيف التعلم الآلي. يتم تقديم تمثيل بصري لهذه العملية في الشكل 2. يتناول القسم الفرعي التالي منهجية إنشاء البريد الإلكتروني.
بالنسبة للإعداد التجريبي، تم تنفيذ جميع التجارب على منصة Google Colab، باستخدام التكوينات الافتراضية من مكتبة Scikit-Learn لنماذج الانحدار اللوجستي، وآلة الدعم الناقل (SVM)، وXGBoost. تم تدريب نموذج الغابة العشوائية بشكل خاص باستخدام 100 شجرة. تتكون مجموعة البيانات من 60 ميزة أسلوبية، والتي تم تقسيمها إلى مجموعات تدريب واختبار بنسبة 80/20، مما يسهل تدريب النموذج وتقييمه بشكل قوي. يضمن هذا التقسيم أن يتم تدريب النماذج على 80% من البيانات بينما يتم الاحتفاظ بـ 20% المتبقية للاختبار، كما هو موضح في الجدول 1، الذي يسرد الميزات الأسلوبية المستخرجة من الرسائل.
النتائج
تتناول نتائج هذه الدراسة عدة أسئلة بحثية تتعلق بأداء مرشحات البريد العشوائي لمقدمي خدمات البريد الإلكتروني ضد رسائل البريد الإلكتروني الاحتيالية التي تم إنشاؤها بواسطة الذكاء الاصطناعي، والاختلافات الدلالية واللغوية بين رسائل البريد الإلكتروني الاحتيالية التي تم إنشاؤها بواسطة الذكاء الاصطناعي وتلك المكتوبة بواسطة البشر، وفعالية مصنفات التعلم الآلي المختلفة في اكتشاف رسائل البريد الإلكتروني الاحتيالية. أظهر تقييم مرشحات البريد العشوائي لـ Gmail وOutlook وYahoo فعالية متفاوتة في تحديد رسائل البريد الإلكتروني الاحتيالية التي تم إنشاؤها بواسطة الذكاء الاصطناعي مقارنة بتلك الشرعية. سلطت التحليلات الدلالية واللغوية الضوء على أنماط الاحتيال الشائعة، مثل السلطة والعجلة، مما يميز رسائل البريد الإلكتروني التي تم إنشاؤها بواسطة الذكاء الاصطناعي عن تلك الموجودة في مجموعات البيانات المعروفة مثل SpamAssassin وCEAS.
فيما يتعلق بأداء التعلم الآلي، تم تقييم أربعة مصنفات – الانحدار اللوجستي، SVM، الغابة العشوائية، وXGBoost – باستخدام 60 ميزة أسلوبية. حقق نموذج XGBoost أعلى دقة بنسبة 96%، مع استرجاع مثالي لرسائل البريد الإلكتروني الاحتيالية ودقة عالية لكل من التصنيفات الشرعية والاحتيالية. كما حقق كل من الانحدار اللوجستي والغابة العشوائية أداءً جيدًا، حيث حقق كل منهما دقة تصل إلى 92%، بينما تأخر نموذج SVM بدقة 85% ومعدل إيجابيات كاذبة أعلى. أكدت دراسة الإزالة على أهمية الميزات الأسلوبية في تعزيز قدرات الكشف، خاصة بالنسبة لنموذج XGBoost، الذي أظهر الأداء الأكثر توازنًا عبر جميع المقاييس، مما يجعله الخيار الأكثر فعالية لاكتشاف الاحتيال في هذا السياق.
المناقشة
تقدم الدراسة مساهمات كبيرة في مجال اكتشاف الاحتيال، خاصة في سياق رسائل البريد الإلكتروني التي تم إنشاؤها بواسطة الذكاء الاصطناعي. أولاً، تجري تحليلًا تجريبيًا لمرشحات البريد العشوائي من مقدمي خدمات البريد الإلكتروني الرئيسيين – Gmail وYahoo وMicrosoft Outlook – باستخدام 63 رسالة بريد إلكتروني احتيالية تم إنشاؤها بواسطة الذكاء الاصطناعي. تكشف النتائج أن هذه المرشحات تظهر ثغرات ملحوظة، مما يسمح للعديد من محاولات الاحتيال بتجاوز الكشف، بينما تسلط الضوء أيضًا على معدل مقلق من الإيجابيات الكاذبة عندما تم اختبار رسائل البريد الإلكتروني الشرعية التي تم إنشاؤها بواسطة الذكاء الاصطناعي. ثانيًا، تقدم الدراسة 47 ميزة أسلوبية جديدة تركز على الخصائص النصية الجوهرية، مثل تعقيد الجمل واستخدام الأفعال، بدلاً من الاعتماد فقط على الإشارات الخارجية مثل الروابط المشبوهة. تهدف هذه الطريقة إلى تعزيز قدرات الكشف، خاصةً لهجمات الاحتيال من نوع صفر يوم حيث قد تكون المؤشرات التقليدية غائبة.
بالإضافة إلى ذلك، تستخدم الدراسة تقنيات التعلم الآلي القابلة للتفسير، محققة دقة تصنيف تصل إلى 96% مع كون نموذج XGBoost الأكثر فعالية. تؤكد هذه الطريقة على الخصائص اللغوية التي تميز الاحتيال عن الرسائل الشرعية، مما يوفر بديلاً شفافًا للنماذج التقليدية المغلقة. كما تساهم الدراسة في توفير مجموعة بيانات متاحة للجمهور من رسائل البريد الإلكتروني الاحتيالية والشرعية التي تم إنشاؤها بواسطة الذكاء الاصطناعي، مما يسهل المزيد من الأبحاث في هذا المجال. بشكل عام، تؤكد الورقة على تطور مشهد التهديدات الذي يطرحه الذكاء الاصطناعي في هجمات الاحتيال وضرورة وجود طرق كشف متقدمة تستفيد من كل من التحليل الأسلوبي والتعلم الآلي.
القيود
تقدم الطريقة المقترحة لاكتشاف الاحتيال مزايا ملحوظة، خاصة تركيزها على الميزات الأسلوبية بدلاً من المؤشرات الخارجية التقليدية مثل الروابط وسمعة النطاق. يعزز هذا التحليل الجوهري فعاليتها ضد هجمات الاحتيال من نوع صفر يوم، التي قد تفتقر إلى علامات ضارة قابلة للتعرف. يساهم استخدام نماذج التعلم الآلي القابلة للتفسير، مثل الانحدار اللوجستي وXGBoost، في الشفافية في اتخاذ القرارات، مما يعزز الثقة بين ممارسي الأمن السيبراني من خلال توضيح الميزات التي تؤثر على قرارات التصنيف. بالإضافة إلى ذلك، تستخدم الدراسة مجموعة بيانات حديثة من رسائل البريد الإلكتروني الاحتيالية التي تم إنشاؤها بواسطة الذكاء الاصطناعي من GPT-4o، مما يعالج قيود الأبحاث السابقة التي غالبًا ما اعتمدت على مجموعات بيانات قديمة.
ومع ذلك، فإن الدراسة ليست خالية من القيود. قد يحد حجم مجموعة البيانات الصغيرة نسبيًا، التي تتكون من 63 رسالة احتيالية و63 رسالة شرعية فقط، من تعميم النتائج. بينما كان الهدف الرئيسي هو تقييم ما إذا كان مقدمو خدمات البريد الإلكتروني سيصنفون هذه الرسائل التي تم إنشاؤها بواسطة الذكاء الاصطناعي كرسائل عشوائية بناءً فقط على محتواها النصي، يجب أن تأخذ الأبحاث المستقبلية في الاعتبار مجموعات بيانات أكبر لتعزيز القوة. علاوة على ذلك، فإن الاعتماد على نموذج LLM واحد (GPT-4o) لإنشاء البريد الإلكتروني يثير مخاوف بشأن قابلية تطبيق النتائج على نماذج أخرى، على الرغم من الأدلة التي تشير إلى الحد الأدنى من الانحراف في سياقات الاحتيال عبر نماذج LLMs المختلفة. أخيرًا، قد يحد تركيز الدراسة على Gmail وOutlook وYahoo – كل منها لديه أنظمة تصفية متطورة – من تعميم النتائج على عملاء البريد الإلكتروني الآخرين الذين لديهم آليات تصفية مختلفة. هناك حاجة إلى تحقيقات مستقبلية لمعالجة هذه القيود واستكشاف مجموعة أوسع من نماذج LLM وخدمات البريد الإلكتروني.
DOI: https://doi.org/10.1016/j.eswa.2025.127044
Publication Date: 2025-03-10
Author(s): Chidimma Opara et al.
Primary Topic: Spam and Phishing Detection
Overview
The research investigates the efficacy of current email systems in detecting AI-generated phishing emails, specifically those created using the GPT-4o model. An analysis of 63 such emails revealed that Gmail and Outlook allowed a higher number of these phishing attempts to bypass their filters compared to Yahoo, indicating significant vulnerabilities in their filtering mechanisms. To enhance detection capabilities, the study employed 60 stylometric features across four machine learning models: Logistic Regression, Support Vector Machine (SVM), Random Forest, and XGBoost. Among these, XGBoost outperformed the others, achieving an accuracy of 96% and an AUC score of 99%, largely due to its effective utilization of features such as imperative verb count, clause density, and first-person pronoun usage.
The findings underscore the importance of stylometric analysis in identifying phishing intent, with an ablation study indicating that even a reduced set of features maintains the model’s robustness. Future research will focus on refining feature selection to optimize model performance and complexity, as well as exploring the implications of AI-generated phishing across different email platforms, including iCloud mail. The dataset of AI-generated phishing emails is publicly accessible on Kaggle, promoting further investigation in this critical area of cybersecurity.
Introduction
The introduction of this research paper highlights the transformative impact of Large Language Models (LLMs) on natural language processing, particularly in generating human-like text for various applications such as content creation, customer service, and technical support. However, it also underscores the associated risks, notably the potential misuse of LLMs for crafting convincing phishing emails, which poses significant threats to individuals and organizations. The paper identifies the ease with which cybercriminals can generate tailored phishing messages using widely available LLMs, thereby circumventing traditional spam filters and exploiting vulnerabilities in email security systems.
To address these challenges, the study investigates two primary research questions: the effectiveness of major email providers’ spam filters in detecting AI-generated phishing emails and the stylometric and linguistic features that can differentiate these emails from legitimate ones. The research involved generating 63 AI-based phishing emails and testing them across various webmail providers, revealing significant disparities in detection rates—Yahoo flagged 90% of the emails as spam, while Microsoft Outlook only flagged 4%. The findings indicate a pressing need for improved spam-filtering systems. The paper proposes a novel detection approach that utilizes 60 stylometric features, many of which are newly applied to phishing detection, to enhance the identification of AI-generated phishing attempts. The methodology demonstrated high effectiveness, with XGBoost achieving 96% accuracy, emphasizing features such as imperative verb usage and clause density. This study not only advances the interpretability of detection strategies but also sets a new benchmark for the application of stylometric analysis in cybersecurity.
Methods
The methodology section of the study delineates the comprehensive process utilized for generating emails, extracting stylometric features, and implementing machine learning classification. A visual representation of this process is provided in Figure 2. The subsequent subsection elaborates on the email generation methodology.
For the experimental setup, all experiments were executed on the Google Colab platform, employing default configurations from the Scikit-Learn library for the Logistic Regression, Support Vector Machine (SVM), and XGBoost models. The Random Forest model was specifically trained using 100 trees. The dataset comprised 60 stylometric features, which were divided into training and test sets in an 80/20 ratio, facilitating robust model training and evaluation. This division ensures that the models are trained on 80% of the data while the remaining 20% is reserved for testing, as detailed in Table 1, which lists the extracted stylometric features from the emails.
Results
The results of this study address several research questions regarding the performance of email providers’ spam filters against AI-generated phishing emails, the semantic and lexical differences between AI-generated and human-written phishing emails, and the effectiveness of various machine learning classifiers in detecting phishing emails. The evaluation of Gmail, Outlook, and Yahoo’s spam filters revealed varying effectiveness in identifying AI-generated phishing emails compared to legitimate ones. Semantic and lexical analyses highlighted common phishing patterns, such as authority and urgency, distinguishing AI-generated emails from those in established datasets like SpamAssassin and CEAS.
In terms of machine learning performance, four classifiers—Logistic Regression, SVM, Random Forest, and XGBoost—were assessed using 60 stylometric features. The XGBoost model achieved the highest accuracy at 96%, with perfect recall for phishing emails and high precision for both legitimate and phishing classifications. Logistic Regression and Random Forest also performed well, each achieving 92% accuracy, while the SVM model lagged with an 85% accuracy and a higher false positive rate. The ablation study underscored the importance of stylometric features in enhancing detection capabilities, particularly for the XGBoost model, which demonstrated the most balanced performance across all metrics, making it the most effective choice for phishing detection in this context.
Discussion
The research presents significant contributions to the field of phishing detection, particularly in the context of AI-generated emails. Firstly, it conducts an empirical analysis of spam filters from major email providers—Gmail, Yahoo, and Microsoft Outlook—using 63 AI-generated phishing emails. The findings reveal that these filters exhibit notable vulnerabilities, allowing many phishing attempts to bypass detection, while also highlighting a concerning rate of false positives when legitimate AI-generated emails were tested. Secondly, the study introduces 47 novel stylometric features that focus on intrinsic textual properties, such as sentence complexity and verb usage, rather than relying solely on external signals like suspicious links. This approach aims to enhance detection capabilities, especially for zero-day phishing attacks where traditional indicators may be absent.
Additionally, the research employs interpretable machine learning techniques, achieving a classification accuracy of 96% with the XGBoost model being the most effective. This method emphasizes the linguistic characteristics that differentiate phishing from legitimate emails, providing a transparent alternative to conventional black-box models. The study also contributes a publicly available dataset of AI-generated phishing and legitimate emails, facilitating further research in this area. Overall, the paper underscores the evolving threat landscape posed by AI in phishing attacks and the necessity for advanced detection methods that leverage both stylometric analysis and machine learning.
Limitations
The proposed approach for phishing detection presents notable advantages, particularly its focus on stylometric features rather than traditional external indicators like URLs and domain reputation. This intrinsic analysis enhances its effectiveness against zero-day phishing attacks, which may lack recognizable malicious markers. The use of interpretable machine learning models, such as Logistic Regression and XGBoost, contributes to transparency in decision-making, fostering trust among cybersecurity practitioners by elucidating the features that inform classification decisions. Additionally, the study utilizes a modern dataset of AI-generated phishing emails from GPT-4o, addressing the limitations of previous research that often relied on outdated datasets.
However, the study is not without limitations. The relatively small dataset, comprising only 63 phishing and 63 legitimate emails, may restrict the generalizability of the findings. While the primary aim was to assess whether email providers would flag these AI-generated emails as spam based solely on their textual content, future research should consider larger datasets to enhance robustness. Furthermore, the reliance on a single LLM (GPT-4o) for email generation raises concerns about the applicability of the results to other models, despite evidence suggesting minimal deviation in phishing contexts across various LLMs. Lastly, the study’s focus on Gmail, Outlook, and Yahoo—each with sophisticated filtering systems—may limit the generalizability of the findings to other email clients with different filtering mechanisms. Future investigations are warranted to address these limitations and explore a broader range of LLMs and email services.