DOI: https://doi.org/10.48084/etasr.10287
تاريخ النشر: 2025-06-04
المؤلف: Al-Anood Al-Maari وآخرون
الموضوع الرئيسي: تقنيات تصنيف البيانات غير المتوازنة
نظرة عامة
تتطلب الزيادة المتزايدة في المعاملات المالية عبر الإنترنت، وخاصة تلك التي تتضمن بطاقات الائتمان، تطوير أنظمة أمان متقدمة لمكافحة الاحتيال. يقدم هذا البحث نموذجًا جديدًا قائمًا على التعلم الآلي للكشف عن احتيال بطاقات الائتمان يدمج تقنيات الغابة العشوائية، والانحدار اللوجستي، وأدا بوست. الجانب المبتكر في هذا النهج هو آلية التصويت الناعم، التي تجمع بين نقاط القوة لهذه الخوارزميات المتنوعة لتعزيز دقة التصنيف وتقليل الإيجابيات الكاذبة.
يظهر النموذج التجميعي أداءً استثنائيًا، حيث يحقق دقة تبلغ 99.96%، ودقة تبلغ 99.53%، واسترجاعًا يبلغ 100%، ودرجة F1 تبلغ 0.99، ومنطقة تحت المنحنى (AUC) تبلغ 1.0. تشير هذه المقاييس إلى انخفاض كبير في كل من الإيجابيات الكاذبة والسلبية، مما يبرز موثوقية النموذج في الكشف عن الاحتيال. تؤكد التحقق على مجموعة بيانات PaySim المزيد من قوته، بدقة تبلغ 99.97%، مما يظهر قدرة النموذج على التكيف مع السيناريوهات المعقدة في العالم الحقيقي. يساهم هذا البحث في المجال من خلال تقديم إطار عمل قابل للتوسع بشكل كبير يعزز الحلول الحالية للكشف عن الاحتيال.
مقدمة
تسلط مقدمة ورقة البحث الضوء على الرقمنة السريعة للخدمات المالية، التي، بينما تعزز الراحة للمستهلكين والشركات، أدت أيضًا إلى زيادة كبيرة في احتيال بطاقات الائتمان. في عام 2021، بلغت خسائر احتيال بطاقات الدفع 32 مليار دولار أمريكي، مع توقعات تشير إلى أن هذا قد يرتفع إلى 48 مليار دولار أمريكي بحلول عام 2025. أنظمة الكشف عن الاحتيال التقليدية القائمة على القواعد، على الرغم من قدرتها على تحديد أنماط الاحتيال المعروفة، أصبحت غير كافية بشكل متزايد بسبب اعتمادها على قواعد محددة مسبقًا وبيانات تاريخية، مما يؤدي إلى معدلات عالية من السلبية الكاذبة والإيجابيات الكاذبة. تتطلب هذه القيود استكشاف حلول أكثر تكيفًا.
ظهر التعلم الآلي (ML) كبديل واعد للكشف عن الاحتيال، قادر على معالجة كميات هائلة من البيانات وتحديد أنماط معقدة في الوقت الحقيقي. بينما أظهرت نماذج التعلم الآلي الفردية مثل آلات الدعم الشعاعي (SVMs)، وأشجار القرار، والشبكات العصبية إمكانيات، غالبًا ما تعيقها مشكلات تتعلق بعدم توازن البيانات والتكيف الزائد. لتعزيز الأداء، توجه الباحثون إلى طرق التعلم التجميعي، التي تجمع بين نماذج متعددة لتحسين الدقة والموثوقية. ومع ذلك، غالبًا ما تفتقر التقنيات التجميعية الحالية إلى القابلية للتفسير ولا تعالج بشكل كافٍ تحديات المعالجة في الوقت الحقيقي وعدم توازن الفئات.
يقترح هذه الدراسة نموذجًا تجميعيًا جديدًا يدمج الغابة العشوائية، والانحدار اللوجستي، وأدا بوست. من خلال دمج هذه الخوارزميات، يهدف النموذج إلى تعزيز القابلية للتفسير والمخرجات الاحتمالية مع تحسين الدقة والموثوقية. يسعى هذا النهج إلى التغلب على قيود كل من نماذج الفردية والأساليب التجميعية الحالية، مما يوفر حلاً أكثر فعالية للكشف عن الاحتيال في الوقت الحقيقي يمكن أن يتكيف مع أنماط الاحتيال المتطورة ويدير مجموعات البيانات غير المتوازنة.
الطرق
توضح قسم المنهجية الخطوات المتخذة لتطوير نموذج تعلم آلي تجميعي للكشف عن احتيال بطاقات الائتمان. في البداية، شملت إعداد البيانات تقنيات المعالجة المسبقة مثل إزالة القيم الشاذة، والتعامل مع القيم المفقودة، والترميز الأحادي، تلاها تدريب نموذج تلقائي على بيانات المعاملات. تعزز هذه المعالجة المسبقة قدرة النموذج على تصنيف المعاملات بدقة. يدمج النموذج التجميعي الانحدار اللوجستي، والغابة العشوائية، وأدا بوست، مستفيدًا من الحدود الخطية للانحدار اللوجستي لتحسين القابلية للتفسير مع تعزيز أداء المصنفات الأكثر تعقيدًا.
أظهر النموذج التجميعي أداءً متفوقًا مقارنة بالمصنفات الفردية، حيث حقق معدل استرجاع يبلغ 80.10% ودرجة F1 تبلغ 85.64%. وصلت دقة النموذج إلى 99.97% على مجموعة بيانات PaySim، مع درجة عالية من منطقة تحت المنحنى (AUC)، مما يشير إلى فعاليته في التمييز بين المعاملات الشرعية والاحتيالية. ومع ذلك، كانت مدة تدريب النموذج التجميعي أطول بكثير (508.73 ثانية) مقارنة بالنماذج الأبسط مثل الانحدار اللوجستي (3.39 ثانية)، مما يبرز التوازن بين الدقة والكفاءة الحسابية. تؤكد الدراسة على الآثار العملية للنموذج على المؤسسات المالية، مشيرة إلى أن نشره يمكن أن يقلل من خسائر الاحتيال مع الحفاظ على الامتثال التنظيمي من خلال تحسين القابلية للتفسير. قد تركز الأبحاث المستقبلية على تقنيات التحسين، مثل التعلم الفيدرالي، لتحسين قابلية التوسع وخصوصية البيانات.
النتائج
تشير نتائج الدراسة على مجموعات بيانات ائتمان العملاء إلى أن النموذج التجميعي يتفوق بشكل كبير على المصنفات الفردية، بما في ذلك الانحدار اللوجستي، والغابة العشوائية، وأدا بوست، من حيث الفعالية في الكشف عن الاحتيال. حقق النموذج التجميعي دقة تبلغ 99.96%، تليه أدا بوست عن كثب، بينما أظهر درجة استرجاع مثالية تبلغ 1.0، مما يشير إلى أنه نجح في تحديد جميع الحالات الاحتيالية. تعكس دقته التي تبلغ 0.9953 ودرجة F1 التي تبلغ 0.99 توازنًا قويًا بين الدقة والاسترجاع، وهو أمر حاسم في سياق عدم توازن الفئات النموذجي في سيناريوهات الكشف عن الاحتيال. يتم التحقق من أداء النموذج بشكل أكبر من خلال منطقة تحت المنحنى (AUC) تبلغ 1.0 في تحليل منحنى التشغيل الاستقبالي (ROC)، مما يشير إلى تمييز مثالي بين المعاملات الاحتيالية وغير الاحتيالية.
فيما يتعلق بالكفاءة الحسابية، كانت أوقات التدريب تختلف بشكل كبير بين النماذج. كان نموذج أدا بوست هو الأسرع بمدة 0.50 ثانية، بينما استغرق الانحدار اللوجستي 2.29 ثانية بسبب طبيعته التكرارية. احتاج نموذج الغابة العشوائية إلى 25 ثانية، واستغرق النموذج التجميعي، الذي يدمج مصنفات متعددة، أطول وقت بمدة 60 ثانية. تسلط هذه النتائج الضوء على التوازن بين تعقيد النموذج ووقت التدريب، حيث تكون النماذج الأبسط مثل أدا بوست والانحدار اللوجستي أسرع ولكن أقل دقة، بينما توفر النماذج الأكثر تعقيدًا، مثل النموذج التجميعي والغابة العشوائية، دقة أعلى على حساب زيادة الطلبات الحسابية.
المناقشة
في هذا البحث، استخدم المؤلفون مجموعتين من البيانات، مجموعة بيانات ائتمان العملاء ومجموعة بيانات PaySim، لتطوير والتحقق من نموذج تجميعي للكشف عن الاحتيال. شمل عملية إعداد البيانات تنظيف المجموعات عن طريق إزالة القيم الشاذة التي تم تحديدها من خلال درجات z، والتعامل مع القيم المفقودة، وتطبيق الترميز الأحادي على المتغيرات الفئوية. كشفت تحليل خريطة الحرارة عن ارتباطات كبيرة بين سلوكيات مالية متنوعة، مما وجه اختيار الميزات للنموذج. جمع النموذج التجميعي بين تقنيات تعلم الآلة المتعددة، بما في ذلك الغابة العشوائية، والانحدار اللوجستي، وأدا بوست، مستفيدًا من نقاط قوتها لتعزيز الدقة التنبؤية والموثوقية في الكشف عن الاحتيال.
استخدم النهج التجميعي التصويت الناعم لتجميع التوقعات من المصنفات الفردية، مما أدى إلى تحسين مقاييس الأداء مثل الدقة، والدقة، والاسترجاع. أظهر النموذج فعالية استثنائية، حيث حقق دقة تبلغ 99.97% ودقة تبلغ 99.05% عند اختباره على مجموعة بيانات PaySim، مما يقلل بشكل كبير من الإيجابيات الكاذبة. تسلط هذه الدراسة الضوء على مزايا التعلم التجميعي في معالجة تعقيدات الكشف عن الاحتيال، مما يظهر قدرة النموذج على التعميم عبر مجموعات بيانات مختلفة مع الحفاظ على قابلية تفسير وموثوقية عالية.
DOI: https://doi.org/10.48084/etasr.10287
Publication Date: 2025-06-04
Author(s): Al-Anood Al-Maari et al.
Primary Topic: Imbalanced Data Classification Techniques
Overview
The increasing prevalence of online financial transactions, particularly those involving credit cards, necessitates the development of advanced security systems to combat fraud. This paper introduces a novel machine learning-based ensemble model for credit card fraud detection that integrates random forest, logistic regression, and AdaBoost techniques. The innovative aspect of this approach is its soft voting mechanism, which combines the strengths of these diverse algorithms to enhance classification accuracy and reduce false positives.
The ensemble model demonstrates exceptional performance, achieving an accuracy of 99.96%, precision of 99.53%, recall of 100%, F1 score of 0.99, and an Area Under the Curve (AUC) of 1.0. These metrics indicate a significant reduction in both false positives and negatives, underscoring the model’s reliability in fraud detection. Validation on the PaySim dataset further confirms its robustness, with an accuracy of 99.97%, showcasing the model’s adaptability to complex, real-world scenarios. This research contributes to the field by offering a highly extensible framework that enhances existing fraud detection solutions.
Introduction
The introduction of the research paper highlights the rapid digitization of financial services, which, while enhancing convenience for consumers and businesses, has also led to a significant increase in credit card fraud. In 2021, payment card fraud losses reached USD 32 billion, with projections suggesting this could rise to USD 48 billion by 2025. Traditional rule-based fraud detection systems, although capable of identifying known fraud patterns, are increasingly inadequate due to their reliance on predefined rules and historical data, resulting in high false negative and false positive rates. These limitations necessitate the exploration of more adaptive solutions.
Machine Learning (ML) has emerged as a promising alternative for fraud detection, capable of processing vast amounts of data and identifying complex patterns in real-time. While single ML models such as Support Vector Machines (SVMs), decision trees, and neural networks have shown potential, they are often hindered by issues related to data imbalance and overfitting. To enhance performance, researchers have turned to ensemble learning methods, which combine multiple models to improve accuracy and robustness. However, existing ensemble techniques often lack interpretability and do not adequately address real-time processing and class imbalance challenges.
This study proposes a novel ensemble model that integrates random forest, logistic regression, and AdaBoost. By combining these algorithms, the model aims to enhance interpretability and probabilistic outputs while improving accuracy and robustness. This approach seeks to overcome the limitations of both single-model and existing ensemble methods, providing a more effective solution for real-time fraud detection that can adapt to evolving fraud patterns and manage imbalanced datasets.
Methods
The methodology section outlines the steps taken to develop an ensemble machine learning model for credit card fraud detection. Initially, data preparation involved preprocessing techniques such as outlier removal, missing value handling, and one-hot encoding, followed by training an autoencoder on the transaction data. This preprocessing enhances the model’s ability to classify transactions accurately. The ensemble model integrates logistic regression, random forest, and AdaBoost, leveraging logistic regression’s linear decision boundaries to improve interpretability while enhancing the performance of more complex classifiers.
The ensemble model demonstrated superior performance compared to individual classifiers, achieving a recall rate of 80.10% and an F1 score of 85.64%. The model’s accuracy reached 99.97% on the PaySim dataset, with a high Area Under the Curve (AUC) score, indicating its effectiveness in distinguishing between legitimate and fraudulent transactions. However, the ensemble model’s training time was significantly longer (508.73 seconds) compared to simpler models like logistic regression (3.39 seconds), highlighting a trade-off between accuracy and computational efficiency. The study emphasizes the model’s practical implications for financial institutions, suggesting its deployment could mitigate fraud losses while maintaining regulatory compliance through enhanced interpretability. Future research may focus on optimization techniques, such as federated learning, to improve scalability and data privacy.
Results
The results of the study on customer credit datasets indicate that the ensemble model significantly outperforms individual classifiers, including logistic regression, random forest, and AdaBoost, in terms of effectiveness for fraud detection. The ensemble model achieved an accuracy of 99.96%, closely following AdaBoost, while demonstrating a perfect recall score of 1.0, indicating it successfully identified all fraudulent cases. Its precision of 0.9953 and an F1 score of 0.99 reflect a strong balance between precision and recall, crucial in the context of class imbalance typical in fraud detection scenarios. The model’s performance is further validated by an Area Under the Curve (AUC) of 1.0 in the Receiver Operating Characteristic (ROC) analysis, indicating perfect discrimination between fraudulent and non-fraudulent transactions.
In terms of computational efficiency, the training times varied significantly among the models. The AdaBoost model was the fastest at 0.50 seconds, while logistic regression took 2.29 seconds due to its iterative nature. The random forest model required 25 seconds, and the ensemble model, which integrates multiple classifiers, took the longest at 60 seconds. These findings highlight a trade-off between model complexity and training time, where simpler models like AdaBoost and logistic regression are quicker but less accurate, whereas more complex models, such as the ensemble and random forest, provide higher accuracy at the cost of increased computational demand.
Discussion
In this research, the authors utilized two datasets, the customer credit dataset and the PaySim dataset, to develop and validate an ensemble model for fraud detection. The data preparation process involved cleaning the datasets by removing outliers identified through z-scores, handling missing values, and applying one-hot encoding to categorical variables. A heatmap analysis revealed significant correlations among various financial behaviors, guiding feature selection for the model. The ensemble model combined multiple machine learning techniques, including random forest, logistic regression, and AdaBoost, leveraging their strengths to enhance predictive accuracy and robustness in fraud detection.
The ensemble approach employed soft voting to aggregate predictions from individual classifiers, resulting in improved performance metrics such as accuracy, precision, and recall. The model demonstrated exceptional effectiveness, achieving an accuracy of 99.97% and a precision of 99.05% when tested on the PaySim dataset, significantly reducing false positives. This study highlights the advantages of ensemble learning in addressing the complexities of fraud detection, showcasing the model’s ability to generalize across different datasets while maintaining high interpretability and reliability.