DOI: https://doi.org/10.3390/computation13120290
تاريخ النشر: 2025-12-09
المؤلف: Wu Sun وآخرون
الموضوع الرئيسي: تقنيات تصنيف البيانات غير المتوازنة
نظرة عامة
تناقش هذه الفقرة التحديات المتعلقة بالكشف عن احتيال فتح الحسابات في الخدمات المالية، مع تسليط الضوء على قيود القواعد الثابتة والمعايير التقليدية في التكيف مع تكتيكات الاحتيال المتطورة. تؤكد الدراسة على عدم التوازن الشديد في فئات الكشف عن الاحتيال، حيث تبلغ نسبة انتشار الاحتيال 1.10% فقط في معيار BAF Base في NeurIPS 2022. تقارن الدراسة بين نماذج التعلم الآلي المختلفة، بما في ذلك الانحدار اللوجستي، SVM (RBF)، الغابة العشوائية، LightGBM، ونموذج GRU، باستخدام مجموعة بيانات تتكون من 1,000,000 حساب وخط أنابيب معالجة موحد.
تدرب النماذج لتقليل دوال الخسارة الخاصة بها، مع التركيز على ضبط المعلمات الفائقة باستخدام مجموعة تطوير مصنفة تعتمد على درجة F1 الموزونة. يتم تطبيق وزن الفئة على النماذج التقليدية، بينما يستخدم نموذج GRU خسارة الانتروبيا المتقاطعة ذات الوزن الثابت لإعطاء الأولوية لحالات الاحتيال. تكشف النتائج أنه على الرغم من القيم المشابهة لمنطقة تحت المنحنى (AUC) وأهمية الميزات عبر عائلات النماذج، تحقق النماذج التقليدية دقة عالية ولكن استرجاع منخفض (1-6% استرجاع احتيال). في المقابل، يظهر نموذج GRU استرجاعًا أعلى بكثير يبلغ 78% عند دقة 5% (AUC = 0.8800). تؤكد النتائج على أهمية الاختيار الموضوعي ونقاط التشغيل بالإضافة إلى بنية النموذج عند معالجة عدم التوازن الشديد في فئات الكشف عن الاحتيال.
مقدمة
تتناول مقدمة الورقة التهديد المتزايد للاحتياج في قطاع الخدمات المالية، مع التركيز بشكل خاص على احتيال فتح الحسابات البنكية، الذي يستخدم هويات مسروقة أو اصطناعية لإنشاء حسابات للأنشطة غير القانونية مثل غسيل الأموال. يتسبب هذا النوع من الاحتيال في خسائر مالية كبيرة للمؤسسات ويشكل مخاطر تشغيلية وسمعة. أثبتت طرق الكشف التقليدية، المعتمدة على القواعد الثابتة، عدم كفايتها حيث إنها تفشل في التكيف مع تكتيكات الاحتيال المتطورة، مما يؤدي إلى معدلات إيجابية زائفة عالية وفقدان الأنشطة الاحتيالية. تسلط الورقة الضوء على الحاجة الملحة لحلول آلية وقابلة للتكيف، مما يؤدي إلى اعتماد تقنيات التعلم الآلي (ML) التي يمكن أن تحدد أنماطًا معقدة في البيانات.
ومع ذلك، فإن تطبيق التعلم الآلي في الكشف عن الاحتيال معقد بسبب عدم التوازن الشديد في الفئات، حيث تمثل الحالات الاحتيالية 1.10% فقط من مجموعة البيانات. يمكن أن يؤدي هذا عدم التوازن إلى تضليل النماذج المدربة على المعايير القياسية، حيث تميل إلى تفضيل الفئة الغالبة، مما يؤدي إلى فشلها في الكشف عن الاحتيال بشكل فعال. تهدف الدراسة إلى توضيح تأثير بنية النموذج مقابل أهداف التحسين في الإعدادات غير المتوازنة، مما يوفر تقييمًا محكمًا لمختلف النماذج، بما في ذلك الانحدار اللوجستي، آلة الدعم الناقل، الغابة العشوائية، LightGBM، وشبكة GRU مخصصة. تكشف النتائج أن النماذج التقليدية تؤدي بشكل ضعيف في تحديد الاحتيال، بينما يحقق نموذج GRU، عند تدريبه باستخدام دالة خسارة ذات وزن الفئة، استرجاعًا عاليًا يبلغ 78%. ومع ذلك، يأتي ذلك على حساب دقة منخفضة (5%)، مما يبرز التحديات التشغيلية التي تطرحها الإيجابيات الزائفة في أنظمة الكشف عن الاحتيال.
الطرق
تحدد فقرة الطرق إطارًا شاملاً لتقييم النماذج التقليدية ونماذج التعلم العميق في سياق مهمة الكشف عن الاحتيال المالي غير المتوازن بشدة. يبدأ المؤلفون بتفصيل مجموعة البيانات وخط أنابيب معالجة قوي مصمم لاستيعاب كل من أنواع البيانات العددية والفئوية. يصفون الهياكل واستراتيجيات التحسين للنماذج التقليدية للتعلم الآلي، بما في ذلك الانحدار اللوجستي (LR)، آلة الدعم الناقل (SVM)، الغابة العشوائية (RF)، وLightGBM (LGBM)، بالإضافة إلى نموذج شبكة عصبية متكررة متقدمة، وحدة تكرارية مغلقة (GRU). يتم تحديد استراتيجيات ضبط المعلمات الفائقة، وتعريف مقاييس التقييم الكمية، مع التأكيد على أهمية التحقق الإحصائي من خلال إعادة التقدير لمعالجة تحديات التصنيف غير المتوازن.
في الإعداد التجريبي، يتم تقسيم مجموعة البيانات، التي تتكون من 1,000,000 سجل، إلى مجموعات تدريب واختبار، حيث يتم تخصيص 80% (800,000 سجل) للتدريب و20% (200,000 سجل) كمجموعة اختبار محجوزة. يحافظ هذا الانقسام المصنف على نسبة الفئة الإيجابية الأصلية البالغة 1.10% لعلامة الاحتيال عبر كلا القسمين، مما يضمن أن التقييم يعكس التوزيع الحقيقي للبيانات. بالإضافة إلى ذلك، تسلط الفقرة الضوء على استخدام تقنيات محددة للنموذج وغير محددة للنموذج لحساب ومقارنة أهمية الميزات، وهو أمر حاسم لتعزيز قابلية تفسير النموذج.
النتائج
تقدم فقرة النتائج النتائج التجريبية من تقييم نماذج التعلم الآلي والتعلم العميق المختلفة على مجموعة اختبار تتكون من 200,000 حالة. يتم تقسيم التحليل إلى جزئين: أداء النماذج التقليدية المحسّنة عبر GridSearchCV باستخدام مقياس $f1_{\text{weighted}}$، وأداء النماذج المعاد تدريبها باستخدام تقنية class_weight=’balanced’ للتخفيف من عدم التوازن في الفئات.
تظهر إحدى النتائج الرئيسية أن هدف التحسين يؤثر بشكل كبير على أداء النموذج، متجاوزًا اختيار بنية النموذج. أظهرت النماذج التقليدية (SVM، LR، RF، LGBM) درجات عالية من منطقة تحت المنحنى (AUC) وتحديد ميزات فعالة، مع تسليط الضوء بشكل خاص على ميزات مثل name_email_similarity وvelocity_24h. ومع ذلك، فإن اعتمادها على مقياس $f1_{\text{weighted}}$، الذي فضل الفئة الغالبة (98.9% غير احتيالي)، أدى إلى معدلات استرجاع ضعيفة للكشف عن الاحتيال (1-6%). تؤكد هذه النتيجة على المخاطر المرتبطة بالتحسين المدفوع بالدقة. في المقابل، حقق نموذج GRU، الذي استخدم دالة خسارة ذات وزن الفئة تتماشى مع أهداف المشكلة، استرجاعًا يبلغ 78% للكشف عن الاحتيال، مما يشير إلى أنه على الرغم من وجود إشارات تنبؤية للاحتياج، فإن المجال يقدم توازنًا كبيرًا بين الدقة والاسترجاع.
المناقشة
في هذه الدراسة، نستكشف أداء نماذج التعلم الآلي المختلفة في سياق مجموعة بيانات غير متوازنة بشدة، مع التركيز بشكل خاص على الكشف عن الاحتيال. تم هيكلة البحث حول ثلاثة أسئلة رئيسية: سلوك النماذج التقليدية (الانحدار اللوجستي، آلة الدعم الناقل، الغابة العشوائية، وLightGBM) تحت الضبط لفئة الأقلية، وفعالية هدف ذو وزن الفئة في تحسين استرجاع فئة الأقلية باستخدام وحدة تكرارية مغلقة (GRU)، وما إذا كانت عائلات النماذج المختلفة تتقارب على نفس الميزات ذات الإشارة العالية. تكشف النتائج أنه على الرغم من أن النماذج التقليدية حددت نفس الميزات الأساسية الدالة على الاحتيال، فإن ضبطها لدرجة F1 الموزونة أدى إلى فشلها في الكشف بشكل فعال عن فئة الأقلية، مما نتج عنه استرجاع منخفض على الرغم من مؤشرات الأداء الإجمالية العالية.
تظهر الدراسة أن استخدام نهج ذو وزن الفئة مع GRU يعزز بشكل كبير الاسترجاع لفئة الأقلية، حيث يحقق استرجاعًا يبلغ 78% على حساب الدقة، التي تنخفض إلى 5%. يؤدي هذا التوازن إلى عبء تشغيلي كبير، مع تقدير 19 إيجابية زائفة لكل إيجابية حقيقية تم اكتشافها. كما تسلط التحليل الضوء على أن جميع النماذج تتقارب على تصنيفات أهمية الميزات المماثلة، مما يشير إلى أن التباين في الأداء ناتج بشكل أساسي عن اختيار دالة الهدف بدلاً من الفشل في تحديد الإشارات ذات الصلة. وهذا يبرز الأهمية الحاسمة لاختيار النموذج واستراتيجيات الضبط في معالجة عدم التوازن في مهام الكشف عن الاحتيال.
القيود
تحدد فقرة القيود عدة قيود حاسمة للدراسة التي تركز على احتيال فتح الحسابات باستخدام معيار BAF الاصطناعي. من الجدير بالذكر أن البحث لا يأخذ في الاعتبار تدفقات المعاملات بعد الفتح، أو التدريب الحساس للتكاليف بخلاف وزن الفئة، أو الضوابط الإنتاجية مثل إدارة الحالات وحلقات التغذية الراجعة. تثير الطبيعة الاصطناعية لمجموعة البيانات مخاوف بشأن الصلاحية الخارجية عبر مؤسسات وجغرافيات مختلفة؛ ومع ذلك، فإن الظواهر غير المتوازنة الملاحظة قابلة للتطبيق على سياقات مختلفة في الائتمان، والبنوك، وتسجيل التأمين. تكشف التحليل أن كل من النماذج التقليدية ونموذج GRU الناجح يتفقان على الميزات الأكثر تنبؤًا، مما يشير إلى أن فشل النماذج التقليدية ناتج عن عدم توافق الأهداف بدلاً من تحديد الميزات.
علاوة على ذلك، بينما تسجل نماذج التعلم الآلي التقليدية (SVM، LR، RF، LGBM) دقة موزونة عالية، واسترجاع، ودرجات F1، فإن هذه المقاييس مضللة بسبب اعتمادها على الفئة غير الاحتيالية السائدة. على الرغم من المحاولات لتحقيق توازن في أوزان الفئات، توقعت النماذج في الغالب “غير احتيالي”، مما أدى إلى الحد الأدنى من الكشف عن المعاملات الاحتيالية—فقط 1% لـ SVM وLR، و6% لـ RF وLGBM. يبرز هذا قيدًا كبيرًا: إن تمكين وضع “متوازن” فقط في المكتبات القياسية لا يعالج بشكل كافٍ التحديات التي تطرحها مجموعات البيانات غير المتوازنة، خاصة عندما لا تعطي المقياس العالمي للتحقق الأولوية للاسترجاع. تختتم الدراسة بالاعتراف بهذه القيود المنهجية وتقترح أنها تمثل فرصًا للبحث المستقبلي.
DOI: https://doi.org/10.3390/computation13120290
Publication Date: 2025-12-09
Author(s): Wu Sun et al.
Primary Topic: Imbalanced Data Classification Techniques
Overview
The section discusses the challenges of detecting account opening fraud in financial services, highlighting the limitations of static rules and traditional metrics in adapting to evolving fraudulent tactics. The study emphasizes the severe class imbalance in fraud detection, with a fraud prevalence of only 1.10% in the NeurIPS 2022 BAF Base benchmark. It compares various machine learning models, including logistic regression, SVM (RBF), Random Forest, LightGBM, and a GRU model, using a dataset of 1,000,000 accounts and a unified preprocessing pipeline.
The models are trained to minimize their loss functions, with hyperparameter tuning focused on the stratified development set using the weighted F1 score. Class weighting is applied to the classical models, while the GRU employs a fixed class-weighted cross-entropy loss to prioritize fraud cases. The findings reveal that, despite similar area under the curve (AUC) values and feature importance across model families, the classical models achieve high precision but low recall (1-6% fraud recall). In contrast, the GRU model demonstrates a significantly higher recall of 78% at 5% precision (AUC = 0.8800). The results underscore the importance of objective choice and operating points in addition to model architecture when addressing extreme class imbalance in fraud detection.
Introduction
The introduction of the paper addresses the growing threat of fraud in the financial services sector, particularly focusing on bank account opening fraud, which utilizes stolen or synthetic identities to create accounts for illicit activities such as money laundering. This type of fraud incurs substantial financial losses for institutions and poses operational and reputational risks. Traditional detection methods, reliant on static rules, have proven inadequate as they fail to adapt to evolving fraud tactics, resulting in high false positive rates and missed fraudulent activities. The paper highlights the urgent need for automated, adaptive solutions, leading to the adoption of machine learning (ML) techniques that can identify complex patterns in data.
However, the application of ML in fraud detection is complicated by severe class imbalance, with fraudulent cases representing only 1.10% of the dataset. This imbalance can mislead models trained on standard metrics, as they tend to favor the majority class, thereby failing to detect fraud effectively. The study aims to clarify the impact of model architecture versus optimization objectives in imbalanced settings, providing a controlled evaluation of various models, including Logistic Regression, Support Vector Machine, Random Forest, LightGBM, and a custom Gated Recurrent Unit (GRU) network. The findings reveal that classical models perform poorly in identifying fraud, while the GRU model, when trained with a class-weighted loss function, achieves a high recall of 78%. Nonetheless, this comes at the cost of low precision (5%), highlighting the operational challenges posed by false positives in fraud detection systems.
Methods
The Methods section outlines a comprehensive framework for evaluating classical and deep learning models in the context of a highly imbalanced financial fraud detection task. The authors begin by detailing the dataset and a robust preprocessing pipeline designed to accommodate both numerical and categorical data types. They describe the architectures and optimization strategies for traditional machine learning models, including Logistic Regression (LR), Support Vector Machine (SVM), Random Forest (RF), and LightGBM (LGBM), as well as an advanced recurrent neural network model, Gated Recurrent Unit (GRU). Hyperparameter tuning strategies are specified, and quantitative evaluation metrics are defined, emphasizing the importance of statistical validation through bootstrapping to address the challenges of imbalanced classification.
In the experimental setup, the dataset, consisting of 1,000,000 records, is divided into training and test sets, with 80% (800,000 records) allocated for training and 20% (200,000 records) reserved as a held-out test set. This stratified split maintains the original positive class ratio of 1.10% for the fraud label across both partitions, ensuring that the evaluation reflects the true distribution of the data. Additionally, the section highlights the use of model-specific and model-agnostic techniques for computing and comparing feature importance, which is crucial for enhancing model interpretability.
Results
The results section presents the empirical findings from evaluating various machine learning and deep learning models on a test set of 200,000 instances. The analysis is divided into two parts: the performance of classical models optimized via GridSearchCV using the $f1_{\text{weighted}}$ metric, and the performance of models retrained with the class_weight=’balanced’ technique to mitigate class imbalance.
A key finding is that the optimization objective significantly influences model performance, overshadowing the choice of model architecture. The classical models (SVM, LR, RF, LGBM) demonstrated high Area Under the Curve (AUC) scores and effective feature identification, particularly highlighting features such as name_email_similarity and velocity_24h. However, their reliance on the $f1_{\text{weighted}}$ metric, which favored the majority class (98.9% non-fraud), led to poor recall rates for fraud detection (1-6%). This outcome underscores the risks associated with accuracy-driven optimization. In contrast, the GRU model, which utilized a class-weighted loss function aligned with the problem’s objectives, achieved a 78% recall for fraud detection, indicating that while predictive signals for fraud are present, the domain presents a significant precision-recall trade-off.
Discussion
In this study, we investigate the performance of various machine learning models in the context of a highly imbalanced dataset, specifically focusing on fraud detection. The research is structured around three key questions: the behavior of classical models (Logistic Regression, Support Vector Machine, Random Forest, and LightGBM) under tuning for the minority class, the effectiveness of a class-weighted objective in improving minority-class recall using a Gated Recurrent Unit (GRU), and whether different model families converge on the same high-signal features. The findings reveal that while classical models identified the same core features indicative of fraud, their tuning for the weighted F1-score led to a failure in effectively detecting the minority class, resulting in low recall despite high aggregate performance metrics.
The study demonstrates that employing a class-weighted approach with the GRU significantly enhances recall for the minority class, achieving a recall of 78% at the cost of precision, which drops to 5%. This trade-off results in a substantial operational burden, with an estimated 19 false positives for every true positive detected. The analysis also highlights that all models converge on similar feature importance rankings, indicating that the disparity in performance is primarily due to the choice of objective function rather than a failure to identify relevant signals. This underscores the critical importance of model selection and tuning strategies in addressing class imbalance in fraud detection tasks.
Limitations
The section on limitations outlines several critical constraints of the study focused on account opening fraud using the BAF synthetic benchmark. Notably, the research does not account for post-opening transactional streams, cost-sensitive training beyond class weighting, or production controls such as case management and feedback loops. The synthetic nature of the dataset raises concerns about external validity across different institutions and geographies; however, the imbalanced phenomena observed are applicable to various contexts in credit, banking, and insurance onboarding. The analysis reveals that both classical models and the successful Gated Recurrent Unit (GRU) model agree on the most predictive features, indicating that the failure of classical models stemmed from objective misalignment rather than feature identification.
Furthermore, while classical machine learning models (SVM, LR, RF, LGBM) report high weighted precision, recall, and F1-scores, these metrics are misleading due to their reliance on the dominant non-fraud class. Despite attempts to balance class weights, the models predominantly predicted “non-fraud,” resulting in minimal detection of fraudulent transactions—only 1% for SVM and LR, and 6% for RF and LGBM. This highlights a significant limitation: merely enabling a “balanced” mode in standard libraries does not adequately address the challenges posed by imbalanced datasets, particularly when the global validation metric does not prioritize recall. The study concludes by acknowledging these methodological limitations and suggests that they present opportunities for future research.