DOI: https://doi.org/10.1109/access.2026.3686374
تاريخ النشر: 2026-01-01
المؤلف: Joyjit Roy وآخرون
الموضوع الرئيسي: تسرب العملاء والتجزئة
نظرة عامة
تناقش هذه الفقرة أهمية توقع فقدان العملاء في الصناعات المعتمدة على البيانات، مشددة على أن الاحتفاظ بالعملاء الحاليين يكون عادة أكثر فعالية من حيث التكلفة من اكتساب عملاء جدد. تبرز التحديات المرتبطة بتوقع الفقدان من مجموعات البيانات الجدولية المنظمة، بما في ذلك عدم توازن الفئات، والتفاعلات غير الخطية بين الميزات، وأنواع الميزات المتنوعة. تقدم الدراسة بنية هجينة جديدة تجمع بين المحولات المعتمدة على الميزات (FT-Transformer) والأشجار المعززة بالتدرج من خلال نهج تجميع واعٍ للتصحيح، مما يعالج مشكلات التحقق الإحصائي، وتصحيح الاحتمالات، وإمكانية إعادة الإنتاج السائدة في الأبحاث السابقة.
يستخدم FT-Transformer آليات الانتباه الذاتي لالتقاط التفاعلات بين الميزات من الدرجة الأعلى، بينما يقوم XGBoost بنمذجة الحدود المعززة بالتدرج بشكل فعال. لمواجهة عدم توازن الفئات، يستخدم الإطار وظائف خسارة موزونة حسب الفئة، مما يتجنب التكرار الاصطناعي ويحافظ على سلامة توزيعات الفئات الأقل. تستخدم طريقة التجميع تقنية التجميع خارج الطي (OOF) مع متعلم لوجستي للتصحيح لإعادة ضبط مخرجات النماذج الأساسية وتحسين أوزان الجمع. أظهر النموذج الهجين أداءً متفوقًا على مجموعة بيانات فقدان العملاء في بنك عام، محققًا درجة F1 تبلغ 62.10%، وAUC-ROC تبلغ 0.861، وPR-AUC تبلغ 0.647، متفوقًا بشكل كبير على نموذج متعدد الطبقات (MLP). تؤكد دراسات الإزالة مساهمات كل من مكون المحول واستراتيجية التجميع في الأداء العام، مما يثبت أن المنهجية المقترحة هي مرجع قابل لإعادة الإنتاج والتوسع لتوقع الفقدان في البيانات الجدولية المنظمة.
مقدمة
تتناول مقدمة هذه الورقة البحثية القضية الحرجة لفقدان العملاء، والتي تشكل تحديات مالية كبيرة عبر مختلف القطاعات، بما في ذلك البنوك، والتأمين، والتجارة الإلكترونية، والاتصالات. تبرز الورقة أن الاحتفاظ بالعملاء الحاليين يكون أكثر فعالية من حيث التكلفة بشكل كبير من اكتساب عملاء جدد، حيث تصل معدلات الفقدان في بعض الصناعات إلى 20-40% سنويًا. على سبيل المثال، يمكن أن يوفر تقليل الفقدان بنسبة 1% لبنك متوسط الحجم حوالي 10 ملايين دولار سنويًا، مما يبرز أهمية توقع الفقدان بدقة لاستراتيجيات الاحتفاظ الفعالة وتخصيص الموارد.
لمواجهة تحدي تحسين دقة توقع الفقدان، يقترح المؤلفون نهج نمذجة هجينة تجمع بين التعلم القائم على المحولات مع الأشجار المعززة بالتدرج. يتم تقييم هذه الطريقة بدقة من خلال التحقق الإحصائي. تشير النتيجة الرئيسية إلى أن نموذج التجميع المتراص يحقق درجة F1 تبلغ 62.10% وAUC تبلغ 0.861، وكلاهما يظهر تحسينات ذات دلالة إحصائية مقارنة بالنماذج الأساسية الموجودة. بالإضافة إلى ذلك، تقدم الورقة خريطة ميزات عبر المجالات توضح التشابهات المفاهيمية في أنواع الميزات عبر الصناعات المختلفة، مما يعزز قابلية تطبيق الإطار خارج نطاق البنوك.
طرق
تستعرض هذه الفقرة المنهجيات المستخدمة في دراسات توقع الفقدان، مشددة على التطور من الطرق الإحصائية التقليدية إلى التقنيات المتقدمة للتجميع. في البداية، كانت الانحدار اللوجستي مفضلًا بسبب قابليته للتفسير، لكن فرضية اللوغاريتمات الخطية تحد من فعاليته في التقاط العلاقات غير الخطية في مجموعات البيانات المعقدة. كشفت التقييمات اللاحقة للأشجار القرارية والمصنفات القائمة على القواعد أن طرق التجميع، مثل الغابات العشوائية وتقنيات التعزيز، تتفوق باستمرار على المصنفات الفردية. تعالج هذه الطرق التحديات التي تطرحها المساحات ذات الأبعاد العالية وعدم توازن الفئات، حيث يجمع التعلم التجميعي بين عدة متعلمين ضعفاء لتعزيز التعميم.
لقد أحدثت طرق التجميع المعتمدة على الأشجار، وخاصة غابة بريمان العشوائية وخوارزميات التعزيز مثل AdaBoost وتعزيز التدرج، تحولًا كبيرًا في المنهجية. لقد برز XGBoost كإطار رائد بسبب قدراته على التنظيم والتعامل الفعال مع القيم المفقودة، محققًا دقة ملحوظة في مجموعات بيانات فقدان العملاء في قطاع الاتصالات. تقدم المتغيرات الحديثة مثل Light-GBM وCatBoost تحسينات إضافية في الأداء مصممة خصيصًا لتناسب خصائص البيانات المحددة. تتضمن البنية العامة للمنهجية المقترحة معالجة بيانات العملاء، تليها نمذجة مستقلة باستخدام FT-Transformer وXGBoost، مما يؤدي إلى متعلم لوجستي ينتج احتمالات الفقدان النهائية.
نتائج
تسلط نتائج الدراسة الضوء على عدة مؤشرات رئيسية لفقدان العملاء، حيث تم تحديد العمر كأقوى مؤشر (SHAP = 0.18)، مما يشير إلى أن العملاء الأكبر سنًا هم أكثر عرضة للفقدان. المؤشر الثاني الأقوى هو المتغير IsActiveMember (SHAP = 0.15)، الذي يظهر أن العملاء غير النشطين لديهم ميل أكبر بكثير للمغادرة. بالإضافة إلى ذلك، يظهر عدد المنتجات التي يمتلكها العملاء اتجاهًا غير أحادي؛ حيث يكون أولئك الذين لديهم 1-2 منتج في خطر أقل من الفقدان، بينما يواجه العملاء الذين لديهم 3-4 منتجات خطرًا متزايدًا. تكشف التحليلات الجغرافية أن العملاء في ألمانيا هم أكثر عرضة للفقدان مقارنة بأولئك في فرنسا وإسبانيا.
لدعم قوة هذه النتائج، تفيد الدراسة بأن النتائج مستقرة عبر 25 تقسيمًا للبيانات (الانحراف المعياري لـ F1 = 0.72)، مما يشير إلى حساسية منخفضة لتقسيم البيانات. الخيارات المعمارية المتخذة في النموذج، بما في ذلك استخدام الانتباه الذاتي للتفاعلات وآلات تعزيز التدرج (GBM) لتحديد الحدود، تستند إلى المعرفة الميدانية بدلاً من الضبط التعسفي. علاوة على ذلك، تؤكد دراسات الإزالة أن تحسينات الأداء تنشأ من عناصر تصميم النموذج المحددة بدلاً من تعديلات المعلمات، مع أحجام تأثير كبيرة في الاختبارات الإحصائية (Cohen’s d = 0.9-2.8) تعزز من صحة النتائج المبلغ عنها.
مناقشة
في قسم المناقشة من الورقة البحثية، يتم تسليط الضوء على عدة تحديات تقنية في توقع الفقدان، مما يميزها عن مهام التصنيف القياسية. تشمل القضايا الرئيسية عدم توازن الفئات، حيث يشكل الفاقدون فقط 15-25% من قاعدة العملاء، مما يؤدي إلى مقاييس دقة مضللة؛ التفاعلات المعقدة بين الميزات التي تكون غير خطية ولا يمكن التقاطها بسهولة بواسطة النماذج التقليدية؛ الميزات المتنوعة في مجموعات البيانات المنظمة التي تعقد تطبيق الهياكل العميقة القياسية؛ وأحجام مجموعات البيانات المحدودة التي تزيد من خطر الإفراط في التكيف.
كما يتم مناقشة تطور نهج توقع الفقدان، مشيرًا إلى الانتقال من الطرق التقليدية مثل الانحدار اللوجستي والتجميع القائم على الأشجار إلى تقنيات أكثر تقدمًا مثل XGBoost والهياكل المعتمدة على المحولات. على الرغم من التقدم، لا يزال هناك فجوة منهجية كبيرة، خاصة في دمج النماذج المعتمدة على الأشجار مع الهياكل المعتمدة على المحولات، والتحقق الإحصائي الصارم، وتصحيح الاحتمالات. تعالج الورقة هذه الفجوات من خلال اقتراح بنية هجينة تجمع بين FT-Transformer وXGBoost، محققة درجة F1 تبلغ 62.10% مع تحسينات ذات دلالة إحصائية مقارنة بالنماذج الأساسية. بالإضافة إلى ذلك، تؤكد الدراسة على أهمية تحليل الإزالة الشامل وتقييم تصحيح الاحتمالات، مما يساهم في إمكانية إعادة إنتاج وموثوقية نماذج توقع الفقدان.
القيود
تقدم مجموعة البيانات المستخدمة في هذا البحث، على الرغم من أنها متاحة للجمهور، عدة قيود قد تؤثر على صحة النتائج. من الجدير بالذكر أنها تفتقر إلى تفاصيل المصدر، مثل المؤسسة المصدرية ومنهجية أخذ العينات، مما يثير القلق بشأن موثوقية البيانات. تلتقط مجموعة البيانات لقطة واحدة من بنك أوروبي، على الأرجح بين عامي 2010 و2015، دون أي تقدم زمني أو اتجاهات سلوكية، مما يحد من التحليل إلى رؤية ثابتة. بالإضافة إلى ذلك، فإن نطاقها الجغرافي محصور في فرنسا وألمانيا وإسبانيا. على الرغم من أن غياب القيم المفقودة يشير إلى معالجة مسبقة سابقة، إلا أن هذه القيود قد تؤثر على قابلية تعميم النتائج.
علاوة على ذلك، تستخدم الدراسة مجموعة من نموذجين معقدين، مما قد يعيق قابلية التفسير. على الرغم من أن مجموعة البيانات معترف بها كمعيار لتوقع الفقدان في البيانات الجدولية وتظهر عدم توازن تمثيلي للفئات بنسبة 20.4%، إلا أن هذه القيود تتطلب الحذر في تفسير النتائج وتطبيقها في سياقات أوسع.
DOI: https://doi.org/10.1109/access.2026.3686374
Publication Date: 2026-01-01
Author(s): Joyjit Roy et al.
Primary Topic: Customer churn and segmentation
Overview
The section discusses the significance of customer churn prediction in data-driven industries, emphasizing that retaining existing customers is generally more cost-effective than acquiring new ones. It highlights the challenges associated with predicting churn from structured tabular datasets, including class imbalance, nonlinear feature interactions, and heterogeneous feature types. The study presents a novel hybrid architecture that combines feature-tokenized transformers (FT-Transformer) with gradient-boosted trees through a calibration-aware stacking approach, addressing issues of statistical validation, probability calibration, and reproducibility prevalent in previous research.
The FT-Transformer utilizes self-attention mechanisms to capture higher-order feature interactions, while XGBoost effectively models gradient-boosted decision boundaries. To tackle class imbalance, the framework employs class-weighted loss functions, thus avoiding synthetic oversampling and maintaining the integrity of minority class distributions. The ensemble method utilizes out-of-fold (OOF) stacking with a logistic regression meta-learner to recalibrate the outputs of the base models and optimize combination weights. The hybrid model demonstrated superior performance on a public bank churn dataset, achieving an F1 score of 62.10%, an AUC-ROC of 0.861, and a PR-AUC of 0.647, significantly outperforming a Multi-Layer Perceptron (MLP) baseline. Ablation studies confirm the contributions of both the transformer component and the stacking strategy to the overall performance, establishing the proposed methodology as a reproducible and extensible reference for churn prediction in structured tabular data.
Introduction
The introduction of this research paper addresses the critical issue of customer churn, which poses significant financial challenges across various sectors, including banking, insurance, eCommerce, and telecommunications. The paper highlights that retaining existing customers is substantially more cost-effective than acquiring new ones, with churn rates in certain industries reaching 20-40% annually. For instance, a mere 1% reduction in churn could save a medium-sized bank approximately $10 million annually, underscoring the importance of accurate churn prediction for effective retention strategies and resource allocation.
To tackle the challenge of improving churn prediction accuracy, the authors propose a hybrid modeling approach that combines transformer-based feature learning with gradient-boosted decision trees. This method is rigorously evaluated through statistical validation. The main result indicates that the stacked ensemble model achieves an F1 score of 62.10% and an AUC of 0.861, both of which demonstrate statistically significant improvements over existing baselines. Additionally, the paper presents a cross-domain feature mapping that illustrates the conceptual similarities in feature types across different industries, reinforcing the framework’s applicability beyond banking.
Methods
The section outlines the methodologies employed in churn prediction studies, emphasizing the evolution from classical statistical methods to advanced ensemble techniques. Initially, logistic regression was favored for its interpretability, but its linear log-odds assumption limits its effectiveness in capturing nonlinear relationships in complex datasets. Subsequent evaluations of decision trees and rule-based classifiers revealed that ensemble methods, such as Random Forests and boosting techniques, consistently outperform single classifiers. These methods address challenges posed by high-dimensional feature spaces and class imbalances, with ensemble learning combining multiple weak learners to enhance generalization.
Tree-based ensemble methods, particularly Breiman’s Random Forest and boosting algorithms like AdaBoost and Gradient Boosting, have marked a significant shift in methodology. XGBoost has emerged as a leading framework due to its regularization capabilities and efficient handling of missing values, achieving notable accuracy in telecom churn datasets. Modern variants like Light-GBM and CatBoost offer additional performance enhancements tailored to specific data characteristics. The overall architecture of the proposed methodology involves preprocessing customer data, followed by independent modeling with FT-Transformer and XGBoost, culminating in a logistic regression meta-learner that outputs final churn probabilities.
Results
The results of the study highlight several key predictors of customer churn, with age identified as the strongest predictor (SHAP = 0.18), indicating that older customers are more likely to churn. The second strongest predictor is the variable IsActiveMember (SHAP = 0.15), which shows that inactive customers have a significantly higher propensity to leave. Additionally, the number of products held by customers exhibits a non-monotonic trend; those with 1-2 products are at a lower risk of churn, whereas customers with 3-4 products face an increased risk. Geographic analysis reveals that customers in Germany are more likely to churn compared to those in France and Spain.
Supporting the robustness of these findings, the study reports stable results across 25 data splits (F1 standard deviation = 0.72), indicating low sensitivity to data partitioning. The architectural choices made in the model, including the use of self-attention for interactions and gradient boosting machines (GBM) for boundary delineation, are grounded in domain knowledge rather than arbitrary tuning. Furthermore, ablation studies confirm that performance improvements arise from specific model design elements rather than hyperparameter adjustments, with large effect sizes in statistical tests (Cohen’s d = 0.9-2.8) reinforcing the validity of the reported results.
Discussion
In the discussion section of the research paper, several technical challenges in churn prediction are highlighted, distinguishing it from standard classification tasks. The primary issues include class imbalance, where churners constitute only 15-25% of the customer base, leading to misleading accuracy metrics; complex feature interactions that are nonlinear and not easily captured by traditional models; heterogeneous features in structured datasets that complicate the application of standard deep learning architectures; and limited dataset sizes that increase the risk of overfitting.
The evolution of churn prediction approaches is also discussed, noting the transition from traditional methods like logistic regression and tree-based ensembles to more advanced techniques such as XGBoost and transformer architectures. Despite the advancements, a significant methodological gap remains, particularly in the integration of tree-based models with transformer architectures, rigorous statistical validation, and probability calibration. The paper addresses these gaps by proposing a hybrid architecture that combines FT-Transformer and XGBoost, achieving an F1 score of 62.10% with statistically significant improvements over baseline models. Additionally, the study emphasizes the importance of comprehensive ablation analysis and probability calibration assessment, contributing to the reproducibility and reliability of churn prediction models.
Limitations
The dataset utilized in this research, while publicly accessible, presents several limitations that may impact the validity of the findings. Notably, it lacks provenance details, such as the source institution and the sampling methodology, which raises concerns about the reliability of the data. The dataset captures a singular snapshot from a European bank, likely between 2010 and 2015, without any temporal progression or behavioral trends, thus limiting the analysis to a static view. Additionally, its geographic scope is confined to France, Germany, and Spain. Although the absence of missing values indicates prior preprocessing, these constraints may affect the generalizability of the results.
Furthermore, the study employs an ensemble of two complex models, which may hinder interpretability. While the dataset is recognized as a benchmark for churn prediction in tabular data and exhibits a representative class imbalance of 20.4%, these limitations necessitate caution in interpreting the results and applying them to broader contexts.