الجمع بين الدقة التنبؤية وقابلية التفسير: نهج مدفوع بالبيانات لتحليل دوران العملاء في قطاع الاتصالات Combining predictive accuracy and interpretability: a data-driven approach to telecom churn analysis

شارك:
المجلة: Scientific Reports، المجلد: 16، العدد: 1
DOI: https://doi.org/10.1038/s41598-025-34624-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41554919
تاريخ النشر: 2026-01-19
المؤلف: Pankaj Hooda وآخرون
الموضوع الرئيسي: تسرب العملاء والتجزئة

نظرة عامة

تواجه صناعة الاتصالات تحديات كبيرة في اكتساب العملاء والاحتفاظ بهم، خاصة بسبب معدلات فقدان العملاء العالية، التي تؤثر سلبًا على الربحية والنمو. تقدم هذه الدراسة XCL-Churn، وهو إطار تعلم جماعي مبتكر وقابل للتفسير يجمع بين XGBoost وCatBoost وLightGBM من خلال بنية ميتا للتصويت الناعم لتعزيز دقة توقع فقدان العملاء وقابليتها للتفسير. يستخدم الإطار خط أنابيب قوي لمعالجة البيانات يتضمن تعويض بايزي تكراري للتعامل مع البيانات المفقودة، وتقنيات قياس متعددة المراحل، وتحسين الميزات عبر استراتيجية هجينة من Boruta وRandom Forest. بالإضافة إلى ذلك، يتناول عدم توازن الفئات باستخدام تقنية زيادة العينة الأقلية الاصطناعية (SMOTE)، مما يضمن تعلمًا متوازنًا بين فئات الفقدان وعدم الفقدان.

تم تدريب نموذج XCL-Churn والتحقق منه على مجموعة بيانات كبيرة من تحدي توقع فقدان العملاء Expresso، والتي تتكون من حوالي 2.5 مليون سجل عملاء. حقق النموذج مقاييس أداء مثيرة للإعجاب، بما في ذلك دقة 0.9744، ودقة 0.9382، واسترجاع 0.8782، ودرجة F1 تبلغ 0.9125. من خلال استخدام LIME وSHAP للتفسير، قدم النموذج رؤى حول العوامل التي تؤثر على فقدان العملاء، مما يبرز أهمية الانتظام والرتابة. تؤكد النتائج على إمكانيات التعلم الآلي القابل للتفسير في توقع فقدان العملاء وتقترح تطبيقات مستقبلية عبر صناعات مختلفة، إلى جانب خطط لإنشاء منصة تحليل سلوك المستخدم في الوقت الحقيقي التي تدمج باستمرار ملاحظات العملاء لتعزيز دقة التوقع.

مقدمة

تلعب صناعة الاتصالات (TCI) دورًا محوريًا في تعزيز الاتصال العالمي والابتكار. مع نضوج الأسواق، تحول التركيز من اكتساب العملاء إلى الاحتفاظ بهم، حيث تؤثر معدلات الفقد العالية بشكل كبير على الربحية وتكاليف التشغيل. يعد الاحتفاظ بالعملاء الحاليين أكثر فعالية من حيث التكلفة من اكتساب عملاء جدد، مما يجعل تقليل الفقد هدفًا حاسمًا لصناعة الاتصالات. تؤدي عوامل مثل التسعير التنافسي، وتطور متطلبات العملاء، والضغوط التنظيمية إلى تفاقم التحديات التي تواجه مقدمي خدمات الاتصالات. وبالتالي، فإن فهم وتوقع فقدان العملاء بدقة أمر ضروري للحفاظ على نجاح الأعمال.

ظهر التعلم الآلي (ML) كأداة قيمة لتحليل سلوك العملاء وتحديد العملاء المحتملين الذين قد يفقدون، من خلال كشف الأنماط الخفية في مجموعات البيانات الكبيرة. ومع ذلك، فإن التعقيد ونقص الشفافية في العديد من نماذج التعلم الآلي تعيق تطبيقها العملي وثقة أصحاب المصلحة. تعالج الذكاء الاصطناعي القابل للتفسير (XAI) هذه القضايا من خلال تعزيز قابلية تفسير قرارات النموذج، مما يسهل الحصول على رؤى قابلة للتنفيذ. في بيئة تنافسية متزايدة، حيث تتعرض هوامش الربح لضغوط من عوامل مختلفة بما في ذلك خدمات OTT، فإن توقع الفقد بدقة أمر حيوي لفهم عادات العملاء، وتعزيز التفاعل، والحفاظ على ميزة تنافسية.

الطرق

يستخدم إطار XCL-Churn منهجية منهجية لتوقع فقدان العملاء، كما هو موضح في الشكل 1. في البداية، يتم جمع مجموعة بيانات شاملة عن الفقد، تليها معالجة بيانات شاملة تشمل التنظيف، والترميز الأحادي، والقياس. يتم معالجة القيم المفقودة باستخدام الانحدار بايزي التكراري. بعد ذلك، يتم استخدام خوارزمية Boruta وRandom Forest (RF) لتوليد ميزات إضافية وتحديد الأكثر أهمية. ثم يتم تقسيم مجموعة البيانات إلى مجموعات تدريب واختبار، مع تطبيق تقنية زيادة العينة الأقلية الاصطناعية (SMOTE) لتحقيق توازن الفئات في بيانات التدريب.

يتم بناء النموذج التنبؤي الأساسي باستخدام نهج تجميع تصويت ناعم يدمج XGBoost وCatBoost وLightGBM، مما يعزز الأداء التنبؤي العام. لتحسين قابلية التفسير، يتم استخدام تقنيات الذكاء الاصطناعي القابل للتفسير (XAI) مثل LIME وSHAP، مما يوفر رؤى حول العوامل التي تؤثر على فقدان العملاء ويبرز الميزات الأكثر أهمية في النموذج.

النتائج

في هذا القسم، يوضح المؤلفون تنفيذ إطار XCL-Churn باستخدام Python، مع تسليط الضوء على اختيار المكتبات مثل Pandas وNumPy وScikit-learn لمعالجة البيانات وتطوير النموذج. استخدمت الدراسة تقنيات متقدمة لاختيار الميزات، بما في ذلك Boruta، وعالجت عدم توازن الفئات باستخدام تقنية زيادة العينة الأقلية الاصطناعية (SMOTE). تم تنفيذ التنفيذ في بيئة حسابية قوية، باستخدام معالج Intel Core i9-13900K ووحدة معالجة الرسوميات NVIDIA GeForce RTX 4090 لتسهيل المعالجة الفعالة.

تضمن نموذج التجميع XGBoost وCatBoost وLightGBM، مع تحسين المعلمات الفائقة من خلال RandomizedSearchCV والتحقق المتقاطع بخمس طيات لتعزيز تعميم النموذج. أبلغ المؤلفون عن إعدادات المعلمات الفائقة الرئيسية لكل نموذج، مثل معدل التعلم 0.05 وعمق أقصى 8 لـ XGBoost، وتم استخدام آلية تصويت ناعمة لدمج التجميع. تظهر النتائج، التي تم توضيحها من خلال مصفوفات الارتباك ومقارنات الدقة والاسترجاع ودرجات F1 مقابل نماذج أخرى، فعالية نموذج XCL-Churn المقترح في توقع نتائج الفقد.

المناقشة

تسلط قسم المناقشة في ورقة البحث الضوء على النهج المبتكر لإطار XCL-Churn، الذي يدمج تعويض البيانات المتقدم، والقياس متعدد المراحل، واختيار الميزات الهجينة ضمن تجميع ناعم من ثلاثة نماذج تعزيز التدرج: XGBoost وCatBoost وLightGBM. يحقق هذا التجميع مقاييس أداء تنبؤية مثيرة للإعجاب، بما في ذلك دقة 97.44%، ودقة 93.82%، واسترجاع 87.82%، ودرجة F1 تبلغ 91.25%، بينما يظهر أيضًا كفاءة حسابية مع تقليل أوقات التدريب مقارنة بالطرق التقليدية. يعزز دمج تقنيات الذكاء الاصطناعي القابل للتفسير (XAI)، تحديدًا LIME وSHAP، من شفافية النموذج، مما يسمح لأصحاب المصلحة بفهم المؤشرات السلوكية والمالية الرئيسية التي تؤثر على قرارات فقدان العملاء.

تؤكد الورقة على ضرورة أن تستفيد شركات الاتصالات من التعلم الآلي للتخفيف من فقدان العملاء بشكل فعال. غالبًا ما تفتقر النماذج التقليدية إلى القابلية للتفسير، مما يمكن أن يعيق اعتمادها في عمليات اتخاذ القرار. يعالج إطار XCL-Churn هذه الفجوة من خلال استخدام آلية تصويت ناعمة توازن بشكل مثالي بين مساهمات النماذج الفردية، مما يحسن دقة التوقع في سياق بيانات الفقد غير المتوازنة والمعقدة. يجادل المؤلفون بأن دمج التعلم الجماعي مع الذكاء الاصطناعي القابل للتفسير لا يعزز فقط الأداء التنبؤي ولكن يوفر أيضًا رؤى قابلة للتنفيذ، مما يجعله أداة قيمة لأصحاب المصلحة في صناعة الاتصالات الذين يسعون لتحسين استراتيجيات الاحتفاظ بالعملاء.

Journal: Scientific Reports, Volume: 16, Issue: 1
DOI: https://doi.org/10.1038/s41598-025-34624-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41554919
Publication Date: 2026-01-19
Author(s): Pankaj Hooda et al.
Primary Topic: Customer churn and segmentation

Overview

The telecom industry faces significant challenges in customer acquisition and retention, particularly due to high rates of customer churn, which adversely affect profitability and growth. This study presents XCL-Churn, an innovative explainable ensemble learning framework that combines XGBoost, CatBoost, and LightGBM through a soft-voting meta-architecture to enhance churn prediction accuracy and interpretability. The framework employs a robust data preprocessing pipeline that includes iterative Bayesian Ridge imputation for handling missing data, multi-stage scaling techniques, and feature refinement via a hybrid Boruta-Random Forest strategy. Additionally, it addresses class imbalance using the Synthetic Minority Oversampling Technique (SMOTE), ensuring balanced learning between churn and non-churn classes.

The XCL-Churn model was trained and validated on a substantial dataset from the Expresso Churn Prediction Challenge, comprising approximately 2.5 million customer records. The model achieved impressive performance metrics, including an accuracy of 0.9744, precision of 0.9382, recall of 0.8782, and an F1-score of 0.9125. By utilizing LIME and SHAP for explainability, the model provided insights into the factors influencing customer churn, highlighting the importance of regularity and monotony. The findings underscore the potential of interpretable machine learning in churn prediction and suggest future applications across various industries, alongside plans for a real-time user behavior analysis platform that continuously integrates customer feedback to enhance prediction accuracy.

Introduction

The telecommunications industry (TCI) plays a pivotal role in fostering global connectivity and innovation. As markets mature, the focus has shifted from customer acquisition to retention, as high churn rates significantly impact profitability and operational costs. Retaining existing customers is more cost-effective than acquiring new ones, making churn reduction a critical objective for TCI. Factors such as competitive pricing, evolving customer demands, and regulatory pressures exacerbate the challenges faced by telecom providers. Consequently, understanding and accurately predicting customer churn is essential for maintaining business success.

Machine learning (ML) has emerged as a valuable tool for analyzing customer behavior and identifying potential churners by uncovering hidden patterns in large datasets. However, the complexity and lack of transparency in many ML models hinder their practical application and trust among stakeholders. Explainable Artificial Intelligence (XAI) addresses these issues by enhancing the interpretability of model decisions, thereby facilitating actionable insights. In an increasingly competitive landscape, where profit margins are under pressure from various factors including over-the-top (OTT) services, accurately predicting churn is vital for understanding customer habits, fostering engagement, and sustaining a competitive advantage.

Methods

The XCL-Churn framework employs a systematic methodology to predict customer churn, as illustrated in Fig. 1. Initially, a comprehensive churn dataset is gathered, followed by extensive data preprocessing that includes cleaning, one-hot encoding, and scaling. Missing values are addressed using iterative Bayesian Ridge regression. Subsequently, the Boruta algorithm and Random Forest (RF) are utilized to generate additional features and identify the most significant ones. The dataset is then partitioned into training and testing subsets, with the Synthetic Minority Over-sampling Technique (SMOTE) applied to balance the classes in the training data.

The core predictive model is constructed using a soft voting ensemble approach that integrates XGBoost, CatBoost, and LightGBM, enhancing overall predictive performance. To improve interpretability, Explainable Artificial Intelligence (XAI) techniques such as LIME and SHAP are employed, providing insights into the factors influencing customer churn and highlighting the most critical features in the model.

Results

In this section, the authors detail the implementation of the XCL-Churn framework using Python, highlighting the selection of libraries such as Pandas, NumPy, and Scikit-learn for data handling and model development. The study employed advanced techniques for feature selection, including Boruta, and addressed class imbalance using the Synthetic Minority Over-sampling Technique (SMOTE). The implementation was executed in a robust computational environment, utilizing an Intel Core i9-13900K CPU and an NVIDIA GeForce RTX 4090 GPU to facilitate efficient processing.

The ensemble modeling incorporated XGBoost, CatBoost, and LightGBM, with hyperparameters optimized through RandomizedSearchCV and five-fold cross-validation to enhance model generalization. The authors report key hyperparameter settings for each model, such as a learning rate of 0.05 and a maximum depth of 8 for XGBoost, and a soft-voting mechanism was used for ensemble integration. The results, illustrated through confusion matrices and comparisons of precision, recall, and F1-scores against other models, demonstrate the effectiveness of the proposed XCL-Churn model in predicting churn outcomes.

Discussion

The discussion section of the research paper highlights the innovative approach of the XCL-Churn framework, which integrates advanced data imputation, multi-stage scaling, and hybrid feature selection within a soft-voting ensemble of three gradient boosting models: XGBoost, CatBoost, and LightGBM. This ensemble achieves impressive predictive performance metrics, including 97.44% accuracy, 93.82% precision, 87.82% recall, and 91.25% F1-score, while also demonstrating computational efficiency with reduced training times compared to traditional methods. The incorporation of Explainable AI (XAI) techniques, specifically LIME and SHAP, enhances the model’s transparency, allowing stakeholders to understand the key behavioral and financial indicators influencing customer churn decisions.

The paper emphasizes the necessity for telecom companies to leverage machine learning to mitigate customer churn effectively. Traditional models often lack interpretability, which can hinder their adoption in decision-making processes. The XCL-Churn framework addresses this gap by employing a soft-voting mechanism that optimally weights the contributions of individual models, thus improving prediction accuracy in the context of imbalanced and complex churn data. The authors argue that the integration of ensemble learning with explainable AI not only enhances predictive performance but also provides actionable insights, making it a valuable tool for telecom stakeholders aiming to improve customer retention strategies.