DOI: https://doi.org/10.32628/cseit25112761
تاريخ النشر: 2025-04-01
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: التنبؤ بالضغوط المالية والإفلاس
نظرة عامة
تناقش هذه الفقرة الدور الحاسم لتقييم مخاطر الائتمان بدقة في ضمان الاستقرار المالي والكفاءة داخل قطاع البنوك التجارية. وتبرز ضرورة تقييم المؤسسات المالية للنماذج التي يمكن أن تتنبأ بالتأثيرات التجارية المستقبلية وتمنع التخلف عن السداد بينما تعزز من منهجيات الإقراض. يتم تقديم إطار عمل جديد يعتمد على الذكاء الاصطناعي يدمج الذكاء الاصطناعي التوليدي مع تقنية BERT للتنبؤ بمخاطر الائتمان المالية. يعزز هذا النموذج تمثيل البيانات من خلال توليد بيانات صناعية ويحسن من التعميم من خلال اختيار الميزات من قبل الخبراء، مع ضمان العدالة عبر أنظمة تقييم الشيفرات التلقائية.
تظهر تقييمات مجموعة بيانات بطاقات الائتمان البنكية أن نموذج BERT يتفوق بشكل كبير على النماذج التقليدية، حيث يحقق دقة تصل إلى 99.31%، ودقة 99.61%، واسترجاع 99.76%، ودرجة F1 تصل إلى 99.87%. تؤكد التحليلات المقارنة أن BERT يوفر نتائج تصنيف متفوقة مقارنةً بآلات الدعم المتجهة (SVM) وأشجار القرار والانحدار اللوجستي. تشير الدراسة إلى أن الأبحاث المستقبلية ستركز على تطوير نماذج هجينة ومراقبة مخاطر الائتمان في الوقت الحقيقي للتكيف مع ظروف السوق المالية المتغيرة، مما يعزز من إمكانيات التعلم العميق في إدارة المخاطر المالية.
مقدمة
تسلط المقدمة الضوء على الدور الحاسم للنظام المصرفي في تقييم جدارة الائتمان لمقدمي طلبات القروض، وتصنيفهم إلى مجموعات مخاطر ائتمانية جيدة وسيئة. تؤكد أن المتقدمين الذين لديهم ائتمان جيد من المرجح أن يسددوا القروض، بينما يشكل أولئك الذين لديهم ائتمان سيء خطرًا أكبر للتخلف عن السداد. تعتبر تقنيات تقييم مخاطر الائتمان الفعالة ضرورية لتقليل معدلات التخلف عن السداد، حيث يمكن أن تؤدي حتى التحسينات الطفيفة في دقة التقييم إلى مكاسب مالية كبيرة. تتطلب التعقيدات المتزايدة وحجم البيانات المالية طرقًا متقدمة للتنبؤ وتقييم المخاطر، حيث تكافح التحليلات المالية التقليدية لمواكبة ذلك.
تؤكد الورقة على أهمية النمذجة التنبؤية في تحليل مخاطر الائتمان، والتي تساعد المؤسسات المالية في تحديد ربحية الموافقات على القروض. تشير إلى أن الائتمان يُمنح لجهات مختلفة لأغراض مثل شراء المعدات وشراء المنازل، حيث تعتمد المؤسسات المالية على تقييمات المخاطر لتحديد أسعار الفائدة بناءً على السداد المتوقع. لقد زادت أهمية التنبؤ بمخاطر الائتمان على مدى العقود الأخيرة، لا سيما في سياق التنبؤ بتخلف بطاقات الائتمان. كما تشير المقدمة إلى أنه بينما اعتمدت نمذجة مخاطر الائتمان التاريخية على الطرق الإحصائية والحكم الخبيري، فقد حولت التقدم في الذكاء الاصطناعي (AI) وتعلم الآلة (ML) ممارسات تقييم المخاطر الحديثة. ومع ذلك، تعترف بأن التفاوتات في مجموعات البيانات المستخدمة لمخاطر الائتمان يمكن أن تؤدي إلى تحيزات في نماذج تعلم الآلة، مما يعقد دقة التنبؤ.
طرق البحث
تتكون منهجية البحث لتنبؤ مخاطر الائتمان المالية من عدة خطوات رئيسية، بدءًا من استخدام مجموعة بيانات بطاقات الائتمان البنكية من كاجل. تكشف مجموعة البيانات عن عدم توازن كبير في الفئات، حيث تمثل 98.7% من الحالات عملاء ممتازين (التسمية 0) و1.3% فقط تشير إلى مستهلكين سلبيين (التسمية 1). تشير التحليلات الديموغرافية إلى أن الأفراد ذوي المخاطر المنخفضة يميلون إلى أن يكونوا أكبر سنًا ولديهم فترات عمل أطول، بينما يظهر الأفراد ذوو المخاطر العالية فترات عمل أقصر ووجود المزيد من القيم الشاذة. توزيع الدخل متشابه نسبيًا عبر كلا المجموعتين، على الرغم من أن المتقدمين ذوي المخاطر المنخفضة يظهرون دخلًا وسطيًا أعلى قليلاً، مما يبرز أهمية العوامل الديموغرافية والمالية في تقييم مخاطر الائتمان.
تعتبر معالجة البيانات مسبقًا أمرًا حاسمًا لتحقيق نتائج عالية الجودة، حيث تتضمن عدة خطوات تكرارية. يشمل ذلك التعامل مع القيم المفقودة عن طريق استبدالها بالنمط في الأعمدة العددية، وإزالة القيم الشاذة لتقليل تأثيرها على التحليلات الإحصائية. تستخدم الدراسة تقنية الزيادة الاصطناعية للأقليات (SMOTE) لمعالجة عدم توازن الفئات، تليها اختيار الميزات باستخدام طريقة كاي-تربيع. ثم يتم تقسيم مجموعة البيانات إلى مجموعات تدريب واختبار، ويتم تنفيذ نموذج BERT للتنبؤ. تُستخدم مقاييس التقييم مثل الدقة، والدقة، وROC-AUC، والاسترجاع، ودرجة F1 لتقييم أداء النموذج. بالإضافة إلى ذلك، يتم إنشاء خريطة حرارية للارتباط لتصور العلاقات بين المتغيرات، مما يكشف عن ارتباطات كبيرة، لا سيما بين “شهور العمل” و”العمر”، والتي قد تؤثر على تنبؤات مخاطر الائتمان.
نقاش
تناقش الورقة البحثية تطوير نموذج تصنيف يعتمد على BERT يهدف إلى تحسين التنبؤ بمخاطر الائتمان للمؤسسات المالية. تكافح طرق تقييم مخاطر الائتمان التقليدية، التي تعتمد غالبًا على أنظمة قائمة على القواعد وميزات محددة من قبل البشر، لتحديد الأنماط المعقدة في مجموعات البيانات الكبيرة، خاصة عند مواجهة عدم توازن الفئات. تعالج هذه الدراسة هذه التحديات من خلال تنفيذ تقنية الزيادة الاصطناعية للأقليات (SMOTE) للتعامل مع عدم توازن الفئات واستخدام اختبار كاي-تربيع لتحسين اختيار الميزات. يظهر النموذج المقترح مقاييس أداء استثنائية، حيث يحقق دقة تصل إلى 99.31%، ودقة 99.61%، واسترجاع 99.76%، ودرجة F1 تصل إلى 99.87%، إلى جانب درجة ROC-AUC تبلغ 0.99، مما يدل على قدرته الفائقة في التمييز بين العملاء ذوي الجدارة الائتمانية وغير الجدارة الائتمانية.
تكمن حداثة هذا البحث في دمجه للذكاء الاصطناعي التوليدي مع تعلم الآلة، مستخدمًا BERT لتحسين تمثيل البيانات الهيكلية. على عكس النماذج التقليدية، تعالج هذه الطريقة بشكل فعال عوامل المخاطر الديناميكية وهياكل البيانات المعقدة، مما يضمن تحسين التعميم وقابلية التفسير. تقدم الورقة أيضًا تحليلًا مقارنًا لنموذج BERT مقابل نماذج تعلم الآلة التقليدية مثل آلات الدعم المتجهة (SVM) والانحدار اللوجستي (LR) وأشجار القرار (DT)، مما يبرز قدرات BERT التنبؤية المتفوقة. تؤكد النتائج على إمكانيات الأطر المدفوعة بالذكاء الاصطناعي المتقدمة في تعزيز التنبؤ بمخاطر الائتمان، مما يساهم في عمليات اتخاذ قرارات أكثر استنارة داخل المؤسسات المالية.
DOI: https://doi.org/10.32628/cseit25112761
Publication Date: 2025-04-01
Author(s): Zhenyun Du et al.
Primary Topic: Financial Distress and Bankruptcy Prediction
Overview
The section discusses the critical role of accurate credit risk assessment in ensuring financial stability and efficiency within the commercial banking sector. It highlights the necessity for financial institutions to evaluate models that can predict future business impacts and prevent defaults while enhancing lending methodologies. A novel AI framework that integrates Generative AI with BERT technology is introduced for financial credit risk forecasting. This model enhances data representation by generating synthetic data and improves generalization through expert feature selection, while also ensuring fairness via automatic code evaluation systems.
The evaluation of the Bank Credit Card dataset demonstrates that the BERT model significantly outperforms traditional models, achieving an accuracy of 99.31%, precision of 99.61%, recall of 99.76%, and an F1-score of 99.87%. Comparative analyses confirm that BERT provides superior classification results compared to Support Vector Machines (SVM), Decision Trees, and Logistic Regression. The study suggests that future research will focus on developing hybrid models and real-time credit risk monitoring to adapt to evolving financial market conditions, reinforcing the potential of deep learning in financial risk management.
Introduction
The introduction highlights the critical role of the banking system in assessing the creditworthiness of loan applicants, categorizing them into good and bad credit risk groups. It emphasizes that applicants with good credit are likely to repay loans, while those with bad credit pose a higher risk of default. Effective credit risk evaluation techniques are essential for minimizing default rates, as even slight improvements in evaluation accuracy can lead to significant financial gains. The increasing complexity and volume of financial data necessitate advanced forecasting and risk assessment methods, as traditional financial analysis struggles to keep pace.
The paper underscores the importance of predictive modeling in credit risk analysis, which aids financial institutions in determining the profitability of loan approvals. It notes that credit is extended to various entities for purposes such as equipment purchases and home buying, with financial institutions relying on risk assessments to set interest rates based on anticipated repayment. The significance of credit risk prediction has grown over recent decades, particularly in the context of credit card default prediction. The introduction also points out that while historical credit risk modeling relied on statistical methods and expert judgment, advancements in artificial intelligence (AI) and machine learning (ML) have transformed modern risk assessment practices. However, it acknowledges that disparities in the datasets used for credit risk can lead to biases in machine learning models, complicating predictive accuracy.
Methods
The research methodology for financial credit risk forecasting is structured in several key steps, beginning with the utilization of a Kaggle bank credit card dataset. The dataset reveals a significant class imbalance, with 98.7% of the instances representing excellent customers (label 0) and only 1.3% indicating negative consumers (label 1). Demographic analysis indicates that lower-risk individuals tend to be older and possess longer job tenures, while higher-risk individuals exhibit shorter employment durations and more outliers. Income distributions are relatively similar across both groups, although lower-risk applicants show a slightly higher median income, underscoring the importance of demographic and financial factors in credit risk assessment.
Data preprocessing is critical for achieving high-quality results, involving several iterative steps. This includes handling missing values by replacing them with the mode in numerical columns, and removing outliers to mitigate their impact on statistical analyses. The study employs the Synthetic Minority Over-sampling Technique (SMOTE) to address class imbalance, followed by feature selection using the Chi-square method. The dataset is then split into training and testing subsets, and a BERT model is implemented for prediction. Evaluation metrics such as accuracy, precision, ROC-AUC, recall, and F1-score are utilized to assess model performance. Additionally, a correlation heatmap is generated to visualize relationships between variables, revealing significant correlations, particularly between “employment months” and “age,” which may influence credit risk predictions.
Discussion
The research paper discusses the development of a BERT-based classification model aimed at improving credit risk prediction for financial institutions. Traditional credit risk assessment methods, which often rely on rule-based systems and human-defined features, struggle to identify complex patterns in large datasets, particularly when faced with class imbalances. This study addresses these challenges by implementing the Synthetic Minority Over-sampling Technique (SMOTE) for handling class imbalances and employing the Chi-square test for enhanced feature selection. The proposed model demonstrates exceptional performance metrics, achieving an accuracy of 99.31%, precision of 99.61%, recall of 99.76%, and an F1-score of 99.87%, alongside a ROC-AUC score of 0.99, indicating its superior capability in distinguishing between creditworthy and non-creditworthy clients.
The novelty of this research lies in its integration of Generative AI with Machine Learning, utilizing BERT for improved structured data representation. Unlike traditional models, this approach effectively addresses dynamic risk factors and complex data structures, ensuring better generalization and interpretability. The paper also provides a comparative analysis of the BERT model against conventional machine learning models such as Support Vector Machines (SVM), Logistic Regression (LR), and Decision Trees (DT), highlighting BERT’s superior predictive capabilities. The findings underscore the potential of advanced AI-driven frameworks in enhancing credit risk forecasting, thereby contributing to more informed decision-making processes within financial institutions.