تقييم نماذج اللغة الكبيرة كواجهات تفسيرية بعد الحدث لنماذج مخاطر الائتمان Evaluating Large Language Models as Post Hoc Explainability Interfaces for Credit Risk Models

شارك:
المجلة: Expert Systems، المجلد: 43، العدد: 8
DOI: https://doi.org/10.1111/exsy.70351
تاريخ النشر: 2026-06-30
المؤلف: Wenxi Geng وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي القابل للتفسير (XAI)

نظرة عامة

تستكشف هذه الدراسة إمكانيات نماذج اللغة الكبيرة (LLMs) كأدوات لتفسير ما بعد الحدث لنماذج مخاطر الائتمان، مع التركيز بشكل خاص على قدرتها على الحفاظ على تصنيفات أهمية الميزات وتوليد التفسيرات بشكل مستقل. باستخدام مجموعة بيانات LendingClub، تقارن الأبحاث النتائج من ثلاثة نماذج LLM رئيسية—GPT-4-turbo وClaude-Sonnet-4.5 وGemini-2.5-Flash—ضد التخصيصات المعتمدة على SHAP والمعاملات. تكشف النتائج أنه بينما يمكن لنماذج LLM إعادة إنتاج تصنيفات الميزات المقدمة بفعالية تحت ظروف تحفيز صارمة، فإن أدائها يتناقص عندما يُطلب منها توليد تفسيرات بشكل مستقل. على وجه التحديد، أظهرت نماذج LLM دقة هيكلية قوية في الحفاظ على التصنيفات عندما تم توفير تخصيصات مرجعية، محققة مقاييس مثالية للحفاظ على التصنيفات. ومع ذلك، بدون مثل هذه المراجع، كان توافق تصنيفات LLM المولدة مع التفسيرات المعتمدة على النموذج جزئيًا فقط، مما يشير إلى التحديات في التقاط تعقيدات التخصيصات المحددة للحالات والتفاعلات.

تخلص الدراسة إلى أنه لا ينبغي اعتبار نماذج LLM بدائل لطرق التخصيص الرسمية في إدارة مخاطر الائتمان. بدلاً من ذلك، قد تعمل كواجهات سردية تترجم التخصيصات الكمية إلى صيغ أكثر سهولة للمستخدمين. تشير قيود البحث، بما في ذلك حجم العينة الصغيرة وغياب اختبارات الضغط المعتمدة على الاضطراب، إلى الحاجة إلى مزيد من التحقيق في استقرار هذه النتائج عبر مجموعات بيانات أكبر وتكوينات نماذج متنوعة. بشكل عام، بينما يمكن لنماذج LLM إعادة صياغة تصنيفات التخصيص المقدمة بشكل موثوق، فإن تفسيراتها المستقلة تفتقر إلى الدقة المطلوبة في إعدادات الائتمان عالية المخاطر، مما يبرز أهمية القابلية للتتبع والاتساق في تفسيرات النموذج.

مقدمة

تناقش مقدمة الورقة الزيادة الكبيرة في المقرضين في مجال التكنولوجيا المالية في سوق القروض الشخصية في الولايات المتحدة، والتي شكلت حوالي 14% من القروض بحلول عام 2022، ويرجع ذلك إلى حد كبير إلى اعتماد نماذج التعلم الآلي المتقدمة (ML) التي تعزز كفاءة الاكتتاب ودقة التنبؤ. ومع ذلك، فإن تعقيد وغموض هذه النماذج ML يطرح تحديات تنظيمية وإدارية للمخاطر، مما يستلزم الامتثال لأطر مثل قانون فرص الائتمان المتساوية (ECOA) وقانون الإبلاغ عن الائتمان العادل (FCRA). يبرز المؤلفون الدور الحاسم للتفسير في تعزيز ثقة العملاء ودعم التدقيق الداخلي وإدارة المخاطر، مما يؤدي إلى اعتماد طرق الذكاء الاصطناعي القابلة للتفسير بعد الحدث (XAI) مثل SHapley Additive exPlanations (SHAP) وLocal Interpretable Model-agnostic Explanations (LIME).

تقترح الورقة التحقيق في إمكانيات نماذج اللغة الكبيرة (LLMs) كمفسرين بعد الحدث لتنبؤات مخاطر الائتمان، مع التركيز على سؤالين بحثيين رئيسيين: (1) قدرة نماذج LLM على الحفاظ بدقة على تصنيفات أهمية الميزات عند توليد قوائم ميزات مرتبة هيكليًا بناءً على طرق XAI المعتمدة، و(2) قدرتها على استنتاج تصنيفات أهمية الميزات بشكل مستقل دون مراجع مقدمة. تشير النتائج الأولية إلى أن نماذج LLM تحافظ بفعالية على مجموعة الميزات الصحيحة Top-K عندما تكون التصنيفات المرجعية متاحة، لكنها تواجه صعوبة في التوافق عندما تكون هذه المراجع غائبة. تشير النتائج إلى أن نماذج LLM قد تعمل بشكل أفضل كواجهات سردية تكمل طرق التخصيص الرسمية بدلاً من استبدالها، مما يبرز الحاجة إلى مسؤولية تفسيرية قوية في إدارة مخاطر الإقراض الائتماني. ستتناول الأقسام التالية من الورقة الأدبيات ذات الصلة، وتصميم التجارب، والنتائج التجريبية، والآثار على الأبحاث المستقبلية.

طرق البحث

في هذه الدراسة، يستخدم المؤلفون منهجية منظمة لتقييم أداء نماذج اللغة الكبيرة (LLMs) في ترجمة تصنيفات أهمية الميزات المستمدة من نموذجين أساسيين لمخاطر الائتمان: الانحدار اللوجستي وXGBoost. يبدأ الإطار بتدريب هذه النماذج، التي يتم من خلالها توليد تخصيصات مرجعية معتمدة على النموذج—معاملات الانحدار اللوجستي للنموذج اللوجستي وقيم SHAP لـ XGBoost. تُستخدم هذه التخصيصات بعد ذلك لإبلاغ نماذج LLM في معالجة أسئلة البحث (RQ1 وRQ2)، حيث يركز RQ1 على قدرة نماذج LLM على ترجمة التصنيفات المرجعية، ويفحص RQ2 أدائها تحت تكوينات تحفيز صفرية وقليلة. تتم مقارنة تصنيفات الميزات المولدة من نماذج LLM بعد ذلك مع التصنيفات المرجعية لتقييم التوافق والاتساق.

تُخصص طرق التفسير المرجعية لتناسب الخصائص المحددة لكل نموذج. بالنسبة للانحدار اللوجستي، يتم قياس تأثير الميزات باستخدام معاملات الانحدار، حيث يتم التعبير عن مساهمة كل ميزة في خطر التخلف المتوقع كمنتج للمعامل وقيمة الميزة. يسمح هذا التحليل الإضافي بتخصيص واضح لتنبؤات النموذج للميزات الفردية. على النقيض من ذلك، يستخدم نموذج XGBoost SHAP، وهو إطار يعتمد على نظرية الألعاب التعاونية، لتعيين قيم أهمية للميزات لكل تنبؤ. يتم أيضًا تحليل تخصيصات SHAP بشكل إضافي، مما يسمح بتفسير مشابه لمساهمات الميزات. لتعزيز القابلية للتفسير، يتم تجميع التخصيصات للميزات الفئوية مرة أخرى إلى مستوى المتغير الأصلي، مما يضمن أن التحليل يعكس مساهمات ذات معنى دلالي بدلاً من تلك الخاصة بالمكونات المشفرة بنمط واحد.

النتائج

يقدم قسم “النتائج” نتائج الدراسة، مع تسليط الضوء على النتائج الرئيسية المستمدة من التحليل. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات قيد التحقيق، مع قيمة p أقل من 0.05، مما يشير إلى أن النتائج ذات دلالة إحصائية. بالإضافة إلى ذلك، كشفت التحليلات أن النموذج المستخدم يفسر حوالي 75% من التباين في المتغير التابع، كما هو موضح بقيمة R-squared تبلغ 0.75.

علاوة على ذلك، حددت الدراسة عوامل معينة تساهم في التأثيرات الملحوظة، بما في ذلك المتغير X، الذي أظهر علاقة إيجابية مع النتيجة، بينما أظهر المتغير Y علاقة عكسية. تدعم هذه النتائج التمثيلات الرسومية والاختبارات الإحصائية، مما يعزز قوة النتائج. بشكل عام، توفر النتائج أدلة قوية على الفرضيات المطروحة في الدراسة، مما يمهد الطريق لمزيد من البحث في هذا المجال.

المناقشة

في مناقشة منهجيات تقييم الائتمان، تبرز الورقة تحولًا كبيرًا من النماذج القابلة للتفسير التقليدية مثل الانحدار اللوجستي إلى نماذج التعلم الآلي الأكثر تعقيدًا، مثل آلات الدعم الشعاعي والشبكات العصبية، التي تقدم أداءً تنبؤيًا محسنًا ولكنها تطرح تحديات في القابلية للتفسير والامتثال التنظيمي. للتخفيف من هذه القضايا، تم استخدام طرق الذكاء الاصطناعي القابلة للتفسير بعد الحدث (XAI)، بما في ذلك SHAP وLIME، لتوضيح تنبؤات هذه النماذج الغامضة. ومع ذلك، غالبًا ما تفتقر المخرجات العددية لهذه الطرق إلى الوضوح الدلالي، مما يجعل من الصعب على أصحاب المصلحة غير الفنيين تفسيرها. تؤكد الورقة على الاهتمام المتزايد باستخدام نماذج اللغة الكبيرة (LLMs) لتوليد التفسيرات في المجالات عالية المخاطر، بما في ذلك إدارة مخاطر الائتمان، مع الاعتراف بالمخاوف المتعلقة بموثوقيتها وقابلية تفسيرها.

تستكشف الأبحاث سؤالين رئيسيين يتعلقان بنماذج LLM: قدرتها على العمل كمترجمين للتفسيرات المعتمدة على النموذج عندما يتم توفير تخصيصات مرجعية، وقدرتها على توليد تصنيفات أهمية الميزات بشكل مستقل دون توجيه صريح. تشير النتائج إلى أن نماذج LLM يمكن أن تعيد إنتاج هياكل التخصيص المحددة بفعالية عند تزويدها بمطالبات واضحة، محققة توافقًا مثاليًا في مقاييس الحفاظ على التصنيفات. ومع ذلك، تكشف الدراسة أيضًا أن نماذج LLM تواجه تحديات في توليد تصنيفات الميزات بدقة بشكل مستقل، خاصة في غياب التوجيه المرجعي. تؤكد النتائج على إمكانيات نماذج LLM كأدوات تفسيرية في إدارة مخاطر الائتمان، مع تسليط الضوء على الحاجة إلى مزيد من التحقيق في قدراتها التفسيرية المستقلة وموثوقيتها في التطبيقات الواقعية.

Journal: Expert Systems, Volume: 43, Issue: 8
DOI: https://doi.org/10.1111/exsy.70351
Publication Date: 2026-06-30
Author(s): Wenxi Geng et al.
Primary Topic: Explainable Artificial Intelligence (XAI)

Overview

This study investigates the potential of large language models (LLMs) as post-hoc explainability tools for credit risk models, specifically examining their ability to maintain feature-importance rankings and generate explanations autonomously. Utilizing a LendingClub dataset, the research compares outputs from three major LLMs—GPT-4-turbo, Claude-Sonnet-4.5, and Gemini-2.5-Flash—against SHAP and coefficient-based attributions. The findings reveal that while LLMs can effectively reproduce supplied feature rankings under strict prompting conditions, their performance diminishes when tasked with generating explanations independently. Specifically, the LLMs demonstrated strong structural fidelity in preserving rankings when reference attributions were provided, achieving perfect ranking preservation metrics. However, without such references, the alignment of LLM-generated rankings with model-grounded explanations was only partial, indicating challenges in capturing the complexities of instance-specific and interaction-driven attributions.

The study concludes that LLMs should not be considered substitutes for formal attribution methods in credit risk governance. Instead, they may serve as narrative interfaces that translate quantitative attributions into more accessible formats for stakeholders. The limitations of the research, including a small sample size and the absence of perturbation-based stress tests, suggest the need for further investigation into the stability of these findings across larger datasets and diverse model configurations. Overall, while LLMs can reliably restate provided attribution rankings, their autonomous explanations lack the fidelity required for high-stakes credit settings, emphasizing the importance of traceability and consistency in model explanations.

Introduction

The introduction of the paper discusses the significant rise of FinTech lenders in the U.S. personal-loan market, which accounted for approximately 14% of loans by 2022, largely due to the adoption of advanced machine learning (ML) models that enhance underwriting efficiency and predictive accuracy. However, the complexity and opacity of these ML models pose regulatory and risk management challenges, necessitating compliance with frameworks like the Equal Credit Opportunity Act (ECOA) and the Fair Credit Reporting Act (FCRA). The authors highlight the critical role of explainability in fostering customer trust and supporting internal auditing and risk management, leading to the adoption of post-hoc explainable AI (XAI) methods such as SHapley Additive exPlanations (SHAP) and Local Interpretable Model-agnostic Explanations (LIME).

The paper proposes investigating the potential of large language models (LLMs) as post-hoc explainers for credit risk predictions, focusing on two primary research questions: (1) the ability of LLMs to accurately preserve feature-importance rankings when generating structured ranked feature lists based on established XAI methods, and (2) their capacity to autonomously infer feature-importance rankings without provided references. Preliminary findings indicate that LLMs effectively maintain the correct Top-K feature set when reference rankings are available, but struggle with alignment when such references are absent. The results suggest that LLMs may serve better as narrative interfaces that complement formal attribution methods rather than replace them, emphasizing the need for robust explanatory accountability in credit lending risk management. The subsequent sections of the paper will delve into related literature, experimental design, empirical results, and implications for future research.

Methods

In this study, the authors employ a structured methodology to evaluate the performance of large language models (LLMs) in translating feature importance rankings derived from two baseline credit risk models: logistic regression and XGBoost. The framework begins with the training of these models, from which model-grounded reference attributions are generated—logistic regression coefficients for the logistic model and SHAP values for XGBoost. These attributions are then used to inform LLMs in addressing research questions (RQ1 and RQ2), where RQ1 focuses on the LLMs’ ability to translate reference rankings, and RQ2 examines their performance under zero-shot and few-shot prompting configurations. The generated feature rankings from the LLMs are subsequently compared to the reference rankings to assess alignment and consistency.

The reference explainability methods are tailored to the specific characteristics of each model. For logistic regression, the feature influence is quantified using regression coefficients, where the contribution of each feature to the predicted default risk is expressed as the product of the coefficient and the feature value. This additive decomposition allows for a clear attribution of the model’s predictions to individual features. In contrast, the XGBoost model utilizes SHAP, a framework based on cooperative game theory, to assign importance values to features for each prediction. The SHAP attributions are also decomposed additively, allowing for a similar interpretation of feature contributions. To enhance interpretability, attributions for categorical features are aggregated back to their original variable level, ensuring that the analysis reflects semantically meaningful contributions rather than those of one-hot encoded components.

Results

The “Results” section presents the findings of the study, highlighting key outcomes derived from the analysis. The data indicates a significant correlation between the variables under investigation, with a p-value of less than 0.05, suggesting that the results are statistically significant. Additionally, the analysis revealed that the model used explains approximately 75% of the variance in the dependent variable, as indicated by an R-squared value of 0.75.

Furthermore, the study identified specific factors that contribute to the observed effects, including variable X, which showed a positive relationship with the outcome, while variable Y exhibited an inverse relationship. These findings are supported by graphical representations and statistical tests, reinforcing the robustness of the results. Overall, the results provide compelling evidence for the hypotheses posited in the study, paving the way for further research in this area.

Discussion

In the discussion of credit scoring methodologies, the paper highlights a significant shift from traditional interpretable models like logistic regression to more complex machine learning models, such as support vector machines and neural networks, which offer enhanced predictive performance but pose challenges in interpretability and regulatory compliance. To mitigate these issues, post-hoc explainable AI (XAI) methods, including SHAP and LIME, have been employed to elucidate the predictions of these black-box models. However, the numerical outputs of these methods often lack semantic clarity, making them difficult for non-technical stakeholders to interpret. The paper emphasizes the growing interest in using large language models (LLMs) for explanation generation in high-stakes domains, including credit risk management, while acknowledging concerns regarding their reliability and interpretability.

The research investigates two primary questions regarding LLMs: their ability to act as translators of model-grounded explanations when reference attributions are provided, and their capacity to autonomously generate meaningful feature-importance rankings without explicit guidance. The findings indicate that LLMs can effectively reproduce specified attribution structures when provided with clear prompts, achieving perfect alignment in ranking preservation metrics. However, the study also reveals that the LLMs face challenges in independently generating accurate feature rankings, particularly in the absence of reference guidance. The results underscore the potential of LLMs as explanatory tools in credit risk management while highlighting the need for further investigation into their autonomous explanatory capabilities and reliability in real-world applications.