DOI: https://doi.org/10.66224/ist.202603.11.06
تاريخ النشر: 2026-01-01
المؤلف: Motahhareh Alisoufi وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية
نظرة عامة
تبحث هذه الدراسة في استخدام نموذج CatBoost لتصنيف المخاطر لمرض الشريان التاجي (CAD) باستخدام بيانات سريرية وديموغرافية تم جمعها بشكل روتيني من 899 مريضًا عبر أربعة مراكز. تؤكد الدراسة على الحاجة إلى أدوات تقييم المخاطر الموثوقة في البيئات التي تعاني من محدودية الوصول إلى التشخيصات المتقدمة. أظهر النموذج مقاييس أداء قوية، حيث حقق دقة تبلغ 0.828، وحساسية تبلغ 0.841، ودرجة F1 تبلغ 0.844، وAUC-ROC تبلغ 0.90، إلى جانب معايرة مقبولة (درجة Brier = 0.125). ومن الجدير بالذكر أن نموذجًا مختصرًا يستخدم سبعة متغيرات فقط حافظ على 95.4% من أداء F1 للنموذج الكامل، مما يدل على جدواه في البيئات ذات الموارد المحدودة.
ومع ذلك، كشفت التحليلات عن تفاوتات في الحساسية بين مجموعات المرضى المختلفة، حيث أظهرت الإناث حساسية أقل (0.795) مقارنة بالذكور (0.858)، وتفاوت عبر المراكز (يتراوح من 0.775 إلى 0.882). تسلط هذه النتائج الضوء على ضرورة تقييم العدالة قبل التنفيذ السريري، حيث إن الأداء العالي الإجمالي لا يضمن نتائج عادلة. أكدت تحليل SHAP توافق النموذج مع المعرفة السريرية المعروفة، حيث حددت نوع ألم الصدر والاختلالات في مقطع ST كمتنبئين رئيسيين. تدعو الدراسة إلى مزيد من التحقق في مجموعات سكانية متنوعة وتؤكد على أهمية تقييم الفائدة السريرية الصافية قبل دمج مثل هذه النماذج في الممارسة السريرية.
مقدمة
يعتبر مرض الشريان التاجي (CAD) قضية صحية عالمية هامة، مما يستلزم تصنيف دقيق للمخاطر لتحسين العلاجات الوقائية والاختبارات التشخيصية مع تقليل الإجراءات الغازية غير الضرورية. غالبًا ما يعتمد اتخاذ القرار الحالي على الحكم السريري الحدسي أو درجات المخاطر القلبية العامة، والتي قد لا تكون فعالة للسكان المتنوعين. تعتبر تقنيات التصوير المتقدمة واختبارات الإجهاد، على الرغم من فوائدها، مكلفة وغير متاحة في البيئات ذات الموارد المحدودة، مما يبرز الحاجة إلى أدوات فعالة من حيث التكلفة تستخدم بيانات سريرية روتينية بسيطة. أظهرت التطورات الأخيرة في التعلم الآلي (ML) وعدًا في تعزيز درجات المخاطر التقليدية، مثل معادلات المجموعة المجمعة (PCE)، خاصة في السكان متعدد الأعراق. ومع ذلك، لا تزال هناك قضايا تتعلق بعدالة الخوارزميات، مع تفاوتات كبيرة في أداء النموذج عبر مجموعات ديموغرافية مختلفة.
ركزت نماذج الذكاء الاصطناعي الخاصة بـ CAD الموجودة بشكل أساسي على التصنيف التشخيصي بدلاً من تصنيف المخاطر العادل، محققة دقة عالية في اكتشاف CAD الكبير ولكن غالبًا ما تتجاهل المعايرة وتقييم أداء المجموعات الفرعية. بينما بدأت بعض الأبحاث في دمج تقييم العدالة في توقع المخاطر القلبية، لم يتم تطبيق هذه الجهود بشكل منهجي على تصنيف مخاطر CAD باستخدام مجموعات بيانات تم دراستها على نطاق واسع. تهدف هذه الدراسة إلى سد هذه الفجوة من خلال اقتراح إطار عمل للذكاء الاصطناعي مدروس التكلفة، ومعاير، وقابل للتفسير لتصنيف مخاطر CAD بشكل عادل، باستخدام بيانات سريرية بسيطة. الهدف هو تطوير نهج عملي وشفاف وعادل يتماشى مع المعايير المعاصرة في الذكاء الاصطناعي السريري.
طرق البحث
يستعرض قسم “الطرق” في ورقة البحث التصميم التجريبي والتقنيات التحليلية المستخدمة للتحقيق في سؤال البحث. يوضح معايير اختيار المشاركين، والإجراءات المحددة المتبعة خلال جمع البيانات، والأدوات المستخدمة للقياس. كما يصف القسم التحليلات الإحصائية المطبقة لتفسير البيانات، بما في ذلك أي برامج تم استخدامها والعتبات الدلالية المحددة لاختبار الفرضيات.
بالإضافة إلى ذلك، تؤكد المنهجية على إمكانية تكرار الدراسة من خلال توفير إطار عمل واضح للتجارب التي تم إجراؤها. يشمل ذلك أي تدابير تحكم تم تنفيذها للتخفيف من التحيز وضمان صلاحية النتائج. بشكل عام، تم تصميم الطرق لتقييم الفرضيات المطروحة في البحث بدقة، مما يساهم في موثوقية النتائج المقدمة في الأقسام اللاحقة.
النتائج
تكشف نتائج الدراسة التي تقيم نموذج CatBoost لاكتشاف مرض الشريان التاجي (CAD) عن نتائج هامة بشأن أداء النموذج عبر مجموعات المرضى المختلفة. أظهر النموذج حساسية أعلى في تحديد الذكور المصابين (0.858) مقارنة بالإناث (0.795)، مع فرق ذو دلالة إحصائية (P = 0.042). بالإضافة إلى ذلك، كانت نسبة الإيجابيات الكاذبة أعلى في الإناث (0.15) مقارنة بالذكور (0.11)، على الرغم من أن هذا الفرق لم يكن ذو دلالة إحصائية (P = 0.093). اختلف الأداء حسب العمر، حيث بلغ ذروته في الفئة العمرية 55-65 (حساسية 0.865)، لكن الفروق عبر الفئات العمرية لم تكن ذات دلالة إحصائية (P = 0.234). ومن الجدير بالذكر أن الحساسية اختلفت حسب المركز، حيث حقق مركز كليفلاند أعلى حساسية (0.882) ومركز سويسرا الأدنى (0.775)، وهو فرق ذو دلالة إحصائية (P = 0.008). تم حساب مؤشر العدالة المركب عند 0.965، مما يدل على عدالة معقولة ولكنه يبرز مجالات للتحسين، خاصة فيما يتعلق بالمرضى الإناث ومركز سويسرا.
استكشفت الدراسة أيضًا جدوى استخدام نموذج CatBoost مع بيانات سريرية بسيطة. تحسن الأداء مع إضافة المتغيرات: حقق نموذج 5 متغيرات دقة تبلغ 0.775، بينما وصل نموذج 10 متغيرات إلى 0.816، مقتربًا من دقة النموذج الكامل البالغة 0.828. تحسنت المعايرة مع المزيد من المتغيرات، كما يتضح من انخفاض درجات Brier. اقترحت تحليل منحنى التعلم أن الأداء المستقر يمكن تحقيقه مع حوالي 630 مريضًا، وهو أمر حاسم للبيئات ذات الموارد المحدودة. أكدت تحليل SHAP الأهمية السريرية للمتغيرات مثل نوع ألم الصدر والاكتئاب في ST، مما يوفر رؤى حول تأثيرها على توقعات النموذج. بشكل عام، أظهر نموذج CatBoost تمييزًا عاليًا (AUC-ROC 0.90) ومعايرة جيدة، لكن النتائج تؤكد على الحاجة إلى الانتباه إلى العدالة عبر مجموعات ديموغرافية مختلفة.
المناقشة
قدمت الدراسة نهجًا تنبؤيًا استباقيًا بأثر رجعي يهدف إلى تطوير والتحقق من إطار عمل للذكاء الاصطناعي القابل للتفسير لتصنيف مخاطر مرض الشريان التاجي (CAD). باستخدام مجموعة بيانات أمراض القلب من UCI، شملت التحليل 899 مريضًا بالغًا خضعوا لتصوير الأوعية التاجية، مع التركيز على 13 متغيرًا سريريًا وديموغرافيًا متاحًا بشكل روتيني في الممارسة السريرية. أظهر النموذج الرئيسي، CatBoost، أداءً متفوقًا بدقة تبلغ 82.8% ودرجة F1 تبلغ 0.844، مما يبرز فعاليته في التمييز بين مرضى CAD وغير CAD. أكدت الدراسة على أهمية معايرة النموذج، حيث حققت درجة Brier تبلغ 0.1252، مما يدل على تقديرات موثوقة للاحتمالات الضرورية لاتخاذ القرار السريري.
كما سلطت النتائج الضوء على قابلية تفسير النموذج من خلال تحليل SHAP، مما يتماشى مع المعرفة السريرية المعروفة بشأن عوامل خطر CAD. ومع ذلك، حددت الدراسة تفاوتات كبيرة في حساسية النموذج عبر مجموعات المرضى المختلفة، خاصة حسب الجنس والمركز الطبي، مما يشير إلى الحاجة إلى إعادة المعايرة المستهدفة لتعزيز العدالة. بشكل عام، تساهم الأبحاث في زيادة الأدلة التي تدعو إلى دمج الذكاء الاصطناعي القابل للتفسير في البيئات السريرية، مع تحقيق التوازن بين الأداء وقابلية التفسير والعدالة، بينما تظهر أيضًا جدوى استخدام بيانات سريرية بسيطة لتقييم مخاطر CAD بشكل فعال.
القيود
تقدم الدراسة نموذج CatBoost مصممًا لتصنيف مرض الشريان التاجي (CAD)، باستخدام مجموعة ميزات مضغوطة وسهلة الفهم سريريًا. بينما يظهر النموذج وعدًا في دعم اتخاذ القرار السريري، خاصة في غياب تقنيات التصوير المتقدمة، فإنه يكشف أيضًا عن قيود كبيرة. ومن الجدير بالذكر أن التفاوتات بناءً على الجنس والمركز السريري تبرز خطر استمرار عدم المساواة التشخيصية، خاصة للمرضى الذين لديهم عروض غير نمطية. منهجيًا، تستفيد الدراسة من مجموعة بيانات متعددة المراكز متناسقة وتقييمات شاملة للتمييز والمعايرة، ومع ذلك، فهي مقيدة بمجموعات بيانات UCI الصغيرة والقديمة والمحدودة ديموغرافيًا، بالإضافة إلى استبعاد المتغيرات الحاسمة مثل العرق، والعرقية، والحالة الاجتماعية الاقتصادية.
لمعالجة هذه القيود، يجب أن تركز الأبحاث المستقبلية على التحقق من صحة وإعادة معايرة النموذج باستخدام مجموعات أكبر، ومعاصرة، وأكثر تنوعًا. بالإضافة إلى ذلك، فإن توسيع تقييم العدالة ليشمل المعايرة، والتوازن التنبؤي، والفائدة الصافية عبر المجموعات الفرعية أمر ضروري. سيكون من الضروري التحقيق في استراتيجيات التخفيف، مثل إعادة المعايرة للمجموعات الفرعية وزيادة البيانات الواعية بالعدالة. علاوة على ذلك، فإن دمج البيانات الطولية حول عوامل الخطر الروتينية، على غرار نماذج ASCVD الأخيرة، يمكن أن يعزز أداء النموذج مع ضرورة النظر بعناية في التحيزات في عملية الرعاية وآثارها على العدالة.
DOI: https://doi.org/10.66224/ist.202603.11.06
Publication Date: 2026-01-01
Author(s): Motahhareh Alisoufi et al.
Primary Topic: Artificial Intelligence in Healthcare
Overview
This research investigates the use of a CatBoost model for risk stratification of coronary artery disease (CAD) using routinely collected clinical and demographic data from 899 patients across four centers. The study emphasizes the need for reliable risk assessment tools in settings with limited access to advanced diagnostics. The model demonstrated strong performance metrics, achieving an accuracy of 0.828, sensitivity of 0.841, an F1 score of 0.844, and an AUC-ROC of 0.90, alongside acceptable calibration (Brier score = 0.125). Notably, a reduced model utilizing only seven variables maintained 95.4% of the full model’s F1 performance, indicating its feasibility for resource-constrained environments.
However, the analysis revealed disparities in sensitivity between different patient subgroups, with females showing lower sensitivity (0.795) compared to males (0.858), and variability across centers (ranging from 0.775 to 0.882). These findings highlight the necessity of fairness evaluations prior to clinical implementation, as high aggregate performance does not ensure equitable outcomes. SHAP analysis corroborated the model’s alignment with established clinical knowledge, identifying chest pain type and ST-segment abnormalities as key predictors. The study advocates for further validation in diverse populations and emphasizes the importance of assessing the net clinical benefit before integrating such models into clinical practice.
Introduction
Coronary artery disease (CAD) is a significant global health issue, necessitating accurate risk stratification to optimize preventive therapies and diagnostic testing while minimizing unnecessary invasive procedures. Current decision-making often relies on heuristic clinical judgment or generic cardiovascular risk scores, which may not be effective for diverse populations. Advanced imaging and stress testing, while beneficial, can be costly and inaccessible in resource-limited settings, highlighting the need for cost-effective tools that utilize minimal, routinely collected clinical data. Recent advancements in machine learning (ML) have shown promise in enhancing traditional risk scores, such as the Pooled Cohort Equations (PCE), particularly in multi-ethnic populations. However, issues of algorithmic fairness persist, with significant disparities in model performance across different demographic groups.
Existing CAD-specific AI models have primarily focused on diagnostic classification rather than equitable risk stratification, achieving high accuracy in detecting significant CAD but often neglecting calibration and subgroup performance assessments. While some research has begun to integrate fairness evaluation into cardiovascular risk prediction, these efforts have not been systematically applied to CAD risk stratification using widely studied datasets. This study aims to fill this gap by proposing a cost-aware, calibrated, and explainable AI framework for equitable CAD risk stratification, utilizing minimal clinical data. The goal is to develop a practical, transparent, and equitable approach that aligns with contemporary standards in clinical AI.
Methods
The “Methods” section of the research paper outlines the experimental design and analytical techniques employed to investigate the research question. It details the selection criteria for participants, the specific procedures followed during data collection, and the tools used for measurement. The section also describes the statistical analyses applied to interpret the data, including any software utilized and the significance thresholds set for hypothesis testing.
Additionally, the methodology emphasizes the reproducibility of the study by providing a clear framework for the experiments conducted. This includes any control measures implemented to mitigate bias and ensure the validity of the results. Overall, the methods are designed to rigorously assess the hypotheses posed in the research, contributing to the reliability of the findings presented in subsequent sections.
Results
The results of the study evaluating the CatBoost model for coronary artery disease (CAD) detection reveal significant findings regarding model performance across various patient subgroups. The model demonstrated higher sensitivity in identifying diseased males (0.858) compared to females (0.795), with a statistically significant difference (P = 0.042). Additionally, the false positive rate was higher in females (0.15) than in males (0.11), although this difference was not statistically significant (P = 0.093). Performance varied by age, peaking in the 55-65 age group (sensitivity of 0.865), but differences across age groups were not statistically significant (P = 0.234). Notably, sensitivity varied by center, with the Cleveland center achieving the highest sensitivity (0.882) and the Swiss center the lowest (0.775), a significant difference (P = 0.008). The composite fairness index was calculated at 0.965, indicating reasonable fairness but highlighting areas for improvement, particularly concerning female patients and the Swiss center.
The study also explored the feasibility of using the CatBoost model with minimal clinical data. Performance improved with the addition of variables: a 5-variable model achieved an accuracy of 0.775, while a 10-variable model reached 0.816, nearing the full model’s accuracy of 0.828. Calibration improved with more variables, as indicated by decreasing Brier scores. Learning curve analysis suggested that stable performance could be achieved with approximately 630 patients, which is crucial for resource-constrained settings. SHAP analysis confirmed the clinical relevance of variables such as chest pain type and ST depression, providing insights into their impact on model predictions. Overall, the CatBoost model exhibited high discrimination (AUC-ROC 0.90) and good calibration, but the findings underscore the need for attention to fairness across different demographic groups.
Discussion
The study presented a retrospective prognostic prediction modeling approach aimed at developing and validating an explainable artificial intelligence framework for coronary artery disease (CAD) risk stratification. Utilizing the UCI Heart Disease dataset, the analysis included 899 adult patients who underwent coronary angiography, focusing on 13 clinical and demographic variables routinely available in clinical practice. The primary model, CatBoost, demonstrated superior performance with an accuracy of 82.8% and an F1 score of 0.844, highlighting its effectiveness in distinguishing between CAD and non-CAD patients. The study emphasized the importance of model calibration, achieving a Brier score of 0.1252, indicating reliable probability estimates crucial for clinical decision-making.
The findings also underscored the model’s interpretability through SHAP analysis, aligning with established clinical knowledge regarding CAD risk factors. However, the study identified significant disparities in model sensitivity across different patient subgroups, particularly by sex and medical center, suggesting the need for targeted recalibration to enhance fairness. Overall, the research contributes to the growing body of evidence advocating for the integration of explainable AI in clinical settings, balancing performance with interpretability and fairness, while also demonstrating the feasibility of using minimal clinical data for effective CAD risk assessment.
Limitations
The study presents a CatBoost model designed for coronary artery disease (CAD) triage, utilizing a compact and clinically intuitive feature set. While the model shows promise in supporting clinical decision-making, particularly in the absence of advanced imaging techniques, it also reveals significant limitations. Notably, disparities based on sex and clinical center highlight the risk of perpetuating diagnostic inequities, especially for patients with atypical presentations. Methodologically, the study benefits from a harmonized multi-center dataset and thorough assessments of discrimination and calibration, yet it is constrained by the small, outdated, and demographically limited UCI datasets, as well as the exclusion of critical variables such as race, ethnicity, and socioeconomic status.
To address these limitations, future research should focus on validating and recalibrating the model using larger, contemporary, and more diverse cohorts. Additionally, extending the fairness evaluation to include calibration, predictive parity, and net benefit across subgroups is essential. Investigating mitigation strategies, such as subpopulation recalibration and fairness-aware data augmentation, will be crucial. Furthermore, incorporating longitudinal data on routine risk factors, akin to recent ASCVD models, could enhance model performance while necessitating careful consideration of care-process biases and their implications for equity.
