DOI: https://doi.org/10.3389/fcvm.2024.1360548
PMID: https://pubmed.ncbi.nlm.nih.gov/39011494
تاريخ النشر: 2024-07-01
المؤلف: Jianghong Wang وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية
نظرة عامة
تدرس هذه الدراسة تطبيق تقنية التعلم الآلي الآلي (AutoML)، من خلال إطار عمل AutoGluon، لتطوير نموذج توقع قابل للتفسير لمرض الشريان التاجي (CAD) يهدف إلى تحسين التشخيص السريري. باستخدام مجموعة بيانات مجمعة من خمسة مصادر عامة، تقوم البحث ببناء نموذج تجميعي يتم تقييمه مقابل نماذج خط الأساس الفردية. يظهر النموذج التجميعي أداءً متفوقًا، حيث يحقق دقة تبلغ 0.9167 ومنطقة تحت المنحنى (AUC) تبلغ 0.9562 من خلال 4-fold cross-bagging.
تستخدم الدراسة أيضًا SHapley Additive exPlanations (SHAP) لتوضيح أهمية الميزات الفردية في توقعات النموذج، مما يعزز الشفافية وقابلية التفسير. تؤكد النتائج على إمكانيات AutoML في تبسيط تطوير النماذج في الطب القلبي الوعائي، مما يحسن بشكل كبير دقة التوقعات بينما يعالج أيضًا الحاجة الملحة لتفسير النماذج لتعزيز الثقة وتسهيل اعتمادها على نطاق أوسع في البيئات السريرية. بشكل عام، تؤكد هذه البحث فعالية AutoML في تقدم منهجيات توقع الأمراض ضمن مجال الطب القلبي الوعائي.
الطرق
في هذه الدراسة، تم تطوير نموذج يعتمد على AutoGluon لتوقع مرض الشريان التاجي (CAD)، مع التركيز على قابليته للتفسير من خلال SHAP (SHapley Additive exPlanations). تتضمن المنهجية التجريبية ضبط معلمين حاسمين: مستوى التكديس، الذي يؤثر على عمق طبقات التكديس، وbag-fold، الذي يحدد عدد الطيات في عملية التكديس. يتم تقسيم مجموعة البيانات إلى مجموعة تدريب (70%) ومجموعة اختبار (30%)، ويتم بناء نموذج تجميعي باستخدام AutoGluon، الذي يدمج نماذج خط الأساس المختلفة من خلال تقنيات التكديس والتجميع.
يتم تقييم أداء نموذج AutoGluon التجميعي مقابل ثمانية نماذج تعلم آلي فردية، بهدف تحديد المعلمات المثلى بناءً على نتائج التدريب. بالإضافة إلى ذلك، يتم إجراء تحليل الميزات باستخدام SHAP لتعزيز قابلية تفسير توقعات النموذج. تم تضمين مقتطفات كود رئيسية ذات صلة بالإعداد التجريبي في المواد التكميلية.
المناقشة
في هذه الدراسة، يؤكد المؤلفون فعالية إطار عمل AutoGluon AutoML في توقع مرض الشريان التاجي (CAD) باستخدام مجموعة بيانات شاملة مستمدة من مصادر متعددة، totaling 918 ملاحظة. تتضمن مجموعة البيانات 11 ميزة، مع نتائج مهمة تشير إلى أن ميزات مثل ميل ST، نوع ألم الصدر، والذبحة الصدرية أثناء التمرين هي حاسمة في التمييز بين مرضى CAD وغير CAD. تستخدم الدراسة SHAP (SHapley Additive exPlanations) لتوضيح توقعات النموذج، كاشفة أن ميل ST المسطح ومستويات السكر في الدم الصائم العالية مرتبطة بزيادة خطر الإصابة بـ CAD.
تفوق نموذج AutoGluon على طرق التعلم الآلي التقليدية، حيث حقق دقة قصوى تبلغ 0.9167 مع استراتيجية 4-fold cross-bagging. بينما يظهر النموذج قدرات تنبؤية قوية، يعترف المؤلفون بالقيود في مجموعة البيانات، بما في ذلك نقص المطابقة في الميل والمتغيرات المفقودة التي قد تؤثر على أداء النموذج. يؤكدون على أهمية تفسير النموذج في البيئات السريرية، حيث أن فهم الأسباب وراء التوقعات أمر ضروري لدمج هذه الرؤى في الممارسة الطبية. تشمل اتجاهات البحث المستقبلية استخدام مجموعات بيانات أكبر واستكشاف أطر AutoML أخرى لتعزيز تعميم النموذج وقابليته للتطبيق في سياقات طبية متنوعة.
DOI: https://doi.org/10.3389/fcvm.2024.1360548
PMID: https://pubmed.ncbi.nlm.nih.gov/39011494
Publication Date: 2024-07-01
Author(s): Jianghong Wang et al.
Primary Topic: Artificial Intelligence in Healthcare
Overview
This study investigates the application of Automated Machine Learning (AutoML) technology, specifically through the AutoGluon framework, to develop an explainable prediction model for Coronary Artery Disease (CAD) aimed at enhancing clinical diagnosis. Utilizing a combined dataset from five public sources, the research constructs an ensemble model that is evaluated against individual baseline models. The ensemble model demonstrates superior performance, achieving an accuracy of 0.9167 and an area under the curve (AUC) of 0.9562 through 4-fold cross-bagging.
The study further employs SHapley Additive exPlanations (SHAP) to elucidate the importance of individual features in the model’s predictions, thereby enhancing transparency and interpretability. The findings underscore the potential of AutoML to streamline model development in cardiovascular medicine, significantly improving prediction accuracy while also addressing the critical need for model explainability to foster trust and facilitate broader adoption in clinical settings. Overall, this research confirms the effectiveness of AutoML in advancing disease prediction methodologies within the field of cardiovascular medicine.
Methods
In this study, an AutoGluon-based model is developed for predicting coronary artery disease (CAD), with a focus on its explainability through SHAP (SHapley Additive exPlanations). The experimental methodology involves tuning two critical parameters: stack-level, which influences the depth of the stacking layers, and bag-fold, which determines the number of folds in the bagging process. The dataset is split into a training set (70%) and a test set (30%), and an ensemble model is constructed using AutoGluon, which integrates various baseline models through bagging and stacking techniques.
The performance of the AutoGluon ensemble model is evaluated against eight individual machine learning models, with the aim of identifying the optimal parameters based on training results. Additionally, feature analysis is conducted using SHAP to enhance the interpretability of the model’s predictions. Key code snippets relevant to the experimental setup are included in the supplementary material.
Discussion
In this study, the authors validate the effectiveness of the AutoGluon AutoML framework for predicting coronary artery disease (CAD) using a comprehensive dataset derived from multiple sources, totaling 918 observations. The dataset includes 11 features, with significant findings indicating that features such as ST slope, chest pain type, and exercise angina are crucial for distinguishing between CAD and non-CAD patients. The study employs SHAP (SHapley Additive exPlanations) to elucidate the model’s predictions, revealing that a flat ST slope and high fasting blood sugar levels are associated with a higher risk of CAD.
The AutoGluon model outperformed traditional machine learning methods, achieving a peak accuracy of 0.9167 with a 4-fold cross-bagging strategy. While the model demonstrates robust predictive capabilities, the authors acknowledge limitations in the dataset, including a lack of propensity matching and missing variables that could affect model performance. They emphasize the importance of model explainability in clinical settings, as understanding the rationale behind predictions is essential for integrating these insights into medical practice. Future research directions include utilizing larger datasets and exploring other AutoML frameworks to enhance model generalization and applicability in diverse medical contexts.