DOI: https://doi.org/10.36922/aih025460100
تاريخ النشر: 2026-02-04
المؤلف: Yuvraj Sharma وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية
نظرة عامة
تخلص الأبحاث إلى أن النماذج المعتمدة على المحولات، وخاصة المحول الجدولي، تتفوق بشكل كبير على نماذج التعلم الآلي التقليدية (ML) ونماذج التعلم العميق (DL) في توقع مخاطر الأمراض القلبية الوعائية (CVD). هذه الميزة تكون واضحة بشكل خاص عند التعامل مع المؤشرات الحيوية غير المتجانسة، والتي تشمل مجموعة من المؤشرات المستندة إلى المكتب، والمختبر، والتصوير الشعاعي. آلية تضمين المحول الجدولي المدركة للسياق تلتقط بشكل فعال التفاعلات غير الخطية بين الميزات الحيوية مثل معدل الترشيح الكبيبي (GFR)، حالة السكري، إذابة الجلطات في احتشاء عضلة القلب (TPA)، وملفات الأدوية.
تسلط الدراسة الضوء على كفاءة آليات الانتباه في معالجة بيانات المؤشرات الحيوية متعددة المتغيرات المعقدة، مما يؤدي إلى توقعات دقيقة وموثوقة لمخاطر الأمراض القلبية الوعائية. النموذج المقترح المعتمد على المحولات ليس فقط قابل للتوسع وقابل للتطبيق سريرياً، بل يوفر أيضاً تصنيفاً دقيقاً للمخاطر، وهو أمر حيوي للتشخيص المبكر والتدخل. تشير هذه النتائج إلى أن النماذج المعتمدة على المحولات هي أدوات واعدة في تحليلات الرعاية الصحية، مع تطبيقات محتملة تمتد إلى ما هو أبعد من الأمراض القلبية الوعائية إلى مجالات أخرى من التنبؤ الطبي.
مقدمة
تسلط مقدمة ورقة البحث الضوء على التأثير الكبير للأمراض القلبية الوعائية (CVD) كسبب رئيسي للوفيات، خاصة بين الأفراد المصابين بداء السكري ومرض الكلى المزمن. تؤكد على أهمية المؤشرات الحيوية المختلفة لمراقبة تقدم المرض، بما في ذلك تلك المتعلقة بالخلل العصبي ولزوجة الدم، مع الاعتراف أيضاً بعوامل الخطر الإضافية مثل التدخين والاضطرابات الأيضية. تركز الدراسة بشكل خاص على بيانات المؤشرات الحيوية السريرية لاكتشاف الأمراض القلبية الوعائية، باستخدام نماذج معتمدة على المحولات—مُعالج الميزات (FT)، الانتباه الذاتي والانتباه بين العينات (SAINT)، والمحول الجدولي—لتحسين دقة التنبؤ. تستخدم هذه النماذج آليات الانتباه لالتقاط التفاعلات المعقدة بين الميزات التي قد تتجاهلها الطرق التقليدية.
تؤسس الورقة إطاراً مرجعياً لتوقع مخاطر الأمراض القلبية الوعائية، مقارنةً بين نماذج التعلم الآلي التقليدية (ML)، ونماذج التعلم العميق (DL) (مثل وحدة الذاكرة المتكررة المغلقة [GRU] وذاكرة المدى القصير والطويل [LSTM])، والنماذج المعتمدة على المحولات المذكورة أعلاه. يتضمن التصميم التجريبي تحليلات متسلسلة لتقييم تأثير زيادة البيانات على تعميم النموذج واستقراره. تشير الأدبيات الخلفية إلى تطور تاريخي في تصنيف مخاطر الأمراض القلبية الوعائية، الانتقال من النماذج الإحصائية التقليدية إلى الأطر المتقدمة للتعلم العميق، مع إظهار التطورات الأخيرة في نماذج المحولات أداءً متفوقاً في تحليل بيانات المؤشرات الحيوية الجدولية وتحسين كل من دقة التنبؤ وقابلية التفسير في تقييمات الأمراض القلبية الوعائية.
طرق
استخدمت الدراسة بيانات من شبكة تصوير القلب والأوعية الدموية في جامعة كوين، كندا، تتكون من مجموعتين مستقلتين: مجموعة بيانات تجريبية تضم 500 مريض ومجموعة بيانات تحقق تضم 459 مريض. تتضمن هذه المجموعة، التي لا تتوفر للجمهور، 21 مؤشراً حيوياً قلوبياً مصنفة إلى معايير ديموغرافية وسريرية وتصويرية، مثل العمر، الجنس، السكري، وميزات التصوير الشعاعي المستمدة من الموجات فوق الصوتية. كانت التسمية المستهدفة للتحليل هي AngioScore، التي تتراوح من 0 إلى 1. لمعالجة الانحياز في مجموعة البيانات، وخاصة التمثيل الناقص لحالات الأمراض القلبية الوعائية (CVD) الإيجابية، استخدم الباحثون تقنية زيادة العينة للأقليات الاصطناعية (SMOTE) لتحقيق توازن في مجموعة البيانات إلى 3,060 سجل، مما يضمن عمليات تدريب وتحقيق قوية.
تضمن التصميم التجريبي بروتوكول تحقق متقاطع مقسم إلى 10 أجزاء، مع الحفاظ على تقسيمات على مستوى المريض لمنع تسرب البيانات. قامت الدراسة بتقييم ثلاثة نماذج معتمدة على المحولات—FT، SAINT، والمحول الجدولي—مُدمجة مع طبقات متكررة لتشكيل نماذج دمج. استخدمت هذه البنية كتلة المحول لتحويل مدخلات المؤشرات الحيوية القلبية إلى تضمينات سياقية، والتي تمت معالجتها بعد ذلك من خلال وحدات GRU/LSTM لالتقاط الأنماط الزمنية. أظهرت النتائج أن نموذج الدمج تفوق على المحول الجدولي المستقل في دقة التنبؤ، مع زيادة طفيفة في تكلفة الحساب ووقت التدريب، مع الحفاظ على استدلال فعال مناسب للتطبيقات السريرية. كان الهدف من الإطار التجريبي هو تقييم موثوقية وقابلية تفسير وأداء التنبؤ لهذه النماذج المتقدمة مقارنةً بتقنيات التعلم العميق والتعلم الآلي التقليدية لتوقع مخاطر الأمراض القلبية الوعائية.
نتائج
في قسم النتائج، تم تقييم الإطار المقترح عبر عدة أبعاد، بما في ذلك زيادة البيانات، سلوك التعلم، مقارنة النماذج، والتحقق الإحصائي. كشفت النتائج أن أداء التنبؤ تأثر بعوامل مثل تنوع البيانات وتركيبات النماذج، حيث أظهر المحول الجدولي دقة واستقراراً متفوقين في توقع مخاطر الأمراض القلبية الوعائية (CVD).
في التجربة 1، تم تقييم تأثير زيادة البيانات، حيث حقق النموذج الأساسي دقة بلغت 69.32%. تحسنت هذه الدقة إلى 76.20% و83.95% مع زيادة 2× و3× على التوالي، وبلغت ذروتها عند 89.98% مع زيادة 9× قبل أن تنخفض قليلاً إلى 88.36% عند 10×. عززت الزيادة المعتدلة (4-9×) تعميم النموذج واستقراره، بينما أدت الزيادة المفرطة إلى عوائد متناقصة.
قامت التجربة 2 بمقارنة نماذج التعلم الآلي المختلفة، وكشفت أن النماذج التقليدية مثل Gaussian Naïve Bayes والانحدار اللوجستي كانت لها دقة معتدلة (53-86%) وAUC (0.67-0.91). في المقابل، حققت النماذج المتكررة مثل GRU وLSTM دقة تتجاوز 87% وAUCs فوق 0.91. تفوقت النماذج المعتمدة على المحولات على جميع النماذج الأخرى، مع دقة بلغت 86.16%، 89.18%، و95.18%، وAUCs بلغت 0.8875، 0.9489، و0.9728 لـ SAINT، وFT transformer، وtab transformer على التوالي، مما يدل على فعاليتها في التقاط التفاعلات المعقدة بين المؤشرات الحيوية.
مناقشة
يسلط قسم المناقشة في الدراسة الضوء على فعالية النماذج المعتمدة على المحولات في توقع مخاطر الأمراض القلبية الوعائية (CVD)، مشدداً على تفوقها على أساليب التعلم الآلي التقليدية (ML) والتعلم العميق (DL). تشير النتائج الرئيسية إلى أن زيادة البيانات تعزز بشكل كبير تعميم النموذج من خلال تحقيق توازن في مجموعات البيانات، مما ي stabilizes التدريب ويحسن أداء التنبؤ. أظهرت التحليلات المقارنة أن نماذج المحولات، وخاصة المحول الجدولي، تميزت في التقاط التفاعلات المعقدة بين المؤشرات الحيوية، محققة منطقة تحت المنحنى (AUC) قدرها 0.9728، مقارنةً بـ AUCs أقل للنماذج التقليدية. يبرز هذا الأداء إمكانات هياكل المحولات لنمذجة الاعتماديات غير الخطية بشكل فعال في البيانات السريرية عالية الأبعاد.
علاوة على ذلك، تؤكد الدراسة على قوة وقابلية تفسير الإطار المقترح من خلال التحقق الإحصائي الدقيق وتحليل SHAP، الذي يربط توقعات النموذج بعوامل الخطر القلبية المعروفة. لم يظهر المحول الجدولي فقط دقة تنبؤية متفوقة، بل قدم أيضاً تقديرات مخاطر جيدة المعايرة، مما يجعله أداة واعدة لاتخاذ القرارات السريرية في إدارة الأمراض القلبية الوعائية. تدعو النتائج إلى دمج النماذج المعتمدة على المحولات في الممارسة السريرية، مشددة على قدرتها على تحسين تصنيف المخاطر ونتائج المرضى من خلال تحديد الأفراد ذوي المخاطر العالية بدقة وتسهيل التدخلات في الوقت المناسب. بشكل عام، تؤسس الأبحاث أساساً قوياً لتطبيق تقنيات الذكاء الاصطناعي المتقدمة في تحليلات الرعاية الصحية، خاصة في مجال تقييم مخاطر الأمراض القلبية الوعائية.
القيود
يسلط قسم القيود الضوء على كل من نقاط القوة والضعف في إطار توقع مخاطر الأمراض القلبية الوعائية (CVD) المقترح. تشمل النقاط القوية استخدام النماذج المعتمدة على المحولات، التي تلتقط بشكل فعال التفاعلات غير الخطية بين المؤشرات الحيوية، ودمج ميزات التصوير الشعاعي المستندة إلى الصور مع المؤشرات الحيوية السريرية التقليدية، مما يعزز قدرات النموذج التنبؤية. بالإضافة إلى ذلك، تسهم تحسينات المعلمات الفائقة وزيادة البيانات في استقرار النموذج وقابليته للتعميم، بينما تحسن أدوات قابلية التفسير مثل SHAP الشفافية السريرية من خلال تحديد المؤشرات الحيوية ذات الصلة.
ومع ذلك، تم ملاحظة عدة قيود. تؤدي الكثافة الحسابية لنماذج المحولات إلى أوقات تدريب أطول، مما قد يعيق تطبيقها في إعدادات الرعاية الصحية في الوقت الحقيقي. علاوة على ذلك، لا يمكن مقارنة أداء النموذج مباشرةً مع الآلات الحاسبة المعروفة لمخاطر الأمراض القلبية الوعائية بسبب نقص المتغيرات السريرية الأساسية في مجموعة البيانات. قد لا تكون تطبيقات SMOTE لمعالجة عدم التوازن في الفئات كافية لالتقاط التباين البيولوجي، مما قد يؤدي إلى تضخيم مقاييس الأداء. أخيراً، تؤكد حجم العينة الصغيرة على الحاجة إلى مجموعات بيانات أكبر ومتعددة المراكز للتحقق من فعالية النموذج. يجب أن تركز الأبحاث المستقبلية على تحسين كفاءة النموذج من خلال تقنيات الضغط واستكشاف الأنظمة متعددة الأنماط التي تدمج أنواع بيانات متنوعة لتحسين تقييم مخاطر الأمراض القلبية الوعائية.
DOI: https://doi.org/10.36922/aih025460100
Publication Date: 2026-02-04
Author(s): Yuvraj Sharma et al.
Primary Topic: Artificial Intelligence in Healthcare
Overview
The research concludes that transformer-based models, particularly the tab transformer, significantly outperform traditional machine learning (ML) and deep learning (DL) models in predicting cardiovascular disease (CVD) risk. This advantage is particularly pronounced when dealing with heterogeneous biomarkers, which include a combination of office-based, laboratory-based, and radiomic predictors. The tab transformer’s context-aware embedding mechanism effectively captures nonlinear interactions among critical features such as glomerular filtration rate (GFR), diabetes status, thrombolysis in myocardial infarction (TPA), and medication profiles.
The study highlights the efficiency of attention mechanisms in processing complex multivariate biomarker data, leading to accurate and reliable CVD risk predictions. The proposed transformer-based model is not only scalable and clinically applicable but also provides precise risk stratification, which is vital for early diagnosis and intervention. These findings suggest that transformer-based models are promising tools in healthcare analytics, with potential applications extending beyond CVD to other areas of medical prediction.
Introduction
The introduction of the research paper highlights the significant impact of Cardiovascular Disease (CVD) as a leading cause of mortality, particularly among individuals with diabetes mellitus and chronic kidney disease. It underscores the importance of various biomarkers for monitoring disease progression, including those related to neurological dysfunction and blood viscosity, while also acknowledging additional risk factors such as smoking and metabolic disorders. The study specifically focuses on clinical biomarker data for CVD detection, employing transformer-based models—Feature Tokenizer (FT), Self-Attention and Intersample Attention Transformer (SAINT), and Tab Transformer—to enhance predictive accuracy. These models utilize attention mechanisms to capture complex interactions among features that traditional methods may overlook.
The paper establishes a benchmarking framework for CVD risk prediction, comparing classical machine learning (ML) models, deep learning (DL) models (such as Gated Recurrent Unit [GRU] and Long Short-Term Memory [LSTM]), and the aforementioned transformer-based models. The experimental design includes sequential analyses to assess the impact of data augmentation on model generalization and stability. The background literature indicates a historical evolution in CVD risk stratification, transitioning from traditional statistical models to advanced DL frameworks, with recent advancements in transformer models demonstrating superior performance in analyzing tabular biomarker data and improving both predictive accuracy and interpretability in CVD assessments.
Methods
The study utilized data from the Cardiovascular Imaging Network at Queen’s University, Canada, comprising two independent cohorts: an experimental dataset of 500 patients and a validation dataset of 459 patients. This dataset, which is not publicly accessible, includes 21 cardiovascular biomarkers categorized into demographic, clinical, and imaging parameters, such as age, sex, diabetes, and ultrasound-derived radiomic features. The target label for the analysis was the AngioScore, ranging from 0 to 1. To address the skewness in the dataset, particularly the underrepresentation of cardiovascular disease (CVD)-positive cases, the researchers employed the synthetic minority oversampling technique (SMOTE) to balance the dataset to 3,060 records, ensuring robust training and validation processes.
The experimental design incorporated a 10-fold stratified cross-validation protocol, maintaining patient-level splits to prevent data leakage. The study assessed three transformer-based models—FT, SAINT, and tab transformer—integrated with recurrent layers to form fusion models. This architecture utilized a transformer block to convert cardiovascular biomarker inputs into contextual embeddings, which were then processed through GRU/LSTM units to capture temporal patterns. The results indicated that the fusion model outperformed the standalone tab transformer in predictive accuracy, with a slight increase in computational cost and training time, while maintaining efficient inference suitable for clinical applications. The experimental framework aimed to evaluate the reliability, interpretability, and predictive performance of these advanced models against traditional deep learning and machine learning techniques for CVD risk prediction.
Results
In the results section, the proposed framework was evaluated across multiple dimensions, including data augmentation, learning behavior, model comparison, and statistical validation. The findings revealed that predictive performance was influenced by factors such as data variety and model combinations, with the tab transformer demonstrating superior accuracy and stability in predicting cardiovascular disease (CVD) risk.
In Experiment 1, the effect of data augmentation was assessed, showing that the baseline model achieved an accuracy of 69.32%. This accuracy improved to 76.20% and 83.95% with 2× and 3× augmentation, respectively, peaking at 89.98% with 9× augmentation before slightly declining to 88.36% at 10×. Moderate augmentation (4-9×) enhanced model generalization and stability, while excessive augmentation resulted in diminishing returns.
Experiment 2 compared various machine learning models, revealing that traditional models such as Gaussian Naïve Bayes and logistic regression had moderate accuracy (53-86%) and AUC (0.67-0.91). In contrast, recurrent models like GRU and LSTM achieved accuracies exceeding 87% and AUCs above 0.91. Transformer-based models outperformed all others, with accuracies of 86.16%, 89.18%, and 95.18%, and AUCs of 0.8875, 0.9489, and 0.9728 for SAINT, FT transformer, and tab transformer, respectively, indicating their effectiveness in capturing complex interactions among biomarkers.
Discussion
The discussion section of the study highlights the efficacy of transformer-based models in predicting cardiovascular disease (CVD) risk, emphasizing their superiority over traditional machine learning (ML) and deep learning (DL) approaches. Key findings indicate that data augmentation significantly enhances model generalization by balancing datasets, which stabilizes training and improves predictive performance. The comparative analysis demonstrated that transformer models, particularly the tab transformer, excelled in capturing complex interactions among biomarkers, achieving an area under the curve (AUC) of 0.9728, compared to lower AUCs for conventional models. This performance underscores the potential of transformer architectures to effectively model nonlinear dependencies in high-dimensional clinical data.
Furthermore, the study confirms the robustness and interpretability of the proposed framework through rigorous statistical validation and SHAP analysis, which aligns model predictions with established cardiovascular risk factors. The tab transformer not only exhibited superior predictive accuracy but also provided well-calibrated risk estimates, making it a promising tool for clinical decision-making in CVD management. The findings advocate for the integration of transformer-based models into clinical practice, highlighting their ability to improve risk stratification and patient outcomes by accurately identifying high-risk individuals and facilitating timely interventions. Overall, the research establishes a strong foundation for the application of advanced AI techniques in healthcare analytics, particularly in the realm of cardiovascular risk assessment.
Limitations
The section on limitations highlights both the strengths and weaknesses of the proposed cardiovascular disease (CVD) risk prediction framework. Key strengths include the use of transformer-based models, which effectively capture nonlinear interactions among biomarkers, and the integration of imaging-based radiomic features with traditional clinical biomarkers, enhancing the model’s predictive capabilities. Additionally, robust hyperparameter optimization and data augmentation contribute to the model’s stability and generalizability, while interpretability tools like SHAP improve clinical transparency by identifying relevant biomarkers.
However, several limitations are noted. The computational intensity of transformer models results in longer training times, which may hinder their application in real-time healthcare settings. Furthermore, the model’s performance cannot be directly compared to established CVD risk calculators due to missing essential clinical variables in the dataset. The application of SMOTE to address class imbalance may not adequately capture biological variability, potentially inflating performance metrics. Lastly, the small sample size emphasizes the need for larger, multi-center datasets to validate the model’s effectiveness. Future research should focus on improving model efficiency through compression techniques and exploring multimodal systems that integrate diverse data types for enhanced CVD risk assessment.