DOI: https://doi.org/10.1136/bmjdhai-2025-000203
PMID: https://pubmed.ncbi.nlm.nih.gov/42712348
تاريخ النشر: 2026-02-01
المؤلف: Gabrielle Bunney وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية
نظرة عامة
هدفت الدراسة إلى تقييم أداء نموذج تنبؤي مصمم لتقييم خطر متلازمة الشريان التاجي الحادة (ACS) وتحديد المرضى المعرضين لخطر مرتفع للإصابة بالنوبة القلبية الناتجة عن ارتفاع مقطع ST (STEMI) عند وصولهم إلى قسم الطوارئ (ED). تم دمج النموذج في أنظمة دعم القرار السريري (CDS) واختباره في بيئة واقعية من خلال تجربة صامتة من نوفمبر 2023 إلى أبريل 2024. قارنت الدراسة أداء CDS بممارسات الفحص البشري القياسية، مع التركيز على الحساسية والنوعية لـ ACS.
عالجت CDS 32,346 زيارة لقسم الطوارئ، وحددت 1.0% مع ACS و0.1% مع STEMI. كانت الاتفاقية بين CDS والنموذج الأصلي مرتفعة بشكل ملحوظ، مع اتفاق خام بنسبة 96.8% وKappa لكوهين بنسبة 91.2%. كانت الحساسية لـ ACS 81.7% لـ CDS مقارنة بـ 80.2% للفحص البشري، بينما كانت النوعية مشابهة عند 67.3% لـ CDS و67.4% للبشر. تشير هذه النتائج إلى أن CDS يمكن أن تعيد إنتاج أداء النموذج الأصلي بفعالية، مما يشير إلى أن أدوات الذكاء الاصطناعي يمكن دمجها بأمان في الممارسة السريرية. تؤكد الدراسة على أهمية تقييم موثوقية النموذج وفعاليته قبل النشر لضمان سلامة المرضى وجودة الرعاية.
مقدمة
تسلط مقدمة ورقة البحث الضوء على الزيادة في دمج الذكاء الاصطناعي (AI) في الرعاية الصحية، وخاصة من خلال تطوير نماذج تنبؤية تهدف إلى تحسين النتائج السريرية. تناقش الأطر المصممة لتسهيل ترجمة نماذج الذكاء الاصطناعي إلى الممارسة السريرية، مع التأكيد على اعتبارات مثل تعقيد النموذج، ومعالجة البيانات، والقيمة السريرية. تعمل هذه الأطر كأساس لتعزيز نشر الذكاء الاصطناعي في البيئات الواقعية.
مع التركيز على متلازمة الشريان التاجي الحادة (ACS)، توضح المقدمة الحاجة الملحة للحصول على تخطيط القلب الكهربائي (ECG) في الوقت المناسب لتحديد النوبة القلبية الناتجة عن ارتفاع مقطع ST (STEMI)، وهي الشكل الأكثر حدة من ACS. توصي الإرشادات الحالية بالحصول على ECG في غضون 10 دقائق من وصول المريض إلى قسم الطوارئ لتقليل معدلات الوفيات، التي يمكن أن تصل إلى 25%-40% دون علاج فوري. ومع ذلك، تفوت عمليات الفحص البشري الحالية حوالي 27% من حالات ACS و15%-37% من حالات STEMI، مما يتجاوز بكثير معدل الفقد المقبول البالغ 1%. يظهر نموذج التنبؤ بـ ACS المقترح، الذي يستخدم متغيرات متاحة بسهولة مثل العمر والجنس والشكاوى الرئيسية، حساسية بنسبة 83%، متجاوزًا حساسية الفحص البشري البالغة 73%.
تستخدم الدراسة إطار عمل ترجمة النماذج التنبؤية الذكية (CTIPM) لدمج نموذج التنبؤ بـ ACS في سير العمل السريرية عبر أدوات دعم القرار السريري (CDS) المدمجة في السجلات الصحية الإلكترونية (EHR). تعزز هذه الأدوات توفر البيانات وتوليفها أثناء رعاية المرضى، مما يعزز الالتزام بالممارسات المستندة إلى الأدلة. يهدف CDS إلى تحسين اتخاذ القرار السريري من خلال استخدام نماذج التنبؤ لتحليل بيانات EHR، مما يسهل التدخلات في الوقت المناسب وقد يحسن نتائج المرضى.
الطرق
توضح قسم “المواد والطرق” التصميم التجريبي والإجراءات المستخدمة في الدراسة. تفصل المواد المحددة المستخدمة، بما في ذلك أي مواد كيميائية، ومعدات، وعينات بيولوجية، لضمان إمكانية تكرار التجارب. تشمل المنهجية البروتوكولات لجمع البيانات، بما في ذلك أي تحليلات إحصائية تم إجراؤها لتفسير النتائج.
تدعم النتائج الرئيسية من خلال التطبيق الدقيق لهذه الطرق، والتي قد تشمل تجارب محكومة، وتحليلات مقارنة، أو نمذجة حسابية، اعتمادًا على تركيز البحث. يبرز القسم أهمية الدقة المنهجية في التحقق من استنتاجات الدراسة وضمان أن النتائج موثوقة وقابلة للتطبيق في سياقات أوسع.
النتائج
خلال الدراسة التي أجريت من 16 نوفمبر 2023 إلى 17 أبريل 2024، قامت نظام دعم القرار السريري (CDS) بفحص 32,346 مريض بالغ في قسم الطوارئ (ED)، وحددت 323 (1.0%) مع متلازمة الشريان التاجي الحادة (ACS)، بما في ذلك 31 (0.1%) مع النوبة القلبية الناتجة عن ارتفاع مقطع ST (STEMI). لم يظهر CDS أي أخطاء في التقاط السكان، أو توقع المخاطر، أو عتبات اتخاذ القرار. ومع ذلك، تم ملاحظة اختلافات بين بيانات “الرعاية الحية” والبيانات المستخدمة من قبل CDS بسبب قيود البرمجيات، والتي قد تكون قد أساءت تمثيل أداء CDS. بعد معالجة هذه الاختلافات، أظهر CDS اتفاقًا خامًا بنسبة 96.8% مع النموذج في المختبر، مع إحصائية Kappa بنسبة 91.2% (95% CI 90.7% إلى 91.8%).
فيما يتعلق بالفعالية المقارنة، حقق CDS حساسية بنسبة 81.7% (95% CI 77.1% إلى 85.8%)، مقارنة بحساسية النموذج في المختبر البالغة 82.0% (95% CI 77.4% إلى 86.1%). أظهر كل من CDS والنموذج في المختبر نوعية متطابقة (67.3%، 95% CI 66.8% إلى 67.9%) وقيمة تنبؤية إيجابية (2.5%، 95% CI 2.2% إلى 2.8%). فوت CDS 25.8% من حالات STEMI، بينما فوت النموذج في المختبر 29.0%. كانت مقاييس أداء البشر مشابهة لتلك الخاصة بـ CDS والنموذج في المختبر، مع حساسية تبلغ 80.2% (95% CI 75.4% إلى 84.4%) ونوعية تبلغ 67.4% (95% CI 66.9% إلى 67.9%)، مما يشير إلى عدم وجود اختلافات كبيرة بين الأساليب الثلاثة نظرًا لتداخل فترات الثقة.
المناقشة
في هذه الدراسة، طبق المؤلفون إطار عمل التنفيذ الفني السريري للنماذج التنبؤية (CTIPM) لتقييم نظام دعم القرار السريري (CDS) المصمم للتنبؤ بمتلازمة الشريان التاجي الحادة (ACS) في مرضى قسم الطوارئ (ED). شملت الدراسة دراسة مجموعة مستقبلية على مدى خمسة أشهر، مقارنة أداء CDS بأساليب الفحص البشري. أشارت النتائج إلى أن CDS أظهرت توافقًا ممتازًا مع النموذج في المختبر، محققة حساسية ونوعية وقيمة تنبؤية إيجابية قابلة للمقارنة مع أداء البشر، خاصة بعد مبادرة لتعزيز كفاءة الفحص البشري.
ومع ذلك، حددت الدراسة تحديات تتعلق بالتقاط البيانات في الوقت الحقيقي وديناميكيات بيانات السجلات الصحية الإلكترونية (EHR)، التي يمكن أن تتغير أثناء رعاية المرضى. تم ملاحظة اختلافات بين بيانات الرعاية الحية والبيانات المكتملة، بشكل أساسي بسبب تطور الشكاوى الرئيسية أثناء زيارات قسم الطوارئ. أكد المؤلفون على أهمية معالجة انحراف البيانات وضمان توثيق البيانات بدقة للحفاظ على أداء النموذج بمرور الوقت. وخلصوا إلى أنه بينما يمكن أن يعزز CDS كفاءة الفحص من خلال تحسين مهارات الموظفين غير السريريين، إلا أن هناك حاجة إلى مزيد من البحث لاستكشاف فعاليته السريرية على المدى الطويل ومعالجة القيود التقنية التي تم تحديدها خلال الدراسة.
DOI: https://doi.org/10.1136/bmjdhai-2025-000203
PMID: https://pubmed.ncbi.nlm.nih.gov/42712348
Publication Date: 2026-02-01
Author(s): Gabrielle Bunney et al.
Primary Topic: Artificial Intelligence in Healthcare
Overview
The research aimed to evaluate the performance of a predictive model designed to assess the risk of acute coronary syndrome (ACS) and identify patients at high risk for ST-segment myocardial infarction (STEMI) upon arrival at the emergency department (ED). The model was integrated into clinical decision support (CDS) systems and tested in a real-world setting through a silent pilot from November 2023 to April 2024. The study compared the CDS’s performance with standard human screening practices, focusing on sensitivity and specificity for ACS.
The CDS processed 32,346 ED visits, identifying 1.0% with ACS and 0.1% with STEMI. The agreement between the CDS and the original model was notably high, with a raw agreement of 96.8% and a Cohen’s Kappa of 91.2%. The sensitivity for ACS was 81.7% for the CDS compared to 80.2% for human screening, while specificity was similar at 67.3% for the CDS and 67.4% for humans. These findings indicate that the CDS can replicate the performance of the original model effectively, suggesting that AI tools can be safely integrated into clinical practice. The study emphasizes the importance of assessing model fidelity and effectiveness prior to deployment to ensure patient safety and care quality.
Introduction
The introduction of the research paper highlights the increasing integration of artificial intelligence (AI) in healthcare, particularly through the development of predictive models aimed at improving clinical outcomes. It discusses frameworks designed to facilitate the translation of AI models into clinical practice, emphasizing considerations such as model complexity, data manipulation, and clinical value. These frameworks serve as a foundation for enhancing the deployment of AI in real-world settings.
Focusing on acute coronary syndrome (ACS), the introduction outlines the critical need for timely electrocardiograms (ECGs) to identify ST-segment myocardial infarction (STEMI), the most severe form of ACS. Current guidelines recommend obtaining an ECG within 10 minutes of a patient’s arrival at the emergency department to reduce mortality rates, which can be as high as 25%-40% without prompt treatment. However, existing human screening processes miss approximately 27% of ACS cases and 15%-37% of STEMI cases, far exceeding the acceptable miss rate of 1%. The proposed ACS prediction model, utilizing readily available variables such as age, sex, and chief complaint, demonstrates an 83% sensitivity, surpassing the 73% sensitivity of human screening.
The research employs the Clinical Translation of Intelligent Predictive Models (CTIPM) framework to integrate the ACS prediction model into clinical workflows via electronic health record (EHR)-embedded clinical decision support (CDS) tools. These tools enhance data availability and synthesis during patient care, promoting adherence to evidence-based practices. The CDS aims to improve clinical decision-making by utilizing predictive models to analyze EHR data, thereby facilitating timely interventions and potentially improving patient outcomes.
Methods
The “Materials and Methods” section outlines the experimental design and procedures employed in the study. It details the specific materials used, including any reagents, equipment, and biological samples, ensuring reproducibility of the experiments. The methodology encompasses the protocols for data collection, including any statistical analyses performed to interpret the results.
Key findings are supported by the rigorous application of these methods, which may involve controlled experiments, comparative analyses, or computational modeling, depending on the research focus. The section emphasizes the importance of methodological rigor in validating the study’s conclusions and ensuring that the results are both reliable and applicable to broader contexts.
Results
During the study conducted from November 16, 2023, to April 17, 2024, a Clinical Decision Support (CDS) system screened 32,346 adult emergency department (ED) patients, identifying 323 (1.0%) with acute coronary syndrome (ACS), including 31 (0.1%) with ST-elevation myocardial infarction (STEMI). The CDS demonstrated no errors in population capture, risk prediction, or decision-making thresholds. However, discrepancies were noted between the ‘live care’ data and the data utilized by the CDS due to software limitations, which could have misrepresented the CDS’s performance. After addressing these discrepancies, the CDS showed a raw agreement of 96.8% with the in vitro model, with a Kappa statistic of 91.2% (95% CI 90.7% to 91.8%).
In terms of comparative effectiveness, the CDS achieved a sensitivity of 81.7% (95% CI 77.1% to 85.8%), comparable to the in vitro model’s sensitivity of 82.0% (95% CI 77.4% to 86.1%). Both the CDS and the in vitro model exhibited identical specificity (67.3%, 95% CI 66.8% to 67.9%) and positive predictive value (2.5%, 95% CI 2.2% to 2.8%). The CDS missed 25.8% of STEMI cases, while the in vitro model missed 29.0%. Human performance metrics were similar to those of the CDS and the in vitro model, with a sensitivity of 80.2% (95% CI 75.4% to 84.4%) and specificity of 67.4% (95% CI 66.9% to 67.9%), indicating no significant differences among the three approaches given the overlapping confidence intervals.
Discussion
In this study, the authors applied the Clinical Technical Implementation of Predictive Models (CTIPM) framework to evaluate a clinical decision support (CDS) system designed to predict acute coronary syndrome (ACS) in emergency department (ED) patients. The research involved a prospective cohort study over five months, comparing the performance of the CDS against human screening methods. The findings indicated that the CDS demonstrated excellent agreement with the in vitro model, achieving comparable sensitivity, specificity, and positive predictive value to human performance, particularly after an initiative to enhance human screening efficiency.
However, the study identified challenges related to real-time data capture and the dynamics of electronic health record (EHR) data, which can change during patient care. Discrepancies between live and completed care data were noted, primarily due to evolving chief complaints during ED visits. The authors emphasized the importance of addressing data drift and ensuring accurate data documentation to maintain model performance over time. They concluded that while the CDS could potentially enhance screening efficiency by upskilling nonclinical staff, further research is needed to explore its long-term clinical effectiveness and address the technical limitations identified during the study.