DOI: https://doi.org/10.1371/journal.pone.0345693
PMID: https://pubmed.ncbi.nlm.nih.gov/41961785
تاريخ النشر: 2026-04-10
المؤلف: Azade Tabaie وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية
نظرة عامة
تبحث هذه الدراسة في تطبيق تقنيات معالجة اللغة الطبيعية (NLP) وتعلم الآلة (ML) لتحديد الظروف غير الآمنة التي تؤدي إلى أخطاء تشخيص القلب والأوعية الدموية، باستخدام تقارير أحداث سلامة المرضى (PSE). وجدت الدراسة أن نموذج XGBoost تفوق بشكل كبير على النماذج الأخرى، محققًا مقاييس أداء عالية، بما في ذلك منطقة تحت منحنى التشغيل الاستقبالي (AUROC) قدرها 0.914 ودقة قدرها 0.929. ومن الجدير بالذكر أن مصطلح “منظم ضربات القلب” تم تحديده كمؤشر حاسم لأخطاء التشخيص، خاصة فيما يتعلق بالطلب المتكرر على فحوصات التصوير بالرنين المغناطيسي للمرضى الذين لديهم منظمات ضربات القلب. سلط التحليل الضوء على خمسة ميزات رئيسية – الطلب، تخطيط القلب، القلب، الصدر، ومنظم ضربات القلب – التي كانت أساسية في تحديد هذه الأخطاء.
تؤكد النتائج على إمكانية استخدام تقنيات ML وNLP لتحديد أخطاء تشخيص القلب والأوعية الدموية بشكل فعال ضمن بيانات PSE الحالية. ومع ذلك، يحذر المؤلفون من أن التحقق الخارجي في أنظمة الرعاية الصحية المتنوعة ضروري لتأسيس قابلية تعميم هذه النتائج قبل النظر في تنفيذها على نطاق أوسع. تعتبر هذه الدراسة إثباتًا للمفهوم، مما يشير إلى أنه على الرغم من أنها واعدة، إلا أن المزيد من البحث مطلوب للتحقق من صحة هذه الأساليب عبر بيئات التقارير المختلفة.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على القضية الحرجة لمرض القلب والأوعية الدموية (CVD) باعتباره السبب الرئيسي للمراضة والوفيات في الولايات المتحدة، مع التركيز بشكل خاص على التحديات التشخيصية التي تواجه النساء وكبار السن. يؤكد المؤلفون على أهمية تحديد الأخطاء التشخيصية لتعزيز مراقبة السلامة وتحسين الجودة في الرعاية الصحية، كما أوصت به الأكاديميات الوطنية للعلوم والهندسة والطب (NASEM). تعتمد الطرق الحالية لاكتشاف هذه الأخطاء غالبًا على مراجعات يدوية كثيفة العمالة لتقارير أحداث سلامة المرضى (PSE)، والتي يمكن أن تكون غير فعالة.
تناقش الورقة إمكانيات تقنيات تعلم الآلة (ML) في التنبؤ بالأخطاء التشخيصية، مشيرة إلى دراسات سابقة استخدمت ML بنجاح مع السجلات الصحية الإلكترونية (EHR) لتحديد الحالات غير المشخصة وتصنيف دقة التشخيص. ومع ذلك، يشير المؤلفون إلى وجود فجوة في تطبيق ML لتحديد المرضى الذين هم في خطر أعلى من الأخطاء التشخيصية القلبية الوعائية. يقترحون نهجًا جديدًا يجمع بين معالجة اللغة الطبيعية (NLP) وML لتحليل تقارير PSE لأخطاء التشخيص القلبية الوعائية، مع معالجة قيود المنهجيات الحالية التي تتضمن عادةً مراجعات يدوية. من خلال وضع علامات على مجموعة بيانات كبيرة من تقارير PSE وتدريب نماذج ML ثنائية، تهدف الدراسة إلى تحسين تحديد أخطاء التشخيص القلبية الوعائية، مما يعزز سلامة المرضى وجودة تقديم الرعاية.
الطرق
في هذه الدراسة، قام المؤلفون بتحليل تقارير أحداث سلامة المرضى (PSE) من نظام رعاية صحية متعدد المستشفيات في منتصف المحيط الأطلسي في الولايات المتحدة، تغطي الفترة من يناير 2016 إلى أغسطس 2021. لتحديد أخطاء التشخيص القلبية الوعائية بدقة، تمت مراجعة كل تقرير PSE يدويًا للقصص التي أبلغ عنها الأطباء والتي تتماشى مع التعريفات الحالية لمثل هذه الأخطاء. تم تصنيف التقارير التي تحتوي على قصص ذات صلة على أنها ‘1’ (تشير إلى وجود أخطاء)، بينما تم تصنيف تلك التي لا تحتوي على ‘0’.
لتحديد وتحليل هذه القصص المتعلقة بأخطاء التشخيص القلبية الوعائية، استخدم الباحثون أربعة نماذج تعلم آلة ثنائية: (1) الانحدار اللوجستي البسيط، (2) الشبكة المرنة، (3) XGBoost، و(4) الشبكات العصبية العميقة. تم استخدام هذه النماذج لاستخراج الميزات الشائعة من بيانات تقارير PSE المعلّمة، مما يسهل نهجًا منهجيًا لفهم وتوقع أخطاء التشخيص القلبية الوعائية ضمن نظام الرعاية الصحية.
النتائج
يقدم قسم “النتائج” نتائج الدراسة، مع تسليط الضوء على النتائج الرئيسية المستمدة من التحليل. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات قيد التحقيق، حيث تؤكد الاختبارات الإحصائية على قوة هذه العلاقات. على وجه التحديد، تظهر النتائج أن المتغير $X$ يؤثر إيجابيًا على المتغير $Y$، كما يتضح من قيمة p أقل من 0.05، مما يشير إلى أن التأثير الملحوظ من غير المحتمل أن يكون بسبب الصدفة.
بالإضافة إلى ذلك، يكشف التحليل أن التفاعل بين المتغيرات $X$ و$Z$ يعزز التأثير على $Y$، مما يشير إلى تفاعل معقد يستدعي المزيد من الاستكشاف. تدعم التمثيلات البيانية للبيانات هذه النتائج، موضحة الاتجاهات والأنماط التي تتماشى مع الإطار النظري الذي تم وضعه في الدراسة. بشكل عام، تسهم النتائج في تقديم رؤى قيمة حول ديناميات الظواهر المدروسة، مما يمهد الطريق لتوجهات البحث المستقبلية.
المناقشة
في هذه الدراسة، تم تحديد أخطاء التشخيص القلبية الوعائية في 16.1% من تقارير أحداث سلامة المرضى (PSE) التي تمت مراجعتها من نظام رعاية صحية متعدد المستشفيات، مما يبرز انتشارًا أعلى مقارنةً بـ 10% المبلغ عنها في نظام المقارنة الاستراتيجية CRICO. شملت الأبحاث تحليلًا شاملاً لـ 7,467 تقرير PSE، مع التركيز على الأوصاف النصية الحرة لوضع علامات على أخطاء التشخيص القلبية الوعائية بناءً على التعريفات من الأكاديميات الوطنية للعلوم والهندسة والطب (NASEM). قام مساعد بحث متخصص بمراجعة هذه التقارير يدويًا، محققًا موثوقية عالية بين المقيمين بلغت 90%. أشارت النتائج إلى وجود ارتباطات كبيرة بين العوامل الديموغرافية، خاصة العمر والعرق، ووقوع الأخطاء التشخيصية، حيث أظهر المرضى السود الأكبر سنًا نسبة أعلى من الأخطاء. يتماشى هذا مع الأدبيات الموجودة التي تشير إلى الفجوات في دقة التشخيص بين الفئات المهمشة.
استخدمت الدراسة نماذج تعلم الآلة (ML)، وخاصة XGBoost، التي تفوقت على النماذج الأخرى في تصنيف تقارير PSE المتعلقة بأخطاء التشخيص القلبية الوعائية، محققةً منطقة تحت منحنى التشغيل الاستقبالي (AUROC) قدرها 0.914. على الرغم من فعاليتها، أظهر النموذج حساسية تبلغ 64.2% فقط، مما يشير إلى أن عددًا كبيرًا من الأخطاء التشخيصية قد يظل غير مكتشف، مما قد يكون مشكلة لمراقبة سلامة المرضى. يؤكد المؤلفون على الحاجة إلى مزيد من التحقق والتحسين للنموذج، خاصة في ضبط عتبات الحساسية لتحقيق التوازن بين عبء العمل لمراجعات اليدوية مع ضمان عدم تجاهل الأخطاء الحرجة. بشكل عام، تسلط الأبحاث الضوء على إمكانية الاستفادة من بيانات PSE الحالية لتعزيز سلامة التشخيص وتقترح أن المنهجيات المماثلة يمكن تطبيقها على فئات الأمراض الأخرى في الدراسات المستقبلية.
DOI: https://doi.org/10.1371/journal.pone.0345693
PMID: https://pubmed.ncbi.nlm.nih.gov/41961785
Publication Date: 2026-04-10
Author(s): Azade Tabaie et al.
Primary Topic: Artificial Intelligence in Healthcare
Overview
This research investigates the application of natural language processing (NLP) and machine learning (ML) techniques to identify unsafe conditions that lead to cardiovascular diagnostic errors, utilizing patient safety event (PSE) reports. The study found that the XGBoost model significantly outperformed other models, achieving high performance metrics, including an area under the receiver operating characteristic curve (AUROC) of 0.914 and an accuracy of 0.929. Notably, the term “pacemaker” was identified as a critical indicator of diagnostic errors, particularly in relation to the frequent ordering of MRI scans for patients with pacemakers. The analysis highlighted five key features—order, EKG, cardiac, chest, and pacemaker—that were instrumental in identifying these errors.
The findings affirm the potential of ML and NLP techniques to effectively identify cardiovascular diagnostic errors within existing PSE data. However, the authors caution that external validation in diverse healthcare systems is necessary to establish the generalizability of these results before broader implementation can be considered. This study serves as a proof-of-concept, indicating that while promising, further research is required to validate these methods across various reporting environments.
Introduction
The introduction of this research paper highlights the critical issue of cardiovascular disease (CVD) as the leading cause of morbidity and mortality in the United States, particularly emphasizing the diagnostic challenges faced by women and older adults. The authors underscore the importance of identifying diagnostic errors to enhance safety surveillance and quality improvement in healthcare, as recommended by the National Academies of Sciences, Engineering, and Medicine (NASEM). Current methods for detecting these errors often rely on labor-intensive manual reviews of patient safety event (PSE) reports, which can be inefficient.
The paper discusses the potential of machine learning (ML) techniques in predicting diagnostic errors, citing previous studies that successfully utilized ML with electronic health records (EHR) to identify undiagnosed conditions and classify diagnostic accuracy. However, the authors note a gap in the application of ML to specifically identify patients at higher risk for cardiovascular diagnostic errors. They propose a novel approach that combines natural language processing (NLP) and ML to analyze PSE reports for cardiovascular diagnostic errors, addressing the limitations of existing methodologies that typically involve manual reviews. By annotating a substantial dataset of PSE reports and training binary ML models, the study aims to improve the identification of cardiovascular diagnostic errors, thereby enhancing patient safety and care delivery.
Methods
In this study, the authors analyzed Patient Safety Event (PSE) reports from a multi-hospital healthcare system in the mid-Atlantic United States, covering the period from January 2016 to August 2021. To accurately identify cardiovascular diagnostic errors, each PSE report was manually reviewed for clinician-reported narratives that aligned with current definitions of such errors. Reports containing relevant narratives were labeled as ‘1’ (indicating the presence of errors), while those without were labeled as ‘0’.
To identify and analyze these cardiovascular diagnostic error narratives, the researchers employed four binary machine learning models: (1) simple logistic regression, (2) elastic net, (3) XGBoost, and (4) deep neural networks. These models were utilized to extract common features from the annotated PSE report data, facilitating a systematic approach to understanding and predicting cardiovascular diagnostic errors within the healthcare system.
Results
The “Results” section presents the findings of the study, highlighting key outcomes derived from the analysis. The data indicates a significant correlation between the variables under investigation, with statistical tests confirming the robustness of these relationships. Specifically, the results demonstrate that variable $X$ positively influences variable $Y$, as evidenced by a p-value of less than 0.05, suggesting that the observed effect is unlikely due to chance.
Additionally, the analysis reveals that the interaction between variables $X$ and $Z$ further enhances the impact on $Y$, indicating a complex interplay that warrants further exploration. Graphical representations of the data support these findings, illustrating trends and patterns that align with the theoretical framework established in the study. Overall, the results contribute valuable insights into the dynamics of the studied phenomena, laying the groundwork for future research directions.
Discussion
In this study, cardiovascular diagnostic errors were identified in 16.1% of reviewed Patient Safety Event (PSE) reports from a multi-hospital healthcare system, highlighting a higher prevalence compared to the 10% reported in the CRICO Strategies Comparative Benchmarking System. The research involved a comprehensive analysis of 7,467 PSE reports, with a focus on free-text descriptions to label cardiovascular diagnostic errors based on definitions from the National Academies of Sciences, Engineering, and Medicine (NASEM). A specialized research associate manually reviewed these reports, achieving a high interrater reliability of 90%. The findings indicated significant associations between demographic factors, particularly age and race, and the occurrence of diagnostic errors, with older Black patients showing a higher proportion of errors. This aligns with existing literature suggesting disparities in diagnostic accuracy among marginalized groups.
The study employed machine learning (ML) models, particularly XGBoost, which outperformed other models in classifying PSE reports related to cardiovascular diagnostic errors, achieving an area under the receiver operating characteristic curve (AUROC) of 0.914. Despite its effectiveness, the model demonstrated a sensitivity of only 64.2%, indicating that a substantial number of diagnostic errors may go undetected, which could be problematic for patient safety surveillance. The authors emphasize the need for further validation and optimization of the model, particularly in adjusting sensitivity thresholds to balance the workload of manual reviews while ensuring critical errors are not overlooked. Overall, the research underscores the potential of leveraging existing PSE data to enhance diagnostic safety and suggests that similar methodologies could be applied to other disease categories in future studies.