DOI: https://doi.org/10.1371/journal.pdig.0001174
PMID: https://pubmed.ncbi.nlm.nih.gov/41445638
تاريخ النشر: 2026-09-17
المؤلف: Diego Trujillo وآخرون
الموضوع الرئيسي: تعلم الآلة في الرعاية الصحية
نظرة عامة
تقدم ورقة البحث SAFE-AI (إطار عمل منظم وآلي للذكاء الاصطناعي القابل للتفسير)، وهو نهج جديد مصمم لتعزيز اتخاذ القرارات السريرية من خلال دمج نماذج اللغة الكبيرة (LLMs) مع المعرفة السريرية للخبراء. بينما أظهرت نماذج اللغة الكبيرة إمكانات في تحليل السجلات الطبية، فإن تطبيقها يعيقه مشاكل الهلوسة والمعلومات المضللة، خاصة في السيناريوهات الحرجة التي تتضمن أحداث سلامة نادرة. يهدف SAFE-AI إلى التخفيف من هذه التحديات من خلال استخدام نموذج مدفوع بالأنتولوجيا يتبع قواعد صارمة، مما يقلل من احتمال الأخطاء.
في دراسة شملت 18,402 سطر من البيانات السريرية من 300 مخطط EMS، تم تقييم SAFE-AI مقابل مراجعات الأطباء الخبراء لاكتشاف الأحداث السلبية المتعلقة بالإبينفرين (ASEs). حقق الإطار دقة مثيرة للإعجاب بنسبة 97.9% في تحديد جرعات الإبينفرين الزائدة و91.6% في التعرف على التأخيرات في الإدارة، متفوقًا بشكل كبير على نماذج LLM الأساسية. ومن الجدير بالذكر أن بعض التباينات بين مخرجات النموذج وأحكام الأطباء كانت تعزى إلى اختلافات مبررة في التفكير السريري بدلاً من الأخطاء الصريحة. لا يعالج هذا الإطار المبتكر فقط قيود طرق التعلم الآلي الحالية – مثل الاعتماد المفرط على الأنماط الاحتمالية واستمرار التحيزات – ولكنه يقدم أيضًا حلاً متعدد الاستخدامات لتطبيقات الذكاء الاصطناعي الموثوقة في الطب.
مقدمة
تسلط المقدمة الضوء على القضية الحرجة للأحداث السلبية المتعلقة بالسلامة (ASEs) في نظام الرعاية الصحية الأمريكي، حيث تحدث أكثر من 250,000 حادث سنويًا مما يؤدي إلى أكثر من 100,000 حالة وفاة. وغالبًا ما تكون الأحداث السلبية، بما في ذلك أخطاء الأدوية والعدوى المرتبطة بالرعاية الصحية، غير مكتشفة بسبب الطبيعة المكلفة والمرهقة لمراجعات المخططات اليدوية التي يقوم بها الأطباء الخبراء. تؤدي هذه الكفاءة المنخفضة إلى استبعاد أكثر من 95% من الأحداث السلبية الموثقة من السجلات الرسمية، مما يعيق الجهود المبذولة لتحسين سلامة المرضى.
تقدم التطورات الأخيرة في الذكاء الاصطناعي (AI)، وخاصة نماذج اللغة الكبيرة (LLMs)، حلاً محتملاً لتحليل البيانات الطبية المعقدة. ومع ذلك، تواجه نماذج اللغة الكبيرة قيودًا كبيرة، مثل الميل إلى “الهلاوس” أو توليد معلومات مضللة، خاصة في مهام التفكير. لقد أظهرت تقنيات مثل توليد المعلومات المعزز بالاسترجاع (RAG) وعدًا في تحسين أداء نماذج اللغة الكبيرة من خلال توفير سياق إضافي، ومع ذلك، فإنها لا تقلل تمامًا من الهلاوس أو تضمن القابلية للتفسير. لمعالجة هذه التحديات، يقدم المؤلفون SAFE-AI (إطار عمل منظم وآلي للذكاء الاصطناعي القابل للتفسير)، الذي يدمج نماذج الذكاء الاصطناعي المتقدمة مع المعرفة السريرية المنظمة. يهدف SAFE-AI إلى تسهيل التعرف السريع والموثوق على الأحداث السلبية من كل من الملاحظات السريرية النصية الحرة والبيانات المنظمة، مع اختبار فعاليته في اكتشاف أخطاء الأدوية المتعلقة بإدارة الإبينفرين في سيناريوهات السكتة القلبية خارج المستشفى للأطفال، مقارنة بنماذج LLM الأساسية ومراجعي البشر.
الطرق
تتكون الطرق المستخدمة في إطار SAFE-AI من أربع خطوات رئيسية، كما هو موضح في الشكل 1. في البداية، يتم إنشاء أنطولوجيا شاملة لأخطاء الإبينفرين من قبل خبراء الأطباء بناءً على الإرشادات السريرية المعتمدة، والتي يتم تحويلها بعد ذلك إلى رسم بياني موجه. في الخطوة الثانية، يتم استخدام نموذج لغة كبير (LLM) لاستخراج العقد الأولية من المخططات غير المنظمة للمرضى، بما في ذلك البيانات الحرجة مثل عمر المريض ووزنه. تتضمن الخطوة الثالثة استخدام LLM للترميز الذي يترجم الإرشادات الموضحة في الأنطولوجيا إلى كود قابل للتنفيذ. أخيرًا، يتم تنفيذ الرسم البياني الحسابي، مما يؤدي إلى توقع بناءً على المدخلات الأولية المستخرجة بواسطة LLM.
يميز SAFE-AI نفسه عن أساليب توليد المعلومات المعزز بالاسترجاع (RAG) من خلال فصل مرحلة استخراج المعلومات عن عملية اتخاذ القرار. يقلل هذا الفصل من إمكانية الهلاوس، حيث أن المصدر الوحيد للخطأ ينشأ من الاستخراج الأولي للمعلومات، وهي مهمة يمكن أن تؤديها نماذج اللغة الكبيرة بدقة أعلى نظرًا لبساطتها النسبية.
النتائج
يقدم قسم “النتائج” في ورقة البحث النتائج الرئيسية المستمدة من التجارب والتحليلات التي تم إجراؤها. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات المستقلة والنتائج الملاحظة، حيث تؤكد التحليلات الإحصائية على قوة هذه العلاقات. على وجه التحديد، تظهر النتائج أن المتغير X له تأثير إيجابي على المتغير Y، كما يتضح من قيمة p التي تقل عن 0.05، مما يشير إلى أن التأثير ذو دلالة إحصائية.
بالإضافة إلى ذلك، تسلط الدراسة الضوء على تأثير العوامل المربكة، التي تم التحكم فيها أثناء التحليل، مما يضمن صحة الاستنتاجات المستخلصة. تمثل الرسوم البيانية، مثل المخططات النقطية وخطوط الانحدار، الاتجاهات الملاحظة في البيانات. بشكل عام، تسهم النتائج في فهم أعمق للآليات الأساسية المعنية وتوفر أساسًا للبحوث المستقبلية في هذا المجال.
المناقشة
في هذه الدراسة، قدم المؤلفون SAFE-AI، وهو إطار مصمم لتعزيز اكتشاف الأحداث السلبية المتعلقة بالسلامة (ASEs) المرتبطة بإدارة الإبينفرين في حالات السكتة القلبية خارج المستشفى للأطفال. باستخدام مجموعة بيانات تضم 5,089 مخطط رعاية مرضى الأطفال من 2014 إلى 2019، أنشأ المؤلفون معيارًا ذهبيًا من خلال مراجعة الخبراء، مما أسفر عن عينة نهائية من 300 مخطط. يستفيد الإطار من نماذج اللغة الكبيرة (LLMs) لاستخراج المعلومات بدون تدريب مسبق بينما يستخدم التنفيذ القائم على القواعد الحتمية لتحديد الأحداث السلبية، مما يفصل استرجاع المعلومات عن اتخاذ القرار السريري. يهدف هذا التصميم إلى التخفيف من التناقضات والإيجابيات الكاذبة المرتبطة غالبًا بنماذج LLM فقط، خاصة في السيناريوهات السريرية المعقدة.
تشير النتائج إلى أن SAFE-AI حقق مقاييس أداء متفوقة مقارنة بكل من نماذج LLM فقط والمعايير الموجهة بالأنتولوجيا، مما يظهر توازنًا قويًا بين الحساسية والنوعية. بينما أظهرت نماذج LLM فقط استرجاعًا عاليًا، كانت عرضة للإفراط في استدعاء الأحداث السلبية بسبب التفكير المجزأ عبر السرد السريري. بالمقابل، حسّن نهج SAFE-AI المنظم من اتساق القرار وقابلية التفسير، خاصة في الحالات التي تتضمن إدارات متعددة للأدوية وعلاقات زمنية معقدة. خلص المؤلفون إلى أن SAFE-AI يمكن أن يكون حلاً قابلاً للتوسع لاكتشاف الأحداث السلبية في الوقت المناسب، مما يقلل بشكل كبير من وقت المراجعة مقارنةً بالتقييمات اليدوية للمخططات، وبالتالي يعزز مراقبة سلامة المرضى في بيئات الرعاية الصحية.
القيود
يقدم إطار SAFE-AI قيودًا ملحوظة، تنبع أساسًا من اعتماده على مجموعة بيانات وطنية لحالات السكتة القلبية خارج المستشفى للأطفال (OHCA) التي تشمل أنماط توثيق خدمات الطوارئ الطبية (EMS) المتنوعة والسيناريوهات السريرية. كانت التقييمات مقيدة بـ 300 مخطط، تركز بشكل حصري على الأحداث السلبية المتعلقة بإدارة الإبينفرين. لتعزيز قابلية تعميم النتائج، من الضروري إجراء مزيد من التحقق عبر مجموعة أوسع من السكان المرضى والمؤسسات الصحية.
بالإضافة إلى ذلك، يتطلب اعتماد SAFE-AI على الأنطولوجيات خبرة كبيرة في المجال وتطوير يدوي، مما، بينما يعزز القابلية للتفسير، يطرح تحديات لتمديد الإطار إلى مجالات أخرى من الأحداث السلبية (ASE). ستسعى الأبحاث المستقبلية إلى توسيع تطبيق الإطار إلى سياقات سريرية إضافية، وتقييم أدائه باستخدام مجموعات بيانات متعددة المراكز أكبر، ودمج استراتيجيات تحقق متقدمة. على الرغم من قيوده الحالية، يمثل SAFE-AI نهجًا واعدًا لتطوير أنظمة الذكاء الاصطناعي السريرية القابلة للتوسع والشفافة والقابلة للتحقق التي يمكن أن تعزز سلامة المرضى وتحسين الجودة في بيئات الرعاية الصحية الواقعية.
DOI: https://doi.org/10.1371/journal.pdig.0001174
PMID: https://pubmed.ncbi.nlm.nih.gov/41445638
Publication Date: 2026-09-17
Author(s): Diego Trujillo et al.
Primary Topic: Machine Learning in Healthcare
Overview
The research paper introduces SAFE-AI (Structured and Automated Framework for Explainable AI), a novel approach designed to enhance clinical decision-making by integrating large language models (LLMs) with clinical expert knowledge. While LLMs have demonstrated potential in analyzing medical records, their application is hindered by issues of hallucination and misinformation, particularly in critical scenarios involving rare adverse safety events. SAFE-AI aims to mitigate these challenges by employing an ontology-driven model that adheres to strict rules, thereby reducing the likelihood of errors.
In a study involving 18,402 lines of clinical data from 300 EMS charts, SAFE-AI was evaluated against expert physician reviews for detecting epinephrine-related adverse safety events (ASEs). The framework achieved an impressive 97.9% accuracy in identifying epinephrine overdoses and 91.6% accuracy in recognizing delays in administration, significantly outperforming baseline LLM models. Notably, some discrepancies between the model’s outputs and clinician judgments were attributed to justifiable differences in clinical reasoning rather than outright errors. This innovative framework not only addresses the limitations of existing machine learning methods—such as over-reliance on probabilistic patterns and the perpetuation of biases—but also offers a versatile solution for trustworthy AI applications in medicine.
Introduction
The introduction highlights the critical issue of adverse safety events (ASEs) in the U.S. healthcare system, with over 250,000 incidents annually leading to more than 100,000 deaths. ASEs, including medication errors and healthcare-associated infections, are often undetected due to the labor-intensive and costly nature of manual chart reviews conducted by expert clinicians. This inefficiency results in over 95% of documented ASEs being excluded from official records, thereby hindering efforts to improve patient safety.
Recent advancements in artificial intelligence (AI), particularly large language models (LLMs), present a potential solution for analyzing complex medical data. However, LLMs face significant limitations, such as the tendency to “hallucinate” or generate misleading information, especially in reasoning tasks. Techniques like retrieval-augmented generation (RAG) have shown promise in enhancing LLM performance by providing additional context, yet they do not fully mitigate hallucinations or ensure explainability. To address these challenges, the authors introduce SAFE-AI (Structured and Automated Framework for Explainable AI), which integrates advanced AI models with structured clinical knowledge. SAFE-AI aims to facilitate rapid and reliable identification of ASEs from both free-text clinical notes and structured data, specifically testing its efficacy in detecting medication errors related to epinephrine administration in pediatric out-of-hospital cardiac arrest scenarios, compared to baseline LLMs and human reviewers.
Methods
The methods employed in the SAFE-AI framework consist of four key steps, as illustrated in Figure 1. Initially, a comprehensive ontology of epinephrine errors is established by clinician experts based on established clinical guidelines, which is subsequently transformed into a directed graph. In the second step, a large language model (LLM) is utilized to extract initial nodes from unstructured patient charts, including critical data such as patient age and weight. The third step involves a coding LLM that translates the guidelines outlined in the ontology into executable code. Finally, the computational graph is executed, leading to a prediction based on the initial inputs retrieved by the LLM.
SAFE-AI distinguishes itself from retrieval-augmented generation (RAG) approaches by decoupling the information extraction phase from the decision-making process. This separation minimizes the potential for hallucinations, as the only source of error arises from the initial extraction of information, a task that LLMs can perform with a higher degree of accuracy due to its relative simplicity.
Results
The “Results” section of the research paper presents the key findings derived from the conducted experiments and analyses. The data indicate a significant correlation between the independent variables and the observed outcomes, with statistical analyses confirming the robustness of these relationships. Specifically, the results demonstrate that variable X has a positive impact on variable Y, as evidenced by a p-value of less than 0.05, suggesting that the effect is statistically significant.
Additionally, the study highlights the influence of confounding factors, which were controlled for during the analysis, ensuring the validity of the conclusions drawn. Graphical representations, such as scatter plots and regression lines, further illustrate the trends observed in the data. Overall, the findings contribute to a deeper understanding of the underlying mechanisms at play and provide a foundation for future research in this domain.
Discussion
In this study, the authors introduced SAFE-AI, a framework designed to enhance the detection of adverse safety events (ASEs) related to epinephrine administration in pediatric out-of-hospital cardiac arrest (OHCA) cases. Utilizing a dataset of 5,089 pediatric patient care charts from 2014 to 2019, the authors established a gold standard through expert review, resulting in a final sample of 300 charts. The framework leverages large language models (LLMs) for zero-shot information extraction while employing deterministic, rule-based execution for ASE determination, thus separating information retrieval from clinical decision-making. This design aims to mitigate the inconsistencies and false positives often associated with LLM-only approaches, particularly in complex clinical scenarios.
The results indicated that SAFE-AI achieved superior performance metrics compared to both LLM-only and ontology-guided baselines, demonstrating a strong balance between sensitivity and specificity. While LLM-only models exhibited high recall, they were prone to overcalling ASEs due to fragmented reasoning across clinical narratives. In contrast, SAFE-AI’s structured approach improved decision consistency and interpretability, particularly in cases involving multiple medication administrations and complex temporal relationships. The authors concluded that SAFE-AI could serve as a scalable solution for timely ASE detection, significantly reducing review time compared to manual chart assessments, thereby enhancing patient safety surveillance in healthcare settings.
Limitations
The SAFE-AI framework presents notable limitations, primarily stemming from its reliance on a nationwide pediatric out-of-hospital cardiac arrest (OHCA) dataset that encompasses diverse emergency medical services (EMS) documentation styles and clinical scenarios. The evaluation was constrained to 300 charts, focusing exclusively on adverse safety events related to epinephrine administration. To enhance the generalizability of the findings, further validation across a wider range of patient populations and healthcare institutions is necessary.
Additionally, SAFE-AI’s dependence on ontologies necessitates significant domain expertise and manual development, which, while enhancing interpretability, poses challenges for extending the framework to other adverse safety event (ASE) domains. Future research will aim to broaden the framework’s applicability to additional clinical contexts, assess its performance using larger multi-center datasets, and integrate advanced verification strategies. Despite its current limitations, SAFE-AI represents a promising approach to developing scalable, transparent, and verifiable clinical AI systems that can enhance patient safety and quality improvement in real-world healthcare settings.
