DOI: https://doi.org/10.3390/ai7070246
تاريخ النشر: 2026-07-02
المؤلف: Yildiray Kabak وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تقدم البحث FHIR-RAG-MEDS، وهو نظام مبتكر لدعم اتخاذ القرارات الطبية يدمج بين موارد التفاعل السريع للرعاية الصحية HL7 Fast Healthcare Interoperability Resources (FHIR) مع نموذج لغة كبير معزز بالاسترجاع (RAG). يهدف هذا النظام إلى تقديم توصيات سريرية شخصية ومتوافقة مع الإرشادات من خلال الوصول إلى بيانات المرضى في الوقت الحقيقي من خوادم FHIR وتأسيس مخرجاته على أدلة إرشادية سريرية قائمة على الأدلة مخزنة في قاعدة بيانات متجهة. قامت الدراسة بتقييم FHIR-RAG-MEDS باستخدام 70 سؤالًا سريريًا يتعلق بحالات طبية متنوعة، وتقييم أدائه من خلال مقاييس آلية، وأطر تقييم محددة لـ RAG، ومراجعات من أطباء خبراء.
تشير النتائج إلى أن FHIR-RAG-MEDS تفوق باستمرار على نماذج اللغة الطبية الكبيرة المتطورة الحالية، مما يظهر دقة دلالية متفوقة، والالتزام بالإرشادات السريرية، وملاءمة سريرية. من خلال سد الفجوة بين نماذج اللغة الثابتة والرعاية المتمحورة حول المرضى في العالم الحقيقي، يعالج هذا الدمج القيود الكبيرة لنماذج اللغة الطبية التقليدية، لا سيما من حيث التخصيص، والشفافية، والموثوقية السريرية. بشكل عام، تؤكد الدراسة على إمكانيات دمج بيانات السجلات الصحية الإلكترونية المنظمة مع نماذج اللغة الكبيرة المتقدمة لتعزيز أنظمة دعم اتخاذ القرار السريري.
مقدمة
تسلط المقدمة الضوء على أهمية الإرشادات السريرية القائمة على الأدلة في تعزيز جودة الرعاية الصحية، لا سيما في حالات تعدد الأمراض المعقدة. ومع ذلك، فإن التطبيق اليدوي لهذه الإرشادات غالبًا ما يؤدي إلى عدم الاتساق وعدم الكفاءة، مما يستدعي تطوير إرشادات سريرية قابلة للتفسير بواسطة الكمبيوتر. لقد أظهرت المبادرات الأخيرة، مثل C3-Cloud وADLIFE، إمكانيات أنظمة دعم اتخاذ القرار السريري (CDS) لأتمتة هذه الإرشادات، على الرغم من أن العمليات المعنية تتطلب موارد كبيرة وتستغرق وقتًا طويلاً.
تناقش الورقة التقدم في نماذج اللغة الكبيرة الطبية (LLMs) وقيودها، لا سيما عدم قدرتها على دمج بيانات المرضى في الوقت الحقيقي وتحديث قاعدة معرفتها ديناميكيًا. بالمقابل، تجمع أنظمة الاسترجاع المعززة (RAG) بين طرق الاسترجاع والقدرات التوليدية، مما يسمح بتوصيات أكثر دقة وملاءمة سياقية من خلال الوصول إلى إرشادات سريرية محدثة وتواريخ المرضى. تهدف الدراسة إلى تقييم نظام LLM المعزز بـ RAG المدمج مع السجلات الصحية الإلكترونية (EHRs)، باستخدام موارد التفاعل السريع للرعاية الصحية HL7 FHIR لتقديم دعم اتخاذ القرار الشخصي. من المتوقع أن يتغلب هذا الدمج على القيود الثابتة لنماذج اللغة التقليدية، مما يضمن أن تكون التوصيات دقيقة ومخصصة لاحتياجات المرضى الفردية، وبالتالي تحسين النتائج السريرية.
الطرق
يستعرض قسم “المواد والطرق” تصميم التجربة والإجراءات المستخدمة في الدراسة. يوضح المواد المستخدمة، بما في ذلك الكواشف المحددة، والمعدات، وأي عينات بيولوجية، مما يضمن إمكانية إعادة إنتاج التجارب. تشمل المنهجية التقنيات المطبقة لجمع البيانات وتحليلها، مثل الطرق الإحصائية، والضوابط التجريبية، وأي أدوات حسابية مستخدمة.
بالإضافة إلى ذلك، قد يصف القسم طرق أخذ العينات، بما في ذلك معايير الاختيار للمشاركين أو العينات، فضلاً عن البروتوكولات المتبعة لضمان الامتثال الأخلاقي. بشكل عام، يخدم هذا القسم لتوفير إطار شامل يدعم صحة النتائج المقدمة في الدراسة.
النتائج
في تقييم نظام FHIR-RAG-MEDS مقابل نماذج اللغة الطبية الكبيرة المختلفة عبر أربعة إرشادات سريرية—الخرف، وCOPD، وارتفاع ضغط الدم، والساركوبينيا—تشير النتائج إلى أن FHIR-RAG-MEDS تفوق باستمرار على منافسيه في توليد استجابات دقيقة وذات صلة سريرية. استخدم التقييم مقاييس متعددة، بما في ذلك BERTScore، ROUGE-L، METEOR، ومقاييس RAGAS وPrometheus 2 المتخصصة. ومن الجدير بالذكر أن FHIR-RAG-MEDS حقق أعلى متوسط درجات في Prometheus 2 عبر جميع الإرشادات، مع درجات 4.0 للخرف، و4.3846 لـ COPD، و4.4474 لارتفاع ضغط الدم، و4.3636 للساركوبينيا، مما يشير إلى فعاليته المتفوقة في دعم اتخاذ القرار السريري.
على وجه التحديد، في إرشادات الخرف، سجل FHIR-RAG-MEDS BERTScore F1 قدره 0.6372، وهو أعلى بكثير من النماذج المنافسة. بالنسبة لـ COPD، حافظ على موقعه الرائد مع BERTScore F1 قدره 0.6311 وROUGE-L F1 قدره 0.2585. في ارتفاع ضغط الدم، حقق BERTScore F1 قدره 0.6493 وROUGE-L F1 قدره 0.2986، بينما بالنسبة للساركوبينيا، تألق مع BERTScore F1 قدره 0.7367 وROUGE-L F1 قدره 0.4648. تؤكد هذه النتائج على التوافق الدلالي القوي للنموذج وقدرته على الحفاظ على المصطلحات السريرية. بشكل عام، تسلط النتائج الضوء على قوة وموثوقية FHIR-RAG-MEDS في توليد استجابات دقيقة سياقيًا، مما يعزز إمكانياته كأداة تحويلية لدعم اتخاذ القرار السريري في الرعاية الصحية.
المناقشة
في قسم المناقشة، يبرز البحث دمج الاسترجاع المعزز (RAG) مع نماذج اللغة الكبيرة (LLMs) لتعزيز الأداء في المهام الطبية المعتمدة على المعرفة. يعالج RAG مشكلة الهلوسة في نماذج اللغة من خلال تأصيل الاستجابات في معلومات طبية موثقة في الوقت الحقيقي، وهو أمر حاسم لاتخاذ قرارات سريرية دقيقة. لقد أظهرت دراسات متنوعة فعالية RAG في مجالات طبية محددة، مثل أمراض الكلى وأمراض القلب، حيث تم إثبات أنه يوفر توصيات أكثر دقة مقارنة بالنماذج التوليدية التقليدية. ومع ذلك، غالبًا ما تفتقر أنظمة RAG الحالية إلى التكامل مع السجلات الصحية الإلكترونية (EHRs)، مما يحد من قدرتها على تخصيص التوصيات بناءً على بيانات المرضى الفردية.
يهدف نظام FHIR-RAG-MEDS المقترح إلى سد هذه الفجوة من خلال دمج معايير HL7 FHIR مع منهجيات RAG لتقديم دعم اتخاذ القرار السريري القائم على الأدلة والشخصية. تم تصميم هذا النظام لمعالجة بيانات المرضى المحددة من السجلات الصحية الإلكترونية وتوليد توصيات مخصصة مستندة إلى الإرشادات السريرية. تشمل البنية المعمارية معالجة مسبقة للإرشادات السريرية، واسترجاع البيانات في الوقت الحقيقي من خوادم FHIR، وتنفيذ RAG لإنتاج مخرجات ذات صلة سياقية. تؤكد الدراسة على الحاجة إلى التكامل السلس لأنظمة RAG مع السجلات الصحية الإلكترونية لتعزيز اتخاذ القرار السريري وتحسين نتائج الرعاية الصحية، مع معالجة القيود الحالية لأساليب التقييم التي غالبًا ما تتجاهل أهمية الدقة الواقعية في الاستجابات الطبية.
القيود
ت stem القيود في هذه الدراسة من جوانب سريرية وتقنية. سريريًا، استخدم البحث 70 سيناريو حالة تم تطويره بواسطة لجنة تقييم خبراء بدلاً من حالات سريرية فعلية، مما قد يحد من قابلية تعميم النتائج والتحقق الخارجي. ومع ذلك، يسمح هذا الأسلوب بتحليل أكثر دقة لأداء نموذج اللغة الكبير (LLM) في التعامل مع سيناريوهات سريرية متنوعة، لا سيما تلك التي تكون غير شائعة أو معقدة. ستركز الأعمال المستقبلية على التحقق من نظام FHIR-RAG-MEDS مقابل حالات سريرية في العالم الحقيقي لتعزيز قابليته للتطبيق.
من الناحية التقنية، هناك إمكانية لتحسين أداء LLM ضمن أنظمة دعم اتخاذ القرار السريري (CDSS) من خلال تحسين الدقة، والكفاءة، وتجربة المستخدم. تشمل الاتجاهات المستقبلية تنفيذ التعلم المستمر للحفاظ على تحديث النظام بأحدث الأبحاث والإرشادات الطبية، بالإضافة إلى دمج آليات التغذية الراجعة من البشر لتحسين التوصيات بناءً على مدخلات الأطباء. بالإضافة إلى ذلك، يمكن أن يعزز استخدام التعلم المعزز مع التغذية الراجعة من البشر (RLHF) أداء النموذج من خلال مواءمة المخرجات بشكل أقرب إلى القيم والتفضيلات البشرية. ستعطي الجهود المستقبلية أيضًا الأولوية لتعزيز قابلية تفسير النظام، مما يضمن أن يتمكن محترفو الرعاية الصحية من تتبع التوصيات إلى إرشادات قائمة على الأدلة محددة، مما يعزز الثقة واتخاذ القرار المستنير في الممارسة السريرية.
DOI: https://doi.org/10.3390/ai7070246
Publication Date: 2026-07-02
Author(s): Yildiray Kabak et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
The research presents FHIR-RAG-MEDS, an innovative medical decision support system that integrates HL7 Fast Healthcare Interoperability Resources (FHIR) with a retrieval-augmented generation (RAG) enhanced large language model (LLM). This system aims to provide personalized, guideline-concordant clinical recommendations by accessing real-time patient data from FHIR servers and grounding its outputs in curated evidence-based clinical guidelines stored in a vector database. The study evaluated FHIR-RAG-MEDS using 70 clinical questions related to various medical conditions, assessing its performance through automated metrics, RAG-specific evaluation frameworks, and expert physician reviews.
The findings indicate that FHIR-RAG-MEDS consistently outperformed existing state-of-the-art medical LLMs, demonstrating superior semantic accuracy, adherence to clinical guidelines, and clinical relevance. By effectively bridging the gap between static language models and real-world patient-centered care, this integration addresses significant limitations of traditional medical LLMs, particularly in terms of personalization, transparency, and clinical reliability. Overall, the study underscores the potential of combining structured electronic health record data with advanced LLMs to enhance clinical decision support systems.
Introduction
The introduction highlights the importance of evidence-based clinical guidelines in enhancing healthcare quality, particularly in complex multimorbidity cases. However, the manual application of these guidelines often results in inconsistencies and inefficiencies, necessitating the development of computer-interpretable clinical guidelines. Recent initiatives, such as C3-Cloud and ADLIFE, have demonstrated the potential of clinical decision support (CDS) systems to automate these guidelines, though the processes involved are resource-intensive and time-consuming.
The paper discusses the advancements in medical large language models (LLMs) and their limitations, particularly their inability to incorporate real-time patient-specific data and dynamically update their knowledge base. In contrast, Retrieval-Augmented Generation (RAG) systems combine retrieval-based methods with generative capabilities, allowing for more accurate and contextually relevant recommendations by accessing up-to-date clinical guidelines and patient histories. The study aims to evaluate a RAG-enhanced LLM system integrated with Electronic Health Records (EHRs), utilizing Health Level 7 Fast Healthcare Interoperability Resources (HL7 FHIR) to provide personalized decision support. This integration is expected to overcome the static limitations of traditional LLMs, ensuring that recommendations are both accurate and tailored to individual patient needs, thereby improving clinical outcomes.
Methods
The “Materials and Methods” section outlines the experimental design and procedures employed in the study. It details the materials used, including specific reagents, equipment, and any biological samples, ensuring reproducibility of the experiments. The methodology encompasses the techniques applied for data collection and analysis, such as statistical methods, experimental controls, and any computational tools utilized.
Additionally, the section may describe the sampling methods, including the selection criteria for participants or samples, as well as the protocols followed to ensure ethical compliance. Overall, this section serves to provide a comprehensive framework that supports the validity of the findings presented in the study.
Results
In the evaluation of the FHIR-RAG-MEDS system against various large medical language models (LLMs) across four clinical guidelines—dementia, COPD, hypertension, and sarcopenia—results indicate that FHIR-RAG-MEDS consistently outperformed its competitors in generating accurate and clinically relevant responses. The evaluation utilized multiple metrics, including BERTScore, ROUGE-L, METEOR, and specialized RAGAS and Prometheus 2 metrics. Notably, FHIR-RAG-MEDS achieved the highest Prometheus 2 average scores across all guidelines, with scores of 4.0 for dementia, 4.3846 for COPD, 4.4474 for hypertension, and 4.3636 for sarcopenia, indicating its superior effectiveness in clinical decision support.
Specifically, in the dementia guideline, FHIR-RAG-MEDS recorded a BERTScore F1 of 0.6372, significantly higher than competing models. For COPD, it maintained a leading position with a BERTScore F1 of 0.6311 and a ROUGE-L F1 of 0.2585. In hypertension, it achieved a BERTScore F1 of 0.6493 and a ROUGE-L F1 of 0.2986, while for sarcopenia, it excelled with a BERTScore F1 of 0.7367 and a ROUGE-L F1 of 0.4648. These results underscore the model’s strong semantic alignment and ability to preserve clinical terminology. Overall, the findings highlight FHIR-RAG-MEDS’ robustness and reliability in generating contextually accurate responses, reinforcing its potential as a transformative tool for clinical decision support in healthcare.
Discussion
In the discussion section, the research highlights the integration of Retrieval-Augmented Generation (RAG) with large language models (LLMs) to enhance performance in knowledge-intensive medical tasks. RAG addresses the issue of hallucinations in LLMs by grounding responses in real-time, validated medical information, which is crucial for accurate clinical decision-making. Various studies have demonstrated the effectiveness of RAG in specific medical domains, such as nephrology and cardiology, where it has been shown to provide more accurate recommendations compared to traditional generative models. However, existing RAG systems often lack integration with electronic health records (EHRs), limiting their ability to personalize recommendations based on individual patient data.
The proposed FHIR-RAG-MEDS system aims to bridge this gap by combining HL7 FHIR standards with RAG methodologies to deliver personalized, evidence-based clinical decision support. This system is designed to process patient-specific data from EHRs and generate tailored recommendations grounded in clinical guidelines. The architecture includes preprocessing of clinical guidelines, real-time data retrieval from FHIR servers, and RAG execution to produce contextually relevant outputs. The study emphasizes the need for seamless integration of RAG systems with EHRs to enhance clinical decision-making and improve healthcare outcomes, while also addressing the limitations of current evaluation methodologies that often overlook the importance of factual correctness in medical responses.
Limitations
The limitations of this study stem from both clinical and technical aspects. Clinically, the research utilized 70 case scenarios developed by an expert evaluation panel rather than actual clinical cases, which may limit the generalizability and external validation of the findings. However, this method allows for a more nuanced analysis of the large language model (LLM) performance in handling diverse clinical scenarios, particularly those that are uncommon or complex. Future work will focus on validating the FHIR-RAG-MEDS system against real-world clinical cases to enhance its applicability.
From a technical standpoint, there is potential for optimizing LLM performance within clinical decision support systems (CDSS) by improving accuracy, efficiency, and user experience. Future directions include implementing continual learning to keep the system updated with the latest medical research and guidelines, as well as integrating human-in-the-loop feedback mechanisms to refine recommendations based on physician input. Additionally, employing reinforcement learning with human feedback (RLHF) could enhance model performance by aligning outputs more closely with human values and preferences. Future efforts will also prioritize enhancing the explainability of the system, ensuring that healthcare professionals can trace recommendations back to specific evidence-based guidelines, thereby fostering trust and informed decision-making in clinical practice.