DOI: https://doi.org/10.1016/j.eswa.2026.132966
تاريخ النشر: 2026-05-22
المؤلف: Musarrat Zeba وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تقدم هذه الدراسة إطار عمل من مرحلتين يهدف إلى تعزيز موثوقية مخرجات نماذج اللغة الكبيرة (LLM) في الرعاية الصحية، وخاصة للتلخيص السريري. يدمج الإطار مولد LLaMA-3.1-8B المعدل بواسطة LoRA مع وحدة تحقق مستقلة تعمل على مستوى الاقتراح، مما يضمن أن الملخصات الناتجة تكون سلسة ودقيقة سريريًا. تستخدم وحدة التحقق اختبارات عددية ومنطقية للتحقق من الحقائق مقابل السجلات الصحية الإلكترونية (EHRs)، محققة دقة تبلغ 0.8904، واسترجاعًا قدره 0.8234، ودرجة F1 تبلغ 0.8556 عبر 3,786 اقتراحًا. كما تُظهر الملخصات الناتجة عن LLM مقاييس جودة تنافسية، مع درجة ROUGE-1 تبلغ 0.5797 ودرجة BERTScore تبلغ 0.9120.
على الرغم من هذه النتائج الواعدة، تحدد الدراسة قيودًا في متانة النظام، خاصة في المجالات الطبية المتخصصة مثل الأنواع النادرة من الأورام والاضطرابات pediatrics. لتعزيز الموثوقية، يقترح المؤلفون تعزيز مخطط الاقتراحات باستخدام أنطولوجيات أغنى وتحسين آليات تطبيع الكيانات والاستدلال. يُتوقع أن يعمل الإطار كطبقة أمان في سير العمل السريري، مشيرًا إلى التناقضات بين الملخصات الناتجة وEHRs، مما يدعم ممارسات سريرية أكثر أمانًا. ستركز الأعمال المستقبلية على التقييمات المنهجية ودمج قدرات الاستدلال المتقدمة لتعزيز فعالية الإطار في التطبيقات الواقعية.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التكامل المتزايد للذكاء الاصطناعي (AI)، وخاصة نماذج اللغة الكبيرة (LLMs)، في قطاع الرعاية الصحية. على الرغم من فوائدها المحتملة، مثل تعزيز اتخاذ القرار السريري وتلخيص سجلات المرضى، تواجه LLMs تحديات كبيرة، أساسًا بسبب ظاهرة الهلوسة، حيث تولد النماذج معلومات واثقة ولكن غير صحيحة. هذه المشكلة حرجة بشكل خاص في الرعاية الصحية، حيث يمكن أن تؤدي الأخطاء إلى عواقب وخيمة على سلامة المرضى وتقلل من ثقة الأطباء في أدوات الذكاء الاصطناعي. تشير الدراسات الحديثة إلى أن نسبة ملحوظة من الملخصات السريرية الناتجة عن LLM تحتوي على أخطاء واقعية، مما يبرز الحاجة الملحة لآليات تحقق موثوقة.
لمعالجة هذه القيود، يقترح المؤلفون نظام تحقق مبتكر خالٍ من LLM مصمم للتحقق من نصوص سريرية. يستخدم هذا النظام نهجًا حتميًا يستفيد من فحوصات منطقية منفصلة لتقييم دقة الملخصات الناتجة مقابل السجلات الصحية الإلكترونية (EHRs). من خلال تعديل نموذج محدد المجال على مجموعة بيانات كبيرة من ملخصات الخروج، يهدف المؤلفون إلى إنتاج مخرجات دقيقة سريريًا مع تقليل معدلات الهلوسة. لا يعزز الإطار المقترح موثوقية النصوص الطبية الناتجة عن الذكاء الاصطناعي فحسب، بل يضمن أيضًا الشفافية وإمكانية التكرار، مما يجعله حلاً واعدًا لدمج الذكاء الاصطناعي في الممارسة السريرية دون المساس بسلامة المرضى.
طرق
تقدم المنهجية الموضحة في هذه الورقة البحثية بنية معمارية معيارية مصممة لتقييم دقة الملخصات الناتجة عن نماذج اللغة الكبيرة (LLMs) في المجال الطبي. يتكون النظام من نموذج تلخيص متخصص ينتج ملخصات دقيقة من الناحية الواقعية، مكملًا بوحدة تحقق تستخدم منطقًا منفصلًا وفحوصات اتساق متنوعة مستقلة عن LLMs. يسمح هذا الدمج بأداء موثوق، حيث تقوم وحدة التحقق بمقارنة الملخصات الناتجة مع السجلات الصحية الإلكترونية (EHRs)، مما يقلل من خطر الهلوسات ويعزز موثوقية الملخصات الناتجة عن LLM لاتخاذ القرارات السريرية.
يركز إطار التقييم على الدقة السريرية على مستوى الوحدات الذرية المنفصلة، المسماة “اقتراحات”، والتي تشمل بيانات سريرية محددة مثل “تم تشخيص المريض بالالتهاب الرئوي” أو “تم وصف 20 ملغ من ليسينوبريل يوميًا.” يتم تفكيك كل من الملخصات الناتجة وEHRs المصدر إلى هذه الاقتراحات، مما يتيح مقارنة منهجية. تستخدم المنهجية مقاييس اتساق متنوعة—مثل التشابه الدلالي المعجمي، والتماسك العددي، والاتساق الزمني والمنطقي—لتقييم صلاحية كل اقتراح. تضمن هذه العملية التقييمية الدقيقة، التي تتم بدون مساعدة LLM، المتانة والقدرة على التكيف، باستخدام مرادفات طبية والحفاظ على الاتساق في قيم المختبرات، والجرعات، والتشخيصات. بشكل عام، يظهر LLM المدرب أداءً متفوقًا في إنتاج ملخصات صحيحة من الناحية الواقعية، مما يعزز الفعالية العامة للنظام المقترح.
نتائج
في هذا القسم، تُعرض نتائج وحدة التحقق الخالية من LLM المطبقة على الملخصات الناتجة عن نظام تلخيص سريري قائم على LLM، باستخدام مجموعة بيانات MIMIC-III. تم تصميم الإطار بحيث يستخدم عملية التلخيص نموذج LLaMA-3.1-8B المعدل بواسطة LoRA لتوليد الملخصات، بينما تعمل مكون التحقق بشكل مستقل عن أي LLM، مما يحافظ على حالة “خالٍ من LLM” خلال مرحلة التحقق. يشمل التقييم 104 ملخصات خروج، بإجمالي 3,786 اقتراحًا، مما يسمح بتقييم معياري لكل من جودة التلخيص والدقة الواقعية.
تشير المقاييس الكمية، بما في ذلك ROUGE، BERTScore، الدقة، الاسترجاع، ودرجة F1، إلى أن الإطار يولد سردًا متماسكًا مع الحد الأدنى من الهلوسات. تحدد وحدة التحقق المستقلة التناقضات بشكل فعال، مما يقيم الاتساق الواقعي دون الاعتماد على أحكام قائمة على LLM. تُظهر مصفوفة الالتباس كفاءة الوحدة في تصنيف المطالب المدعومة مقابل غير المدعومة. بشكل عام، تشير النتائج إلى أن الإطار المقترح يعمل بشكل إيجابي مقارنةً بالمقيمين القائمين على LLM، كما تؤكده المعايير الإضافية ومراجعات الأطباء.
مناقشة
في قسم المناقشة، تستعرض الورقة تطور معالجة اللغة الطبيعية (NLP) ونماذج اللغة الكبيرة (LLMs) في الرعاية الصحية، مع التركيز على التحديات التي تطرحها الهلوسات—الحالات التي تولد فيها النماذج بيانات غير صحيحة أو غير مدعومة. على الرغم من التقدم في إنتاج نصوص متماسكة، لا يزال اعتماد LLMs في البيئات السريرية محدودًا بسبب المخاوف المتعلقة بالموثوقية وقابلية التفسير. يسلط القسم الضوء على مختلف الأساليب لاكتشاف الهلوسة والتخفيف منها، بما في ذلك معيار FACTPICO لتقييم الملخصات الطبية، الذي كشف عن وجود توازن بين الدقة الواقعية والطلاقة اللغوية بين نماذج مثل Alpaca وLLaMA-2 وGPT-4. بينما يوفر FACTPICO تقييمًا خشنًا، فإنه يفشل في التقاط العديد من الأخطاء السريرية ذات الصلة، مما يستدعي الحاجة إلى طرق تحقق أكثر دقة.
تتناول المناقشة أيضًا التحقق الآلي من الحقائق وتقنيات استنتاج اللغة الطبيعية (NLI)، التي تعتبر حاسمة للتحقق من المطالبات مقابل مصادر موثوقة في الطب. تشير الورقة إلى أن الأساليب الحالية، على الرغم من تحسين الأداء، غالبًا ما تفتقر إلى الشفافية وقابلية التكرار، وهما أمران حيويان لثقة الأطباء. أظهرت تقنيات مثل إطار CHECK ومجموعة متنوعة من الأساليب القائمة على الرسوم البيانية وعدًا في تقليل معدلات الهلوسة وتعزيز الاتساق الواقعي. ومع ذلك، لا تزال هذه الأساليب تعتمد بشكل كبير على LLMs، مما يمكن أن يقدم تحيزاتها وقيودها الخاصة. يختتم القسم بالتأكيد على الحاجة إلى أدوات تحقق قوية وقابلة للتفسير مصممة خصيصًا للسياق السريري، حيث يمكن أن تعرض الهلوسات غير المراقبة سلامة المرضى للخطر.
DOI: https://doi.org/10.1016/j.eswa.2026.132966
Publication Date: 2026-05-22
Author(s): Musarrat Zeba et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This research presents a two-stage framework aimed at enhancing the reliability of Large Language Model (LLM) outputs in healthcare, particularly for clinical summarization. The framework integrates a LoRA-finetuned LLaMA-3.1-8B generator with an independent fact-checking module that operates at the proposition level, ensuring that generated summaries are both fluent and clinically accurate. The fact-checking module employs numerical and logical tests to validate facts against electronic health records (EHRs), achieving a precision of 0.8904, recall of 0.8234, and an F1-score of 0.8556 across 3,786 propositions. The LLM-generated summaries also demonstrate competitive quality metrics, with a ROUGE-1 score of 0.5797 and a BERTScore of 0.9120.
Despite these promising results, the study identifies limitations in the system’s robustness, particularly in specialized medical domains such as rare oncologic subtypes and pediatric disorders. To enhance reliability, the authors suggest augmenting the proposition schema with richer ontologies and improving entity normalization and reasoning mechanisms. The framework is envisioned to serve as a safety layer in clinical workflows, flagging discrepancies between generated summaries and EHRs, thereby supporting safer clinical practices. Future work will focus on systematic evaluations and the integration of advanced reasoning capabilities to further bolster the framework’s effectiveness in real-world applications.
Introduction
The introduction of this research paper highlights the growing integration of Artificial Intelligence (AI), particularly large language models (LLMs), in the healthcare sector. Despite their potential benefits, such as enhancing clinical decision-making and summarizing patient records, LLMs face significant challenges, primarily due to the phenomenon of hallucination, where models generate confident but incorrect information. This issue is particularly critical in healthcare, where inaccuracies can lead to severe consequences for patient safety and diminish clinician trust in AI tools. Recent studies indicate that a notable percentage of LLM-generated clinical summaries contain factual errors, which underscores the urgent need for reliable verification mechanisms.
To address these limitations, the authors propose an innovative LLM-free fact-checking system designed for clinical text verification. This system employs a deterministic approach that utilizes discrete logical checks to evaluate the accuracy of generated summaries against Electronic Health Records (EHRs). By fine-tuning a domain-specific model on a substantial dataset of discharge summaries, the authors aim to produce clinically accurate outputs while minimizing hallucination rates. The proposed framework not only enhances the reliability of AI-generated medical texts but also ensures transparency and reproducibility, making it a promising solution for integrating AI into clinical practice without compromising patient safety.
Methods
The methodology outlined in this research paper presents a modular architecture designed for evaluating the accuracy of summaries generated by large language models (LLMs) in the medical domain. The system comprises a specialized summarization model that produces factually accurate summaries, complemented by a fact-checking module that employs discrete logic and various consistency checks independent of LLMs. This integration allows for reliable performance, as the verification module cross-references generated summaries with electronic health records (EHRs), thereby reducing the risk of hallucinations and enhancing the reliability of LLM-generated summaries for clinical decision-making.
The evaluation framework focuses on clinical accuracy at the level of discrete atomic units, termed “propositions,” which include specific clinical statements such as “patient diagnosed with pneumonia” or “prescribed 20 mg lisinopril daily.” Both the generated summaries and source EHRs are deconstructed into these propositions, enabling systematic comparison. The methodology employs various consistency metrics—such as lexical-semantic similarity, numerical cohesiveness, and temporal and logical consistency—to assess each proposition’s validity. This rigorous evaluation process, conducted without LLM assistance, ensures robustness and adaptability, utilizing medical synonyms and maintaining consistency in lab values, dosages, and diagnoses. Overall, the trained LLM demonstrates superior performance in generating factually correct summaries, thereby enhancing the overall efficacy of the proposed system.
Results
In this section, the results of the LLM-free fact-checking module applied to summaries generated by an LLM-based clinical summarization system are presented, utilizing the MIMIC-III dataset. The framework is designed such that the summarization process employs a LoRA-fine-tuned LLaMA-3.1-8B model for generating summaries, while the verification component operates independently of any LLM, thus maintaining an “LLM-free” status during the fact-checking stage. The evaluation encompasses 104 discharge summaries, totaling 3,786 propositions, allowing for a modular assessment of both summarization quality and factual accuracy.
Quantitative metrics, including ROUGE, BERTScore, precision, recall, and F1-score, indicate that the framework generates coherent narratives with minimal hallucinations. The independent verification module effectively identifies inconsistencies, assessing factual consistency without reliance on LLM-based judgments. The confusion matrix demonstrates the module’s proficiency in classifying supported versus unsupported claims. Overall, the results suggest that the proposed framework performs favorably compared to LLM-based evaluators, as corroborated by additional benchmarks and clinician reviews.
Discussion
In the discussion section, the paper reviews the evolution of Natural Language Processing (NLP) and Large Language Models (LLMs) in healthcare, emphasizing the challenges posed by hallucinations—instances where models generate incorrect or unsupported statements. Despite advancements in generating coherent text, the adoption of LLMs in clinical settings remains limited due to concerns over reliability and interpretability. The section highlights various approaches to hallucination detection and mitigation, including the FACTPICO benchmark for evaluating medical summaries, which revealed a trade-off between factual accuracy and linguistic fluency among models like Alpaca, LLaMA-2, and GPT-4. While FACTPICO provides a coarse-grained evaluation, it fails to capture many clinically relevant inaccuracies, necessitating more granular verification methods.
The discussion also covers automated fact-checking and Natural Language Inference (NLI) techniques, which are crucial for verifying claims against reliable sources in medicine. The paper notes that existing methods, while improving performance, often lack transparency and reproducibility, which are vital for clinician trust. Techniques such as the CHECK framework and various graph-based approaches have shown promise in reducing hallucination rates and enhancing factual consistency. However, these methods still rely heavily on LLMs, which can introduce their own biases and limitations. The section concludes by underscoring the need for robust, interpretable verification tools tailored to the clinical context, as unchecked hallucinations can jeopardize patient safety.