DOI: https://doi.org/10.1038/s41746-026-02539-z
PMID: https://pubmed.ncbi.nlm.nih.gov/41951858
تاريخ النشر: 2026-04-08
المؤلف: Yinghao Zhu وآخرون
الموضوع الرئيسي: تعلم الآلة في الرعاية الصحية
نظرة عامة
يتناول قسم ورقة البحث تقييم نماذج اللغة الكبيرة (LLMs) في سياق التنبؤ السريري، متحديًا الافتراض السائد بأن النماذج المتخصصة تتفوق على LLMs في المهام غير التوليدية. باستخدام معيار ClinicRealm، يقيم البحث بشكل منهجي 15 نموذج LLM على طراز GPT، و5 نماذج على طراز BERT، و11 طريقة تقليدية على كل من الملاحظات السريرية غير المنظمة وسجلات الصحة الإلكترونية المنظمة (EHR). تشير النتائج إلى تحول كبير في الأداء: حيث تتفوق نماذج LLM الرائدة في عدم وجود بيانات، مثل DeepSeek-V3.1-Think وGPT-5، على نماذج BERT المعدلة على الملاحظات السريرية. علاوة على ذلك، بينما تتفوق النماذج المتخصصة مع توفر بيانات وفيرة في سجلات EHR المنظمة، تظهر نماذج LLM المتقدمة قدرات قوية في عدم وجود بيانات، وغالبًا ما تتجاوز النماذج التقليدية في السيناريوهات التي تعاني من نقص البيانات.
تؤكد هذه الدراسة على الإمكانات التنافسية لنماذج LLM الحديثة في مهام التنبؤ السريري، مما يشير إلى أنه يجب على علماء البيانات الصحية والمطورين إعادة النظر في استراتيجيات اختيار النماذج الخاصة بهم. تسلط النتائج الضوء على أن التعديل المكثف لنماذج BERT قد لا يكون حاسمًا كما كان يُعتقد سابقًا، خاصة في تحليل البيانات السريرية غير المنظمة. بشكل عام، تدعو الدراسة إلى إعادة تقييم دور LLMs في دعم القرار السريري، مع التأكيد على أهميتها المتزايدة في استغلال البيانات الصحية الضخمة لتوقعات دقيقة لنتائج المرضى.
طرق
يستعرض قسم “الطرق” الإجراءات التجريبية والتحليلية المستخدمة في الدراسة. يوضح اختيار المشاركين، وتصميم التجارب، والتقنيات الإحصائية المستخدمة لتحليل البيانات. استخدم الباحثون تنسيق تجربة عشوائية محكومة لضمان موثوقية النتائج، مع تخصيص المشاركين إما لمجموعة العلاج أو مجموعة التحكم.
شملت جمع البيانات مقاييس موحدة لتقييم النتائج الرئيسية، وتم إجراء التحليل باستخدام برامج إحصائية مناسبة. طبق المؤلفون تقنيات مثل تحليل الانحدار وANOVA لتقييم الفروق بين المجموعات، مع ضمان التحكم في المتغيرات المربكة. تم تصميم المنهجية لتوفير أدلة قوية للاختبارات التي تم اختبارها، مما يساهم في صحة النتائج بشكل عام.
نتائج
توفر نتائج هذه الدراسة تقييمًا شاملاً لنماذج اللغة الكبيرة (LLMs) في مهام التنبؤ السريري، مع التركيز على كل من الملاحظات السريرية غير المنظمة وبيانات سجلات الصحة الإلكترونية (EHR) المنظمة. يكشف التحليل أن نماذج LLM الحديثة تظهر قدرات تنبؤية قوية، خاصة في المهام المستقبلية مثل توقع الوفيات داخل المستشفى، حيث حققت النماذج المتطورة مثل DeepSeek-R1 منطقة تحت منحنى التشغيل المستلم (AUROC) بنسبة 90.75%، متفوقة على نماذج BERT المعدلة المتخصصة مثل GatorTron. ومن الجدير بالذكر أن نماذج LLM أظهرت أداءً قويًا في عدم وجود بيانات، حيث حقق DeepSeek-V3.1 AUROC قريب من الكمال بنسبة 97.89% في مهام تصنيف الوثائق الاسترجاعية، مما يدل على إمكاناتها في البيئات السريرية حيث قد تكون البيانات نادرة.
عند فحص بيانات EHR المنظمة، أدت نماذج LLM مثل GPT-5 وDeepSeek-V3.1-Think بشكل جيد في التنبؤات في عدم وجود بيانات ولكنها عمومًا كانت متأخرة عن نماذج التعلم الآلي التقليدية المدربة على مجموعات بيانات كاملة. ومع ذلك، أظهرت نماذج LLM كفاءة ملحوظة في البيانات، حيث حقق GPT-4o AUROC بنسبة 85.99% في توقع الوفيات، متجاوزًا نماذج تقليدية ذات 10 محاولات. أسفرت التكامل متعدد الوسائط للبيانات المنظمة وغير المنظمة عن نتائج مختلطة؛ بينما أظهرت نماذج دمج الميزات أداءً كفؤًا، إلا أنها لم تتجاوز بشكل مستمر القوة التنبؤية للملاحظات السريرية غير المنظمة بمفردها. تسلط الدراسة الضوء على التحديات التي تواجهها نماذج LLM في دمج المعلومات متعددة الوسائط بشكل فعال، مما يشير إلى ضرورة تحسين تنسيق البيانات واستراتيجيات التفاعل لتعزيز أدائها في مهام التنبؤ السريري.
مناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على تقييم نماذج اللغة الكبيرة (LLMs) في مهام التفكير السريري، كاشفًا عن نتائج عالية الجودة وذات صلة سريرية من النماذج ذات الأداء العالي. أشارت التقييمات البشرية من قبل خمسة خبراء سريريين إلى توافق كبير في جودة التفكير، خاصة في بيانات سجلات الصحة الإلكترونية (EHR) المنظمة، حيث حددت النماذج عوامل الخطر الرئيسية بشكل فعال. ومع ذلك، تم ملاحظة تحديات في توقع إعادة الدخول خلال 30 يومًا من الملاحظات السريرية، حيث واجهت النماذج صعوبة في التعامل مع العوامل السريرية والاجتماعية الدقيقة، مما أدى إلى انخفاض درجات الدقة. حدد تحليل الأخطاء المنهجي أخطاء معرفية مميزة، حيث نشأت الإيجابيات الكاذبة بشكل أساسي من التناقضات الواقعية والإيجابيات السلبية من التفكير السريري المعيب، مما يبرز الحاجة إلى تحسين الحكم الأعلى في نماذج LLM.
تتحدى النتائج الافتراض القائل بأن نماذج LLM أدنى من النماذج المتخصصة في التنبؤات السريرية، مما يشير إلى إعادة تقييم دورها في البيئات السريرية. بينما تتفوق النماذج التقليدية في توقعات البيانات المنظمة، تظهر نماذج LLM أداءً تنافسيًا، خاصة في سياقات البيانات غير المنظمة. تؤكد الدراسة على أهمية تقييم التفكير وراء التنبؤات، كاشفة أنه بينما يمكن لنماذج LLM إنتاج مخرجات متماسكة سريريًا، إلا أنها ليست معصومة من الخطأ. كما يبرز التحليل التباين في موثوقية النماذج والدور الحاسم لهندسة المحفزات الفعالة. علاوة على ذلك، تؤكد الأبحاث على ضرورة معالجة الآثار الأخلاقية، بما في ذلك العدالة والتحيزات، في نشر النماذج، داعية إلى تقييم شامل للفائدة السريرية يشمل كل من الدقة التنبؤية والعدالة. تشمل اتجاهات البحث المستقبلية توسيع تنوع المهام، وتحسين فهم بيانات EHR المعقدة، وضمان التكامل المسؤول لنماذج LLM في الممارسة السريرية.
DOI: https://doi.org/10.1038/s41746-026-02539-z
PMID: https://pubmed.ncbi.nlm.nih.gov/41951858
Publication Date: 2026-04-08
Author(s): Yinghao Zhu et al.
Primary Topic: Machine Learning in Healthcare
Overview
The research paper section discusses the evaluation of Large Language Models (LLMs) in the context of clinical prediction, challenging the prevailing assumption that specialized models outperform LLMs in non-generative tasks. Utilizing the ClinicRealm benchmark, the study systematically assesses 15 GPT-style LLMs, 5 BERT-style models, and 11 traditional methods on both unstructured clinical notes and structured Electronic Health Records (EHR). The findings indicate a significant shift in performance: leading zero-shot LLMs, such as DeepSeek-V3.1-Think and GPT-5, outperform finetuned BERT models on clinical notes. Furthermore, while specialized models excel with ample data in structured EHRs, advanced LLMs demonstrate strong zero-shot capabilities, often surpassing conventional models in data-scarce scenarios.
This research underscores the competitive potential of modern LLMs for clinical prediction tasks, suggesting that health data scientists and developers should reconsider their model selection strategies. The results highlight that the extensive finetuning of BERT models may not be as crucial as previously believed, particularly in the analysis of unstructured clinical data. Overall, the study advocates for a reevaluation of the role of LLMs in clinical decision support, emphasizing their growing relevance in leveraging vast healthcare data for accurate patient outcome predictions.
Methods
The “Methods” section outlines the experimental and analytical procedures employed in the study. It details the selection of participants, the design of the experiments, and the statistical techniques used for data analysis. The researchers utilized a randomized controlled trial format to ensure the reliability of the results, with participants assigned to either the treatment or control group.
Data collection involved standardized measures to assess the primary outcomes, and the analysis was conducted using appropriate statistical software. The authors applied techniques such as regression analysis and ANOVA to evaluate the differences between groups, ensuring that confounding variables were controlled. The methodology was designed to provide robust evidence for the hypotheses being tested, contributing to the overall validity of the findings.
Results
The results of this study provide a comprehensive evaluation of large language models (LLMs) in clinical prediction tasks, focusing on both unstructured clinical notes and structured electronic health record (EHR) data. The analysis reveals that modern LLMs exhibit robust predictive capabilities, particularly in prospective tasks such as in-hospital mortality prediction, where state-of-the-art models like DeepSeek-R1 achieved an area under the receiver operating characteristic curve (AUROC) of 90.75%, outperforming specialized finetuned models like GatorTron. Notably, LLMs demonstrated strong zero-shot performance, with DeepSeek-V3.1 achieving a near-perfect AUROC of 97.89% in retrospective document classification tasks, indicating their potential in clinical settings where data may be scarce.
When examining structured EHR data, LLMs like GPT-5 and DeepSeek-V3.1-Think performed well in zero-shot predictions but generally lagged behind conventional machine learning models trained on complete datasets. However, LLMs showed remarkable data efficiency, with GPT-4o achieving an AUROC of 85.99% in mortality prediction, surpassing 10-shot conventional models. The multimodal integration of structured and unstructured data yielded mixed results; while feature-fusion models showed competent performance, they did not consistently surpass the predictive power of unstructured clinical notes alone. The study highlights the challenges LLMs face in synthesizing multimodal information effectively, suggesting that further optimization in data formatting and interaction strategies is necessary to enhance their performance in clinical prediction tasks.
Discussion
The discussion section of the research paper highlights the evaluation of large language models (LLMs) in clinical reasoning tasks, revealing generally high-quality and clinically relevant outputs from top-performing models. Human assessments by five clinical experts indicated substantial agreement on reasoning quality, particularly in structured electronic health record (EHR) data, where models effectively identified key risk factors. However, challenges were noted in predicting 30-day readmissions from clinical notes, where models struggled with nuanced clinical and social factors, leading to lower accuracy scores. A systematic error analysis identified distinct cognitive errors, with false positives primarily arising from factual inconsistencies and false negatives from flawed clinical reasoning, emphasizing the need for improved higher-order judgment in LLMs.
The findings challenge the assumption that LLMs are inferior to specialized models for clinical predictions, suggesting a re-evaluation of their role in clinical settings. While conventional models excel in structured data predictions, LLMs demonstrate competitive performance, particularly in unstructured data contexts. The study underscores the importance of evaluating the reasoning behind predictions, revealing that while LLMs can produce clinically coherent outputs, they are not infallible. The analysis also highlights variability in model reliability and the critical role of effective prompt engineering. Furthermore, the research emphasizes the necessity of addressing ethical implications, including fairness and biases, in model deployment, advocating for a holistic assessment of clinical utility that encompasses both predictive accuracy and fairness. Future research directions include expanding task diversity, improving comprehension of complex EHR data, and ensuring responsible integration of LLMs into clinical practice.