القدرات الأساسية لنماذج اللغة الكبيرة في التنبؤ بالمخاطر بعد الجراحة باستخدام الملاحظات السريرية
The foundational capabilities of large language models in predicting postoperative risks using clinical notes

شارك:
المجلة: npj Digital Medicine، المجلد: 8، العدد: 1
DOI: https://doi.org/10.1038/s41746-025-01489-2
PMID: https://pubmed.ncbi.nlm.nih.gov/39934379
تاريخ النشر: 2025-02-11
المؤلف: Charles Alba وآخرون
الموضوع الرئيسي: تعلم الآلة في الرعاية الصحية

نظرة عامة

تناقش هذه القسم الإمكانات الكبيرة لنماذج اللغة الكبيرة (LLMs) في توقع المخاطر بعد الجراحة بناءً على الملاحظات السريرية التي تم جمعها خلال رحلة المريض المحيطة بالجراحة. أظهر تحليل لـ 84,875 ملاحظة قبل الجراحة مرتبطة بحالات جراحية من 2018 إلى 2021 أن نماذج LLM المدربة مسبقًا تفوقت على تمثيلات الكلمات التقليدية، محققة زيادة مطلقة بنسبة 38.3% في المساحة تحت منحنى التشغيل للموصل (AUROC) و33.2% في المساحة تحت منحنى الدقة والاسترجاع (AUPRC). تم ملاحظة تحسينات إضافية مع الضبط الذاتي، الذي حسن الأداء بنسبة 3.2% لـ AUROC و1.5% لـ AUPRC، بينما قدم دمج التسميات في التدريب مكاسب إضافية بنسبة 1.8% و2% على التوالي. تم الحصول على النتائج المثلى باستخدام نموذج أساسي موحد، مما أدى إلى تحسينات بنسبة 3.6% لـ AUROC و2.6% لـ AUPRC مقارنة بالطرق ذات الضبط الذاتي.

يؤكد النص على الطبيعة الحرجة لتحديد المضاعفات بعد الجراحة، التي تؤثر على أكثر من 10% من المرضى الجراحيين ويمكن أن تؤدي إلى نتائج خطيرة مثل زيادة الوفيات وإطالة فترات الإقامة في المستشفى. يبرز أهمية تحديد عوامل الخطر مبكرًا وتنفيذ تدابير وقائية، كما يتضح من تقرير مركز الرعاية المحيطة بالجراحة، الذي أشار إلى أن المسارات المحيطة بالجراحة المنظمة يمكن أن تقلل من فترات الإقامة في المستشفى بمعدل يومين وتقلل من المضاعفات بنسبة 30% إلى 80%. كما يقارن القسم بين نماذج التعلم الآلي التقليدية، التي تعتمد بشكل أساسي على المتغيرات العددية والفئوية، مع القدرات المتقدمة لنماذج LLM للاستفادة من الملاحظات السريرية غير المنظمة لتحسين الدقة التنبؤية في الرعاية المحيطة بالجراحة.

مقدمة

في هذه الدراسة، تم تقييم أداء نماذج مدربة مسبقًا مختلفة، وبشكل خاص BioGPT وClinicalBERT، في توقع المخاطر بعد الجراحة. في البداية، تفوق BioGPT على ClinicalBERT في خمسة من أصل ستة مهام دون أي ضبط، مما يشير إلى أن الأدبيات الطبية الحيوية تلتقط بشكل فعال المصطلحات ذات الصلة. بعد الضبط باستخدام الملاحظات السريرية، حافظ BioGPT على ميزته، متفوقًا في أربع مهام مقارنةً بمهمتين لـ ClinicalBERT. يُعزى هذا التحسن إلى دمج ملاحظات الرعاية المحيطة بالجراحة خلال الضبط، مما أغنى تمثيل النموذج مقارنةً بـ ClinicalBERT، الذي اعتمد فقط على مجموعات البيانات السريرية.

كما قارن البحث بين نماذج BERT التي تعتمد على الترميز فقط ونماذج GPT التي تعتمد على فك الترميز فقط، ووجد اختلافات طفيفة في الأداء. ومن المثير للاهتمام، أن نماذج GPT أظهرت قدرات تنافسية في مهام التصنيف ضمن الرعاية المحيطة بالجراحة، على عكس استخدامها التقليدي في المهام التوليدية. بالإضافة إلى ذلك، أظهر مصنف الانحدار اللوجستي أداءً أفضل قليلاً في بعض الحالات، مما يشير إلى أن نماذج اللغة المضبوطة جيدًا يمكن أن تحقق تمثيلات سياقية فعالة لمصنفات أبسط. أظهرت النماذج الأساسية مزايا كبيرة على الأساليب شبه المشروطة والذاتية الإشراف، مع تحسينات ملحوظة في مقاييس AUROC وAUPRC، خاصةً للنتائج النادرة مثل تجلط الأوردة العميقة (DVT) والانصمام الرئوي (PE). تؤكد هذه النتائج على أهمية دمج البيانات الجدولية، مثل نتائج المختبر والتاريخ الطبي، لتعزيز الدقة التنبؤية للأحداث النادرة بعد الجراحة.

طرق

في هذا القسم، يناقش المؤلفون قابلية تعميم طرق نمذجة التنبؤ الخاصة بهم عبر مجموعات بيانات الرعاية الصحية المختلفة، مع مقارنة نتائجهم من مجموعة بيانات مستشفى بارنز-يهود (BJH) مع مجموعة بيانات MIMIC-III المتاحة للجمهور. تتكون مجموعة بيانات BJH من سجلات التخدير الإلكترونية لـ 84,875 مريضًا جراحيًا بالغًا، تتضمن ملاحظات قبل الجراحة ونتائج جراحية، بينما تركز MIMIC-III على مرضى الرعاية الحرجة. توضح الدراسة أن نماذج اللغة الكبيرة المدربة مسبقًا (LLMs) تتفوق بشكل كبير على النماذج الأساسية، مع تحسينات في المساحة تحت منحنى التشغيل للموصل (AUROC) تتراوح من 14.6% للإفراج خلال 12 ساعة إلى 30% لوفيات المستشفى. بالإضافة إلى ذلك، أفاد المؤلفون بتحسينات في المساحة تحت منحنى الدقة والاسترجاع (AUPRC) وتقليل في متوسط الخطأ التربيعي (MSE) لفترة الإقامة (LOS).

تؤكد إعادة تطبيق الطرق على مجموعة بيانات MIMIC-III قوة النتائج، مما يشير إلى أن القدرات الأساسية لنماذج LLM تمتد إلى ما هو أبعد من سياق BJH إلى مجالات الرعاية السريرية الأخرى. استخدم المؤلفون رموز الإجراءات الطويلة من MIMIC-III لإنشاء ملاحظات سريرية تتماشى مع خصائص مجموعة بيانات BJH، مما يسمح بمقارنة متسقة للنتائج مثل LOS، وفيات المستشفى، حالة الإفراج خلال 12 ساعة، ووفيات 30 يومًا. بشكل عام، تشير النتائج إلى أن تقنيات نمذجة التنبؤ التي تم تطويرها قابلة للتطبيق عبر بيئات الرعاية الصحية المتنوعة، مما يعزز إمكاناتها في الممارسة السريرية.

نتائج

في هذه الدراسة، تم تحليل ما مجموعه 84,875 ملاحظة سريرية من سجلات التخدير الإلكترونية في مستشفى بارنز يهود (BJH)، تشمل مرضى بالغين بمتوسط عمر 56.9 سنة (SD = 16.8) وتركيب ديموغرافي يتكون من 50.3% ذكور و74% بيض. ركز التحليل على ست نتائج سريرية خلال الفترة من 2018 إلى 2021.

كشفت النتائج عن معدلات الأحداث الإيجابية التالية للنتائج التي تم تقييمها: حدثت الوفاة خلال 30 يومًا في 1,694 حالة (2%)، تجلط الأوردة العميقة (DVT) في 498 حالة (0.6%)، الانصمام الرئوي (PE) في 287 حالة (0.3%)، الالتهاب الرئوي في 475 حالة (0.6%)، إصابة الكلى الحادة (AKI) في 11,418 حالة (13%)، والهذيان في 5,695 حالة (47%). تسلط هذه النتائج الضوء على انتشار مختلف المضاعفات بعد الجراحة، حيث يظهر الهذيان أعلى معدل حدوث بين النتائج المدروسة.

مناقشة

تسلط قسم المناقشة في ورقة البحث الضوء على التقدم الكبير الذي حققته نماذج اللغة الكبيرة المدربة مسبقًا (LLMs) في توقع المضاعفات بعد الجراحة مقارنةً بتمثيلات الكلمات التقليدية. وجدت الدراسة أن النماذج الموجهة سريريًا مثل bioGPT وClinicalBERT وbioClinicalBERT أظهرت تحسينات كبيرة في الأداء التنبؤي، مع زيادات في المساحة تحت منحنى التشغيل للموصل (AUROC) تتراوح من 20.7% للهذيان إلى 38.3% لوفيات 30 يومًا. من الجدير بالذكر أن هذه النماذج حددت ما يصل إلى 33.2 مريضًا إضافيًا معرضين لخطر إصابة الكلى الحادة (AKI) الذين كان من الممكن أن يتم تجاهلهم بواسطة الطرق التقليدية، مما يبرز إمكانات LLMs في تعزيز الكشف المبكر والتدخل في الوقت المناسب في الرعاية المحيطة بالجراحة.

تمت ملاحظة تحسينات إضافية عندما تم ضبط هذه النماذج باستخدام نصوص سريرية محددة للرعاية المحيطة بالجراحة، مما أدى إلى مكاسب إضافية في الأداء. أدى دمج التسميات خلال عملية الضبط من خلال نهج شبه مشروط إلى تحسينات إضافية، حيث حقق النموذج الأساسي زيادات ملحوظة في الدقة التنبؤية عبر نتائج متعددة. كما قارن الدراسة النماذج الأساسية مع آلة حساب مخاطر الجراحة NSQIP، مما يكشف أنه بينما أظهرت الأخيرة حساسية أفضل، تفوقت النماذج الأساسية عليها في الدقة والموثوقية. يشير هذا إلى أن LLMs، بقدرتها على معالجة مجموعة أوسع من الميزات، قد تقدم حلاً أكثر قوة لتوقع المخاطر الجراحية، مما يسهل اتخاذ قرارات سريرية أفضل وقد يحسن نتائج المرضى. تؤكد النتائج على أهمية تكييف LLMs مع السياقات السريرية المحددة وتبرز الحاجة إلى مزيد من التعاون مع الأطباء لضمان التطبيق العملي لهذه النماذج في بيئات الرعاية الصحية.

Journal: npj Digital Medicine, Volume: 8, Issue: 1
DOI: https://doi.org/10.1038/s41746-025-01489-2
PMID: https://pubmed.ncbi.nlm.nih.gov/39934379
Publication Date: 2025-02-11
Author(s): Charles Alba et al.
Primary Topic: Machine Learning in Healthcare

Overview

The section discusses the significant potential of large language models (LLMs) in predicting postoperative risks based on clinical notes collected during a patient’s perioperative journey. An analysis of 84,875 preoperative notes linked to surgical cases from 2018 to 2021 demonstrated that pretrained LLMs surpassed traditional word embeddings, achieving an absolute increase of 38.3% in area under the receiver operating characteristic (AUROC) and 33.2% in area under the precision-recall curve (AUPRC). Further enhancements were noted with self-supervised fine-tuning, which improved performance by 3.2% for AUROC and 1.5% for AUPRC, while incorporating labels into training provided additional gains of 1.8% and 2%, respectively. The optimal results were obtained using a unified foundation model, yielding improvements of 3.6% for AUROC and 2.6% for AUPRC compared to self-supervised methods.

The text emphasizes the critical nature of identifying postoperative complications, which affect over 10% of surgical patients and can lead to severe outcomes such as increased mortality and prolonged hospital stays. It highlights the importance of early risk factor identification and the implementation of preventive measures, as evidenced by a report from the Centre for Perioperative Care, which noted that structured perioperative pathways could reduce hospital stays by an average of two days and decrease complications by 30% to 80%. The section also contrasts traditional machine learning models, which primarily rely on numerical and categorical variables, with the advanced capabilities of LLMs to leverage unstructured clinical notes for improved predictive accuracy in perioperative care.

Introduction

In this study, the performance of various pretrained models, specifically BioGPT and ClinicalBERT, was evaluated in predicting postoperative risks. Initially, BioGPT outperformed ClinicalBERT in five out of six tasks without any fine-tuning, indicating that biomedical literature effectively captures relevant terminologies. After fine-tuning with clinical notes, BioGPT maintained its advantage, excelling in four tasks compared to ClinicalBERT’s two. This improvement is attributed to the integration of perioperative care notes during fine-tuning, which enriched the model’s representation compared to ClinicalBERT, which relied solely on clinical corpora.

The research also compared encoder-only BERT models and decoder-only GPT models, finding minimal differences in performance. Interestingly, GPT models demonstrated competitive capabilities in classification tasks within perioperative care, contrary to their traditional use in generative tasks. Additionally, a logistic regression classifier showed slightly better performance in some instances, suggesting that well-tuned language models can yield effective contextual representations for simpler classifiers. The foundation models exhibited significant advantages over semi-supervised and self-supervised approaches, with notable improvements in AUROC and AUPRC metrics, particularly for rare outcomes like deep vein thrombosis (DVT) and pulmonary embolism (PE). These findings underscore the importance of incorporating tabular data, such as laboratory results and medical history, to enhance predictive accuracy for rare postoperative events.

Methods

In this section, the authors discuss the generalizability of their predictive modeling methods across different healthcare datasets, specifically comparing their findings from the Barnes-Jewish Hospital (BJH) dataset with the publicly available MIMIC-III dataset. The BJH dataset consists of electronic anesthesia records for 84,875 adult surgical patients, detailing preoperative notes and surgical outcomes, while MIMIC-III focuses on critical care patients. The study demonstrates that pretrained large language models (LLMs) significantly outperform baseline models, with improvements in area under the receiver operating characteristic (AUROC) ranging from 14.6% for 12-hour discharge to 30% for in-hospital mortality. Additionally, the authors report enhancements in area under the precision-recall curve (AUPRC) and reductions in mean squared error (MSE) for length of stay (LOS).

The replication of methods on the MIMIC-III dataset confirms the robustness of the findings, indicating that the foundational capabilities of LLMs extend beyond the BJH context to other clinical care domains. The authors utilized long-form procedural codes from MIMIC-III to create clinical notes that align with the BJH dataset’s characteristics, allowing for a consistent comparison of outcomes such as LOS, in-hospital mortality, 12-hour discharge status, and 30-day mortality. Overall, the results suggest that the predictive modeling techniques developed are applicable across diverse healthcare settings, enhancing their potential utility in clinical practice.

Results

In this study, a total of 84,875 clinical notes from electronic anesthesia records at Barnes Jewish Hospital (BJH) were analyzed, encompassing adult patients with a mean age of 56.9 years (SD = 16.8) and a demographic composition of 50.3% male and 74% White. The analysis focused on six clinical outcomes over the period from 2018 to 2021.

The findings revealed the following positive event rates for the outcomes assessed: death within 30 days occurred in 1,694 cases (2%), Deep Vein Thrombosis (DVT) in 498 cases (0.6%), Pulmonary Embolism (PE) in 287 cases (0.3%), pneumonia in 475 cases (0.6%), Acute Kidney Injury (AKI) in 11,418 cases (13%), and delirium in 5,695 cases (47%). These results highlight the prevalence of various postoperative complications, with delirium showing the highest incidence among the outcomes studied.

Discussion

The discussion section of the research paper highlights the significant advancements made by pretrained large language models (LLMs) in predicting postoperative complications compared to traditional word embeddings. The study found that clinically-oriented models such as bioGPT, ClinicalBERT, and bioClinicalBERT showed substantial improvements in predictive performance, with increases in the Area Under the Receiver Operating Characteristic curve (AUROC) ranging from 20.7% for delirium to 38.3% for 30-day mortality. Notably, these models identified up to 33.2 additional patients at risk for acute kidney injury (AKI) who would have been missed by traditional methods, emphasizing the potential of LLMs to enhance early detection and timely intervention in perioperative care.

Further enhancements were observed when these models were fine-tuned with perioperative-specific clinical texts, yielding additional performance gains. The incorporation of labels during the fine-tuning process through a semi-supervised approach resulted in further improvements, with the foundation model achieving notable increases in predictive accuracy across multiple outcomes. The study also compared the foundation models with the NSQIP Surgical Risk Calculator, revealing that while the latter demonstrated superior sensitivity, the foundation models outperformed it in accuracy and precision. This suggests that LLMs, with their ability to process a broader range of features, may offer a more robust solution for predicting surgical risks, thereby facilitating better clinical decision-making and potentially improving patient outcomes. The findings underscore the importance of adapting LLMs to specific clinical contexts and highlight the need for further collaboration with clinicians to ensure the practical application of these models in healthcare settings.