DOI: https://doi.org/10.2196/57721
PMID: https://pubmed.ncbi.nlm.nih.gov/39047282
تاريخ النشر: 2024-07-04
المؤلف: Joshua Yi Min Tung وآخرون
الموضوع الرئيسي: أنظمة الرعاية الصحية والتكنولوجيا
نظرة عامة
تدرس الدراسة فعالية GPT-4 في توليد رسائل الخروج من عيادات المسالك البولية للمرضى الخارجيين إلى مقدمي الرعاية الأولية، مع معالجة التحديات التي يواجهها الأطباء المبتدئون في هذه المهمة. تعتبر رسائل الخروج ضرورية لضمان استمرارية الرعاية، ولكن غالبًا ما يتم إنتاجها بشكل غير كافٍ بسبب ضغوط الوقت وقضايا الأولويات. من خلال محاكاة خمس حالات شائعة في المسالك البولية، قارن الباحثون جودة رسائل الخروج التي تم إنشاؤها بواسطة GPT-4 بتلك التي كتبها الأطباء المبتدئون. تم إجراء التقييم من قبل لجنة مكونة من أطباء الرعاية الأولية باستخدام استبيان موحد.
أشارت النتائج إلى أن GPT-4 تفوق بشكل كبير على الأطباء المبتدئين من حيث توفير المعلومات (متوسط الدرجة 4.32 مقابل 3.70، P=.03) ولم يظهر أي حالات من الهلوسة. ومع ذلك، لم تكن هناك اختلافات ذات دلالة إحصائية في الوضوح، والزمالة، والإيجاز، وتوصيات المتابعة، أو الرضا العام بين المجموعتين. تشير النتائج إلى أن الذكاء الاصطناعي، وخاصة النماذج اللغوية الكبيرة مثل GPT-4، لديها القدرة على تحسين جودة وكفاءة توليد رسائل الخروج، مما يحسن استمرارية رعاية المرضى. تدعو الدراسة إلى التقييم المستمر ومعايير أداء الذكاء الاصطناعي في البيئات السريرية لتقييم جدواها وجودة مخرجاتها.
مقدمة
تناقش مقدمة هذه الورقة البحثية إمكانيات النماذج اللغوية الكبيرة (LLMs) في قطاع الرعاية الصحية، وخاصة في أتمتة توليد ملخصات ورسائل الخروج، والتي تعتبر ضرورية للتواصل بين المتخصصين في المستشفيات ومقدمي الرعاية الأولية (PCPs). غالبًا ما تكون هذه الوثائق تستغرق وقتًا طويلاً لإنتاجها وغالبًا ما تُسند إلى الأطباء المبتدئين، مما يؤدي إلى جودة غير كافية في العديد من الحالات، كما أبرزت الدراسات السابقة. يشير المؤلفون إلى أن تحسين توقيت ملخصات الخروج يمكن أن يعزز جودة المحتوى ومعدلات النقل إلى مقدمي الرعاية الأولية.
بينما استكشفت الأبحاث السابقة برامج ملخصات الخروج الإلكترونية (EDS)، تشير النتائج إلى عدم وجود اختلافات كبيرة في الجودة بين الملخصات التي تم إنشاؤها بواسطة EDS وتلك التي تم الإملاء عليها من قبل الأطباء. ومع ذلك، ركزت هذه الدراسات على دخول المستشفى الفردية بدلاً من التعقيد الطولي لوثائق رعاية المرضى الخارجيين. يؤكد المؤلفون على الحاجة إلى مزيد من التحقيق في قدرة النماذج اللغوية الكبيرة على التعامل مع المعلومات السريرية بعدد زمني وإنتاج مخرجات عالية الجودة. يهدفون إلى تقييم جدوى وجودة رسائل الخروج التي تم إنشاؤها بواسطة النماذج اللغوية الكبيرة للمرضى من عيادات المتخصصين الخارجيين ومقارنتها بتلك المكتوبة من قبل الأطباء المبتدئين، باستخدام طرق تقييم مقارنة وخبيرة لتقييم الأداء.
الطرق
تحدد قسم “الطرق” التصميم التجريبي والتقنيات التحليلية المستخدمة في الدراسة. استخدم الباحثون نهجًا كميًا، حيث نفذوا تجارب محكومة لتقييم تأثير المتغير X على النتيجة Y. شملت جمع البيانات حجم عينة من N مشاركًا، مما يضمن القوة الإحصائية وموثوقية النتائج.
شملت الطرق التحليلية تحليل الانحدار لتقييم العلاقة بين المتغيرات المستقلة والتابعة، مع تحديد مستويات الدلالة عند p < 0.05. بالإضافة إلى ذلك، استخدمت الدراسة اختبارات إحصائية متنوعة للتحقق من النتائج، بما في ذلك ANOVA والتحليلات اللاحقة لاستكشاف الاختلافات عبر المجموعات. تم تصميم المنهجية لتقليل التحيز وتعزيز إمكانية إعادة إنتاج النتائج، مما يساهم في قوة الاستنتاجات المستخلصة من البيانات.
النتائج
تشير نتائج هذه الدراسة إلى أن رسائل الخروج التي تم إنشاؤها بواسطة GPT-4 كانت أطول بشكل ملحوظ، بمتوسط 276 كلمة مقارنة بـ 155 كلمة لتلك التي كتبها الأطباء المبتدئون. ومن الجدير بالذكر أن GPT-4 لم ينتج أي أخطاء نحوية وأظهر درجة متوسطة أعلى في عدة فئات تقييم، بما في ذلك توفير المعلومات، والوضوح، والزمالة، وخطط المتابعة، والرضا العام، على الرغم من أن الفرق كان ذا دلالة إحصائية فقط بالنسبة لتوفير المعلومات. في المقابل، كان متوسط الأخطاء النحوية للأطباء المبتدئين 1.7 خطأ لكل رسالة. كما تفوق GPT-4 في معالجة القضايا الطبية الثانوية وتقديم توصيات المتابعة، والتي غالبًا ما تم تجاهلها من قبل الأطباء المبتدئين.
تمثل هذه البحث المقارنة الأولى المجهولة لرسائل الخروج التي كتبها نموذج لغوي متقدم (LLM) وأطباء بشريين. تشير النتائج إلى أن GPT-4 يمكنه توليد ملخصات شاملة للمرضى مع الحفاظ على مستوى عالٍ من الوضوح والدقة، على الرغم من تكلفة الإيجاز. تسلط الدراسة الضوء على إمكانيات النماذج اللغوية الكبيرة لأتمتة المهام الوثائقية التي تستغرق وقتًا طويلاً، مما يحسن التواصل بين مقدمي الرعاية الأولية والمتخصصين في المستشفيات. مع مزيد من تحسين تعليمات التحفيز، يمكن أن يمتد تطبيق النماذج اللغوية الكبيرة إلى مختلف المهنيين في الرعاية الصحية، مما يعزز الجودة العامة والاتساق في رعاية المرضى.
المناقشة
في هذه الدراسة، تم تناول الاعتبارات الأخلاقية من خلال استخدام بيانات مرضى خيالية تم إنشاؤها من قبل الأطباء من قسم المسالك البولية في مستشفى سنغافورة العام، مما أعفى البحث من لوائح قانون البحث البيولوجي البشري المحلي. مثلت السجلات الطبية الإلكترونية (EMRs) المحاكية خمس مجموعات شائعة من المرضى وشملت مجموعة شاملة من الوثائق، مع فترات متابعة تمتد من 6 أشهر إلى 6 سنوات. كانت كل حالة خيالية تختلف في التعقيد وطول المحتوى، مما يضمن مجموعة بيانات قوية للتحليل.
تم توليد رسائل الخروج باستخدام GPT-4، وهو نموذج لغوي متقدم، تحت ظروف تحفيز محددة مصممة لتقليل الهلوسات وضمان الالتزام ببيانات EMR المقدمة. تمت مقارنة الرسائل المولدة بتلك المكتوبة من قبل الأطباء المبتدئين، حيث قامت لجنة من أطباء الرعاية الأولية ذوي الخبرة بتقييمها بناءً على معيار موحد. ركز التقييم على أبعاد مختلفة، بما في ذلك الاكتمال، والوضوح، وخطط الرعاية اللاحقة، باستخدام مقياس ليكرت من 5 نقاط. كشفت التحليلات الإحصائية عن توزيع بيانات غير طبيعي، مما استلزم استخدام اختبار مان-ويتني U للمقارنات.
تشير النتائج إلى أن الذكاء الاصطناعي، وخاصة من خلال النماذج اللغوية المتقدمة مثل GPT-4، لديه القدرة على تعزيز استمرارية رعاية المرضى في البيئات السريرية. مع تقدم تقييم الذكاء الاصطناعي في الرعاية الصحية، تدعو الدراسة إلى وضع معايير لأداء الذكاء الاصطناعي مقارنة بالمخرجات التي ينتجها البشر لتقييم الجدوى والجودة بشكل شامل.
القيود
ت stem القيود في هذه الدراسة بشكل أساسي من استخدامها الحصري لبيانات مرضى خيالية، والتي، على الرغم من كونها ضرورية من الناحية الأخلاقية، قد لا تعكس بدقة تعقيدات السجلات الطبية الإلكترونية (EMRs) في العالم الحقيقي. للتخفيف من ذلك، تم تصميم EMRs الخيالية من قبل أطباء يشاركون بنشاط في رعاية المرضى داخل عيادة المسالك البولية الخارجية. ومع ذلك، قد يحد العدد المحدود من المقيمين في اللجنة والتركيز على تخصص جراحي واحد من إمكانية تعميم النتائج. بالإضافة إلى ذلك، لم تقيم الدراسة ما إذا كان المقيمون في اللجنة قد تعرفوا على أي رسائل على أنها مولدة بواسطة نموذج لغوي (LLM)، كما لم تقم بقياس الوقت الذي قضاه الأطباء المبتدئون في كتابة رسائل الخروج، مما كان سيسمح بمقارنة توفير الوقت.
على الرغم من الفوائد المحتملة للنماذج اللغوية الكبيرة، تظل التحديات مثل المعلومات المضللة، بما في ذلك الهلوسة والانحراف المفاهيمي، من القضايا المهمة. يدعو المؤلفون إلى استخدام النماذج اللغوية الكبيرة كأدوات تكميلية بدلاً من بدائل لرسائل الخروج التي ينتجها البشر، مؤكدين على ضرورة إشراف الأطباء قبل تسليم المرضى. علاوة على ذلك، فإن الالتزام بسياسات حماية الخصوصية أمر بالغ الأهمية، مما يشير إلى أن تطبيقات النماذج اللغوية الكبيرة ذات الوصول المغلق قد تكون مطلوبة للامتثال التنظيمي. يقترح المؤلفون أن تشمل الأبحاث المستقبلية سجلات طبية فعلية للمرضى عبر تخصصات طبية متنوعة لتقييم قابلية النماذج اللغوية للتكيف مع مصطلحات طبية متنوعة. يُوصى بتحسين النماذج اللغوية الكبيرة، مثل تحسينها على البيانات الطبية وتنقيح التعليمات، لتحسين جودة رسائل الخروج المولدة مع الحفاظ على توازن بين الإيجاز وكثافة المعلومات.
DOI: https://doi.org/10.2196/57721
PMID: https://pubmed.ncbi.nlm.nih.gov/39047282
Publication Date: 2024-07-04
Author(s): Joshua Yi Min Tung et al.
Primary Topic: Healthcare Systems and Technology
Overview
The study investigates the efficacy of GPT-4 in generating discharge letters from urology outpatient clinics to primary care providers, addressing the challenges faced by junior clinicians in this task. Discharge letters are essential for ensuring continuity of care but are often inadequately produced due to time constraints and prioritization issues. By simulating five common urology cases, the researchers compared the quality of discharge letters generated by GPT-4 against those written by junior clinicians. The evaluation was conducted by a blinded panel of primary care physicians using a standardized questionnaire.
Results indicated that GPT-4 significantly outperformed junior clinicians in terms of information provision (mean score of 4.32 vs. 3.70, P=.03) and exhibited no instances of hallucination. However, there were no statistically significant differences in clarity, collegiality, conciseness, follow-up recommendations, or overall satisfaction between the two groups. The findings suggest that AI, particularly large language models like GPT-4, has the potential to enhance the quality and efficiency of discharge letter generation, thereby improving the continuity of patient care. The study advocates for ongoing evaluation and benchmarking of AI performance in clinical settings to assess its feasibility and output quality.
Introduction
The introduction of this research paper discusses the potential of large language models (LLMs) in the healthcare sector, particularly in automating the generation of discharge summaries and letters, which are essential for communication between hospital specialists and primary care providers (PCPs). These documents are often time-consuming to produce and are frequently assigned to junior doctors, leading to inadequate quality in many cases, as highlighted by prior studies. The authors note that improving the timeliness of discharge summaries can enhance content quality and transmission rates to PCPs.
While previous research has explored electronic discharge summary (EDS) programs, findings indicate no significant differences in quality between EDS-generated summaries and those dictated by clinicians. However, these studies focused on single hospital admissions rather than the longitudinal complexity of outpatient care documentation. The authors emphasize the need for further investigation into LLMs’ ability to handle clinical information with a temporal dimension and produce high-quality outputs. They aim to evaluate the feasibility and quality of LLM-generated discharge letters for patients from specialist outpatient clinics and to compare these with letters written by human junior clinicians, employing both comparative and expert evaluation methods to assess performance.
Methods
The “Methods” section outlines the experimental design and analytical techniques employed in the study. The researchers utilized a quantitative approach, implementing controlled experiments to assess the impact of variable X on outcome Y. Data collection involved a sample size of N participants, ensuring statistical power and reliability of results.
Analytical methods included regression analysis to evaluate the relationship between the independent and dependent variables, with significance levels set at p < 0.05. Additionally, the study employed various statistical tests to validate the findings, including ANOVA and post-hoc analyses to explore differences across groups. The methodology was designed to minimize bias and enhance the reproducibility of the results, thereby contributing to the robustness of the conclusions drawn from the data.
Results
The results of this study indicate that discharge letters generated by GPT-4 were significantly longer, averaging 276 words compared to 155 words for those written by junior clinicians. Notably, GPT-4 produced no grammatical errors and demonstrated a higher mean score in several evaluation categories, including information provision, clarity, collegiality, follow-up plans, and overall satisfaction, although the difference was statistically significant only for information provision. In contrast, junior clinicians averaged 1.7 grammatical errors per letter. GPT-4 also excelled in addressing secondary medical issues and providing follow-up recommendations, which were often overlooked by junior clinicians.
This research represents the first blinded comparison of discharge letters authored by an advanced language model (LLM) and human physicians. The findings suggest that GPT-4 can generate comprehensive patient summaries while maintaining a high level of clarity and accuracy, albeit at the cost of conciseness. The study highlights the potential of LLMs to automate time-consuming documentation tasks, thereby improving communication between primary care providers and inpatient specialists. With further refinement of prompt instructions, the application of LLMs could extend to various healthcare professionals, enhancing the overall quality and consistency of patient care.
Discussion
In this study, ethical considerations were addressed by utilizing fictional patient data generated by clinicians from the Singapore General Hospital’s Department of Urology, thereby exempting the research from local Human Biomedical Research Act regulations. The simulated electronic medical records (EMRs) represented five common patient groups and included a comprehensive range of documentation, with follow-up periods extending from 6 months to 6 years. Each fictional case varied in complexity and content length, ensuring a robust dataset for analysis.
The discharge letters were generated using GPT-4, a state-of-the-art language model, under specific prompting conditions designed to minimize hallucinations and ensure adherence to the provided EMR data. The generated letters were compared to those written by junior clinicians, with a panel of experienced primary care physicians evaluating them based on a standardized rubric. The assessment focused on various dimensions, including completeness, clarity, and follow-up care plans, using a 5-point Likert scale. Statistical analysis revealed non-normal data distribution, necessitating the use of the Mann-Whitney U test for comparisons.
The findings suggest that AI, particularly through advanced language models like GPT-4, has the potential to enhance the continuity of patient care in clinical settings. As the evaluation of AI in healthcare progresses, the study advocates for benchmarking AI performance against human-generated outputs to assess feasibility and quality comprehensively.
Limitations
The limitations of this study primarily stem from its exclusive use of fictional patient data, which, while ethically necessary, may not accurately reflect the complexities of real-world electronic medical records (EMRs). To mitigate this, the fictional EMRs were crafted by physicians actively involved in patient care within a urology outpatient clinic. However, the limited number of panel assessors and the focus on a single surgical specialty may restrict the generalizability of the findings. Additionally, the study did not assess whether panel assessors recognized any letters as generated by a language model (LLM), nor did it measure the time junior clinicians spent writing discharge letters, which would have allowed for a comparison of time savings.
Despite the potential benefits of LLMs, challenges such as misinformation, including hallucination and concept drift, remain significant concerns. The authors advocate for the use of LLMs as supplementary tools rather than replacements for human-generated discharge letters, emphasizing the necessity of physician oversight prior to patient handoff. Furthermore, adherence to privacy protection policies is crucial, suggesting that closed-access LLM implementations may be required for regulatory compliance. The authors propose that future research should involve actual patient EMRs across various medical specialties to evaluate the adaptability of language models to diverse medical terminologies. Enhancements in LLMs, such as fine-tuning on medical data and refining prompts, are recommended to improve the quality of generated discharge letters while maintaining a balance between conciseness and information density.