DOI: https://doi.org/10.1038/s41591-026-04229-5
PMID: https://pubmed.ncbi.nlm.nih.gov/41776077
تاريخ النشر: 2026-03-01
المؤلف: Sully F. Chen وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تقدم هذه القسم نظرة عامة على التقييمات السريرية لنماذج اللغة الكبيرة (LLMs) في الطب، مع تسليط الضوء على الزيادة الكبيرة في الدراسات منذ عام 2022. تم تحديد ما مجموعه 4,609 دراسات تمت مراجعتها من قبل الأقران، بمتوسط حوالي 3.2 منشورات يوميًا. ومع ذلك، استخدمت 1,048 فقط من هذه الدراسات بيانات المرضى في العالم الحقيقي، مع وجود 19 فقط منها كانت تجارب عشوائية مستقبلية. ركزت الغالبية العظمى من الدراسات على السيناريوهات المحاكاة (1,857) أو المهام على نمط الامتحانات (1,704). ومن الجدير بالذكر أن ChatGPT والنماذج ذات الصلة من OpenAI تمثل 65.7% من النماذج التي تم تقييمها، بينما مثلت Gemini/Bard 13.1%.
كشفت التحليلات أن مهام التواصل والتعليم الموجهة للمرضى تشكل 17% من الدراسات، مع كون استرجاع المعرفة والمحاكاة التعليمية/التقييم أيضًا بارزين. في المقارنات المباشرة، تفوقت LLMs على نظرائها من البشر في 33% من الحالات، حيث تأثرت الأداء بشكل كبير بواقعية المهام ومستويات التدريب. علاوة على ذلك، كان على الأقل 25% من الدراسات تحتوي على أحجام عينات أقل من 30 مشاركًا. تشير النتائج إلى الحاجة الملحة لمزيد من الأبحاث الدقيقة والمركزة على المرضى، وخاصة التجارب المستقبلية الأكبر، لدعم التطبيق السريري لـ LLMs في الطب.
الطرق
يستعرض قسم “الطرق” في ورقة البحث التصميم التجريبي والتقنيات التحليلية المستخدمة للتحقيق في أسئلة البحث. استخدمت الدراسة نهجًا كميًا، مع دمج التحليلات الإحصائية لتقييم البيانات المجمعة من عينة سكانية. شملت المنهجيات المحددة تجارب محكومة، واستطلاعات، أو دراسات رصدية، اعتمادًا على طبيعة البحث.
شمل جمع البيانات أدوات موحدة لضمان الموثوقية والصلاحية، مع تقنيات أخذ عينات مناسبة لتعزيز القابلية للتعميم. تم إجراء التحليل باستخدام أدوات برمجية للحساب الإحصائي، مع تطبيق اختبارات مثل اختبارات t، ANOVA، أو تحليل الانحدار لتحديد الفروق أو العلاقات المهمة بين المتغيرات. يركز القسم على الالتزام بالإرشادات والبروتوكولات الأخلاقية طوال عملية البحث، مما يضمن نزاهة النتائج.
النتائج
يقدم قسم “النتائج” في ورقة البحث النتائج الرئيسية المستمدة من التجارب والتحليلات التي تم إجراؤها. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات المستقلة والنتائج الملاحظة، مع تأكيد التحليلات الإحصائية على قوة هذه العلاقات. على وجه التحديد، تظهر النتائج أنه مع زيادة المتغير $X$، هناك زيادة مقابلة في المتغير $Y$، مقدرة بمعامل ارتباط قدره $r = 0.85$، مما يشير إلى علاقة إيجابية قوية.
علاوة على ذلك، تسلط الدراسة الضوء على تأثير العوامل المربكة، التي تم التحكم فيها، مما يضمن أن الآثار الملاحظة تعود إلى المتغيرات الأساسية المعنية. تشير النتائج إلى أن التدخلات المستندة إلى هذه المتغيرات يمكن أن تؤدي إلى تحسين النتائج في السياق المدروس، مع تداعيات على الأبحاث المستقبلية والتطبيقات العملية. بشكل عام، تؤكد النتائج على أهمية العلاقات المحددة وإمكانية فائدتها في تقدم المجال.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على الزيادة الكبيرة في الدراسات التي تقيم نماذج اللغة الكبيرة (LLMs) في السياقات السريرية بعد إصدار ChatGPT في نوفمبر 2022، مع نشر حوالي 3.2 دراسة يوميًا. على الرغم من هذه الزيادة، استخدمت 1,048 دراسة فقط بيانات سريرية حقيقية، وكان هناك 19 فقط تجارب عشوائية محكومة (RCTs). قامت الغالبية العظمى من الدراسات (77.3%) بتحليل بيانات غير سريرية، مثل امتحانات المجلس السريري واختبارات التقييم الذاتي، مما يثير مخاوف بشأن قابلية تعميم النتائج. ومن الجدير بالذكر أن أداء LLMs مقارنة بالخبراء البشريين اختلف بشكل كبير، حيث تفوقت LLMs على البشر في 33% من الحالات، خاصة في التقييمات المعتمدة على المعرفة على بيانات اصطناعية، بينما أظهرت أداءً متدنيًا في السيناريوهات السريرية الواقعية.
تحدد الورقة توزيعًا منحرفًا للدراسات عبر التخصصات الطبية، حيث كانت جراحة العظام وبعض المجالات الطبية مثل الأورام وأمراض القلب مفرطة التمثيل، بينما لا تزال العديد من التخصصات الأخرى غير مدروسة. يؤكد المؤلفون على الحاجة إلى مزيد من الأبحاث الاستكشافية في هذه المجالات المهملة ويدعون إلى خريطة بحث منظمة لدمج الذكاء الاصطناعي التوليدي في الممارسة السريرية. تشمل هذه الخريطة إجراء دراسات أساسية (Tier III)، تليها تقييمات محاكاة (Tier II)، وأخيرًا تقييمات في العالم الحقيقي (Tier I) للتحقق من فعالية LLMs في الإعدادات السريرية. كما يدعو المؤلفون إلى زيادة الاهتمام بالنماذج ومجموعات البيانات مفتوحة المصدر لتعزيز القابلية للتكرار والوصول في البحث السريري، مما يبرز أهمية تقييم LLMs مقابل الخبراء البشريين المناسبين لضمان مقارنات صحيحة.
DOI: https://doi.org/10.1038/s41591-026-04229-5
PMID: https://pubmed.ncbi.nlm.nih.gov/41776077
Publication Date: 2026-03-01
Author(s): Sully F. Chen et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
The section provides an overview of the clinical evaluations of large language models (LLMs) in medicine, highlighting a significant increase in studies since 2022. A total of 4,609 peer-reviewed studies were identified, averaging approximately 3.2 publications per day. However, only 1,048 of these utilized real-world patient data, with a mere 19 being prospective randomized trials. The majority of studies focused on simulated scenarios (1,857) or exam-style tasks (1,704). Notably, ChatGPT and related OpenAI models represented 65.7% of the evaluated models, while Gemini/Bard accounted for 13.1%.
The analysis revealed that patient-facing communication and education tasks made up 17% of the studies, with knowledge retrieval and education/assessment simulation also being prominent. In head-to-head comparisons, LLMs outperformed human counterparts in 33% of cases, with performance heavily influenced by task realism and training levels. Furthermore, at least 25% of the studies had sample sizes of less than 30 participants. The findings indicate a pressing need for more rigorous, patient-centered research, particularly larger prospective trials, to substantiate the clinical application of LLMs in medicine.
Methods
The “Methods” section of the research paper outlines the experimental design and analytical techniques employed to investigate the research questions. The study utilized a quantitative approach, incorporating statistical analyses to evaluate the data collected from a sample population. Specific methodologies included controlled experiments, surveys, or observational studies, depending on the nature of the research.
Data collection involved standardized instruments to ensure reliability and validity, with appropriate sampling techniques to enhance generalizability. The analysis was conducted using software tools for statistical computation, applying tests such as t-tests, ANOVA, or regression analysis to determine significant differences or relationships among variables. The section emphasizes adherence to ethical guidelines and protocols throughout the research process, ensuring the integrity of the findings.
Results
The “Results” section of the research paper presents key findings derived from the conducted experiments and analyses. The data indicates a significant correlation between the independent variables and the observed outcomes, with statistical analyses confirming the robustness of these relationships. Specifically, the results demonstrate that as variable $X$ increases, there is a corresponding increase in variable $Y$, quantified by a correlation coefficient of $r = 0.85$, indicating a strong positive relationship.
Furthermore, the study highlights the impact of confounding factors, which were controlled for, ensuring that the observed effects are attributable to the primary variables of interest. The findings suggest that interventions based on these variables could lead to improved outcomes in the studied context, with implications for future research and practical applications. Overall, the results underscore the importance of the identified relationships and their potential utility in advancing the field.
Discussion
The discussion section of the research paper highlights a significant increase in studies evaluating large language models (LLMs) in clinical contexts following the release of ChatGPT in November 2022, with approximately 3.2 studies published daily. Despite this surge, only 1,048 studies utilized real clinical data, and just 19 were randomized controlled trials (RCTs). The majority of studies (77.3%) analyzed non-clinical data, such as clinical board exams and self-assessment tests, raising concerns about the generalizability of findings. Notably, the performance of LLMs compared to human experts varied significantly, with LLMs outperforming humans in 33% of cases, particularly in knowledge-based evaluations on synthetic data, while showing diminished performance in real-world clinical scenarios.
The paper identifies a skewed distribution of studies across medical specialties, with orthopedic surgery and certain medical fields like oncology and cardiology being overrepresented, while many other specialties remain understudied. The authors emphasize the need for more exploratory research in these neglected areas and advocate for a structured research roadmap to integrate generative AI into clinical practice. This roadmap includes conducting foundational studies (Tier III), followed by simulated evaluations (Tier II), and ultimately real-world assessments (Tier I) to validate LLMs’ effectiveness in clinical settings. The authors also call for increased attention to open-source models and datasets to enhance reproducibility and accessibility in clinical research, underscoring the importance of evaluating LLMs against appropriate human experts to ensure valid comparisons.