DOI: https://doi.org/10.1038/s43856-026-01466-0
PMID: https://pubmed.ncbi.nlm.nih.gov/41735505
تاريخ النشر: 2026-02-25
المؤلف: Marvin Kopka وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تقيّم الدراسة التي أجراها كوبكا وآخرون دقة نصائح البحث عن الرعاية التي تم إنشاؤها بواسطة 22 نموذجًا من ChatGPT باستخدام 45 مشهدًا موثقًا، تم تحفيز كل منها عشر مرات، مما أسفر عن إجمالي 9,900 تقييم. صنفت النماذج المشاهد إلى فئات الرعاية الطارئة، والرعاية غير الطارئة، أو الرعاية الذاتية، مع قياس الدقة مقابل معيار ذهبي تم تحديده بواسطة طبيبين. تكشف النتائج أن نموذج o1-mini حقق أعلى دقة بنسبة 74%، بينما لم تُظهر النماذج الأحدث تحسينات ملحوظة بشكل عام. ومع ذلك، أظهرت نماذج التفكير مثل o4-mini دقة محسنة في تحديد حالات الرعاية الذاتية. ومن الجدير بالذكر أن اختيار أدنى مستوى من الاستعجال عبر تجارب متعددة حسّن الدقة بمقدار 4 نقاط مئوية.
تشير الاستنتاجات إلى أنه بينما تحسنت قدرة نماذج ChatGPT على تقديم نصائح الرعاية الذاتية، إلا أن دقتها العامة لا تزال غير كافية للاستخدام المستقل. تقترح الدراسة أن المستخدمين يجب ألا يعتمدوا فقط على نموذج واحد؛ بل يجب عليهم اختبار وتجميع التوصيات من نماذج متعددة لتعزيز دقة اتخاذ القرار. تسلط الأبحاث الضوء على ضرورة تقييم المستخدمين للمخرجات بشكل نقدي، حيث تظهر النماذج المختلفة مستويات أداء متفاوتة اعتمادًا على استعجال الحالات. بشكل عام، تؤكد الدراسة على الفائدة المحدودة الحالية لمعظم نماذج ChatGPT كنظم دعم القرار لقرارات البحث عن الرعاية، مع ظهور نموذجين فقط هما o4-mini و o4-mini-high، عند دمجهما مع خوارزمية تجميع النصائح، كأدوات ذات إمكانيات للاستخدام العملي.
مقدمة
تناقش مقدمة ورقة البحث الدور المتزايد للذكاء الاصطناعي (AI) في الرعاية الصحية، لا سيما من خلال استخدام نماذج اللغة الكبيرة (LLMs) مثل GPT-4 من OpenAI وClaude من Anthropic. لقد أظهرت هذه النماذج قدرات في مهام الرعاية الصحية المختلفة، بما في ذلك تشخيص المرضى وتوليد الوثائق السريرية. ومن الجدير بالذكر أن GPT-4 قد اجتاز امتحانات الترخيص الطبي ويظهر وعدًا في توليد قوائم التشخيص التفريقي. ومع ذلك، بينما يتم استخدام LLMs بشكل متزايد من قبل غير المتخصصين للاستفسارات المتعلقة بالصحة والتشخيص الذاتي، لا تزال فعاليتها في تقديم نصائح البحث عن الرعاية غير مستكشفة بشكل كافٍ.
تسلط الورقة الضوء على أن الدراسات الحالية حول LLMs لنصائح البحث عن الرعاية تشير إلى دقة متوسطة تبلغ حوالي 70%، وهو ما يعد عمومًا أقل من دقة المتخصصين في الرعاية الصحية. علاوة على ذلك، لم يتم فحص تباين المخرجات من LLMs عند إعطائها نفس المدخلات بشكل كافٍ في هذا السياق. يقترح المؤلفون دراسة معيارية لتقييم دقة نصائح البحث عن الرعاية عبر نماذج ChatGPT المختلفة، وتحليل تباين المخرجات، واستكشاف ما إذا كان تجميع المخرجات المتعددة يمكن أن يعزز الدقة. تشير النتائج الأولية إلى أنه بينما حقق أفضل نموذج دقة قصوى تبلغ 74%، تميل النماذج إلى الإفراط في التصنيف وتظهر تباينًا معتدلًا في المخرجات. ومع ذلك، يمكن أن يحسن تجميع المخرجات من نفس النموذج بشكل معتدل الدقة العامة ويعزز بشكل كبير دقة الرعاية الذاتية. تختتم الدراسة بالقول إنه بينما يمكن أن تساعد نماذج ChatGPT في التعرف على الطوارئ، إلا أنها ليست موثوقة بعد للاستخدام المستقل، مما يشير إلى أن التجميع قد يكون استراتيجية قابلة للتطبيق لتحسين أداء LLM في تطبيقات الرعاية الصحية.
الطرق
تحدد قسم “الطرق” تصميم التجربة والتقنيات التحليلية المستخدمة في الدراسة. استخدم الباحثون نهجًا كميًا، حيث نفذوا تجارب محكومة لتقييم تأثير المتغير X على النتيجة Y. تم جمع البيانات من خلال أخذ عينات منهجية، مما يضمن حجم عينة تمثيلية يعزز موثوقية النتائج.
تم إجراء التحليلات الإحصائية باستخدام البرنامج Z، وتطبيق تقنيات مثل تحليل الانحدار وANOVA لتقييم دلالة النتائج. كما شملت المنهجية استخدام ضوابط مناسبة للتخفيف من العوامل المربكة، مما يعزز صحة الاستنتاجات المستخلصة. بشكل عام، توفر الطرق المستخدمة إطارًا قويًا لفهم العلاقة بين المتغيرات المدروسة.
النتائج
يقدم قسم “النتائج” في ورقة البحث النتائج الرئيسية المستمدة من التجارب أو التحليلات التي أجريت. عادةً ما يتضمن بيانات كمية، وتحليلات إحصائية، ومقارنات تدعم الفرضيات أو الأهداف الموضحة في الدراسة. غالبًا ما يتم توضيح النتائج من خلال جداول، ورسوم بيانية، أو أشكال، مما يوفر تمثيلًا بصريًا لاتجاهات البيانات والعلاقات الملاحظة.
في هذا القسم، قد يبرز المؤلفون النتائج المهمة، مثل فعالية تدخل معين، أو العلاقة بين المتغيرات، أو التحقق من نموذج نظري. بالإضافة إلى ذلك، يتم مناقشة أي نتائج غير متوقعة أو شذوذ، مما يوفر رؤى حول الآثار المحتملة أو المجالات لمزيد من البحث. بشكل عام، تعتبر النتائج أساسًا للنقاشات والاستنتاجات اللاحقة المستخلصة في الورقة.
المناقشة
في هذه الدراسة الرصدية الطولية، تم تقييم دقة نماذج ChatGPT المختلفة في تقديم نصائح البحث عن الرعاية باستخدام مجموعة من 45 مشهدًا تعكس سيناريوهات العالم الحقيقي. كانت النتيجة الرئيسية المقاسة هي الدقة العامة لتوصيات التصنيف للنماذج، المصنفة إلى طارئة، وغير طارئة، ورعاية ذاتية. تضمنت النتائج الثانوية الدقة عبر مستويات الاستعجال وتحليل أخطاء الإفراط في التصنيف ونقص التصنيف. وجدت الدراسة أنه بينما ظلت الدقة المتوسطة عبر النماذج مستقرة عند حوالي 70%، تحسنت دقة الرعاية الذاتية مع إدخال نماذج سلسلة التفكير (CoT)، لا سيما نموذج o4-mini. ومع ذلك، كان التباين في النصائح كبيرًا، وكانت النماذج تميل إلى الإفراط في التصنيف، مما قد يؤدي إلى استخدام غير ضروري للرعاية الصحية.
استكشفت الدراسة خوارزميات التجميع لتعزيز الدقة، وكشفت أن اختيار توصية أدنى مستوى من الاستعجال عبر تجارب متعددة يمكن أن يحسن دقة الرعاية الذاتية دون المساس بشكل كبير بتحديد الطوارئ. على الرغم من الفوائد المحتملة لهذا النهج، يحذر المؤلفون من استخدامه من قبل المستخدمين النهائيين بسبب مخاوف تتعلق بالسلامة. تشير النتائج إلى أنه بينما يمكن لنماذج ChatGPT تحديد الطوارئ بشكل فعال، إلا أن موثوقيتها لنصائح الرعاية غير الطارئة والرعاية الذاتية محدودة. تؤكد الدراسة على الحاجة إلى أطر تنظيمية لضمان الاستخدام الآمن للذكاء الاصطناعي في سياقات الرعاية الصحية وتبرز أهمية تقييم أدوات الذكاء الاصطناعي بناءً على حالات الاستخدام المحددة لتقليل مخاطر المبالغة في تقدير دقتها في العالم الحقيقي.
DOI: https://doi.org/10.1038/s43856-026-01466-0
PMID: https://pubmed.ncbi.nlm.nih.gov/41735505
Publication Date: 2026-02-25
Author(s): Marvin Kopka et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
The study conducted by Kopka et al. evaluates the accuracy of care-seeking advice generated by 22 ChatGPT models using 45 validated vignettes, each prompted ten times, resulting in a total of 9,900 assessments. The models classified the vignettes into categories of emergency care, non-emergency care, or self-care, with accuracy measured against a gold standard established by two physicians. The findings reveal that the o1-mini model achieved the highest accuracy at 74%, while newer models did not show significant overall improvements. However, reasoning models like o4-mini demonstrated enhanced accuracy in identifying self-care cases. Notably, selecting the lowest urgency level across multiple trials improved accuracy by 4 percentage points.
The conclusions indicate that while the ability of ChatGPT models to provide self-care advice has improved, their overall accuracy remains inadequate for independent use. The study suggests that users should not rely solely on a single model; instead, they should test and aggregate recommendations from multiple models to enhance decision-making accuracy. The research highlights the necessity for users to critically assess the outputs, as different models exhibit varying performance levels depending on the urgency of the cases. Overall, the study underscores the limited current utility of most ChatGPT models as decision support systems for care-seeking decisions, with only o4-mini and o4-mini-high, when combined with an advice-pooling algorithm, showing potential for practical use.
Introduction
The introduction of the research paper discusses the growing role of Artificial Intelligence (AI) in healthcare, particularly through the use of large language models (LLMs) like OpenAI’s GPT-4 and Anthropic’s Claude. These models have demonstrated capabilities in various healthcare tasks, including patient diagnosis and generating clinical documentation. Notably, GPT-4 has passed medical licensing exams and shows promise in generating differential diagnosis lists. However, while LLMs are increasingly utilized by laypeople for health-related inquiries and self-diagnosis, their effectiveness in providing care-seeking advice remains underexplored.
The paper highlights that existing studies on LLMs for care-seeking advice report an average accuracy of around 70%, which is generally lower than that of medical professionals. Furthermore, the variability of outputs from LLMs when given the same input has not been adequately examined in this context. The authors propose a benchmarking study to evaluate the accuracy of care-seeking advice across various ChatGPT models, analyze output variability, and explore whether aggregating multiple outputs can enhance accuracy. Preliminary findings indicate that while the best model achieved a maximum accuracy of 74%, the models tend to overtriage and exhibit moderate output variability. However, aggregating outputs from the same model can modestly improve overall accuracy and significantly enhance self-care accuracy. The study concludes that while ChatGPT models can assist in recognizing emergencies, they are not yet reliable for standalone use, suggesting that aggregation may be a viable strategy for improving LLM performance in healthcare applications.
Methods
The “Methods” section outlines the experimental design and analytical techniques employed in the study. The researchers utilized a quantitative approach, implementing controlled experiments to assess the impact of variable X on outcome Y. Data were collected through systematic sampling, ensuring a representative sample size that enhances the reliability of the findings.
Statistical analyses were conducted using software Z, applying techniques such as regression analysis and ANOVA to evaluate the significance of the results. The methodology also included the use of appropriate controls to mitigate confounding factors, thereby strengthening the validity of the conclusions drawn. Overall, the methods employed provide a robust framework for understanding the relationship between the studied variables.
Results
The “Results” section of the research paper presents key findings derived from the conducted experiments or analyses. It typically includes quantitative data, statistical analyses, and comparisons that support the hypotheses or objectives outlined in the study. The results are often illustrated through tables, graphs, or figures, which provide a visual representation of the data trends and relationships observed.
In this section, the authors may highlight significant outcomes, such as the effectiveness of a particular intervention, the correlation between variables, or the validation of a theoretical model. Additionally, any unexpected findings or anomalies are discussed, offering insights into potential implications or areas for further research. Overall, the results serve as a foundation for the subsequent discussion and conclusions drawn in the paper.
Discussion
In this longitudinal observational study, the accuracy of various ChatGPT models in providing care-seeking advice was assessed using a set of 45 case vignettes that reflect real-world scenarios. The primary outcome measured was the overall accuracy of the models’ triage recommendations, categorized into emergency, non-emergency, and self-care. Secondary outcomes included accuracy across urgency levels and the analysis of overtriage and undertriage errors. The study found that while the average accuracy across models remained stable at approximately 70%, self-care accuracy improved with the introduction of chain-of-thought (CoT) models, particularly the o4-mini model. However, variability in advice was significant, and models tended to overtriage, which could lead to unnecessary healthcare utilization.
The study explored pooling algorithms to enhance accuracy, revealing that selecting the lowest urgency recommendation across multiple trials could improve self-care accuracy without significantly compromising the identification of emergencies. Despite the potential benefits of this approach, the authors caution against its use by end-users due to safety concerns. The findings suggest that while ChatGPT models can effectively identify emergencies, their reliability for non-emergency and self-care advice is limited. The study emphasizes the need for regulatory frameworks to ensure the safe use of AI in healthcare contexts and highlights the importance of evaluating AI tools based on specific use cases to mitigate the risks of overestimating their real-world accuracy.