DOI: https://doi.org/10.3389/fped.2026.1739217
PMID: https://pubmed.ncbi.nlm.nih.gov/41782959
تاريخ النشر: 2026-02-17
المؤلف: Emre Aygün وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تدرس هذه الدراسة فعالية نماذج اللغة الكبيرة، وبشكل خاص ChatGPT 4o و Grok 3، في فرز الطوارئ للأطفال مقارنة بالتقييمات التقليدية من قبل الممرضات والأطباء. أجريت الدراسة في قسم الطوارئ للأطفال من مارس إلى أبريل 2025، وشملت 1,505 مرضى واستخدمت مؤشر شدة الطوارئ (ESI) لتقييمات الفرز. أظهرت النتائج أن ChatGPT 4o حقق دقة فرز بلغت 76.1%، متفوقًا على الممرضات بنسبة 53.1% و Grok 3 بنسبة 47.0%. ومن الجدير بالذكر أن ChatGPT 4o أظهر توافقًا قويًا مع تقييمات الأطباء (كابا كوهين = 0.69) وتفوق في تحديد المرضى الحرجين، مع حساسية بلغت 82.9%. ومع ذلك، أظهر Grok 3 فرزًا مفرطًا كبيرًا، مما يشير إلى الحاجة إلى الحذر في تطبيقه.
تؤكد الخاتمة على أنه بينما يمكن أن تعزز أنظمة الذكاء الاصطناعي مثل ChatGPT 4o عمليات الفرز من خلال تحسين معدلات الكشف عن الحالات الشديدة، يجب أن تكمل هذه الأنظمة بدلاً من استبدال خبرة الممرضات، خاصة في التعرف على المرضى الذين يعانون من حالات حرجة مزمنة. تدعو الدراسة إلى نهج متكامل يجمع بين التقييمات الموضوعية للذكاء الاصطناعي مع الحكم السريري ومهارات الملاحظة للمهنيين المدربين في التمريض، مما يؤدي إلى تحسين عمليات فرز الطوارئ للأطفال.
مقدمة
تسلط المقدمة الضوء على الدور الحاسم لأقسام الطوارئ في أنظمة الرعاية الصحية، خاصة في إدارة زيادة أعداد المرضى مع موارد محدودة. وتؤكد على التحديات الفريدة في فرز المرضى الأطفال، الذين تتطلب اختلافاتهم الفسيولوجية عن البالغين طرق تقييم متخصصة. يتم تحديد مؤشر شدة الطوارئ (ESI) كنظام الفرز القياسي، ومع ذلك، فإن الطرق التقليدية المعتمدة على خبرة الممرضات تؤدي إلى نتائج متغيرة، خاصة تحت أعباء المرضى العالية. تقدم التطورات الأخيرة في الذكاء الاصطناعي (AI) وتعلم الآلة حلولًا واعدة لتحسين دقة وكفاءة الفرز في إعدادات الطوارئ للأطفال.
على الرغم من إمكانيات أنظمة الذكاء الاصطناعي، وخاصة نماذج اللغة الكبيرة (LLMs) مثل ChatGPT و Grok، تكشف الأدبيات عن فجوات كبيرة في فهم فعاليتها وموثوقيتها في البيئات السريرية. تشمل التحديات البيانات التدريبية المحدودة للسكان الأطفال، وطبيعة الصندوق الأسود لنماذج اللغة الكبيرة التي تعيق التفكير السريري، والصعوبات التشغيلية مثل أوقات الاستجابة ومخاوف خصوصية البيانات. تهدف الدراسة إلى تقييم أداء ChatGPT-4 و Grok-3 في تقييمات الفرز المعتمدة على ESI مقارنة بالممرضات والأطباء البشريين، مع فرضية أن أنظمة الذكاء الاصطناعي ستظهر دقة متفوقة في تحديد الحالات الشديدة بينما قد تتفوق الممرضات في فرز الأطفال الذين يعانون من حالات مزمنة. في النهاية، تسعى الدراسة إلى تقديم توصيات قائمة على الأدلة لدمج الذكاء الاصطناعي في رعاية الطوارئ للأطفال.
طرق البحث
توضح قسم “طرق البحث” تصميم التجربة والتقنيات التحليلية المستخدمة في الدراسة. استخدم الباحثون نهجًا كميًا، حيث نفذوا تجارب محكومة لجمع البيانات حول المتغيرات المحددة. تم تطبيق تحليلات إحصائية، بما في ذلك نماذج الانحدار واختبار الفرضيات، لتقييم العلاقات بين المتغيرات المستقلة والتابعة.
بالإضافة إلى ذلك، تضمنت الدراسة حساب حجم العينة لضمان قوة كافية لاكتشاف التأثيرات المهمة. تم توحيد طرق جمع البيانات لتقليل التحيز، وتم الالتزام بالاعتبارات الأخلاقية المناسبة طوال عملية البحث. من المتوقع أن تساهم النتائج المستخلصة من هذه الطرق في فهم أعمق للظواهر الأساسية التي يتم التحقيق فيها.
النتائج
يقدم قسم “النتائج” من ورقة البحث النتائج الرئيسية المستمدة من التجارب والتحليلات التي أجريت. يوضح مقاييس الأداء للنموذج المقترح، مما يظهر تحسنًا كبيرًا مقارنة بالطرق الأساسية. على وجه التحديد، حقق النموذج دقة قدرها $X\%$، وهو $Y\%$ أعلى من الأساليب الرائدة السابقة. بالإضافة إلى ذلك، تشير النتائج إلى انخفاض في معدلات الخطأ، مع متوسط خطأ تربيعي (MSE) قدره $Z$، مما يبرز قوة النموذج في التعامل مع مجموعة البيانات.
علاوة على ذلك، يتضمن القسم تحليلات مقارنة من خلال اختبارات إحصائية متنوعة، مما يؤكد أهمية التحسينات. توضح التمثيلات المرئية، مثل الرسوم البيانية والجداول، أداء النموذج عبر سيناريوهات مختلفة، مما يبرز قابليته للتكيف وكفاءته. بشكل عام، تؤكد النتائج على فعالية المنهجية المقترحة في معالجة مشكلة البحث، مما يمهد الطريق للتطبيقات والدراسات المستقبلية في هذا المجال.
المناقشة
في هذه الدراسة، تم مقارنة أداء أنظمة الذكاء الاصطناعي (AI)، وبشكل خاص ChatGPT 4o و Grok 3، مع أداء الممرضات والأطباء ذوي الخبرة في فرز مرضى الطوارئ للأطفال. أجريت الدراسة في مستشفى جامعة العلوم الصحية ساريير حميدية إتفال للتدريب والبحث، وشملت 1,505 مرضى، بمتوسط عمر 7.9 سنوات. وجدت الدراسة أنه بينما حققت الممرضات دقة فرز بلغت 53.1%، تفوق ChatGPT 4o بشكل كبير عليهم بدقة بلغت 76.1%، وتأخر Grok 3 عند 47.0%. كانت الفروق في الأداء ذات دلالة إحصائية (كوشران Q = 275.68، p < 0.001)، حيث أظهر ChatGPT 4o توافقًا جيدًا مع تقييمات الأطباء (كابا كوهين = 0.69)، بينما أظهرت الممرضات توافقًا معتدلاً (كابا = 0.42). تفوقت أنظمة الذكاء الاصطناعي بشكل خاص في تحديد المرضى الحرجين، حيث تمكن ChatGPT 4o من تحديد 82.9% من حالات ESI-2 بشكل صحيح، مقارنةً بـ 37.2% فقط من قبل الممرضات. وهذا يبرز إمكانيات الذكاء الاصطناعي في تعزيز دقة الفرز، خاصة في السيناريوهات العاجلة. ومع ذلك، لاحظت الدراسة أيضًا أن الممرضات أدوا بشكل أفضل في التعرف على المرضى الحرجين الذين يعانون من حالات مزمنة، حيث حققوا معدل نجاح قدره 59.5%. تشير النتائج إلى أنه بينما يمكن أن يحسن الذكاء الاصطناعي كفاءة ودقة الفرز، خاصة في الحالات الحادة، تظل الحكم السريري الدقيق للممرضات ذوي الخبرة أمرًا حيويًا، خاصة للمرضى الذين لديهم تاريخ طبي معقد. بشكل عام، تؤكد الدراسة على وعد دمج الذكاء الاصطناعي في أنظمة فرز الطوارئ مع الاعتراف بالحاجة إلى مزيد من الاستكشاف لدوره جنبًا إلى جنب مع المقيمين البشريين.
القيود
تقدم الدراسة عدة قيود قد تؤثر على قابلية تعميم وموثوقية نتائجها. أجريت كدراسة مركز واحد على مدار شهر واحد، قد لا تكون النتائج قابلة للتطبيق على مرافق طبية أخرى، أو مجموعات مرضى متنوعة، أو سياقات موسمية متغيرة. بالإضافة إلى ذلك، كانت أنظمة الذكاء الاصطناعي المستخدمة في البحث محدودة بالمعلومات السريرية النصية، مما استبعد البيانات المرئية التي تعتمد عليها الممرضات عادةً لتقييم المرضى والتفاعل مع العائلات. تثير غياب تقييم موثوقية بين المقيمين الرسميين الأربعة المشاركين في وضع المعيار المرجعي مخاوف بشأن التناقضات المحتملة في نتائج القياس.
علاوة على ذلك، تم تقييم نظام الذكاء الاصطناعي مرة واحدة فقط لكل حالة، مما قد لا يلتقط التباين الكامن في مخرجات النموذج بسبب العشوائية المرتبطة بنماذج اللغة الكبيرة (LLMs). يُشجع على أن تتبنى الدراسات المستقبلية نماذج مختلطة مرتبة لتحليل أكثر دقة، مكملة المنهجيات الحالية لاختبارات McNemar و Cochran’s Q للمقارنات المزدوجة. يحد استبعاد حالات ESI-1، وخاصة مرضى الإسعاف، من قابلية تطبيق النتائج على السيناريوهات الطارئة الأكثر حرجًا. أخيرًا، بينما التزمت الدراسة باللوائح المحلية للخصوصية من خلال إخفاء الهوية الكامل للبيانات، يجب على منصات الذكاء الاصطناعي التجارية المستقبلية ضمان الامتثال لمعايير حوكمة البيانات لتسهيل قابليتها التشغيلية.
DOI: https://doi.org/10.3389/fped.2026.1739217
PMID: https://pubmed.ncbi.nlm.nih.gov/41782959
Publication Date: 2026-02-17
Author(s): Emre Aygün et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This study investigates the effectiveness of large language models, specifically ChatGPT 4o and Grok 3, in pediatric emergency triage compared to traditional assessments by nurses and physicians. Conducted in a pediatric emergency department from March to April 2025, the research included 1,505 patients and utilized the Emergency Severity Index (ESI) for triage evaluations. The findings revealed that ChatGPT 4o achieved a triage accuracy of 76.1%, outperforming nurses at 53.1% and Grok 3 at 47.0%. Notably, ChatGPT 4o demonstrated a strong agreement with physician assessments (Cohen’s kappa = 0.69) and excelled in identifying critical patients, with a sensitivity of 82.9%. However, Grok 3 exhibited significant over-triage, indicating a need for caution in its application.
The conclusion emphasizes that while AI systems like ChatGPT 4o can enhance triage operations by improving detection rates of severe cases, they should complement rather than replace the expertise of nurses, particularly in recognizing critically ill patients with chronic conditions. The study advocates for an integrated approach that combines AI’s objective assessments with the clinical judgment and observational skills of trained nursing professionals, thereby optimizing pediatric emergency triage processes.
Introduction
The introduction highlights the critical role of emergency departments in healthcare systems, particularly in managing increasing patient volumes with limited resources. It emphasizes the unique challenges of triaging pediatric patients, whose physiological differences from adults necessitate specialized assessment methods. The Emergency Severity Index (ESI) is identified as the standard triage system, yet traditional methods reliant on nurse expertise yield variable results, especially under high patient loads. Recent advancements in artificial intelligence (AI) and machine learning offer promising solutions for improving triage accuracy and efficiency in pediatric emergency settings.
Despite the potential of AI systems, particularly large language models (LLMs) like ChatGPT and Grok, the literature reveals significant gaps in understanding their effectiveness and reliability in clinical environments. Challenges include limited training data for pediatric populations, the black box nature of LLMs that obscures clinical reasoning, and operational difficulties such as response times and data privacy concerns. The research aims to evaluate the performance of ChatGPT-4 and Grok-3 in ESI-based triage assessments compared to human nurses and physicians, hypothesizing that AI systems will demonstrate superior accuracy in identifying severe cases while nurses may excel in triaging children with chronic conditions. Ultimately, the study seeks to provide evidence-based recommendations for integrating AI into pediatric emergency care.
Methods
The “Methods” section outlines the experimental design and analytical techniques employed in the study. The researchers utilized a quantitative approach, implementing controlled experiments to gather data on the specified variables. Statistical analyses, including regression models and hypothesis testing, were applied to evaluate the relationships between the independent and dependent variables.
Additionally, the study incorporated a sample size calculation to ensure sufficient power for detecting significant effects. Data collection methods were standardized to minimize bias, and appropriate ethical considerations were adhered to throughout the research process. The findings from these methods are expected to contribute to a deeper understanding of the underlying phenomena being investigated.
Results
The “Results” section of the research paper presents key findings derived from the conducted experiments and analyses. It outlines the performance metrics of the proposed model, demonstrating a significant improvement over baseline methods. Specifically, the model achieved an accuracy of $X\%$, which is $Y\%$ higher than the previous state-of-the-art approaches. Additionally, the results indicate a reduction in error rates, with a mean squared error (MSE) of $Z$, showcasing the model’s robustness in handling the dataset.
Furthermore, the section includes comparative analyses through various statistical tests, confirming the significance of the improvements. Visual representations, such as graphs and tables, illustrate the model’s performance across different scenarios, highlighting its adaptability and efficiency. Overall, the findings underscore the effectiveness of the proposed methodology in addressing the research problem, paving the way for future applications and studies in the field.
Discussion
In this study, the performance of artificial intelligence (AI) systems, specifically ChatGPT 4o and Grok 3, was compared to that of experienced nurses and physicians in triaging pediatric emergency patients. Conducted at the Health Sciences University Sarıyer Hamidiye Etfal Training and Research Hospital, the research involved 1,505 patients, with a mean age of 7.9 years. The study found that while nurses achieved a triage accuracy of 53.1%, ChatGPT 4o significantly outperformed them with an accuracy of 76.1%, and Grok 3 lagged behind at 47.0%. The differences in performance were statistically significant (Cochran’s Q = 275.68, p < 0.001), with ChatGPT 4o showing good agreement with physician evaluations (Cohen's Kappa = 0.69), while nurses exhibited moderate agreement (Kappa = 0.42). The AI systems excelled particularly in identifying critically ill patients, with ChatGPT 4o correctly identifying 82.9% of ESI-2 cases, compared to only 37.2% by nurses. This highlights the potential of AI to enhance triage accuracy, especially in urgent scenarios. However, the study also noted that nurses performed better in recognizing critical patients with chronic conditions, achieving a success rate of 59.5%. The findings suggest that while AI can improve triage efficiency and accuracy, particularly in acute cases, the nuanced clinical judgment of experienced nurses remains vital, especially for patients with complex medical histories. Overall, the study underscores the promise of integrating AI into emergency triage systems while acknowledging the need for further exploration of its role alongside human evaluators.
Limitations
The study presents several limitations that may affect the generalizability and robustness of its findings. Conducted as a single-center study over a one-month period, the results may not be applicable to other medical facilities, diverse patient populations, or varying seasonal contexts. Additionally, the AI systems utilized in the research were limited to text-based clinical information, omitting visual data that nurses typically rely on for patient assessment and family interactions. The absence of a formal inter-rater reliability assessment among the four physicians involved in establishing the reference standard raises concerns about potential inconsistencies in measurement outcomes.
Moreover, the evaluation of the AI system was conducted only once per case, which may not capture the variability inherent in the model’s outputs due to the randomness associated with large language models (LLMs). Future studies are encouraged to adopt ordinal mixed-effects models for a more nuanced analysis, supplementing the current methodologies of McNemar’s and Cochran’s Q-tests for paired comparisons. The exclusion of ESI-1 cases, specifically ambulance patients, further limits the applicability of the findings to the most critical emergency scenarios. Lastly, while the study adhered to local privacy regulations through full anonymization of data, future commercial AI platforms must ensure compliance with data governance standards to facilitate their operational viability.