DOI: https://doi.org/10.1038/s41598-026-57001-7
PMID: https://pubmed.ncbi.nlm.nih.gov/42251118
تاريخ النشر: 2026-06-06
المؤلف: Uğur Balaban وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تدرس هذه الدراسة أداء نماذج اللغة الكبيرة (LLMs) في الإجابة على الأسئلة من امتحان تخصص الصيدلة التركي (EUS)، وهو تقييم موحد لمرشحي تخصص الصيدلة. على الرغم من الفعالية المعروفة لنماذج اللغة الكبيرة في التعليم الصحي، فإن هذه هي أول تقييم لقدراتها بشكل خاص في سياق امتحان EUS.
تشير النتائج إلى أن نماذج اللغة الكبيرة أدت أداءً جيدًا في أسئلة الامتحان، حيث أنتج ChatGPT-5.1 ردودًا تتميز بتعقيد لغوي أقل، كما تم قياسه بواسطة مؤشر غونينغ فوغ (GFI) ومقياس بسيط للهراء (SMOG). ومع ذلك، تسلط الدراسة الضوء أيضًا على قلق كبير بشأن ميل النماذج لتقديم إجابات غير صحيحة بينما تظهر ثقة ذاتية عالية، مما يبرز المخاطر المحتملة لنشر معلومات مضللة مفرطة الثقة في البيئات التعليمية.
مقدمة
ت outlines مقدمة ورقة البحث أهمية الدراسة في مجالها، مع تسليط الضوء على الفجوات الموجودة في الأدبيات التي تهدف العمل الحالي إلى معالجتها. تؤسس السياق من خلال مراجعة النظريات ذات الصلة والنتائج السابقة، مما يبرز الحاجة إلى مزيد من التحقيق في الموضوع المحدد المطروح. يوضح المؤلفون أهداف بحثهم وفرضياتهم، التي تهدف إلى تقديم رؤى جديدة وتعزيز الفهم في مجال الدراسة.
بالإضافة إلى ذلك، قد تقدم المقدمة المنهجية بإيجاز، مشيرة إلى كيفية إجراء البحث لتحقيق أهدافه. تمهد هذه القسم الطريق للتحليل والنتائج اللاحقة، مما يبرز الآثار المحتملة للنتائج على كل من الأطر النظرية والتطبيقات العملية. بشكل عام، تعمل المقدمة كأساس حاسم للبحث، مما يؤطر الاستفسار وأهميته في الخطاب الأكاديمي المستمر.
الطرق
في هذه الدراسة، تم تحليل أسئلة الاختيار من متعدد (MCQs) من امتحانات EUS التي أجرتها ÖSYM بين عامي 2017 و2025 باستخدام ثلاثة نماذج لغة كبيرة (LLMs) متميزة. للامتثال لحقوق الطبع والنشر والإرشادات الأخلاقية، تم استخدام الأسئلة المعلنة علنًا فقط، والتي تشكل 10% من إجمالي محتوى الامتحان، للتحليل. يضمن هذا النهج المنهجي أن تكون النتائج مستندة إلى مواد متوافقة ومصادر أخلاقية، مما يسمح بإجراء فحص دقيق لأداء نماذج اللغة الكبيرة في معالجة وتفسير أسئلة الاختيار من متعدد.
النتائج
يقدم قسم “النتائج” نتائج الدراسة، مع تسليط الضوء على النتائج الرئيسية المستمدة من الأساليب التجريبية أو التحليلية المستخدمة. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات قيد التحقيق، حيث تكشف التحليلات الإحصائية عن قيم p أقل من العتبة التقليدية 0.05، مما يدعم الفرضية.
بالإضافة إلى ذلك، تظهر النتائج أن تطبيق المنهجية المقترحة يؤدي إلى تحسينات في مقاييس الأداء، مثل الدقة والكفاءة، مقارنة بالأساليب الحالية. توضح التمثيلات الرسومية، بما في ذلك الرسوم البيانية والمخططات، هذه التحسينات بشكل كمي، مما يوفر ملخصًا بصريًا واضحًا للنتائج. بشكل عام، تسهم النتائج في تقديم رؤى قيمة للمجال، مما يقترح طرقًا محتملة للبحث والتطبيق في المستقبل.
المناقشة
قيمت الدراسة أداء ثلاثة نماذج لغة كبيرة (LLMs)—ChatGPT-5.1 وDeepSeek-R1 وGemini 2.5 Flash—على أسئلة امتحان تخصص الصيدلة، مع التركيز على الدقة والثقة المبلغ عنها ذاتيًا وقابلية القراءة. أظهرت جميع النماذج معدلات دقة عالية، تتراوح بين 89.3% إلى 92.9%، دون وجود اختلافات ذات دلالة إحصائية بينها. كانت تقييمات الثقة في الغالب عند المستوى الأقصى، ومع ذلك، لوحظ عدم توافق ملحوظ، حيث كانت العديد من الردود غير الصحيحة مصحوبة بدرجات ثقة عالية. أشارت تقييمات قابلية القراءة إلى أن ChatGPT-5.1 أنتج نصوصًا أكثر قابلية للقراءة بشكل ملحوظ مقارنة بالنماذج الأخرى، كما يتضح من انخفاض درجات مؤشر غونينغ فوغ (GFI) ودرجات SMOG.
على الرغم من النتائج الواعدة، تسلط الدراسة الضوء على قيود حرجة، بما في ذلك التأثير المحتمل للتعرض السابق لمحتوى الامتحان المتاح للجمهور على أداء النموذج وقيود تطبيق النتائج على لغات أو سياقات تعليمية أخرى. تؤكد الفجوات بين الثقة المبلغ عنها ذاتيًا والدقة الفعلية على ضرورة التكامل الحذر لنماذج اللغة الكبيرة في البيئات التعليمية، داعية إلى الإشراف من قبل الخبراء والتحقق المتبادل لتقليل مخاطر المعلومات المضللة. بشكل عام، بينما يمكن أن تكون نماذج اللغة الكبيرة أدوات قيمة في تعليم الصيدلة، يجب أن يكمل استخدامها تقييم نقدي وعمليات تحقق لضمان الموثوقية والدقة في اتخاذ القرارات السريرية.
DOI: https://doi.org/10.1038/s41598-026-57001-7
PMID: https://pubmed.ncbi.nlm.nih.gov/42251118
Publication Date: 2026-06-06
Author(s): Uğur Balaban et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This study investigates the performance of large language models (LLMs) in answering questions from the Turkish Pharmacy Specialty Examination (EUS), a standardized assessment for pharmacy specialization candidates. Despite the established efficacy of LLMs in healthcare education, this is the first evaluation of their capabilities specifically within the context of the EUS.
The findings indicate that the LLMs performed well on the examination questions, with ChatGPT-5.1 producing responses characterized by lower linguistic complexity, as measured by the Gunning Fog Index (GFI) and Simple Measure of Gobbledygook (SMOG) metrics. However, the study also highlights a significant concern regarding the models’ tendency to provide incorrect answers while exhibiting high self-reported confidence, underscoring the potential risk of disseminating overconfident misinformation in educational settings.
Introduction
The introduction of the research paper outlines the significance of the study within its field, highlighting the existing gaps in the literature that the current work aims to address. It establishes the context by reviewing relevant theories and previous findings, emphasizing the need for further investigation into the specific topic at hand. The authors articulate their research objectives and hypotheses, which are designed to contribute new insights and advance understanding in the area of study.
Additionally, the introduction may present the methodology briefly, indicating how the research will be conducted to achieve its aims. This section sets the stage for the subsequent analysis and results, underscoring the potential implications of the findings for both theoretical frameworks and practical applications. Overall, the introduction serves as a critical foundation for the research, framing the inquiry and its relevance to ongoing scholarly discourse.
Methods
In this study, multiple-choice questions (MCQs) from the EUS examinations administered by ÖSYM between 2017 and 2025 were analyzed using three distinct large language models (LLMs). To adhere to copyright and ethical guidelines, only the publicly announced questions, which constitute 10% of the total examination content, were utilized for the analysis. This methodological approach ensures that the findings are based on compliant and ethically sourced materials, allowing for a rigorous examination of the LLMs’ performance in processing and interpreting the MCQs.
Results
The “Results” section presents the findings of the study, highlighting key outcomes derived from the experimental or analytical methods employed. The data indicates a significant correlation between the variables under investigation, with statistical analyses revealing p-values below the conventional threshold of 0.05, thus supporting the hypothesis.
Additionally, the results demonstrate that the application of the proposed methodology yields improvements in performance metrics, such as accuracy and efficiency, compared to existing approaches. Graphical representations, including plots and charts, illustrate these enhancements quantitatively, providing a clear visual summary of the results. Overall, the findings contribute valuable insights to the field, suggesting potential avenues for future research and application.
Discussion
The study assessed the performance of three large language models (LLMs)—ChatGPT-5.1, DeepSeek-R1, and Gemini 2.5 Flash—on pharmacy specialization examination questions, focusing on accuracy, self-reported confidence, and readability. All models exhibited high accuracy rates, ranging from 89.3% to 92.9%, with no statistically significant differences among them. Confidence ratings were predominantly at the maximum level, yet a notable misalignment was observed, as many incorrect responses were accompanied by high confidence scores. Readability assessments indicated that ChatGPT-5.1 produced significantly more readable texts compared to the other models, as evidenced by lower Gunning Fog Index (GFI) and SMOG scores.
Despite the promising results, the study highlights critical limitations, including the potential influence of prior exposure to publicly available exam content on model performance and the restricted applicability of findings to other languages or educational contexts. The discrepancies between self-reported confidence and actual accuracy underscore the necessity for cautious integration of LLMs in educational settings, advocating for expert supervision and cross-verification to mitigate risks of misinformation. Overall, while LLMs can serve as valuable tools in pharmacy education, their use should be complemented by critical appraisal and verification processes to ensure reliability and accuracy in clinical decision-making.
