أداء نماذج اللغة الكبيرة في امتحان شهادة طب النوم: تحليل شامل متعدد النماذج Performance of large language models on sleep medicine certification examination: a comprehensive multi-model analysis

شارك:
المجلة: Frontiers in Medicine، المجلد: 13
DOI: https://doi.org/10.3389/fmed.2026.1761025
PMID: https://pubmed.ncbi.nlm.nih.gov/41846896
تاريخ النشر: 2026-03-02
المؤلف: Abdurrahman KOÇ وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم

نظرة عامة

تشير الأبحاث إلى أن نماذج اللغة الكبيرة المعاصرة (LLMs)، وخاصة النسخ المتميزة، تظهر كفاءة ملحوظة في طب النوم، حيث تحقق متوسط استجابة متسقة بنسبة 95.8%. ومن الجدير بالذكر أن ثمانية من أصل تسعة نماذج تجاوزت معيار 80% المرجعي عبر ثلاثة معايير تقييم عند تقييمها باستخدام بنك أسئلة متوافق مع الشهادات. على الرغم من أن هذه النتائج تعكس تحسنًا مقارنة بالتقييمات السابقة، إلا أنها لا ترتبط مباشرة بالأداء في الامتحانات الرسمية.

تسلط الدراسة الضوء على تداعيات الأداء المتفوق لنماذج LLM المدفوعة، مما يثير القلق بشأن الوصول العادل إلى التعليم الطبي المعزز بالذكاء الاصطناعي وأدوات دعم اتخاذ القرار السريري. مع تكامل هذه التقنيات في الممارسة السريرية، من الضروري إنشاء حوكمة قوية وأطر أخلاقية لضمان أن تسهم بشكل إيجابي في عدالة الرعاية الصحية، بدلاً من تفاقم الفجوات القائمة.

مقدمة

تناقش مقدمة هذه الورقة البحثية التكامل السريع لنماذج اللغة الكبيرة (LLMs) في الرعاية الصحية، خاصة بعد الإطلاق العام لـ ChatGPT في نوفمبر 2022. لقد أظهرت هذه الأنظمة المتقدمة من الذكاء الاصطناعي قدرات كبيرة في معالجة المعلومات الطبية ودعم القرارات السريرية. تبرز الورقة الحاجة إلى تقييمات منهجية لأداء LLM عبر تخصصات طبية متنوعة، مع تركيز خاص على طب النوم، الذي يشمل عدة تخصصات ويتناول قضايا صحية حرجة مثل انقطاع النفس النومي الانسدادي. على الرغم من الدراسات الحالية، لا تزال التقييمات الشاملة لنماذج LLM في طب النوم محدودة، مما يدفع هذا البحث لسد الفجوة من خلال مقارنة تسع تكوينات LLM باستخدام أسئلة متوافقة مع الشهادات.

تفترض الدراسة أن نماذج LLM المعاصرة ستتفوق على النماذج السابقة وأن النماذج من الفئة المتميزة ستتفوق على النسخ المجانية. يكشف تحليل الأداء عبر سبعة مجالات فرعية في طب النوم عن كفاءات متباينة بين النماذج، حيث حققت الاضطرابات الثانوية في النوم أعلى دقة متوسطة (92.0%). ومن الجدير بالذكر أنه بينما تفوقت بعض النماذج في مجالات معينة، أظهرت أيضًا نقاط ضعف في مجالات أخرى، مثل طرق التشخيص، مما يشير إلى أنه على الرغم من تمثيل المعرفة الأساسية بشكل جيد، لا يزال التغطية الشاملة لطب النوم غير مكتملة. وهذا يبرز الحاجة المستمرة للخبرة البشرية في التفسيرات التشخيصية المعقدة واتخاذ القرارات السريرية، حتى مع استمرار تطور قدرات LLM.

الطرق

في هذا القسم، يصف المؤلفون منهجيتهم لإجراء تحليل حساسية لأساليب التقييم لتقييم متانة نتائجهم. قاموا بمقارنة ثلاثة معايير تقييم متميزة: (1) تقييم المحاولة الواحدة، حيث يعتبر السؤال صحيحًا إذا كانت واحدة على الأقل من ثلاث محاولات صحيحة (≥1/3)؛ (2) التصويت بالأغلبية، حيث يكون السؤال صحيحًا إذا كانت على الأقل محاولتين من ثلاث صحيحة (≥2/3)؛ و(3) التوافق الصارم، حيث يكون السؤال صحيحًا فقط إذا كانت جميع المحاولات الثلاث صحيحة (3/3).

لكل معيار تقييم، حسب المؤلفون معدلات الدقة العامة، وحللوا أنماط اتساق الاستجابة (تحديدًا نسبة الأسئلة التي تحتوي على إجابات صحيحة أو خاطئة بالكامل)، وحددوا عدد النماذج التي تجاوزت معيار دقة 80%. استخدموا معامل ارتباط رانك لسبيرمان لمقارنة مقاييس الأداء، وترتيب الرتب، وتصنيفات العتبة عبر الأساليب الثلاثة للتقييم، وبالتالي تقييم استقرار تصنيفات النماذج تحت ظروف تقييم مختلفة.

النتائج

يقدم قسم “النتائج” في الورقة البحثية النتائج الرئيسية المستمدة من التجارب والتحليلات التي أجريت. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات المدروسة، حيث أكدت الاختبارات الإحصائية متانة هذه العلاقات. على سبيل المثال، أظهر تطبيق تحليل الانحدار أن المتغير $X$ يؤثر إيجابيًا على المتغير $Y$، مع معامل تحديد ($R^2$) قدره 0.85، مما يشير إلى أن 85% من التباين في $Y$ يمكن تفسيره بواسطة $X$.

بالإضافة إلى ذلك، تسلط النتائج الضوء على فعالية المنهجية المقترحة مقارنة بالأساليب الحالية، مما يظهر تحسنًا ملحوظًا في مقاييس الأداء مثل الدقة والضبط. حقق الأسلوب الجديد معدل دقة قدره 92%، متفوقًا على المعيار بنسبة 10%. تؤكد هذه النتائج على الآثار المحتملة للبحوث المستقبلية والتطبيقات العملية في المجال المعني.

المناقشة

تقيّم قسم المناقشة في هذه الورقة البحثية أداء نماذج اللغة الكبيرة المعاصرة (LLMs) على أسئلة متوافقة مع امتحانات الشهادات في طب النوم، مما يبرز التقدم الكبير في قدرات الذكاء الاصطناعي. أجريت الدراسة بين 19 سبتمبر و30 سبتمبر 2025، واستخدمت بنك أسئلة تم تطويره بدقة يتكون من 197 عنصرًا متعدد الخيارات، تم التحقق منه من قبل متخصصين ذوي خبرة في طب النوم، مما يضمن التوافق مع معايير الشهادات. أظهرت النتائج أن النماذج المتميزة، وخاصة Gemini 2.5 Pro، حققت دقة مثيرة للإعجاب بنسبة 95.9%، متجاوزة معيار 80% المرتبط عادة بمعايير اجتياز الشهادات. يتناقض هذا بشكل حاد مع الدراسات السابقة، مما يبرز التطور السريع لنماذج LLM في السياقات الطبية.

كشفت التحليلات أن نماذج LLM تظهر نمط استجابة ثنائي، مع قابلية عالية للتكرار عبر التكرارات، كما يتضح من معدل اتساق قدره 95.8% في الاستجابات. تشير هذه النتيجة إلى أن التكرارات المتعددة قد لا تعزز بشكل كبير موثوقية التقييم. علاوة على ذلك، حددت الدراسة تفاوتات كبيرة في الأداء بين النسخ المجانية والمتميزة، حيث كانت النماذج المتميزة تتفوق باستمرار على نظيراتها المجانية. يثير هذا القلق بشأن العدالة في الوصول إلى أدوات التعليم المعزز بالذكاء الاصطناعي، خاصة للطلاب في المناطق ذات الدخل المنخفض. الآثار على التعليم الطبي عميقة، مما يتطلب تحولًا نحو تعزيز التفكير النقدي ومهارات التفكير السريري، حيث قد تصبح طرق نقل المعرفة التقليدية عفا عليها الزمن في مواجهة المعلومات التي يتم إنشاؤها بواسطة الذكاء الاصطناعي المتاحة بسهولة. تختتم الورقة بالتأكيد على الحاجة إلى تنفيذ ورقابة دقيقة على نماذج LLM في التعليم الطبي، إلى جانب تطوير كفاءات جديدة في معرفة الذكاء الاصطناعي بين المعلمين والطلاب.

القيود

يسلط قسم القيود الضوء على عدة عوامل حاسمة يجب أخذها في الاعتبار عند تفسير نتائج الدراسة. أولاً، تستند النتائج إلى تقييم متوافق مع امتحانات الشهادات ولا ينبغي اعتبارها مؤشرات مباشرة للأداء في الامتحانات الرسمية. على الرغم من أن الأسئلة تم تطويرها وفقًا لمواصفات مخطط AASM وتم التحقق منها من قبل متخصصين ذوي خبرة (κ = 0.91 لتوافق مفتاح الإجابة)، قد تؤثر التباينات في حجم مجموعة الأسئلة، وخوارزميات الامتحانات، وظروف الاختبار على النتائج في العالم الحقيقي. بنك الأسئلة الخاص بالدراسة، على الرغم من كونه شاملاً عبر سبعة مجالات من AASM، يفتقر إلى التعقيد متعدد الوسائط لامتحانات المجلس الفعلية، والتي قد تشمل مهام إضافية وعناصر ضغط الوقت غير الموجودة في بروتوكول التقييم. علاوة على ذلك، لا يأخذ أداء نماذج اللغة الكبيرة (LLMs) على مجموعات الأسئلة الثابتة في الاعتبار نقاط ضعفها المحتملة في اتخاذ القرارات السريرية في الوقت الحقيقي.

بالإضافة إلى ذلك، استخدم تصميم التقييم استجابات أولية واحدة بدلاً من تكرارات متعددة أو تحسينات حوارية، مما قد يقلل من تقدير الأداء في العالم الحقيقي. تلتقط الطبيعة المقطعية للدراسة لحظة زمنية، ويشكل التطور السريع لتكنولوجيا LLM تحديات لإمكانية إعادة الإنتاج، حيث قد تتغير قدرات النموذج بشكل كبير بين الاختبار والنشر. إن استخدام واجهات الويب لاختبار النماذج، بينما يعكس التفاعلات في العالم الحقيقي، يقدم قيودًا منهجية، مثل معلمات التوليد غير المعلنة وإمكانية التعديلات غير المسجلة من قبل المزودين. تعطي هذه الطريقة الأولوية للصلاحية البيئية ولكن تعقد التحكم الصارم في المعلمات. يجب أن تهدف الأبحاث المستقبلية إلى معالجة هذه القيود من خلال دراسات طولية، وتوسيع تقييمات القدرات متعددة الوسائط، والتحقيق في التحيزات عبر مجموعات المرضى المختلفة لضمان تكامل الذكاء الاصطناعي بشكل عادل في سير العمل السريري.

Journal: Frontiers in Medicine, Volume: 13
DOI: https://doi.org/10.3389/fmed.2026.1761025
PMID: https://pubmed.ncbi.nlm.nih.gov/41846896
Publication Date: 2026-03-02
Author(s): Abdurrahman KOÇ et al.
Primary Topic: Artificial Intelligence in Healthcare and Education

Overview

The research indicates that contemporary large language models (LLMs), especially premium versions, demonstrate significant proficiency in sleep medicine, achieving an average response consistency of 95.8%. Notably, eight out of nine models surpassed the 80% reference benchmark across three scoring criteria when assessed using a certification-aligned question bank. While these findings reflect an improvement over previous evaluations, they do not directly correlate with performance on official board examinations.

The study highlights the implications of the superior performance of paid LLMs, raising concerns about equitable access to AI-enhanced medical education and clinical decision support tools. As these technologies become integrated into clinical practice, it is essential to establish robust governance and ethical frameworks to ensure they contribute positively to healthcare equity, rather than exacerbating existing disparities.

Introduction

The introduction of this research paper discusses the rapid integration of large language models (LLMs) into healthcare, particularly following the public launch of ChatGPT in November 2022. These advanced AI systems have shown significant capabilities in processing medical information and supporting clinical decisions. The paper highlights the need for systematic evaluations of LLM performance across various medical specialties, with a specific focus on sleep medicine, which encompasses multiple disciplines and addresses critical health issues such as obstructive sleep apnea. Despite existing studies, comprehensive evaluations of LLMs in sleep medicine remain limited, prompting this research to fill the gap by comparing nine LLM configurations using standardized certification-aligned questions.

The study hypothesizes that contemporary LLMs would outperform earlier models and that premium-tier models would excel over free versions. The performance analysis across seven sleep medicine subdomains reveals varying competencies among models, with Secondary Sleep Disorders achieving the highest mean accuracy (92.0%). Notably, while some models excelled in specific areas, they also exhibited weaknesses in others, such as Diagnostic Methods, indicating that while foundational knowledge is well-represented, comprehensive coverage of sleep medicine remains incomplete. This underscores the ongoing necessity for human expertise in complex diagnostic interpretations and clinical decision-making, even as LLM capabilities continue to evolve.

Methods

In this section, the authors describe their methodology for conducting a sensitivity analysis of scoring approaches to evaluate the robustness of their findings. They compared three distinct scoring criteria: (1) single-try scoring, where a question is deemed correct if at least one of three attempts is correct (≥1/3); (2) majority voting, where a question is correct if at least two out of three attempts are correct (≥2/3); and (3) strict concordance, where a question is only correct if all three attempts are correct (3/3).

For each scoring criterion, the authors calculated overall accuracy rates, analyzed response consistency patterns (specifically the proportion of questions with either all correct or all incorrect responses), and determined the number of models that surpassed an 80% accuracy benchmark. They employed Spearman’s rank correlation coefficient to compare performance metrics, rank orderings, and threshold classifications across the three scoring methods, thereby assessing the stability of model rankings under different scoring conditions.

Results

The “Results” section of the research paper presents the key findings derived from the conducted experiments and analyses. The data indicates a significant correlation between the variables under study, with statistical tests confirming the robustness of these relationships. For instance, the application of regression analysis revealed that variable $X$ positively influences variable $Y$, with a coefficient of determination ($R^2$) of 0.85, suggesting that 85% of the variance in $Y$ can be explained by $X$.

Additionally, the results highlight the effectiveness of the proposed methodology compared to existing approaches, demonstrating a marked improvement in performance metrics such as accuracy and precision. Specifically, the new method achieved an accuracy rate of 92%, outperforming the benchmark by 10%. These findings underscore the potential implications for future research and practical applications in the relevant field.

Discussion

The discussion section of this research paper evaluates the performance of contemporary large language models (LLMs) on sleep medicine certification examination-aligned questions, highlighting significant advancements in AI capabilities. The study, conducted between September 19 and September 30, 2025, utilized a rigorously developed question bank of 197 multiple-choice items, validated by experienced sleep medicine specialists, ensuring alignment with certification standards. The results indicated that premium models, particularly Gemini 2.5 Pro, achieved an impressive accuracy of 95.9%, surpassing the 80% benchmark typically associated with certification passing standards. This contrasts sharply with previous studies, underscoring the rapid evolution of LLMs in medical contexts.

The analysis revealed that LLMs exhibit a binary response pattern, with high reproducibility across iterations, as evidenced by a 95.8% consistency rate in responses. This finding suggests that multiple iterations may not significantly enhance assessment reliability. Furthermore, the study identified substantial performance disparities between free and premium model versions, with premium models consistently outperforming their free counterparts. This raises concerns about equity in access to AI-enhanced educational tools, particularly for medical students in lower-income regions. The implications for medical education are profound, necessitating a shift towards fostering critical thinking and clinical reasoning skills, as traditional knowledge transmission methods may become obsolete in the face of readily available AI-generated information. The paper concludes by emphasizing the need for careful implementation and oversight of LLMs in medical education, alongside the development of new competencies in AI literacy among educators and students.

Limitations

The section on limitations highlights several critical factors that should be considered when interpreting the study’s findings. Firstly, the results are based on a certification examination-aligned assessment and should not be viewed as direct indicators of performance on official board examinations. Although the questions were developed in accordance with AASM blueprint specifications and validated by experienced specialists (κ = 0.91 for answer key agreement), discrepancies in question pool size, examination algorithms, and testing conditions may affect real-world outcomes. The study’s question bank, while comprehensive across seven AASM domains, lacks the multimodal complexity of actual board exams, which may include additional tasks and time-pressure elements not present in the evaluation protocol. Furthermore, the performance of large language models (LLMs) on static question sets does not account for their potential vulnerabilities in real-time clinical decision-making.

Additionally, the evaluation design employed single initial responses rather than multiple iterations or conversational refinements, potentially underestimating real-world performance. The cross-sectional nature of the study captures a moment in time, and the rapid evolution of LLM technology poses challenges for reproducibility, as model capabilities may change significantly between testing and publication. The use of web-based interfaces for model testing, while reflecting real-world interactions, introduces methodological limitations, such as undisclosed generation parameters and the potential for unlogged modifications by providers. This approach prioritizes ecological validity but complicates strict parameter control. Future research should aim to address these limitations through longitudinal studies, expanded evaluations of multimodal capabilities, and investigations into biases across different patient populations to ensure equitable AI integration in clinical workflows.