DOI: https://doi.org/10.1371/journal.pone.0346518
PMID: https://pubmed.ncbi.nlm.nih.gov/41950260
تاريخ النشر: 2026-04-08
المؤلف: Yuxia Tang وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تبحث الدراسة في أداء نماذج اللغة الكبيرة (LLMs) في امتحان الترخيص الطبي الوطني الصيني، مع تسليط الضوء على تأثير الاختلافات اللغوية ونوع السؤال. ومن الجدير بالذكر أن نماذج مثل Doubao-1.5-pro وDeepseek-R1 وDeepseek-V3 أظهرت اتساقًا قويًا عبر اللغات، مما يشير إلى أن نماذج LLM المتخصصة يمكن أن تعزز بشكل كبير التعليم الطبي في الصين.
تخلص الدراسة إلى أن نوع السؤال المطروح هو عامل حاسم في تحديد أداء LLM في الامتحان، بينما لا تؤثر اللغة نفسها بشكل كبير على النتائج. تؤكد هذه النتيجة على أهمية تخصيص LLMs لأنواع الأسئلة المحددة لتحسين فعاليتها في التقييمات التعليمية.
مقدمة
أدى التقدم السريع في الذكاء الاصطناعي، وخاصة في شكل نماذج اللغة الكبيرة التوليدية (LLMs)، إلى دمجها في خدمات الرعاية الصحية الحيوية، بما في ذلك إدارة المعرفة السريرية والطب عن بُعد. وهذا يوفر فرصة فريدة لتقييم فعالية الذكاء الاصطناعي في السياقات الطبية الواقعية. ومن الجدير بالذكر أن الأبحاث تشير إلى أن GPT-4 تعزز دقة تشخيص الطلاب في الطب بنسبة 19%، وتظهر LLMs معرفة سريرية على مستوى الخبراء عبر تخصصات مختلفة.
على الرغم من الدراسات الحالية حول أداء LLM في امتحانات الترخيص الطبي في الولايات المتحدة، لا يزال هناك فجوة في التقييمات الشاملة لـ LLMs عبر لغات وصيغ أسئلة مختلفة. تقدم هذه الدراسة إطار تقييم مختلط الصيغة خصيصًا لامتحان الترخيص الطبي الصيني، باستخدام ستة نماذج LLM بارزة: ChatGPT-o3 وChatGPT-4o من OpenAI، وGemini-2.5-pro من Google، ونماذج R1 وV3 من DeepSeek، وDoubao-1.5-pro من ByteDance. تهدف الدراسة إلى التحقيق في أداء هذه النماذج في امتحان الترخيص الطبي الصيني، مما يوفر في النهاية رؤى يمكن أن تعزز التعليم والتدريب الطبي.
الطرق
في هذه الدراسة المقطعية التي أجريت من 13 مايو إلى 20 مايو 2025، تم جمع ما مجموعه 396 سؤالًا تعليميًا، تتكون من 198 زوجًا من الإنجليزية والصينية، من امتحان الترخيص الطبي الوطني الصيني. قامت الدراسة بتقييم أداء عدة نماذج ذكاء اصطناعي، بما في ذلك ChatGPT-4o وChatGPT-o3 وGemini-2.5-pro وDeepseek-V3 وDeepseek-R1 وDoubao-1.5-pro، من خلال مطالبتها بالإجابة على هذه الأسئلة.
ثم تمت مقارنة الردود التي أنشأتها نماذج الذكاء الاصطناعي مع الإجابات المرجعية المعتمدة، مما سمح بتقييم الدقة عبر ثلاثة أنواع مختلفة من الأسئلة: المعرفة الأساسية (النوع A)، تحليل الحالة (النوع B)، والحكم التكاملية (النوع C). كانت هذه الطريقة المنهجية تهدف إلى قياس فعالية هذه الأنظمة الذكية في معالجة أسئلة امتحانات طبية متنوعة.
النتائج
تشير النتائج إلى أن Doubao-1.5-pro حقق أعلى دقة إجمالية بنسبة 92.0% ± 1.3% عبر أنواع وأسئلة لغات مختلفة، بينما سجل ChatGPT-4o أدنى دقة بنسبة 82.8% ± 3.7%. لوحظ تأثير رئيسي كبير لنوع السؤال (P = 0.0038)، حيث تفوقت أسئلة النوع A على الأنواع B وC (P < 0.01)، على الرغم من عدم العثور على تأثير كبير للغة (P = 0.56). أظهرت النماذج مستويات أداء متفاوتة، حيث أظهرت Doubao-1.5-pro وDeepseek-R1 وDeepseek-V3 استقرارًا قويًا عبر اللغات، مع الحفاظ على اختلافات دقة أقل من 5% بين النسخ الصينية والإنجليزية. فيما يتعلق بمقاييس الأداء المحددة، سجل ChatGPT-4o 88.2% في النوع A، و82.3% في النوع B، و71.7% في النوع C من الأسئلة باللغة الصينية، بينما كانت الدرجات باللغة الإنجليزية 97.4% و77.4% و80.0% على التوالي. تميز Deepseek-R1 بشكل خاص في أسئلة النوع C، محققًا دقة 95.0% باللغة الصينية و88.3% باللغة الإنجليزية، متفوقًا بشكل كبير على النماذج الأخرى. كانت الفجوة في الأداء بين Deepseek-R1 وChatGPT-4o في أسئلة النوع C تقارب 25%. على الرغم من ملاحظة تفاعل هامشي بين نوع السؤال واللغة (F(2,10) = 3.57, P = 0.068)، تؤكد النتائج العامة على أهمية نوع السؤال في أداء النموذج، حيث كان النوع A يحقق باستمرار أفضل النتائج.
المناقشة
قامت الدراسة بتقييم منهجي لأداء ستة نماذج لغة كبيرة (LLMs) في امتحان الترخيص الطبي الصيني، مع التركيز على أنواع الأسئلة المختلفة (النوع A وB وC) واللغات (الصينية والإنجليزية). تشير النتائج الرئيسية إلى أن نوع السؤال يؤثر بشكل كبير على أداء النموذج، حيث أظهرت جميع النماذج دقة متسقة في أسئلة المعرفة الأساسية (النوع A) ولكنها أظهرت تباينًا كبيرًا في الأسئلة التكاملية المعقدة (الأنواع B وC). كان للاختلافات اللغوية تأثير ضئيل على الأداء العام، مما يشير إلى أن النماذج تمتلك تمثيلات دلالية قوية تتجاوز الاختلافات اللغوية. ومن الجدير بالذكر أن النماذج التي تستخدم تقنيات التفكير المتقدمة، مثل Doubao-1.5-pro وDeepseek-R1، تميزت في التعامل مع الأسئلة المعقدة، مما يبرز أهمية النظريات المعرفية في تمييز قدرات النماذج.
تتوافق الدراسة أيضًا مع الأبحاث السابقة، مؤكدة أنه بينما تؤدي LLMs بشكل جيد في مهام الاسترجاع الأساسية، فإنها تواجه صعوبة في التفكير من الدرجة العليا، خاصة في السيناريوهات السريرية المعقدة. تؤكد النتائج على فائدة الأسئلة المعقدة في تقييم قدرات التفكير بين LLMs المختلفة في المجال الطبي. ومع ذلك، تعترف الدراسة بالقيود، بما في ذلك حجم العينة المحدود والتركيز على الأسئلة النصية، والتي قد لا تمثل بشكل كامل الطبيعة الشاملة للامتحان الفعلي. يجب أن تستكشف الأبحاث المستقبلية أبعادًا إضافية لأداء LLM لتقييم موثوقيتها وقابليتها للتطبيق في التعليم السريري بشكل أفضل. بشكل عام، تؤكد النتائج على أن نوع السؤال هو عامل حاسم في أداء LLM، مع تداعيات على تطويرها واستخدامها في التدريب الطبي.
DOI: https://doi.org/10.1371/journal.pone.0346518
PMID: https://pubmed.ncbi.nlm.nih.gov/41950260
Publication Date: 2026-04-08
Author(s): Yuxia Tang et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
The research investigates the performance of large language models (LLMs) on the Chinese national medical licensing examination, highlighting the influence of cross-lingual and question-type variations. Notably, models such as Doubao-1.5-pro, Deepseek-R1, and Deepseek-V3 exhibited strong cross-lingual consistency, suggesting that specialized LLMs could significantly enhance medical education in China.
The study concludes that the type of question posed is a critical determinant of LLM performance on the exam, while the language itself does not significantly affect outcomes. This finding underscores the importance of tailoring LLMs to specific question types to optimize their effectiveness in educational assessments.
Introduction
The rapid advancement of artificial intelligence, particularly in the form of generative large language models (LLMs), has led to their integration into critical healthcare services, including clinical knowledge management and telemedicine. This presents a unique opportunity to assess the efficacy of AI in real-world medical contexts. Notably, research indicates that GPT-4 enhances medical students’ diagnostic accuracy by 19%, and LLMs demonstrate expert-level clinical knowledge across various specialties.
Despite existing studies on LLM performance in the United States medical licensing exams, there remains a gap in comprehensive evaluations of LLMs across different languages and question formats. This research introduces a mixed-format evaluation framework specifically for the Chinese medical licensing examination, utilizing six prominent LLMs: OpenAI’s ChatGPT-o3 and ChatGPT-4o, Google’s Gemini-2.5-pro, DeepSeek’s R1 and V3 models, and ByteDance’s Doubao-1.5-pro. The study aims to investigate these models’ performance on the Chinese medical licensing examination, ultimately providing insights that could enhance medical education and training.
Methods
In this cross-sectional study conducted from May 13 to May 20, 2025, a total of 396 educational questions, comprising 198 English-Chinese pairs, were sourced from the Chinese national medical licensing examination. The study evaluated the performance of several AI models, including ChatGPT-4o, ChatGPT-o3, Gemini-2.5-pro, Deepseek-V3, Deepseek-R1, and Doubao-1.5-pro, by prompting them to answer these questions.
The responses generated by the AI models were then compared to established reference answers, allowing for an assessment of accuracy across three distinct question types: basic knowledge (Type A), case analysis (Type B), and integrative judgment (Type C). This methodological approach aimed to quantify the effectiveness of these AI systems in addressing various medical examination questions.
Results
The results indicate that Doubao-1.5-pro achieved the highest overall accuracy of 92.0% ± 1.3% across various question types and languages, while ChatGPT-4o recorded the lowest accuracy at 82.8% ± 3.7%. A significant main effect of question type was observed (P = 0.0038), with Type A questions outperforming Types B and C (P < 0.01), although no significant effect of language was found (P = 0.56). The models demonstrated varying levels of performance, with Doubao-1.5-pro, Deepseek-R1, and Deepseek-V3 exhibiting strong cross-lingual stability, maintaining accuracy differences below 5% between Chinese and English versions. In terms of specific performance metrics, ChatGPT-4o scored 88.2% on Type A, 82.3% on Type B, and 71.7% on Type C questions in Chinese, while in English, the scores were 97.4%, 77.4%, and 80.0%, respectively. Deepseek-R1 excelled particularly on Type C questions, achieving 95.0% accuracy in Chinese and 88.3% in English, significantly outperforming other models. The performance gap between Deepseek-R1 and ChatGPT-4o on Type C questions was nearly 25%. Although a marginal interaction between question type and language was noted (F(2,10) = 3.57, P = 0.068), the overall findings underscore the importance of question type in model performance, with Type A consistently yielding the best results.
Discussion
The study systematically assessed the performance of six large language models (LLMs) on the Chinese medical licensing examination, focusing on various question types (Type A, B, and C) and languages (Chinese and English). Key findings indicate that question type significantly influences model performance, with all models demonstrating consistent accuracy on foundational knowledge questions (Type A) but exhibiting considerable variability on complex integrative questions (Types B and C). Language differences had minimal impact on overall performance, suggesting that the models possess robust semantic representations that transcend linguistic variations. Notably, models employing advanced reasoning techniques, such as Doubao-1.5-pro and Deepseek-R1, excelled in handling complex questions, highlighting the importance of cognitive theories in distinguishing model capabilities.
The study also aligns with previous research, confirming that while LLMs perform well on basic recall tasks, they struggle with higher-order reasoning, particularly in complex clinical scenarios. The findings emphasize the utility of complex questions for evaluating reasoning abilities among different LLMs in the medical field. However, the study acknowledges limitations, including a restricted sample size and focus on text-based questions, which may not fully represent the comprehensive nature of the actual examination. Future research should explore additional dimensions of LLM performance to better assess their reliability and applicability in clinical education. Overall, the results underscore that question type is a critical determinant of LLM performance, with implications for their development and use in medical training.