DOI: https://doi.org/10.1038/s41598-026-37800-8
PMID: https://pubmed.ncbi.nlm.nih.gov/41617921
تاريخ النشر: 2026-01-30
المؤلف: Gediz Geduk وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تدرس هذه الدراسة فعالية نماذج اللغة الكبيرة (LLMs) في التعليم السني من خلال تقييم أدائها في امتحان دخول تخصص طب الأسنان (DUS) في تركيا. تم تقديم 208 سؤال اختيار من متعدد لسبع نماذج LLM، وتم تحليل النتائج باستخدام طرق إحصائية وصفية ومقارنة، مع تطبيق عتبة دلالة قدرها $p < 0.05$. كشفت النتائج أن ChatGPT 4.0 حقق أعلى دقة بنسبة 91.3%، متفوقًا بشكل كبير على نماذج أخرى مثل Copilot (87%) وGemini (86.1%). في سياق الأسئلة المعتمدة على الصور، حقق ChatGPT 4.0 وGemini وCopilot كل منهم دقة بنسبة 63.6%. تؤكد النتائج على إمكانيات LLMs في تعزيز التعليم السني؛ ومع ذلك، تشير القيود الملحوظة في الدقة في مجالات معينة إلى أنه لا ينبغي الاعتماد على هذه النماذج كأدوات اتخاذ قرار مستقلة. بدلاً من ذلك، من الأفضل استخدامها كموارد إضافية لدعم التعلم واكتساب المعرفة في التدريب السني.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التأثير التحويلي للذكاء الاصطناعي (AI) في الرعاية الصحية، لا سيما من خلال التقدم في التعلم العميق ونماذج اللغة الكبيرة (LLMs). لقد عززت هذه التقنيات بشكل كبير معالجة بيانات التصوير الطبي، مما يساعد الأطباء في التشخيص وتخطيط العلاج. ومن الجدير بالذكر أن نماذج التعلم العميق أظهرت دقة على مستوى الأطباء في مهام تشخيصية متنوعة، بما في ذلك الأشعة الفموية والوجهية. لقد وسعت ظهور LLMs من قدرات الذكاء الاصطناعي، مما أتاح التفكير المنظم والفهم السياقي، وهو أمر حاسم لتطبيقات مثل دعم اتخاذ القرار السريري والتواصل مع المرضى.
تشير التقييمات الأخيرة لـ LLMs، بما في ذلك ChatGPT-4 وBard من Google (Gemini)، إلى أدائها القوي في الامتحانات الطبية الموحدة، على الرغم من استمرار القلق بشأن استخدامها المستقل في اتخاذ القرارات السريرية. أظهرت الدراسات دقة متغيرة عبر أنواع الأسئلة المختلفة في طب الأسنان، مع قيود كبيرة في مهام التفكير السريري. تؤكد الورقة على ضرورة إجراء تقييمات موثوقة من قبل الخبراء لـ LLMs لضمان موثوقيتها في الممارسة السريرية، إلى جانب مناقشات حول الأخلاقيات والسلامة. نظرًا للبحث المحدود حول أداء LLM في سياقات تخصصية مثل الأشعة الفموية والوجهية، تهدف هذه الدراسة إلى مقارنة دقة سبع LLMs في الإجابة على أسئلة الامتحان التركي، مع تحديد الفروق في الأداء وتقييم إمكانياتها كأدوات تعليمية في التدريب التخصصي.
الطرق
في هذه الدراسة، التي أجريت من 5 يناير إلى 5 فبراير 2025، قام الباحثون بتقييم أداء سبع نماذج لغة كبيرة (LLMs) على مجموعة بيانات تتكون من 208 أسئلة من امتحان تخصص طب الأسنان (DUS)، مع التركيز بشكل خاص على الأشعة الفموية والوجهية. تضمنت مجموعة البيانات 197 سؤالًا نصيًا و11 سؤالًا معتمدًا على الصور، جميعها مصاغة كخيار متعدد من خمسة خيارات باللغة التركية. تم اختيار الأسئلة من مواد DUS المتاحة للجمهور التي نشرت بين عامي 2012 و2021، مما يضمن تضمين مواضيع متعلقة بالأشعة فقط للحفاظ على نزاهة المنهجية. قام أطباء خبراء بتصنيف الأسئلة النصية إلى 14 عنوانًا موضوعيًا، تغطي مجالات مثل فيزياء الإشعاع، تشريح الأشعة، وعلم الأمراض الفموية.
تضمنت LLMs التي تم تقييمها ChatGPT 4.0 وChatGPT 4.5 وDeepSeek-R1 وGoogle Gemini وMicrosoft Copilot وGrok وClaude. تم إدخال كل سؤال في النماذج مع اهتمام دقيق بالاتساق في الإملاء والقواعد، وتم تسجيل الردود بشكل منهجي. قام مقيم ثانٍ بمقارنة الإجابات الناتجة مع مفتاح إجابة محدد مسبقًا، مصنفًا إياها كـ “صحيحة” أو “غير صحيحة” لتقييم أداء النماذج. كانت هذه المقاربة المركزة تهدف إلى تعزيز قابلية تفسير وموثوقية النتائج المتعلقة بمعرفة LLMs في المجال المحدد للأشعة الفموية والوجهية.
النتائج
في تحليل امتحان تخصص طب الأسنان، تم تقييم سبع نماذج لغة كبيرة (LLMs) بناءً على أدائها في 208 سؤال اختيار من متعدد. كانت معدلات الدقة للنماذج كما يلي: حقق ChatGPT 4.0 أعلى دقة بنسبة 91.3%، تلاه Copilot بنسبة 87%، وGemini بنسبة 86.1%، وChatGPT 4.5 وDeepSeek كلاهما بنسبة 82.2%، وClaude بنسبة 78.4%، وGrok بنسبة 75.5%. من الجدير بالذكر أن أداء ChatGPT 4.0 كان متفوقًا بشكل كبير على أداء LLMs الأخرى التي تم تقييمها. تسلط هذه النتائج الضوء على القدرات المتنوعة لـ LLMs في التعامل مع تقييمات المعرفة المتخصصة في طب الأسنان.
المناقشة
في هذه الدراسة، تم تقييم أداء ستة نماذج لغة كبيرة (LLMs) في الإجابة على أسئلة اختيار من متعدد تتعلق بالأشعة الفموية والوجهية بشكل صارم باستخدام برنامج IBM SPSS Statistics. كشفت التحليلات الإحصائية، بما في ذلك اختبارات Chi-square وANOVA، أن ChatGPT 4.0 تفوق على جميع النماذج الأخرى، محققًا معدل دقة ذو دلالة إحصائية (p < 0.05). من الجدير بالذكر أن ChatGPT 4.0 تألق في مواضيع معينة مثل علم الأمراض الفموية (94%) وأمراض الغدد اللعابية (91.8%)، بينما لوحظت معدلات دقة أقل في تشريح الأشعة (67.3%) وتكلسات الأنسجة الرخوة. كما أبرزت الدراسة أن جميع النماذج أظهرت دقة أقل في الأسئلة المعتمدة على الصور مقارنة بتلك النصية، حيث حقق ChatGPT 4.0 وGemini وCopilot أعلى أداء في فئات الأسئلة البصرية. تؤكد النتائج على التقدم في قدرات LLM، لا سيما مع الإصدارات الأحدث مثل ChatGPT 4.0 و4.5، التي أظهرت تحسينات كبيرة مقارنة بالإصدارات السابقة. على الرغم من النتائج الواعدة، تؤكد الدراسة على قيود LLMs في التعامل مع الأسئلة السريرية المعتمدة على الصور، مما يشير إلى الحاجة إلى مزيد من التحسين في هذا المجال. بشكل عام، بينما تظهر LLMs إمكانيات كأدوات تعليمية في طب الأسنان، تشير دقتها المتفاوتة عبر المواضيع إلى أنه ينبغي استخدامها كمعينات إضافية بدلاً من موارد مستقلة في اتخاذ القرارات السريرية والسياقات التعليمية.
القيود
في هذه الدراسة، تم تحديد عدة قيود قد تؤثر على النتائج. أولاً، تم تقديم جميع الأسئلة لأنظمة الدردشة باللغة التركية، مما ترك تأثير لغة السؤال على دقة الأداء غير مفحوص. بالإضافة إلى ذلك، أعاقت القيود التقنية التسليم الناجح للأسئلة المعتمدة على الصور إلى نماذج مثل DeepSeek وCopilot وGemini، التي فشلت أحيانًا في معالجة البيانات البصرية أو التعرف على محتوى الصورة. من المحتمل أن تؤثر هذه القيود على دقة هذه النماذج اللغوية الكبيرة (LLMs) في معالجة الاستفسارات البصرية. علاوة على ذلك، لم يتم أخذ التغير الزمني في ردود LLM في الاعتبار، حيث لم تقارن الدراسة أداء النموذج عبر نقاط زمنية مختلفة.
علاوة على ذلك، كان ترتيب تقديم الأسئلة ثابتًا وتم مسح تاريخ المحادثة بهدف تقليل التحيز الناتج عن الأسئلة المتسلسلة؛ ومع ذلك، لا يزال عدم وجود عشوائية مصدرًا محتملاً للتحيز. كانت الأسئلة المستخدمة مستمدة من مواد امتحان دخول تخصص طب الأسنان (DUS) المتاحة للجمهور، مما يثير القلق بشأن إمكانية تعرض LLMs لهذا المحتوى أثناء التدريب. بينما يمكن أن يؤدي هذا التداخل إلى ردود تعتمد على التعرف على الأنماط بدلاً من التفكير الحقيقي، تشير الفروق في مواعيد قطع بيانات التدريب وطرق الجمع بين النماذج إلى أن النتائج لا تزال توفر رؤى ذات مغزى حول قدراتها في التفكير في الوقت الحقيقي. ومع ذلك، فإن الوصول العام للأسئلة وعدم القدرة على التحكم في التعرض السابق هي قيود منهجية كبيرة يجب الاعتراف بها.
DOI: https://doi.org/10.1038/s41598-026-37800-8
PMID: https://pubmed.ncbi.nlm.nih.gov/41617921
Publication Date: 2026-01-30
Author(s): Gediz Geduk et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This study investigates the effectiveness of Large Language Models (LLMs) in dental education by assessing their performance on the Dentistry Specialization Entrance Examination (DUS) in Türkiye. A total of 208 multiple-choice questions were presented to seven LLMs, with the results analyzed using descriptive and comparative statistical methods, applying a significance threshold of $p < 0.05$. The findings revealed that ChatGPT 4.0 achieved the highest accuracy at 91.3%, significantly outperforming other models such as Copilot (87%) and Gemini (86.1%). In the context of image-based questions, ChatGPT 4.0, Gemini, and Copilot each attained an accuracy of 63.6%. The results underscore the potential of LLMs in enhancing dental education; however, the observed accuracy limitations in specific areas suggest that these models should not be relied upon as standalone decision-making tools. Instead, they are best utilized as supplementary resources to support learning and knowledge acquisition in dental training.
Introduction
The introduction of this research paper highlights the transformative impact of artificial intelligence (AI) in healthcare, particularly through advancements in deep learning and large language models (LLMs). These technologies have significantly enhanced the processing of medical imaging data, aiding clinicians in diagnosis and treatment planning. Notably, deep learning models have demonstrated physician-level accuracy in various diagnostic tasks, including oral and maxillofacial radiology. The emergence of LLMs has further expanded AI’s capabilities, enabling structured reasoning and contextual understanding, which are critical for applications such as clinical decision support and patient communication.
Recent evaluations of LLMs, including ChatGPT-4 and Google’s Bard (Gemini), indicate their strong performance on standardized medical examinations, although concerns regarding their independent use in clinical decision-making persist. Studies have shown variable accuracy across different question types in dentistry, with significant limitations in clinical reasoning tasks. The paper underscores the necessity for expert-validated evaluations of LLMs to ensure their reliability in clinical practice, alongside discussions on ethics and safety. Given the limited research on LLM performance in specialty-specific contexts like Oral and Maxillofacial Radiology, this study aims to compare the accuracy of seven LLMs in answering Turkish exam questions, identifying performance differences and assessing their potential as educational tools in specialty training.
Methods
In this study, conducted from January 5 to February 5, 2025, the researchers evaluated the performance of seven large language models (LLMs) on a dataset of 208 questions from the Dentistry Specialty Examination (DUS), focusing specifically on Oral and Maxillofacial Radiology. The dataset comprised 197 text-based questions and 11 image-based questions, all formatted as five-option multiple-choice items in Turkish. The questions were selected from publicly available DUS materials published between 2012 and 2021, ensuring that only radiology-related topics were included to maintain methodological integrity. Expert physicians categorized the text-based questions into 14 subject headings, covering areas such as radiation physics, radiographic anatomy, and oral pathology.
The LLMs evaluated included ChatGPT 4.0, ChatGPT 4.5, DeepSeek-R1, Google Gemini, Microsoft Copilot, Grok, and Claude. Each question was entered into the models with careful attention to consistency in spelling and grammar, and responses were systematically recorded. A second evaluator compared the generated answers against a predetermined answer key, categorizing them as “correct” or “incorrect” to assess the models’ performance. This focused approach aimed to enhance the interpretability and validity of the findings regarding the LLMs’ knowledge in the specific domain of Oral and Maxillofacial Radiology.
Results
In the analysis of the Dentistry Specialty Examination, seven large language models (LLMs) were evaluated based on their performance on 208 multiple-choice questions. The accuracy rates of the models were as follows: ChatGPT 4.0 achieved the highest accuracy at 91.3%, followed by Copilot at 87%, Gemini at 86.1%, ChatGPT 4.5 and DeepSeek both at 82.2%, Claude at 78.4%, and Grok at 75.5%. Notably, ChatGPT 4.0’s performance was significantly superior to that of the other LLMs assessed. These findings highlight the varying capabilities of LLMs in handling specialized knowledge assessments in dentistry.
Discussion
In this study, the performance of six large language models (LLMs) in answering multiple-choice questions related to oral and maxillofacial radiology was rigorously evaluated using IBM SPSS Statistics software. Statistical analyses, including Chi-square and ANOVA tests, revealed that ChatGPT 4.0 outperformed all other models, achieving a statistically significant accuracy rate (p < 0.05). Notably, ChatGPT 4.0 excelled in specific topics such as oral pathology (94%) and salivary gland diseases (91.8%), while lower accuracy rates were observed in radiological anatomy (67.3%) and soft tissue calcifications. The study also highlighted that all models exhibited lower accuracy on image-based questions compared to text-based ones, with ChatGPT 4.0, Gemini, and Copilot achieving the highest performance in visual question categories. The findings underscore the advancements in LLM capabilities, particularly with newer versions like ChatGPT 4.0 and 4.5, which demonstrated significant improvements over earlier iterations. Despite the promising results, the study emphasizes the limitations of LLMs in handling image-based clinical questions, indicating a need for further optimization in this area. Overall, while LLMs show potential as educational tools in dentistry, their varying accuracy across topics suggests they should be used as supplementary aids rather than standalone resources in clinical decision-making and educational contexts.
Limitations
In this study, several limitations were identified that may impact the findings. Firstly, all questions were presented to the chatbot systems in Turkish, leaving the effect of question language on performance accuracy unexamined. Additionally, technical constraints hindered the successful delivery of image-based questions to models such as DeepSeek, Copilot, and Gemini, which occasionally failed to process visual data or recognize image content. This limitation likely affected the accuracy of these large language models (LLMs) in addressing visual inquiries. Furthermore, the temporal variability in LLM responses, influenced by the timing of interactions, was not accounted for, as the study did not compare model performance across different time points.
Moreover, the fixed order of question presentation and the clearing of conversation history aimed to reduce bias from sequential questioning; however, the lack of randomization remains a potential source of bias. The questions used were sourced from publicly available Dentistry Specialization Entrance Examination (DUS) materials, raising concerns about possible prior exposure of LLMs to this content during training. While this overlap could lead to responses based on pattern recognition rather than genuine reasoning, the differing training data cutoffs and collection methods among models suggest that the results still provide meaningful insights into their real-time reasoning capabilities. Nonetheless, the public accessibility of the questions and the inability to control for prior exposure are significant methodological limitations that should be acknowledged.