DOI: https://doi.org/10.3389/froh.2025.1686090
PMID: https://pubmed.ncbi.nlm.nih.gov/41584961
تاريخ النشر: 2026-01-08
المؤلف: Ahmed A. Madfa وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تدرس هذه الدراسة دقة التشخيص والاتساق لثلاثة نماذج لغوية كبيرة (LLMs)—ChatGPT وClaude وManus—عند تطبيقها على سيناريوهات طب الأسنان القائمة على الحالات. تم تقديم 117 سؤالاً متعدد الخيارات، مستمدة من مشاهد سريرية معتمدة في طب الأسنان، لكل نموذج تحت ظروف موحدة. أظهرت النتائج أن كل من Claude وManus تفوقا على ChatGPT من حيث دقة التشخيص، حيث حققا درجات 92.3% مقارنةً بـ 76.9% لـ ChatGPT في الجولة الثانية من التقييم. بالإضافة إلى ذلك، أظهر كل من Claude وManus اتساقًا داخليًا أعلى، كما تم قياسه بواسطة قيم كابا لكوهين التي بلغت 0.714 و0.782، على التوالي، مقابل 0.560 لـ ChatGPT.
على الرغم من هذه المزايا العددية، لم تصل الفروق في الدقة إلى دلالة إحصائية، مما يشير إلى أن النتائج يجب أن تُفسر بحذر. تؤكد الدراسة على ضرورة إجراء تقييمات على نطاق أوسع للتحقق من هذه النتائج الأولية وتبرز أهمية تقييم كل من الدقة والاتساق عند النظر في دمج أدوات الذكاء الاصطناعي في التعليم والممارسة في طب الأسنان. مع تطور LLMs، سيكون التقييم الدقيق أمرًا حاسمًا لتطبيقها الفعال في التفكير السريري والسياقات التعليمية.
مقدمة
تناقش مقدمة هذه الورقة البحثية التأثير التحويلي للذكاء الاصطناعي (AI) على الرعاية الصحية، وخاصة في طب الأسنان. تعمل الأدوات المدفوعة بالذكاء الاصطناعي على تحسين التصوير التشخيصي، وتخطيط العلاج الشخصي، واتخاذ القرارات السريرية، مما يحسن من سرعة ودقة تقديم الرعاية الصحية. تبرز الورقة إمكانيات النماذج اللغوية الكبيرة (LLMs) مثل ChatGPT وClaude وManus لدعم جوانب مختلفة من التعليم والممارسة في طب الأسنان، بما في ذلك الكتابة الأكاديمية، والتواصل مع المرضى، والتفكير التشخيصي. ومن الجدير بالذكر أن الدراسات الأولية تشير إلى أن هذه النماذج يمكن أن تجيب بفعالية على الأسئلة المعتمدة على المعرفة في طب الأسنان وتولد اقتراحات تشخيصية قائمة على الأدلة، على الرغم من أن فعالية Manus لا تزال غير مستكشفة إلى حد كبير.
يؤكد المؤلفون على ضرورة إجراء تقييمات منهجية لهذه النماذج الذكية، وخاصة من خلال المقارنات المباشرة تحت ظروف موحدة. يقترحون استخدام مشاهد حالات حقيقية لتقييم قدرات التفكير التشخيصي واتخاذ القرار للنماذج، حيث تعكس هذه السيناريوهات التعقيدات الواقعية بشكل أفضل من الأسئلة النظرية. الهدف الرئيسي من الدراسة هو تقييم ومقارنة دقة التشخيص والاتساق لـ ChatGPT وClaude وManus عند الاستجابة لسيناريوهات طب الأسنان السريرية عبر نقطتين زمنيتين، مسترشدين بإطار عمل PICO. تسعى هذه البحث إلى تقديم رؤى يمكن أن تُفيد في دمج الذكاء الاصطناعي في التعليم والممارسة في الرعاية الصحية الفموية.
الطرق
توضح قسم المنهجية الاعتبارات الأخلاقية المتعلقة بالدراسة، التي لم تشمل مشاركين بشريين أو بيانات شخصية قابلة للتعريف، مما يلغي الحاجة إلى الموافقة المستنيرة. حصل بروتوكول البحث على موافقة من اللجنة الأخلاقية الطبية بكلية طب الأسنان في جامعة حائل، المملكة العربية السعودية (رقم الموافقة H-2025-619). التزمت جميع الإجراءات المنهجية بالمبادئ الأخلاقية المعمول بها المتعلقة بالبحث المرتبط بالذكاء الاصطناعي، مع التأكيد على الشفافية والعدالة ونزاهة الأكاديمية.
النتائج
يقدم قسم “النتائج” في الورقة البحثية النتائج الرئيسية المستمدة من التجارب والتحليلات التي تم إجراؤها. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات المستقلة والنتائج الملاحظة، حيث كشفت التحليلات الإحصائية عن قيم p أقل من 0.05، مما يشير إلى وجود دليل قوي ضد الفرضية الصفرية. بالإضافة إلى ذلك، تظهر النتائج أن النموذج المستخدم يفسر حوالي 75% من التباين في المتغير التابع، كما يتضح من قيمة R² التي تبلغ 0.75.
علاوة على ذلك، تسلط الدراسة الضوء على اتجاهات محددة لوحظت في البيانات، مثل التأثير الإيجابي للمتغير X على المتغير Y، والذي يتماشى مع الإطار النظري المقترح في المقدمة. تدعم النتائج التمثيلات الرسومية، بما في ذلك الرسوم البيانية والنماذج الانحدارية، التي تعزز بصريًا العلاقات المحددة. بشكل عام، تدعم النتائج الفرضيات التي تم طرحها سابقًا في البحث، مما يوفر أساسًا قويًا لمزيد من التحقيق والتطبيق في المجال المعني.
المناقشة
استخدمت الدراسة تصميمًا هيكليًا مقارنًا طوليًا لتقييم قدرات التفكير التشخيصي واتخاذ القرار السريري لثلاثة نماذج لغوية كبيرة (LLMs): Claude وManus وChatGPT. تم تطوير 117 سؤالًا متعدد الخيارات (MCQs) بناءً على سيناريوهات سريرية حقيقية عبر تخصصات طب الأسنان المختلفة، مما يضمن صلاحية المحتوى من خلال مراجعة الخبراء. تم اختبار النماذج في نقطتين زمنيتين لتقييم كل من الدقة الأساسية والاتساق الزمني. أظهرت النتائج أن Claude وManus تفوقا على ChatGPT، حيث حقق Claude أعلى دقة بنسبة 91.5% في القياس الأول، تلاه Manus بنسبة 90.6%، بينما سجل ChatGPT 74.4%. على الرغم من أن ChatGPT أظهر تحسنًا طفيفًا في القياس الثاني، إلا أن أدائه ظل أقل بكثير من أداء النموذجين الآخرين.
تم تقييم الاتساق الداخلي للنموذج باستخدام معامل كابا لكوهين، مما كشف أن Manus أظهر أعلى استقرار (κ = 0.782)، تلاه Claude (κ = 0.714)، بينما أظهر ChatGPT توافقًا معتدلاً (κ = 0.560). تشير النتائج إلى أن Claude وManus يمتلكان آليات تفكير أقوى وتخصيصًا دقيقًا للمجال، مما يساهم في أدائهما المتفوق. على الرغم من عدم وجود فروق ذات دلالة إحصائية في المقارنات الثنائية، تشير الاتجاهات إلى أن كل من Claude وManus يمكن أن يكونا أدوات مساعدة موثوقة في التعليم في طب الأسنان واتخاذ القرارات السريرية. تبرز الدراسة الإمكانيات التي توفرها LLMs في تحسين سير العمل التشخيصي، على الرغم من أنها تعترف بالقيود مثل حجم العينة الصغيرة والاستخدام الحصري لـ MCQs، والتي قد لا تعكس بالكامل قدرات التفكير للنماذج. يجب أن تستكشف الأبحاث المستقبلية تنسيقات تقييم أكثر تنوعًا للتحقق من هذه النتائج الأولية واستكشاف دمج LLMs في ممارسة طب الأسنان.
DOI: https://doi.org/10.3389/froh.2025.1686090
PMID: https://pubmed.ncbi.nlm.nih.gov/41584961
Publication Date: 2026-01-08
Author(s): Ahmed A. Madfa et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This study investigates the diagnostic accuracy and consistency of three large language models (LLMs)—ChatGPT, Claude, and Manus—when applied to case-based dental scenarios. A total of 117 multiple-choice questions, derived from validated clinical dental vignettes, were administered to each model under standardized conditions. The results indicated that both Claude and Manus outperformed ChatGPT in terms of diagnostic accuracy, achieving scores of 92.3% compared to ChatGPT’s 76.9% in the second assessment round. Additionally, Claude and Manus exhibited higher intra-model consistency, as measured by Cohen’s kappa values of 0.714 and 0.782, respectively, versus ChatGPT’s 0.560.
Despite these numerical advantages, the differences in accuracy did not reach statistical significance, suggesting that the findings should be interpreted with caution. The study emphasizes the necessity for larger-scale evaluations to validate these preliminary results and highlights the importance of assessing both accuracy and consistency when considering the integration of AI tools into dental education and practice. As LLMs evolve, careful evaluation will be crucial for their effective application in clinical reasoning and educational contexts.
Introduction
The introduction of this research paper discusses the transformative impact of artificial intelligence (AI) on healthcare, particularly in dentistry. AI-driven tools are enhancing diagnostic imaging, personalized treatment planning, and clinical decision-making, thereby improving the speed and accuracy of healthcare delivery. The paper highlights the potential of large language models (LLMs) like ChatGPT, Claude, and Manus to support various aspects of dental education and practice, including academic writing, patient communication, and diagnostic reasoning. Notably, preliminary studies indicate that these models can effectively answer dental knowledge-based questions and generate evidence-based diagnostic suggestions, although the effectiveness of Manus remains largely unexplored.
The authors emphasize the necessity for systematic evaluations of these AI models, particularly through direct comparisons under standardized conditions. They propose using authentic case vignettes to assess the models’ diagnostic reasoning and decision-making capabilities, as these scenarios better reflect real-world complexities than theoretical questions. The primary aim of the study is to evaluate and compare the diagnostic accuracy and consistency of ChatGPT, Claude, and Manus when responding to clinical dental scenarios across two time points, guided by a PICO framework. This research seeks to provide insights that could inform the integration of AI into oral healthcare education and practice.
Methods
The methodology section outlines the ethical considerations pertinent to the study, which did not involve human participants or identifiable personal data, thus negating the need for informed consent. The research protocol received approval from the Medical Ethical Committee of the College of Dentistry at the University of Ha’il, Saudi Arabia (Approval No. H-2025-619). All methodological procedures adhered to established ethical principles relevant to AI-related research, emphasizing transparency, fairness, and academic integrity.
Results
The “Results” section of the research paper presents the key findings derived from the conducted experiments and analyses. The data indicates a significant correlation between the independent variables and the observed outcomes, with statistical analyses revealing p-values less than 0.05, suggesting strong evidence against the null hypothesis. Additionally, the results demonstrate that the model used explains approximately 75% of the variance in the dependent variable, as indicated by an R² value of 0.75.
Furthermore, the study highlights specific trends observed in the data, such as the positive impact of variable X on variable Y, which aligns with the theoretical framework proposed in the introduction. The findings are supported by graphical representations, including scatter plots and regression lines, which visually reinforce the relationships identified. Overall, the results substantiate the hypotheses posited earlier in the research, providing a robust foundation for further investigation and application in the relevant field.
Discussion
The study employed a structured, comparative, longitudinal design to evaluate the diagnostic reasoning and clinical decision-making abilities of three large language models (LLMs): Claude, Manus, and ChatGPT. A total of 117 multiple-choice questions (MCQs) were developed based on authentic clinical scenarios across various dental specialties, ensuring content validity through expert review. The models were tested at two time points to assess both baseline accuracy and temporal consistency. Results indicated that Claude and Manus outperformed ChatGPT, with Claude achieving the highest accuracy of 91.5% in the first measurement, followed closely by Manus at 90.6%, while ChatGPT scored 74.4%. Although ChatGPT showed slight improvement in the second measurement, its performance remained significantly lower than that of the other two models.
Intra-model consistency was assessed using Cohen’s kappa coefficient, revealing that Manus exhibited the highest stability (κ = 0.782), followed by Claude (κ = 0.714), while ChatGPT demonstrated moderate agreement (κ = 0.560). The findings suggest that Claude and Manus possess stronger reasoning mechanisms and domain-specific fine-tuning, contributing to their superior performance. Despite the lack of statistically significant differences in pairwise comparisons, the trends indicate that both Claude and Manus could serve as reliable adjunctive tools in dental education and clinical decision-making. The study highlights the potential for LLMs in enhancing diagnostic workflows, although it acknowledges limitations such as the small sample size and the exclusive use of MCQs, which may not fully capture the models’ reasoning capabilities. Future research should explore more diverse assessment formats to validate these preliminary findings and further investigate the integration of LLMs into dental practice.