DOI: https://doi.org/10.1038/s41598-025-34773-y
PMID: https://pubmed.ncbi.nlm.nih.gov/41486195
تاريخ النشر: 2026-01-04
المؤلف: Katibe Tuğçe Temur وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تستقصي هذه الدراسة القدرات التشخيصية لنماذج ChatGPT المختلفة (GPT-3.5، GPT-4o، GPT-4o Mini، وGPT-4) في تفسير الحالات المعقدة من الأمراض الفموية والوجهية، مقارنة أدائها بأداء أطباء الأسنان ذوي الخبرة. باستخدام مجموعة من 50 استفسارًا سريريًا، إشعاعيًا، ونسجيًا، تقيم البحث دقة هذه النماذج مقابل التشخيصات المعتمدة من قبل اثنين من المحترفين في طب الأسنان. أظهرت التحليلات الإحصائية أن ChatGPT-4o حقق أعلى دقة بنسبة 70%، تلاه ChatGPT-4 بنسبة 66%، بينما كانت النماذج الأخرى أقل فعالية. بالمقابل، حقق أطباء الأسنان دقة تشخيصية بنسبة 72%، مع أعلى توافق ملحوظ بين النماذج كان بين ChatGPT-3.5 وChatGPT-4o Mini (κ=0.760).
تشير النتائج إلى أنه بينما تظهر الإصدارات المتقدمة من ChatGPT وعدًا في مساعدة اكتشاف الآفات الفموية، إلا أنها لا تزال أقل من الدقة التشخيصية التي يظهرها الخبراء البشريون. تؤكد الدراسة على ضرورة دمج الخبرة البشرية مع قدرات LLM لتعزيز الدقة التشخيصية وتحسين نتائج المرضى. تشمل اتجاهات البحث المستقبلية تحسين خوارزميات LLM واستكشاف تطبيقاتها العملية في البيئات السريرية لتعظيم فوائدها المحتملة في طب الأسنان.
مقدمة
تناقش مقدمة ورقة البحث ظهور Chat Generative Pre-training Transformer (ChatGPT)، وهو نموذج لغوي كبير (LLM) تم تطويره بواسطة OpenAI، والذي اكتسب زخمًا في مجالات مختلفة، بما في ذلك طب الأسنان. بفضل قدراته في التعلم العميق ومليارات المعلمات، يمكن لـ ChatGPT توليد استجابات تشبه البشر، مما يجعله أداة قيمة لتطبيقات مثل التواصل مع المرضى، جدولة المواعيد، والدعم بعد الجراحة. بينما النسخة المجانية (ChatGPT-3.5) متاحة، تتطلب النسخة الأكثر تقدمًا GPT-4.0 اشتراكًا. إن دمج ChatGPT في ممارسة طب الأسنان لديه القدرة على تعزيز تعليم المرضى ومشاركتهم، من خلال تقديم معلومات موحدة حول الإجراءات والعلاجات السنية، مما يحسن تجربة المرضى بشكل عام.
ومع ذلك، تسلط الورقة الضوء على القيود الكبيرة والاعتبارات الأخلاقية المحيطة باستخدام LLMs في البيئات السريرية. على الرغم من أن ChatGPT يمكن أن يساعد في التشخيص واتخاذ القرار، إلا أنه لا ينبغي أن يحل محل الحكم البشري، ويجب التحقق من دقته باستمرار لضمان سلامة المرضى. تهدف الدراسة إلى مقارنة الأداء التشخيصي لنماذج ChatGPT المختلفة مقابل المتخصصين في طب الأسنان في تحديد الأمراض الفموية والوجهية المعقدة باستخدام مجموعة بيانات موحدة. من خلال تقييم الدقة التشخيصية وأنماط الأخطاء، تسعى البحث إلى توضيح الفائدة السريرية لـ LLMs كأدوات داعمة في تشخيص الفم والوجه، مع معالجة المخاطر والتحيزات المرتبطة باستخدامها.
النتائج
في قسم النتائج، تم تقييم التقييمات التي أجراها اثنان من أخصائيي الأشعة الفموية والوجهية المستقلين كميًا باستخدام إحصائية كابا لكوهين لتحديد مستوى الاتفاق بين تقييماتهم. كشفت التحليلات عن توافق عالٍ بين المراقبين، مع قيمة كابا κ = 0.85، مما يدل على اتساق قوي في التقييمات التي أجراها الأخصائيان. بالإضافة إلى ذلك، تم تقييم التوافق داخل المراقب، على الرغم من عدم تقديم قيم محددة لهذه القياسات في الاقتباس. بشكل عام، تشير هذه النتائج إلى موثوقية قوية في التقييمات التشخيصية للأشعة.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على الأداء التشخيصي المقارن لنماذج ChatGPT المختلفة (GPT-3.5، GPT-4o Mini، GPT-4o، وGPT-4) مقابل أطباء الأسنان ذوي الخبرة في سياق علم الأمراض الفموية والوجهية المعقدة. وجدت الدراسة أنه بينما حقق النموذج الأفضل أداءً، ChatGPT-4o، دقة تشخيصية بنسبة 70%، إلا أنه لا يزال أقل من دقة 72% التي أظهرها الأطباء البشريون. يبرز هذا القيود التي تواجه نماذج اللغة الكبيرة (LLMs) في تقليد الحكم السريري الدقيق للمهنيين ذوي الخبرة. تشير النتائج أيضًا إلى أن نهجًا مشتركًا يستخدم مدخلات من كل من طبيب الأسنان والذكاء الاصطناعي يمكن أن يعزز الدقة التشخيصية، حيث تحقق دقة ملحوظة بنسبة 92% عندما قدم إما طبيب الأسنان أو الذكاء الاصطناعي التشخيص الصحيح.
على الرغم من النتائج الواعدة، تؤكد الدراسة على المخاطر الكامنة المرتبطة باستخدام LLMs في البيئات السريرية، وخاصة ظاهرة “الهلاوس”، حيث تولد النماذج مخرجات معقولة ولكن غير صحيحة من الناحية الواقعية. تتفاقم هذه المخاطر في السيناريوهات التشخيصية المعقدة حيث تكون التفاصيل السريرية الدقيقة حاسمة. يدعو المؤلفون إلى إشراف الأطباء والتحقق المنظم عند دمج أدوات الذكاء الاصطناعي في العمليات التشخيصية. علاوة على ذلك، تعترف الدراسة بالقيود، بما في ذلك حجم العينة الصغير نسبيًا وتنوع طرق الإدخال عبر النماذج، مما قد يؤثر على قابلية تعميم وموثوقية النتائج. بشكل عام، بينما تظهر LLMs مثل ChatGPT إمكانيات كأدوات تشخيصية داعمة، ينبغي ألا تحل محل خبرة وتفكير الأطباء البشريين النقدي.
DOI: https://doi.org/10.1038/s41598-025-34773-y
PMID: https://pubmed.ncbi.nlm.nih.gov/41486195
Publication Date: 2026-01-04
Author(s): Katibe Tuğçe Temur et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This study investigates the diagnostic capabilities of various ChatGPT models (GPT-3.5, GPT-4o, GPT-4o Mini, and GPT-4) in interpreting complex cases of oral and maxillofacial diseases, comparing their performance to that of experienced dentists. Utilizing a set of 50 clinical, radiographic, and histopathological queries, the research assesses the accuracy of these models against established diagnoses from two seasoned dental professionals. Statistical analysis revealed that ChatGPT-4o achieved the highest accuracy at 70%, followed by ChatGPT-4 at 66%, while the other models performed less effectively. In contrast, the dentists achieved a diagnostic accuracy of 72%, with the highest agreement noted among the models being between ChatGPT-3.5 and ChatGPT-4o Mini (κ=0.760).
The findings indicate that while advanced ChatGPT versions show promise in aiding the detection of oral lesions, they still fall short of the diagnostic precision exhibited by human experts. The study emphasizes the necessity of integrating human expertise with LLM capabilities to enhance diagnostic accuracy and improve patient outcomes. Future research directions include refining LLM algorithms and exploring their practical application within clinical settings to maximize their potential benefits in dentistry.
Introduction
The introduction of the research paper discusses the emergence of Chat Generative Pre-training Transformer (ChatGPT), a large language model (LLM) developed by OpenAI, which has gained traction in various fields, including dentistry. With its deep learning capabilities and billions of parameters, ChatGPT can generate human-like responses, making it a valuable tool for applications such as patient communication, appointment scheduling, and postoperative support. While the free version (ChatGPT-3.5) is accessible, the more advanced GPT-4.0 requires a subscription. The integration of ChatGPT into dental practice has the potential to enhance patient education and engagement, providing standardized information about dental procedures and treatment options, thus improving the overall patient experience.
However, the paper highlights significant limitations and ethical considerations surrounding the use of LLMs in clinical settings. Although ChatGPT can assist in diagnosis and decision-making, it should not replace human judgment, and its accuracy must be continuously validated to ensure patient safety. The study aims to compare the diagnostic performance of different ChatGPT models against dental specialists in identifying complex oral and maxillofacial diseases using a standardized dataset. By evaluating diagnostic accuracy and error patterns, the research seeks to elucidate the clinical utility of LLMs as supportive tools in oral and maxillofacial diagnosis, while also addressing the risks and biases associated with their use.
Results
In the Results section, the evaluations conducted by two independent oral and maxillofacial radiologists were quantitatively assessed using Cohen’s Kappa statistic to determine the level of agreement between their assessments. The analysis revealed a high inter-observer agreement, with a Kappa value of κ = 0.85, indicating a strong consistency in the evaluations made by the two radiologists. Additionally, the intra-observer agreement was also assessed, although specific values for this measure were not provided in the excerpt. Overall, these findings suggest a robust reliability in the radiologists’ diagnostic evaluations.
Discussion
The discussion section of the research paper highlights the comparative diagnostic performance of various ChatGPT models (GPT-3.5, GPT-4o Mini, GPT-4o, and GPT-4) against experienced dentists in the context of complex oral and maxillofacial pathology. The study found that while the best-performing model, ChatGPT-4o, achieved a diagnostic accuracy of 70%, it still fell short of the 72% accuracy demonstrated by human clinicians. This underscores the limitations of large language models (LLMs) in replicating the nuanced clinical judgment of experienced professionals. The findings also indicate that a combined approach utilizing both dentist and AI inputs can enhance diagnostic accuracy, achieving a notable 92% when either the dentist or the AI provided the correct diagnosis.
Despite the promising results, the study emphasizes the inherent risks associated with the use of LLMs in clinical settings, particularly the phenomenon of “hallucination,” where models generate plausible but factually incorrect outputs. This risk is exacerbated in complex diagnostic scenarios where subtle clinical details are crucial. The authors advocate for clinician oversight and structured validation when integrating AI tools into diagnostic processes. Furthermore, the study acknowledges limitations, including a relatively small sample size and variability in input modalities across models, which may affect the generalizability and reliability of the findings. Overall, while LLMs like ChatGPT show potential as supportive diagnostic tools, they should not replace the expertise and critical reasoning of human clinicians.