DOI: https://doi.org/10.1038/s41598-026-41533-z
PMID: https://pubmed.ncbi.nlm.nih.gov/41760843
تاريخ النشر: 2026-02-27
المؤلف: Valentina Alvarez Silberberg وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تقييمت هذه الدراسة فعالية أربعة نماذج دردشة قائمة على نماذج اللغة الكبيرة – ChatGPT-4.0 وChatGPT o1-preview وGemini وMeta AI – كنظم دعم القرار لتفسير الأوصاف الهيستوباثولوجية للآفات الفموية. تم مقارنة مخرجات هذه النماذج مع تشخيص إجماعي من طبيبين معتمدين من المجلس، مصنفين كـ مختلف، مشابه، أو صحيح. تم استخدام طرق إحصائية، بما في ذلك اختبار فريدمان وκ لكوهين، لتقييم أداء النموذج والاتفاق. أظهرت النتائج أن ChatGPT o1-preview حقق أعلى توافق مع التشخيص المرجعي بنسبة 68.6%، تلاه Meta AI (65.7%)، ChatGPT-4.0 (59.8%)، وGemini (27.5%). من الجدير بالذكر أن ChatGPT o1-preview وMeta AI أظهرا اتفاقًا كبيرًا مع الأطباء (κ = 0.66 وκ = 0.63، على التوالي)، بينما أظهر Gemini اتفاقًا ضعيفًا (κ = 0.24).
تسلط النتائج الضوء على إمكانية استخدام نماذج اللغة الكبيرة كأدوات مساعدة في التشخيص الهيستوباثولوجي، على الرغم من أن أدائها العام غير كافٍ للاستخدام السريري المستقل. تم ملاحظة تباين بين النماذج وانخفاض في الأداء مع زيادة عمر المريض، مما يبرز ضرورة التنفيذ الحذر لتقنيات الذكاء الاصطناعي في البيئات السريرية. تؤكد الدراسة على أهمية الحفاظ على إشراف بشري والتحقق من صحة هذه الأنظمة قبل اعتمادها على نطاق أوسع في علم الأمراض الفموية والوجهية.
مقدمة
تسلط المقدمة الضوء على الدور المتزايد للذكاء الاصطناعي (AI)، وخاصة نماذج اللغة الكبيرة (LLMs) مثل ChatGPT وGemini وMeta AI، في تعزيز الرعاية الصحية، خاصة في التعليم الصحي الفموي ودعم القرار السريري. تستفيد هذه الأدوات الذكية، التي غالبًا ما تكون متاحة مجانًا، من تقنيات التعلم الآلي المتقدمة والتعلم العميق لتحليل مجموعات بيانات واسعة، مما يظهر تطبيقات محتملة في طب الأسنان مثل اكتشاف التسوس وتفسير الأشعة. ومع ذلك، بينما تم دراسة بعض نماذج اللغة الكبيرة، مثل ChatGPT، بشكل مكثف، تفتقر أخرى إلى تقييم كافٍ في سياقات الرعاية الصحية، مما يستلزم تقييمًا شاملاً لمختلف المنصات لفهم قابليتها للتطبيق السريري في العالم الحقيقي، خاصة في تحليل الآفات الفموية.
على الرغم من وعدها، تواجه نماذج اللغة الكبيرة تحديات كبيرة، بما في ذلك قضايا الشفافية والموثوقية والثقة والتحيز وخصوصية البيانات، مما يعيق قبولها في بيئات الرعاية الصحية. في مجال علم الأمراض الفموية، لدى الذكاء الاصطناعي القدرة على تعزيز دقة التشخيص ودعم تفسير الميزات الهيستوباثولوجية الحرجة. ومع ذلك، لا يزال تباين التشخيص مصدر قلق بسبب الطبيعة الذاتية للتفسير الهيستولوجي، خاصة في الاضطرابات الفموية المحتملة الخبيثة. يمكن أن تخفف الأدوات المعتمدة على الذكاء الاصطناعي من هذه الذاتية من خلال تقديم دعم موحد وقابل للتكرار، على الرغم من الحاجة إلى مزيد من الأدلة لدعم فعاليتها. تشير الأبحاث الحالية إلى أن روبوتات الدردشة السنية يمكن أن تقدم معلومات دقيقة بشكل عام، ومع ذلك، فإن التقييمات الشاملة عبر نماذج اللغة الكبيرة المختلفة ضرورية لدمجها في الممارسة السريرية.
الطرق
في هذه الدراسة، تم استخدام اختبار فريدمان لتقييم اختلافات الأداء بين طرق الذكاء الاصطناعي المختلفة، المناسبة لتحليل القياسات المتكررة في البيانات المتزاوجة. بعد ذلك، تم إجراء تحليلات لاحقة باستخدام اختبار ويلكوكسون للعينات المتزاوجة، مع تطبيق تعديل بونفيروني لتخفيف خطأ النوع الأول، مع تحديد عتبة الدلالة عند 0.0083.
بالإضافة إلى ذلك، تم استخدام نموذج الانحدار اللوجستي المتعدد المستويات لاستكشاف العلاقة بين طريقة الذكاء الاصطناعي (المتغير المستقل) ودرجات الأداء (المتغير الترتيبي التابع). سهل هذا النموذج تقدير الاحتمالات الهامشية مع الأخذ في الاعتبار المقارنات المتعددة، مما يعزز من قوة النتائج.
النتائج
قيمت نتائج الدراسة أداء أنظمة الذكاء الاصطناعي المختلفة في تشخيص الآفات الفموية، مع التركيز على ChatGPT 4.0 وMeta AI وChatGPT o1-preview وGemini. كانت الدرجات الوسيطة لـ ChatGPT 4.0 وMeta AI وChatGPT o1-preview هي 3، بينما سجل Gemini درجة وسيطة قدرها 1، مما يشير إلى تفاوت كبير في الأداء. كشفت التحليلات الإحصائية باستخدام اختبار فريدمان عن قيمة p قدرها 0.0078، مما يشير إلى أن على الأقل واحدة من طرق الذكاء الاصطناعي أدت بشكل مختلف بشكل ملحوظ. أشارت المقارنات اللاحقة إلى أن درجات Gemini كانت أقل بكثير من درجات النماذج الأخرى، بينما تفوقت Meta AI على ChatGPT 4.0.
أكد الانحدار اللوجستي المتعدد المستويات هذه النتائج، حيث أظهر أن Gemini كان لديه احتمالات أقل بكثير لتحقيق تشخيصات صحيحة مقارنة بـ ChatGPT 4.0 (نسبة الاحتمالات [OR] = 0.15، p < 0.001). في المقابل، أظهرت كل من Meta AI وChatGPT o1-preview احتمالات أعلى بكثير من التشخيصات الصحيحة مقارنة بـ Gemini (OR = 15.15 وOR = 17.70، على التوالي، p < 0.001). وُجد أن العمر يؤثر بشكل كبير على دقة التشخيص لـ ChatGPT 4.0 وMeta AI، بينما أظهر Gemini أيضًا ارتباطًا كبيرًا بالعمر. ومع ذلك، لم تُلاحظ اختلافات كبيرة بناءً على الجنس عبر أي من طرق الذكاء الاصطناعي. بشكل عام، بينما أظهر ChatGPT o1-preview أفضل أداء، إلا أنه أظهر أيضًا عدم اتساق، خاصة مع التشخيصات الأكثر تعقيدًا.
المناقشة
قيمت الدراسة أداء أربعة نماذج دردشة قائمة على نماذج اللغة الكبيرة (LLM) – ChatGPT-4.0 وChatGPT o1-preview وGemini وMETA AI – كأدوات دعم القرار في تفسير الأوصاف الهيستوباثولوجية للآفات الفموية والوجهية. تشير النتائج إلى أنه بينما يمكن أن تساعد هذه الروبوتات في العمليات التشخيصية، إلا أنها ليست بديلاً عن حكم الأطباء الخبراء. أظهر ChatGPT o1-preview أعلى توافق مع تشخيصات الأطباء بنسبة 68.6%، تلاه META AI (65.7%)، ChatGPT-4.0 (59.8%)، وGemini (27.5%). يبرز التباين في الدقة الحاجة إلى تحسين نماذج الذكاء الاصطناعي قبل دمجها في الممارسة السريرية، خاصة بالنظر إلى تعقيدات الأوصاف الهيستوباثولوجية.
كما لاحظت الدراسة أن الأداء يختلف بشكل كبير بناءً على تعقيد الآفة، حيث تؤدي التشخيصات الأبسط إلى دقة أفضل. بالإضافة إلى ذلك، تم ملاحظة انخفاض معتدل في أداء الذكاء الاصطناعي مع زيادة عمر المريض، مما يشير إلى أن التعقيدات الهيستوباثولوجية المرتبطة بالعمر قد تتحدى تفسير نماذج اللغة الكبيرة. تشمل قيود الدراسة تصميمها في مركز واحد، والانحياز المحتمل في الإدماج، والاعتماد فقط على الأوصاف النصية دون سياق سريري إضافي. يؤكد المؤلفون أنه بينما تظهر نماذج اللغة الكبيرة وعدًا كأدوات مساعدة، فإن قدراتها الحالية تتطلب إشرافًا دقيقًا والتحقق من الصحة لضمان الاستخدام الآمن والفعال في البيئات السريرية.
DOI: https://doi.org/10.1038/s41598-026-41533-z
PMID: https://pubmed.ncbi.nlm.nih.gov/41760843
Publication Date: 2026-02-27
Author(s): Valentina Alvarez Silberberg et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This study assessed the efficacy of four large language model-based chatbots—ChatGPT-4.0, ChatGPT o1-preview, Gemini, and Meta AI—as decision-support systems for interpreting histopathologic descriptions of oral lesions. The outputs from these models were compared to a consensus diagnosis from two board-certified pathologists, categorized as Different, Similar, or Correct. Statistical methods, including the Friedman test and Cohen’s κ, were employed to evaluate model performance and agreement. Results indicated that ChatGPT o1-preview achieved the highest concordance with the reference diagnosis at 68.6%, followed by Meta AI (65.7%), ChatGPT-4.0 (59.8%), and Gemini (27.5%). Notably, ChatGPT o1-preview and Meta AI exhibited substantial agreement with pathologists (κ = 0.66 and κ = 0.63, respectively), while Gemini showed poor agreement (κ = 0.24).
The findings highlight the potential of LLMs as adjunctive tools in histopathological diagnosis, although their overall performance is insufficient for independent clinical use. Variability among models and a decline in performance with increasing patient age were observed, emphasizing the necessity for cautious implementation of AI technologies in clinical settings. The study underscores the importance of maintaining human oversight and further validation of these systems before broader adoption in oral and maxillofacial pathology.
Introduction
The introduction highlights the growing role of artificial intelligence (AI), particularly large language models (LLMs) like ChatGPT, Gemini, and Meta AI, in enhancing healthcare, specifically in oral health education and clinical decision support. These AI tools, which are often freely accessible, leverage advanced machine learning and deep learning techniques to analyze extensive datasets, demonstrating potential applications in dentistry such as caries detection and radiographic interpretation. However, while some LLMs, like ChatGPT, have been extensively studied, others lack sufficient evaluation in healthcare contexts, necessitating a comprehensive assessment of various platforms to understand their real-world clinical applicability, particularly in oral lesion analysis.
Despite their promise, LLMs encounter significant challenges, including issues of opacity, reliability, trust, bias, and data privacy, which hinder their acceptance in healthcare environments. In the realm of oral pathology, AI has the potential to enhance diagnostic accuracy and support the interpretation of critical histopathological features. However, diagnostic variability remains a concern due to the subjective nature of histological interpretation, especially in potentially malignant oral disorders. AI-based tools could mitigate this subjectivity by offering standardized and reproducible support, although further evidence is needed to substantiate their effectiveness. Current research indicates that dental chatbots can provide generally accurate information, yet comprehensive evaluations across different LLMs are essential for their integration into clinical practice.
Methods
In this study, a Friedman test was employed to assess performance differences among various AI methods, suitable for analyzing repeated measures in paired data. Following this, post-hoc analyses were conducted using the Wilcoxon signed-rank test for paired samples, with a Bonferroni adjustment applied to mitigate Type I error, setting the significance threshold at 0.0083.
Additionally, a multilevel ordinal logistic regression model was utilized to explore the relationship between the AI method (independent variable) and performance scores (dependent ordinal variable). This model facilitated the estimation of marginal probabilities while accounting for multiple comparisons, thereby enhancing the robustness of the findings.
Results
The results of the study evaluated the performance of various artificial intelligence (AI) systems in diagnosing oral lesions, with a focus on ChatGPT 4.0, Meta AI, ChatGPT o1-preview, and Gemini. The median scores for ChatGPT 4.0, Meta AI, and ChatGPT o1-preview were 3, while Gemini scored a median of 1, indicating significant disparities in performance. Statistical analysis using the Friedman test revealed a p-value of 0.0078, suggesting that at least one AI method performed significantly differently. Post-hoc comparisons indicated that Gemini’s scores were significantly lower than those of the other models, while Meta AI outperformed ChatGPT 4.0.
Multilevel ordinal logistic regression further confirmed these findings, showing that Gemini had significantly lower odds of achieving correct diagnoses compared to ChatGPT 4.0 (odds ratio [OR] = 0.15, p < 0.001). In contrast, both Meta AI and ChatGPT o1-preview demonstrated significantly higher odds of correct diagnoses compared to Gemini (OR = 15.15 and OR = 17.70, respectively, p < 0.001). Age was found to significantly influence diagnostic accuracy for ChatGPT 4.0 and Meta AI, while Gemini also showed a significant association with age. However, no significant differences were observed based on sex across any of the AI methods. Overall, while ChatGPT o1-preview exhibited the best performance, it also displayed inconsistencies, particularly with more complex diagnoses.
Discussion
The study assessed the performance of four large language model (LLM)-based chatbots—ChatGPT-4.0, ChatGPT o1-preview, Gemini, and META AI—as decision-support tools in interpreting histopathological descriptions of oral and maxillofacial lesions. The findings indicate that while these chatbots can assist in diagnostic processes, they are not substitutes for expert pathologist judgment. ChatGPT o1-preview exhibited the highest concordance with pathologist diagnoses at 68.6%, followed by META AI (65.7%), ChatGPT-4.0 (59.8%), and Gemini (27.5%). The variability in accuracy highlights the need for improvements in AI models before their integration into clinical practice, particularly given the complexities of histopathological descriptions.
The study also noted that performance varied significantly based on lesion complexity, with simpler diagnoses yielding better accuracy. Additionally, a moderate decrease in AI performance was observed with increasing patient age, suggesting that age-related histopathological complexities may challenge LLM interpretation. Limitations of the study include its single-center design, potential incorporation bias, and reliance solely on text-based descriptions without additional clinical context. The authors emphasize that while LLMs show promise as adjunctive tools, their current capabilities necessitate careful oversight and further validation to ensure safe and effective use in clinical settings.