DOI: https://doi.org/10.1038/s41598-026-40792-0
PMID: https://pubmed.ncbi.nlm.nih.gov/41735394
تاريخ النشر: 2026-02-25
المؤلف: Abdullah Faraj Alshammari وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تستكشف هذه الدراسة الأداء التشخيصي لثلاثة نماذج لغوية كبيرة (LLMs)—ChatGPT (GPT-4-turbo)، Grok (xAI)، وMANUS—في تفسير شرائح الهيستوباثولوجيا للآفات الفموية. باستخدام مجموعة بيانات تتكون من 100 شريحة عالية الدقة، تم مراجعتها من قبل اثنين من أطباء الأمراض الفموية المعتمدين للحصول على تشخيصات متوافقة، تم تقييم النماذج من حيث الدقة التشخيصية، والتناسق داخل النموذج، والتوافق بين النماذج، والاتفاق مع الخبراء البشريين. استخدمت التحليل طرقًا إحصائية متنوعة، بما في ذلك كابا كوهين واختبار مك نمار، لتقييم أداء النماذج.
أشارت النتائج إلى أن جميع نماذج الذكاء الاصطناعي حققت دقة تشخيصية عالية، حيث تصدرت Grok بنسبة 97%، تليها MANUS بنسبة 96% وChatGPT بنسبة 94%. أظهر ChatGPT أعلى تناسق داخل النموذج (κ = 0.918)، بينما أظهرت MANUS وGrok توافقًا كبيرًا (κ = 0.790 و0.740، على التوالي). حقق أطباء الأمراض الخبراء دقة بنسبة 98%، وكشفت المقارنات عن اتفاق معتدل إلى كبير بين نماذج الذكاء الاصطناعي والتشخيصات البشرية، مع كون MANUS الأكثر توافقًا مع تقييمات الخبراء. تم ملاحظة أخطاء التصنيف بشكل أساسي في الحالات الغامضة هيستولوجيًا، مع عدم وجود اختلافات كبيرة في الأداء بين نماذج الذكاء الاصطناعي. تؤكد النتائج على إمكانيات نماذج LLM متعددة الوسائط في تعزيز الدعم التشخيصي في علم الأمراض الرقمي، مع التأكيد على أهمية التوافق مع التفكير البشري من أجل الأهمية السريرية. يُوصى بمزيد من التحقق في مجموعات البيانات السريرية لتدعيم هذه الرؤى.
مقدمة
تسلط مقدمة ورقة البحث الضوء على التأثير التحويلي للذكاء الاصطناعي (AI) على الطب التشخيصي، لا سيما من خلال استخدام نماذج لغوية كبيرة متقدمة (LLMs) في اتخاذ القرارات الصحية والتعليم. أظهرت أدوات الذكاء الاصطناعي وعدًا كبيرًا في مجالات مثل الأشعة، وعلم الأمراض، ودعم القرار السريري، ومع ذلك لا يزال تطبيقها في تفسير البيانات البصرية المعقدة، خاصة في علم الأمراض، قيد التحقيق. في علم الأمراض الفموية والوجه والفكين، حيث يكون التفسير المجهري الدقيق أمرًا حاسمًا، تقدم أنظمة الذكاء الاصطناعي فرصًا لتعزيز التناسق والدقة والكفاءة التشخيصية.
يتطلب علم الأمراض الهيستولوجي التعرف على الأنماط البصرية المعقدة والتفسير الدقيق لعلم الأنسجة والخلايا، مما يؤدي غالبًا إلى تباين بين المراقبين بسبب الخبرة المطلوبة. يمكن أن يدعم دمج نماذج الذكاء الاصطناعي القادرة على تحليل هذه الميزات البصرية كل من الممارسات التعليمية والسريرية. يُقترح نهج هجين يجمع بين التعرف البصري والتفكير القائم على LLM لتحسين الدقة التشخيصية مع ضمان القابلية للتفسير. لقد سهلت التطورات الأخيرة في الهياكل المعتمدة على المحولات تطوير نماذج مثل ChatGPT وGrok وMANUS، والتي قد تعزز العمليات التشخيصية في هذا المجال بشكل أكبر.
الطرق
توضح قسم المنهجية النهج المنهجي المستخدم في البحث للتحقيق في الفرضيات المحددة. يتناول التصميم التجريبي، بما في ذلك اختيار المشاركين، وإجراءات جمع البيانات، والتقنيات التحليلية المستخدمة. استخدمت الدراسة إطارًا كميًا، مع استخدام طرق إحصائية لتحليل البيانات المجمعة من مصادر متنوعة.
تم اختيار المشاركين بناءً على معايير إدراج محددة، لضمان عينة تمثيلية ذات صلة بأسئلة البحث. شملت جمع البيانات أدوات وبروتوكولات موحدة لضمان الموثوقية والصلاحية. تم إجراء التحليل باستخدام برامج إحصائية مناسبة، مع تفسير النتائج في سياق أهداف البحث، مع تسليط الضوء على النتائج المهمة وآثارها على المجال.
النتائج
قيمت نتائج الدراسة الأداء التشخيصي لنماذج الذكاء الاصطناعي وأطباء الأمراض البشرية باستخدام شرائح هيستوباثولوجية موحدة. في التقييم الأولي، حققت Grok أعلى دقة بنسبة 95.0%، تليها MANUS بنسبة 94.0% وChatGPT بنسبة 93.0%. في تقييم لاحق، أظهرت جميع النماذج تحسينات، حيث وصلت Grok إلى 97.0%، وMANUS 96.0%، وChatGPT 94.0%. من الجدير بالذكر أن اثنين من أطباء الأمراض الفموية المعتمدين، الذين راجعوا الشرائح بشكل مستقل، حققوا دقة بنسبة 98%، مما يبرز أن توافق الخبراء لا يزال هو المعيار المرجعي الأكثر موثوقية على الرغم من الأداء القوي لنماذج الذكاء الاصطناعي.
كما قيمت الدراسة التناسق التشخيصي داخل النموذج عبر جولتين. أظهر ChatGPT أعلى تكرارية مع كابا كوهين بقيمة 0.918، بينما أظهرت Grok وMANUS قيم كابا تبلغ 0.740 و0.790، على التوالي. أكدت اختبارات مك نمار استقرار النتائج التشخيصية الزمنية، كاشفة عن عدم وجود تباينات ذات دلالة إحصائية بين الجولات لأي نموذج (MANUS: p = 0.500؛ ChatGPT: p = 1.000؛ Grok: p = 0.500). تسلط هذه النتائج الضوء على أهمية التناسق العالي في التنفيذ السريري، لا سيما لأنظمة دعم القرار.
المناقشة
تقيم الدراسة الأداء التشخيصي لثلاثة نماذج لغوية كبيرة (LLMs)—ChatGPT وGrok وMANUS—في تفسير شرائح الهيستوباثولوجيا الفموية، باستخدام توافق أطباء الأمراض الخبراء كمعيار مرجعي. أظهرت النماذج دقة تشخيصية عالية، حيث حققت Grok 97%، وMANUS 96%، وChatGPT 94% في الجولة الثانية من الاختبار. على الرغم من هذه النتائج المثيرة للإعجاب، لا يزال أطباء الأمراض البشرية يتفوقون على النماذج بدقة تبلغ 98%. من الجدير بالذكر أن MANUS أظهر أقوى توافق مع التشخيصات الخبراء، بينما أظهرت Grok، على الرغم من دقتها العالية، أقل توافق مع المقيمين البشريين.
تؤكد الأبحاث على إمكانيات نماذج LLM في علم الأمراض الرقمي، لا سيما في تعزيز الدقة والتناسق التشخيصي. تشير النتائج إلى أن هذه النماذج يمكن أن تدمج بشكل فعال بين التفكير البصري والنصي، وهو أمر حاسم في التشخيصات الهيستوباثولوجية. ومع ذلك، تسلط الدراسة الضوء أيضًا على القيود، بما في ذلك حجم مجموعة البيانات المحدودة وغياب الوصول إلى بيانات المرضى، مما قد يؤثر على خصوصية التشخيص. يجب أن تهدف الأبحاث المستقبلية إلى التحقق من صحة هذه النماذج مع مجموعات بيانات أكبر وأكثر تنوعًا وتحسين القابلية للتفسير لتلبية المعايير السريرية والتنظيمية. بشكل عام، تضع الدراسة أساسًا للتكامل المسؤول لنماذج LLM متعددة الوسائط في الرعاية الصحية الفموية، مع التأكيد على دورها كأدوات قيمة في سير العمل التشخيصي.
DOI: https://doi.org/10.1038/s41598-026-40792-0
PMID: https://pubmed.ncbi.nlm.nih.gov/41735394
Publication Date: 2026-02-25
Author(s): Abdullah Faraj Alshammari et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This study investigates the diagnostic performance of three large language models (LLMs)—ChatGPT (GPT-4-turbo), Grok (xAI), and MANUS—in interpreting histopathology slides of oral lesions. Utilizing a dataset of 100 high-resolution slides, which were reviewed by two board-certified oral pathologists for consensus diagnoses, the models were assessed for diagnostic accuracy, intra-model consistency, inter-model concordance, and agreement with human experts. The analysis employed various statistical methods, including Cohen’s kappa and McNemar’s test, to evaluate the models’ performance.
The results indicated that all AI models achieved high diagnostic accuracy, with Grok leading at 97%, followed by MANUS at 96% and ChatGPT at 94%. ChatGPT exhibited the highest intra-model consistency (κ = 0.918), while MANUS and Grok showed substantial agreement (κ = 0.790 and 0.740, respectively). Expert pathologists achieved an accuracy of 98%, and comparisons revealed moderate to substantial agreement between AI models and human diagnoses, with MANUS being the most aligned with expert evaluations. Misclassifications were primarily observed in histologically ambiguous cases, with no significant differences in performance among the AI models. The findings underscore the potential of multimodal LLMs in enhancing diagnostic support in digital pathology, while emphasizing the importance of alignment with human reasoning for clinical relevance. Further validation in clinical datasets is recommended to solidify these insights.
Introduction
The introduction of the research paper highlights the transformative impact of artificial intelligence (AI) on diagnostic medicine, particularly through the use of advanced large language models (LLMs) in healthcare decision-making and education. AI tools have shown significant promise in fields such as radiology, pathology, and clinical decision support, yet their application in interpreting complex visual data, especially in histopathology, is still under investigation. In oral and maxillofacial pathology, where precise microscopic interpretation is crucial, AI systems present opportunities to enhance diagnostic consistency, accuracy, and efficiency.
Histopathology requires intricate visual pattern recognition and nuanced interpretation of cellular and tissue morphology, often leading to inter-observer variability due to the expertise required. The integration of AI models capable of analyzing these visual features could support both educational and clinical practices. A hybrid approach that combines visual recognition with LLM-based reasoning is proposed to improve diagnostic accuracy while ensuring interpretability. Recent advancements in transformer-based architectures have facilitated the development of models such as ChatGPT, Grok, and MANUS, which may further enhance diagnostic processes in this domain.
Methods
The methodology section outlines the systematic approach employed in the research to investigate the specified hypotheses. It details the experimental design, including the selection of participants, data collection procedures, and analytical techniques utilized. The study employed a quantitative framework, utilizing statistical methods to analyze the data collected from various sources.
The participants were selected based on specific inclusion criteria, ensuring a representative sample relevant to the research questions. Data collection involved standardized instruments and protocols to ensure reliability and validity. The analysis was conducted using appropriate statistical software, with results interpreted in the context of the research objectives, highlighting significant findings and their implications for the field.
Results
The results of the study evaluated the diagnostic performance of AI models and human pathologists using standardized histopathological slides. In the initial assessment, Grok achieved the highest accuracy at 95.0%, followed closely by MANUS at 94.0% and ChatGPT at 93.0%. In a subsequent evaluation, all models demonstrated improvements, with Grok reaching 97.0%, MANUS 96.0%, and ChatGPT 94.0%. Notably, two board-certified oral pathologists, who independently reviewed the slides, achieved an accuracy of 98%, underscoring that expert consensus remains the most reliable reference standard despite the strong performance of AI models.
The study also assessed intra-model diagnostic consistency across the two rounds. ChatGPT exhibited the highest repeatability with a Cohen’s κ of 0.918, while Grok and MANUS showed κ values of 0.740 and 0.790, respectively. McNemar tests confirmed the temporal stability of diagnostic outputs, revealing no statistically significant variations between rounds for any model (MANUS: p = 0.500; ChatGPT: p = 1.000; Grok: p = 0.500). These findings highlight the importance of high consistency in clinical implementation, particularly for decision-support systems.
Discussion
The study evaluates the diagnostic performance of three large language models (LLMs)—ChatGPT, Grok, and MANUS—in interpreting oral histopathology slides, using expert pathologist consensus as a benchmark. The models demonstrated high diagnostic accuracy, with Grok achieving 97%, MANUS 96%, and ChatGPT 94% in the second round of testing. Despite these impressive results, human pathologists still outperformed the models with an accuracy of 98%. Notably, MANUS showed the strongest alignment with expert diagnoses, while Grok, despite its high accuracy, exhibited the lowest agreement with human evaluators.
The research underscores the potential of LLMs in digital pathology, particularly in enhancing diagnostic accuracy and consistency. The findings suggest that these models can effectively integrate visual and textual reasoning, which is crucial in histopathological diagnostics. However, the study also highlights limitations, including the restricted dataset size and lack of access to patient metadata, which could affect diagnostic specificity. Future research should aim to validate these models with larger, more diverse datasets and improve interpretability to meet clinical and regulatory standards. Overall, the study lays a foundation for the responsible integration of multimodal LLMs in oral healthcare, emphasizing their role as valuable tools in diagnostic workflows.