نموذج أساسي متعدد الوسائط لعلم الأمراض مع حوار سريري من النهاية إلى النهاية End-to-end multimodal pathology foundation model with clinical dialogue

شارك:
المجلة: Nature Medicine، المجلد: 32، العدد: 9
DOI: https://doi.org/10.1038/s41591-026-04521-4
PMID: https://pubmed.ncbi.nlm.nih.gov/42538427
تاريخ النشر: 2026-07-31
المؤلف: Eugene Vorontsov وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في اكتشاف السرطان

نظرة عامة

تقدم ورقة البحث PRISM2، وهو نموذج أساسي متعدد الوسائط على مستوى الشرائح مصمم لتعزيز علم الأمراض الحسابي من خلال الاستفادة من مجموعة بيانات ضخمة تضم 2.3 مليون صورة شريحة كاملة و14 مليون زوج من الأسئلة والأجوبة من 700,000 تقرير مرضي. على عكس النماذج السابقة التي كانت تركز بشكل أساسي على قطع الصور، يدمج PRISM2 الهيستومورفولوجيا مع التفكير التشخيصي من خلال إشراف الحوار السريري، مما يمكّنه من إنتاج تمثيلات مناسبة للاستدلال القائم على الموجهات وتضمينات قابلة للنقل لمهام مختلفة لاحقة. من الجدير بالذكر أن PRISM2 يحقق دقة متوازنة مقارنة بالمنتجات ذات الجودة السريرية لاكتشاف السرطان في أنسجة البروستاتا والثدي والعقد اللمفاوية الثديية (P < 0.05)، ويتفوق باستمرار على النماذج الأساسية السابقة في المعايير التشخيصية وبيانات العلامات الحيوية والبقاء عبر الاستكشاف الخطي (P < 0.05). تسلط الورقة الضوء على قيود النماذج الحالية، التي تعتمد غالبًا على التعلم الخاضع للإشراف الضعيف لاستنتاج مستوى الحالة باستخدام صور الشرائح الكاملة ذات الدقة العالية. يتناول PRISM2 هذه التحديات من خلال إثبات أنه يمكنه تحقيق أداء النماذج السريرية المتخصصة دون الحاجة إلى تدريب إضافي. تشير هذه التطورات إلى تحول نحو نماذج أكثر عمومية في علم الأمراض الحسابي، مما يبرز إمكانية التدريب المسبق الخاضع للإشراف اللغوي لتوفير تمثيلات قابلة للتوسع وذات صلة سريرية تتماشى مع التفكير التشخيصي البشري.

الطرق

تحدد قسم “الطرق” تقنيات التقييم المستخدمة في الدراسة. يوضح المقاييس والمعايير المحددة المستخدمة لتقييم فعالية النهج المقترح. تم تصميم إطار التقييم لضمان تحليل شامل للنتائج، مع دمج كل من التدابير الكمية والنوعية.

بالإضافة إلى ذلك، تشمل الطرق مقارنة منهجية مع المعايير الحالية للتحقق من أداء النموذج الجديد. يتم إجراء تحليلات إحصائية لتحديد دلالة النتائج، مما يضمن أن النتائج قوية وموثوقة. بشكل عام، تم هيكلة طرق التقييم لتوفير فهم شامل لقدرات النموذج وقيوده.

النتائج

في قسم النتائج، يقدم المؤلفون تقييمًا لـ PRISM2 عبر إعدادات مختلفة، مؤكدين أن جميع البيانات المستخدمة في التقييم لم تكن مدرجة في تدريب أي من PRISM2 أو Virchow2. تضمن هذه الطريقة صلاحية النتائج من خلال اختبار النماذج على بيانات غير مرئية تمامًا، وبالتالي تقييم قدراتها على التعميم. تعتبر النتائج المستخلصة من هذه التقييمات حاسمة لفهم أداء PRISM2 وموثوقيته في التطبيقات العملية.

المناقشة

تسلط قسم المناقشة في ورقة البحث الضوء على قدرات وأداء PRISM2، وهو نموذج أساسي على مستوى الشرائح مصمم لتشخيص السرطان وتوليد تقارير الأمراض. يحدد PRISM2 بشكل فعال سرطان الظهارة البولية غير الغازي ويستخدم صور الأنسجة الكبيرة المعالجة إلى تضمينات لمهام التشخيص. يستخدم النموذج نهجًا جديدًا يسمى “الاستدلال القائم على الموجهات”، مما يسمح له بالإجابة على الاستفسارات السريرية وتوليد التقارير دون تدريب محدد للمهام. تعتبر هذه القدرة مفيدة بشكل خاص لأطباء الأمراض، مما يمكّنهم من الحصول على آراء ثانية أو المساعدة في عمليات التوقيع الروتينية.

تظهر تقييمات PRISM2 أدائه المتفوق في مهام تشخيصية متنوعة، بما في ذلك اكتشاف السرطان وتوقع العلامات الحيوية، محققًا دقة ذات جودة سريرية مقارنة بالنماذج التجارية المعروفة. من الجدير بالذكر أن تضمينات PRISM2 التشخيصية تتفوق بشكل كبير على تلك الخاصة بالنماذج الأخرى، خاصة في اكتشاف السرطان الشامل ومهام تصنيف السرطان المحددة. بالإضافة إلى ذلك، تتجاوز تضمينات النموذج للبقاء تلك الخاصة بنموذج متخصص في البقاء، مما يدل على قوتها في التنبؤات التنبؤية. بشكل عام، تساهم بنية PRISM2 وتصميم تدريبه في فعاليته في توليد مخرجات ذات صلة سريرية، مما يعرض إمكانيات التدريب متعدد الوسائط على نطاق واسع في علم الأمراض الحسابي.

Journal: Nature Medicine, Volume: 32, Issue: 9
DOI: https://doi.org/10.1038/s41591-026-04521-4
PMID: https://pubmed.ncbi.nlm.nih.gov/42538427
Publication Date: 2026-07-31
Author(s): Eugene Vorontsov et al.
Primary Topic: AI in cancer detection

Overview

The research paper introduces PRISM2, a multimodal slide-level foundation model designed to enhance computational pathology by leveraging a vast dataset of 2.3 million whole-slide images and 14 million question-answer pairs from 700,000 pathology reports. Unlike previous models that primarily focused on image patches, PRISM2 integrates histomorphology with diagnostic reasoning through clinical dialogue supervision, enabling it to produce representations suitable for prompt-based inference and transferable embeddings for various downstream tasks. Notably, PRISM2 achieves balanced accuracy comparable to clinical-grade products for cancer detection in prostate, breast, and breast lymph node tissues (P < 0.05), and consistently outperforms earlier foundation models in diagnostic, biomarker, and survival benchmarks via linear probing (P < 0.05). The paper highlights the limitations of existing models, which often rely on weakly supervised learning for case-level inference using gigapixel whole-slide images. PRISM2 addresses these challenges by demonstrating that it can achieve the performance of specialized clinical models without the need for additional training. This advancement signifies a shift towards more generalist models in computational pathology, emphasizing the potential of language-supervised pretraining to provide scalable and clinically relevant representations that align with human diagnostic reasoning.

Methods

The section on “Methods” outlines the evaluation techniques employed in the study. It details the specific metrics and criteria used to assess the effectiveness of the proposed approach. The evaluation framework is designed to ensure a comprehensive analysis of the results, incorporating both quantitative and qualitative measures.

Additionally, the methods include a systematic comparison with existing benchmarks to validate the performance of the new model. Statistical analyses are performed to determine the significance of the findings, ensuring that the results are robust and reliable. Overall, the evaluation methods are structured to provide a thorough understanding of the model’s capabilities and limitations.

Results

In the Results section, the authors present an evaluation of PRISM2 across various settings, emphasizing that all data used for evaluation were not included in the training of either PRISM2 or Virchow2. This approach ensures the validity of the results by testing the models on completely unseen data, thereby assessing their generalization capabilities. The findings from these evaluations are critical for understanding the performance and robustness of PRISM2 in practical applications.

Discussion

The discussion section of the research paper highlights the capabilities and performance of PRISM2, a slide-level foundation model designed for cancer diagnosis and pathology report generation. PRISM2 effectively identifies noninvasive urothelial carcinoma and utilizes large tissue images processed into embeddings for diagnostic tasks. The model employs a novel approach termed “prompt-based inference,” allowing it to answer clinical queries and generate reports without task-specific training. This capability is particularly beneficial for pathologists, enabling them to obtain second opinions or assist in routine sign-out processes.

The evaluation of PRISM2 demonstrates its superior performance in various diagnostic tasks, including cancer detection and biomarker prediction, achieving clinical-grade accuracy comparable to established commercial models. Notably, PRISM2’s diagnostic embeddings significantly outperform those of other models, particularly in pan-cancer detection and specific cancer subtyping tasks. Additionally, the model’s survival embeddings surpass those of a dedicated survival specialist model, indicating its robustness in prognostic predictions. Overall, PRISM2’s architecture and training design contribute to its effectiveness in generating clinically relevant outputs, showcasing the potential of large-scale, multimodal training in computational pathology.