DOI: https://doi.org/10.1109/tmi.2025.3564976
PMID: https://pubmed.ncbi.nlm.nih.gov/40299734
تاريخ النشر: 2025-04-29
المؤلف: Minghao Han وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في اكتشاف السرطان
نظرة عامة
تقدم ورقة البحث نهجًا جديدًا يسمى ضبط التوجيه متعدد المقاييس والتركيز على السياق (MSCPT) يهدف إلى تعزيز تصنيف الصور الكاملة ذات الإشراف الضعيف بعدد قليل من العينات (FSWC). تتطلب طرق التعلم المتعدد الحالات التقليدية (MIL) بيانات موسومة واسعة، والتي غالبًا ما تكون نادرة، خاصة للأمراض النادرة. يتناول MSCPT هذه التحديات من خلال استخدام نماذج الرؤية واللغة المدربة مسبقًا (VLMs) لتوليد أوصاف بصرية مرضية متعددة المقاييس تُعلم ضبط التوجيه الهرمي وتجميع الحالات. تتضمن الطريقة وحدة ضبط توجيه الرسم البياني لالتقاط المعلومات السياقية الأساسية داخل WSIs ووحدة تجميع الحالات الموجهة غير المعلمية لاشتقاق ميزات على مستوى WSI. تشير النتائج التجريبية عبر خمسة مجموعات بيانات وثلاث مهام تالية إلى أن MSCPT تحقق أداءً رائدًا، مما يُظهر فعاليتها وقابليتها للتفسير مقارنةً بأساليب MIL التقليدية.
يعترف المؤلفون بوجود قيود في تباين الأداء عبر مجموعات البيانات وVLMs، ويعزون ذلك إلى الاعتماد على جودة النماذج المدربة مسبقًا. يؤكدون على إمكانيات MSCPT عند اقترانه بنماذج VLM المتقدمة الناشئة في علم الأمراض الحاسوبي. تشمل اتجاهات البحث المستقبلية تطوير نماذج لغوية كبيرة متعددة الوسائط مصممة لعلم الأمراض، ودمج الأنماط البصرية المستمدة من WSI مع البيانات الجينومية لتحسين الدقة التشخيصية، والتقدم في تقنيات التعلم الفعالة للغاية من حيث البيانات. تهدف هذه المبادرات إلى سد الفجوة بين الذكاء الاصطناعي والممارسة السريرية، مما يحسن في النهاية النتائج التشخيصية.
مقدمة
تؤكد مقدمة ورقة البحث على أهمية تطوير أطر تحليل آلية لصور الشرائح الكاملة (WSIs) في الممارسة السريرية، حيث تعتبر WSIs “المعيار الذهبي” لتشخيص السرطان وتوقعاته. نظرًا لحجمها الكبير، حوالي 40,000 × 40,000 بكسل، ظهرت طرق التعلم المتعدد الحالات (MIL) كطريقة رئيسية لتحليل WSI. ومع ذلك، غالبًا ما تعتمد أساليب MIL التقليدية على الإشراف الضعيف على مستوى الحقيبة، مما يتطلب عددًا كبيرًا من WSIs لتدريب النموذج بشكل فعال، وهو ما تعيقه مخاوف خصوصية المرضى وتحديات الحصول على شرائح الأمراض.
لمعالجة مشكلة ندرة البيانات في تصنيف WSI ذي الإشراف الضعيف بعدد قليل من العينات (FSWC)، يقترح المؤلفون طريقة جديدة تسمى ضبط التوجيه متعدد المقاييس والتركيز على السياق (MSCPT). يستفيد هذا النهج من نماذج الرؤية واللغة (VLMs) المدربة مسبقًا على أزواج الصور والنصوص الواسعة لتعزيز أداء النموذج مع عينات تدريب محدودة. يتضمن MSCPT أوصافًا بصرية مرضية متعددة المقاييس – على مستوى الأنسجة والخلايا – في عملية التصنيف، باستخدام وحدة ضبط توجيه هرمية متعددة المقاييس (MHPT) لتحسين فعالية التوجيه. بالإضافة إلى ذلك، تم تقديم وحدة ضبط توجيه الرسم البياني المعتمدة على تشابه الصورة والنص (ISGPT) للتعلم السياقي الخفيف، باستخدام الشبكات العصبية الرسومية (GNNs) لالتقاط الميزات العالمية بشكل أكثر فعالية من الأساليب التقليدية. تدعي الورقة أن MSCPT تحقق أداءً رائدًا في سيناريوهات عدد قليل من العينات مع الحفاظ على عدد قليل من المعلمات القابلة للتدريب، مما يُظهر قابليتها للتطبيق عبر VLMs المختلفة لمهام على مستوى WSI.
طرق
في هذا القسم، يوضح المؤلفون الإعدادات التجريبية المستخدمة لتقييم أداء نموذج ضبط التوجيه الشامل متعدد المقاييس (MSCPT) عبر مجموعات بيانات ومهام مختلفة. استخدمت الدراسة خمسة مجموعات بيانات من العالم الحقيقي مأخوذة من مراكز متعددة، مع التركيز على ثلاث مهام تالية لتقييم فعالية النموذج. تضمنت مجموعات البيانات TCGA-NSCLC، TCGA-RCC، UBC-OCEAN، TCGA-BRCA، وPANDA، كل منها يمثل أنواع سرطان مختلفة وتحديات تصنيف.
تتكون مجموعة بيانات TCGA-NSCLC من 1,041 صورة شريحة كاملة (WSIs) لسرطان الرئة غير صغير الخلايا، بينما تتضمن TCGA-RCC 873 WSI لسرطان الخلايا الكلوية، مصنفة إلى ثلاثة أنواع فرعية. تتكون مجموعة بيانات UBC-OCEAN من 538 WSI لسرطان المبيض، مصنفة إلى خمسة أنواع مختلفة من السرطان. لتوقع خطر تكرار سرطان الثدي، تم استخدام مجموعة بيانات TCGA-BRCA، التي تحتوي على 1,099 WSI مع درجات OncotypeDx المحسوبة لتصنيف المرضى إلى مجموعات خطر تكرار عالية ومنخفضة. أخيرًا، استخدمت مجموعة بيانات PANDA، التي تحتوي على 10,616 WSI لتصنيف سرطان البروستاتا، نظام تصنيف يعتمد على درجات الجمعية الدولية لعلم الأمراض البولية (ISUP)، والتي تم رسمها على فئات خطر وفقًا لإرشادات الجمعية الأوروبية لطب المسالك البولية. تهدف هذه المقاربة الشاملة إلى التحقق من قابلية تعميم MSCPT عبر نماذج اللغة البصرية المختلفة (VLMs) وأنواع السرطان.
نتائج
في قسم النتائج، تقيم الدراسة أداء نموذج ضبط التوجيه الشامل متعدد المقاييس (MSCPT) تحت ظروف عينات تدريب متغيرة (إعدادات 8، 4، و2-shot). تشير النتائج إلى أن MSCPT يتفوق باستمرار على النماذج الأخرى عبر جميع مجموعات البيانات، خاصة في سيناريوهات البيانات المنخفضة، مثل إعداد 2-shot. لوحظ أن تأثير اختيار العينة على أداء النموذج يتناقص مع تحسن أداء نموذج اللغة والرؤية (VLM). تظهر الأساليب الفعالة من حيث المعلمات مثل CLAM وABMIL أيضًا أداءً مستقرًا، لكن MSCPT تحقق مكاسب كبيرة على النموذج الثاني الأفضل، مع تحسينات تصل إلى 7.7% في AUC، 8.1% في F1، و8.0% في الدقة (ACC).
تظهر النتائج أيضًا أن طرق ضبط التوجيه التقليدية، خاصة تلك المصممة لصور الشرائح الكاملة (WSI)، تعاني من انخفاض ملحوظ في الأداء تحت ظروف تدريب محدودة. يُعزى هذا الانخفاض إلى اعتمادها على نموذج CLIP، الذي يفشل في التقاط المعرفة المرضية المعقدة بشكل فعال. بالمقابل، يوفر MSCPT لـ VLM معلومات بصرية شاملة ومفصلة عبر مقاييس متعددة، مما يسمح له باستخدام جميع المعلومات المتاحة حتى في الحالات التي تعاني من ندرة البيانات. بالإضافة إلى ذلك، تعزز طريقة Metaprompt الأداء من خلال التقاط المعلومات متعددة المقاييس، والتي يدمجها MSCPT بشكل فعال، مما يؤدي إلى أداء قوي عبر أحجام عينات تدريب مختلفة.
مناقشة
في قسم المناقشة من الورقة، يبرز المؤلفون قيود طرق التجميع غير المعلمية التقليدية في سيناريوهات التعلم تحت الإشراف الضعيف، خاصة في سياق الحالات المتعلقة بالأمراض في صور الشرائح الكاملة (WSIs). غالبًا ما تعالج هذه الطرق جميع الحالات بالتساوي، مما يؤدي إلى تخفيف المعلومات القيمة بواسطة بيانات غير ذات صلة. لمعالجة ذلك، تم تقديم طرق تعتمد على الانتباه مثل ABMIL وDSMIL وCLAM، والتي تعين أوزانًا متغيرة للحالات بناءً على أهميتها. بالإضافة إلى ذلك، تم الإشارة إلى التقدم في الشبكات العصبية الرسومية (GNNs) والمحولات لقدرتها على التقاط المعلومات السياقية المحلية والعالمية، على الرغم من أنها تتطلب عادةً مجموعات بيانات كبيرة للتدريب الفعال.
يقترح المؤلفون نهجًا جديدًا، وهو ضبط التوجيه متعدد المقاييس والتركيز على السياق (MSCPT)، الذي يدمج نماذج الرؤية واللغة (VLMs) مع الأوصاف المرضية التي تولدها نماذج اللغة الكبيرة (LLMs) لتعزيز الأداء في سيناريوهات التعلم بعدد قليل من العينات. يؤكدون على إمكانيات VLMs، التي تستخدم التعلم التبايني لمزامنة أزواج الصور والنصوص، لكنهم يلاحظون التحديات في الحصول على أزواج كافية من الصور والنصوص المرضية. تناقش الورقة أيضًا الاستخدام المبتكر لتقنيات ضبط التوجيه، التي أظهرت وعدًا في الصور الطبيعية ولكن تحتاج إلى التكيف مع الخصائص الفريدة لـ WSIs. تم تصميم إطار عمل MSCPT للاستفادة من المعلومات متعددة المقاييس والعلاقات السياقية، مما يحسن في النهاية تصنيف WSIs مع معالجة التحديات الحاسوبية التي تطرحها دقتها العالية.
DOI: https://doi.org/10.1109/tmi.2025.3564976
PMID: https://pubmed.ncbi.nlm.nih.gov/40299734
Publication Date: 2025-04-29
Author(s): Minghao Han et al.
Primary Topic: AI in cancer detection
Overview
The research paper introduces a novel approach called Multi-Scale and Context-focused Prompt Tuning (MSCPT) aimed at enhancing Few-shot Weakly Supervised Whole Slide Image Classification (FSWC). Traditional Multiple Instance Learning (MIL) methods require extensive labeled data, which is often scarce, particularly for rare diseases. MSCPT addresses this challenge by utilizing pre-trained Vision-Language Models (VLMs) to generate multi-scale pathological visual descriptions that inform hierarchical prompt tuning and instance aggregation. The method incorporates a graph prompt tuning module to capture essential contextual information within WSIs and a non-parametric cross-guided instance aggregation module to derive WSI-level features. Experimental results across five datasets and three downstream tasks indicate that MSCPT achieves state-of-the-art performance, demonstrating its effectiveness and interpretability compared to conventional MIL approaches.
The authors acknowledge limitations in performance variability across datasets and VLMs, attributing this to the dependency on the quality of pre-trained models. They emphasize the potential of MSCPT when paired with advanced VLMs emerging in computational pathology. Future research directions include the development of multimodal large language models tailored for pathology, integration of WSI-derived visual patterns with genomic data for enhanced diagnostic precision, and advancements in ultra-data-efficient learning techniques. These initiatives aim to bridge the gap between artificial intelligence and clinical practice, ultimately improving diagnostic outcomes.
Introduction
The introduction of the research paper emphasizes the importance of developing automated analysis frameworks for Whole Slide Images (WSIs) in clinical practice, as WSIs are considered the “gold standard” for cancer diagnosis and prognosis. Due to their large size, approximately 40,000 × 40,000 pixels, Multiple Instance Learning (MIL) has emerged as the primary method for WSI analysis. However, traditional MIL approaches often rely on weak supervision at the bag level, necessitating a substantial number of WSIs for effective model training, which is hindered by patient privacy concerns and the challenges of obtaining pathology slides.
To address the data scarcity issue in Few-shot Weakly Supervised WSI Classification (FSWC), the authors propose a novel method called Multi-Scale and Context-focused Prompt Tuning (MSCPT). This approach leverages Vision-Language Models (VLMs) pre-trained on extensive image-text pairs to enhance model performance with limited training samples. MSCPT incorporates multi-scale pathological visual descriptions—at both tissue and cellular levels—into the classification process, utilizing a Multi-scale Hierarchical Prompt Tuning (MHPT) module to optimize prompt effectiveness. Additionally, the Image-text Similarity-based Graph Prompt Tuning (ISGPT) module is introduced for lightweight contextual learning, employing Graph Neural Networks (GNNs) to capture global features more effectively than traditional methods. The paper claims that MSCPT achieves state-of-the-art performance in few-shot scenarios while maintaining a minimal number of trainable parameters, thereby demonstrating its applicability across various VLMs for WSI-level tasks.
Methods
In this section, the authors detail the experimental settings employed to evaluate the performance of the Multi-Scale Contrastive Pre-Training (MSCPT) model across various datasets and tasks. The study utilized five real-world datasets sourced from multiple centers, focusing on three downstream tasks to assess the model’s efficacy. Specifically, the datasets included TCGA-NSCLC, TCGA-RCC, UBC-OCEAN, TCGA-BRCA, and PANDA, each representing different cancer types and classification challenges.
The TCGA-NSCLC dataset comprises 1,041 whole slide images (WSIs) of non-small cell lung cancer, while TCGA-RCC includes 873 WSIs of renal cell carcinoma, categorized into three subtypes. The UBC-OCEAN dataset consists of 538 ovarian cancer WSIs, classified into five distinct carcinoma types. For predicting breast cancer recurrence risk, the TCGA-BRCA dataset was utilized, containing 1,099 WSIs with calculated OncotypeDx scores to classify patients into high and low recurrence risk groups. Lastly, the PANDA dataset, featuring 10,616 WSIs for prostate cancer grading, employed a classification system based on International Society of Urological Pathology (ISUP) grades, which were mapped to risk categories according to European Association of Urology guidelines. This comprehensive approach aims to validate the generalizability of MSCPT across different visual language models (VLMs) and cancer types.
Results
In the section on results, the study evaluates the performance of the Multi-Scale Comprehensive Prompt Tuning (MSCPT) model under varying training sample conditions (8-, 4-, and 2-shot settings). The findings indicate that MSCPT consistently outperforms other models across all datasets, particularly in low-data scenarios, such as the 2-shot setting. The influence of sample selection on model performance is noted to decrease as the performance of the Vision Language Model (VLM) improves. Parameter-efficient methods like CLAM and ABMIL also show stable performance, but MSCPT achieves significant gains over the second-best model, with improvements of up to 7.7% in AUC, 8.1% in F1, and 8.0% in accuracy (ACC).
The results further reveal that traditional prompt-tuning methods, particularly those designed for Whole Slide Images (WSI), experience a marked decline in performance under limited training conditions. This drop is attributed to their reliance on the CLIP model, which fails to capture complex pathological knowledge effectively. In contrast, MSCPT provides the VLM with comprehensive and detailed visual priors across multiple scales, allowing it to utilize all available information even in data-scarce situations. Additionally, the Metaprompt method enhances performance by capturing multi-scale information, which MSCPT effectively integrates, resulting in robust performance across various training sample sizes.
Discussion
In the discussion section of the paper, the authors highlight the limitations of traditional non-parametric aggregation methods in weakly supervised learning scenarios, particularly in the context of disease-related instances in Whole Slide Images (WSIs). These methods often treat all instances equally, leading to the dilution of valuable information by irrelevant data. To address this, attention-based methods such as ABMIL, DSMIL, and CLAM have been introduced, which assign varying weights to instances based on their relevance. Additionally, advancements in Graph Neural Networks (GNNs) and Transformers have been noted for their ability to capture both local and global contextual information, although they typically require large datasets for effective training.
The authors propose a novel approach, Multi-Scale and Context-focused Prompt Tuning (MSCPT), which integrates Vision-Language Models (VLMs) with pathological descriptions generated by Large Language Models (LLMs) to enhance performance in few-shot learning scenarios. They emphasize the potential of VLMs, which utilize contrastive learning to align image-text pairs, but note the challenges in obtaining sufficient pathological image-text pairs. The paper also discusses the innovative use of prompt tuning techniques, which have shown promise in natural images but need adaptation for the unique characteristics of WSIs. The MSCPT framework is designed to leverage multi-scale information and contextual relationships, ultimately improving the classification of WSIs while addressing the computational challenges posed by their high resolution.