DOI: https://doi.org/10.1038/s41746-025-02020-3
PMID: https://pubmed.ncbi.nlm.nih.gov/41238784
تاريخ النشر: 2025-11-14
المؤلف: Tinglin Huang وآخرون
الموضوع الرئيسي: علم النسخ الجيني أحادي الخلية والمكاني
نظرة عامة
يقدم هذا القسم STPath، وهو نموذج أساسي توليدي جديد مصمم لتعزيز النسخ الجزيئي المكاني (ST) من خلال التنبؤ بأنماط التعبير الجيني مباشرة من صور الشرائح الكاملة (WSIs). تواجه طرق ST الحالية قيودًا بسبب تغطية الجينات الضيقة، والتدريب المحدد للأعضاء، والحاجة إلى ضبط دقيق خاص بمجموعات البيانات، مما يحد من قابليتها للتوسع وتطبيقها. يتناول STPath هذه التحديات من خلال الاستفادة من مجموعة بيانات كبيرة تضم 983 شريحة، و38,984 جينًا، و17 عضوًا، مما يسمح له بالتعميم عبر سياقات بيولوجية متنوعة دون الحاجة إلى تكييفات متكررة.
يستخدم STPath بنية Transformer مدركة للهندسة تدمج الصور النسيجية، وبيانات التعبير الجيني، وأنواع الأعضاء، وأنماط التسلسل. يتم تدريبه باستخدام نهج توقع التعبير الجيني المقنع، الذي يلتقط الاعتماديات بين الجينات من خلال جداول ضوضاء مصممة خصيصًا. تم تقييم أداء النموذج عبر ست مهام تشمل 23 مجموعة بيانات و14 علامة حيوية، مما يظهر إمكاناته القوية للتطبيقات القابلة للتوسع في علم الأمراض الحاسوبي. من خلال توفير تمثيل موحد للتعبير الجيني المكاني، يحقق STPath تقدمًا كبيرًا في دمج ST مع علم الأمراض السريري، مما يسهل اكتشاف العلامات الحيوية ويعزز فهمنا لبيئة الورم الدقيقة.
الطرق
تهدف منهجية STPath إلى استنتاج النسخ الجزيئي المكاني (ST) من صور الشرائح الكاملة (WSIs) من خلال تقسيم WSIs الملونة بـ H&E إلى بقع منفصلة تتميز بإحداثياتها، ومستويات التعبير الجيني، وبيانات الصورة. يتم تمثيل كل بقعة كرمز، مما يدمج الميزات البصرية المستخرجة باستخدام نموذج Gigapath، ومفردات مصممة من رموز الجينات، ومعلومات ميتا تتعلق بتقنية التسلسل ونوع العضو. يتم ترميز الميزات البصرية من خلال مشفر على مستوى البقع، بينما يتم تحويل التعبيرات الجينية إلى متجهات متعددة الساخن وتجميعها في تمثيل باستخدام مصفوفة تحويل قابلة للتعلم. يتم تضمين معلومات الميتا بشكل مشابه، ويتم معالجة التمثيلات المجمعة من خلال بنية Transformer مدركة للهندسة تتضمن آلية انتباه ذاتي غير متغيرة E(2) لأخذ الترتيبات المكانية للبقع في الاعتبار.
يستخدم النموذج نموذج تدريب توليدي مسبق، حيث يتم إخفاء جزء من التعبيرات الجينية، والهدف هو استعادة هذه القيم المخفية باستخدام دالة خسارة متوسط مربع الخطأ. يتضمن التدريب جدول أخذ عينات للشرائح لتحقيق توازن في مقاييس WSIs، وجدول أهداف الجينات يركز على الجينات ذات التباين العالي، وجدول ضوضاء مقنع لتحسين الاعتماديات بين الجينات. تم تصميم استراتيجية الإخفاء لضمان أنه بينما يتم إخفاء معظم التعبيرات الجينية، تبقى معلومات كافية لتسهيل التعلم الفعال. بالإضافة إلى ذلك، فإن النموذج قوي أمام نقص معلومات تقنية التسلسل من خلال استخدام تضمينات حشو قابلة للتعلم. بشكل عام، يظهر STPath نهجًا شاملاً لدمج البيانات المكانية والجزيئية لتحليل معزز لعينات الأنسجة.
النتائج
في هذا القسم، يتم تقديم نتائج الدراسة حول النموذج الأساسي لعلم الأمراض النسخي المكاني (STPath). تم تدريب STPath مسبقًا على صور الشرائح الكاملة (WSIs) مع تعليقات النسخ الجزيئي المكاني (ST)، مما يمكّنه من التنبؤ بالتعبيرات الجينية المخفية واستنتاج التعبير الجيني المحدد مكانيًا من صور الأمراض. هذا النموذج مفيد بشكل خاص للتطبيقات السريرية، كما هو موضح في الأشكال المرفقة. تتكون مجموعة البيانات المستخدمة للتدريب من مجموعة مختارة من صور الهيماتوكسيليين والإيوزين (H&E) وتعليقات ST، المشتقة من مجموعتين عامتين: HEST-1K وSTImage-1k4m. لضمان سلامة البيانات، تم استبعاد العينات من STImage-1k4m التي تتداخل مع HEST-1K، مما أسفر عن مجموعة بيانات نهائية تضم 983 WSIs و38,984 جينًا، مع تخصيص 5% للتحقق.
تعامل المنهجية المستخدمة في STPath كل بقعة من WSI كرمز، مما يدمج أوضاعًا مختلفة مثل بيانات الصورة، والتعبيرات الجينية، وأنواع الأعضاء، وتقنيات التسلسل في تمثيل متماسك. يستفيد النموذج من نموذج Gigapath لعلم الأمراض لتضمين صور البقع ويستخدم بنية Transformer مدركة للمساحة لأخذ الاعتماديات المكانية في البيانات في الاعتبار. أثناء التدريب، يتم إخفاء التعبيرات الجينية وفقًا لتوزيع محدد، ويتم تدريب النموذج للتنبؤ بهذه التعبيرات المخفية باستخدام دالة خسارة الانحدار، مما يختلف عن الأساليب التقليدية لنمذجة اللغة المقنعة. يتم تقديم مزيد من التفاصيل الفنية حول المنهجية في القسم المرجعي.
المناقشة
في هذه الدراسة، يقدم المؤلفون STPath، وهو نموذج أساسي مصمم لدمج النسخ الجزيئي المكاني (ST) مع صور النسيج الملونة بـ H&E. يظهر STPath أداءً متفوقًا في التنبؤ بتعبير الجينات عبر مجموعات بيانات السرطان المختلفة، محققًا تحسينات كبيرة مقارنة بالطرق الحديثة مثل UNI وGigapath وBLEEP وTRIPLEX. تسمح بنية النموذج، التي تستخدم Transformer مدرك للهندسة وتدريب توليدي مسبق على مجموعة بيانات كبيرة من صور الشرائح الكاملة (WSIs) المعلّمة ببيانات ST، بالتعميم بشكل فعال عبر أعضاء وتقنيات تسلسل مختلفة. من الجدير بالذكر أن STPath تفوق على النماذج الأساسية في معامل ارتباط بيرسون (PCC) ومعلومات التفاعل المعدلة (AMI)، مع تحسين ملحوظ بنسبة +34.4% في PCC مقارنة بـ TRIPLEX.
بالإضافة إلى ذلك، يتفوق STPath في التقاط الأنماط المكانية داخل عينات الأنسجة، متماشيًا بشكل جيد مع التعليقات الخبراء ويحدد بفعالية الجينات المرتبطة بالسرطان. لا تتوافق تنبؤات النموذج فقط بشكل قوي مع العلامات الحيوية المعروفة، بل تعزز أيضًا التنبؤات على مستوى الشرائح للنتائج السريرية، مثل بقاء المرضى وحالة طفرات الجينات. تشير النتائج إلى أن نهج النمذجة التوليدية لـ STPath والتدريب المتعدد الأوضاع يمكن أن يجسر الفجوة بين ST وعلم الأمراض النسيجي، مما يقدم اتجاهًا واعدًا للبحث المستقبلي في علم الأمراض الحاسوبي. ومع ذلك، يعترف المؤلفون بالقيود في التنبؤ بتعبير الجينات لبعض الأعضاء، مشيرين إلى أن دمج مجموعات بيانات أكثر تنوعًا يمكن أن يعزز أداء النموذج بشكل أكبر.
DOI: https://doi.org/10.1038/s41746-025-02020-3
PMID: https://pubmed.ncbi.nlm.nih.gov/41238784
Publication Date: 2025-11-14
Author(s): Tinglin Huang et al.
Primary Topic: Single-cell and spatial transcriptomics
Overview
The section presents STPath, a novel generative foundation model designed to enhance spatial transcriptomics (ST) by predicting gene expression patterns directly from whole-slide images (WSIs). Current ST methods face limitations due to narrow gene coverage, organ-specific training, and the need for dataset-specific fine-tuning, which restricts their scalability and applicability. STPath addresses these challenges by leveraging a large-scale dataset comprising 983 slides, 38,984 genes, and 17 organs, allowing it to generalize across diverse biological contexts without the need for repeated adaptations.
STPath employs a geometry-aware Transformer architecture that integrates histological images, gene expression data, organ types, and sequencing modalities. It is trained using a masked gene expression prediction approach, which captures gene-gene dependencies through tailored noise schedules. The model’s performance was evaluated across six tasks involving 23 datasets and 14 biomarkers, demonstrating its strong potential for scalable applications in computational pathology. By providing a unified representation of spatial gene expression, STPath significantly advances the integration of ST with clinical pathology, facilitating biomarker discovery and enhancing our understanding of the tumor microenvironment.
Methods
The STPath methodology aims to infer spatial transcriptomics (ST) from whole slide images (WSIs) by segmenting H&E-stained WSIs into discrete spots characterized by their coordinates, gene expression levels, and image data. Each spot is represented as a token, integrating visual features extracted using the Gigapath model, a constructed vocabulary of gene symbols, and meta-information related to sequencing technology and organ type. The visual features are encoded through a patch-level encoder, while gene expressions are transformed into multi-hot vectors and aggregated into a representation using a learnable transformation matrix. Meta-information is similarly embedded, and the combined representations are processed through a geometry-aware Transformer architecture that incorporates an E(2)-invariant self-attention mechanism to account for spatial arrangements of spots.
The model employs a generative pretraining paradigm, where a portion of gene expressions is masked, and the objective is to recover these masked values using a mean squared error loss function. Training involves a slide sampling schedule to balance the scales of WSIs, a gene target schedule focusing on high variability genes, and a masked noise schedule to optimize gene-gene dependencies. The masking strategy is designed to ensure that while most gene expressions are masked, sufficient information remains to facilitate effective learning. Additionally, the model is robust to missing sequencing technology information through the use of learnable padding embeddings. Overall, STPath demonstrates a comprehensive approach to integrating spatial and transcriptomic data for enhanced analysis of tissue samples.
Results
In this section, the results of the study on the foundation model for spatial transcriptomics pathology (STPath) are presented. STPath is pretrained on whole slide images (WSIs) with spatial transcriptomics (ST) annotations, enabling it to predict masked gene expressions and infer spatially resolved gene expression from pathology images. This model is particularly beneficial for clinical applications, as demonstrated in the accompanying figures. The dataset utilized for training comprises a curated collection of paired hematoxylin and eosin (H&E) images and ST annotations, derived from two public cohorts: HEST-1K and STImage-1k4m. To ensure data integrity, samples from STImage-1k4m that overlap with HEST-1K were excluded, resulting in a final dataset of 983 WSIs and 38,984 genes, with 5% reserved for validation.
The methodology employed in STPath treats each spot of a WSI as a token, integrating various modalities such as image data, gene expressions, organ types, and sequencing technologies into a cohesive representation. The model leverages the Gigapath pathology foundation model for embedding spot images and utilizes a spatial-aware Transformer architecture to account for spatial dependencies in the data. During training, gene expressions are masked according to a specific distribution, and the model is trained to predict these masked expressions using a regression loss function, differing from traditional masked language modeling approaches. Further technical details regarding the methodology are provided in the referenced section.
Discussion
In this study, the authors present STPath, a foundation model designed to integrate spatial transcriptomics (ST) with H&E-stained histology images. STPath demonstrates superior performance in gene expression prediction across various cancer datasets, achieving significant improvements over state-of-the-art methods such as UNI, Gigapath, BLEEP, and TRIPLEX. The model’s architecture, which employs a geometry-aware Transformer and generative pretraining on a large-scale dataset of whole slide images (WSIs) annotated with ST data, allows it to generalize effectively across different organs and sequencing technologies. Notably, STPath outperformed baseline models in Pearson correlation coefficient (PCC) and adjusted mutual information (AMI) metrics, with a remarkable +34.4% improvement in PCC compared to TRIPLEX.
Additionally, STPath excels in capturing spatial patterns within tissue samples, aligning well with expert annotations and effectively identifying cancer-related marker genes. The model’s predictions not only correlate strongly with known biomarkers but also enhance slide-level predictions for clinical outcomes, such as patient survival and gene mutation status. The findings indicate that STPath’s generative modeling approach and multi-modal pretraining can bridge the gap between ST and histopathology, offering a promising direction for future research in computational pathology. However, the authors acknowledge limitations in predicting gene expression for certain organs, suggesting that incorporating more diverse datasets could further enhance model performance.