إطار دمج موزع لتوقع تكرار سرطان الثدي باستخدام MapReduce A distributed fusion framework for breast cancer recurrence prediction using MapReduce

شارك:
المجلة: Scientific Reports، المجلد: 16، العدد: 1
DOI: https://doi.org/10.1038/s41598-026-47382-0
PMID: https://pubmed.ncbi.nlm.nih.gov/41935148
تاريخ النشر: 2026-04-04
المؤلف: Prachi Damodhar Shahare وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية

نظرة عامة

تقدم البحث إطار عمل هجين متماشي مع MapReduce يهدف إلى توقع تكرار سرطان الثدي، مع معالجة تحديات كبيرة مثل العوامل السريرية غير المتجانسة، ومجموعات البيانات غير المتوازنة، والطبيعة اللامركزية للسجلات الطبية. يدمج هذا الإطار أشجار تعزيز التدرج (GBT) المستندة إلى Spark الموزعة، وتمثيلات كامنة مستمدة من مشفرات تلقائية لإزالة الضوضاء (AE)، وXGBoost المعاير، والهياكل العميقة للبيانات الجدولية (FT-Transformer وTabTransformer). تظهر التقييمات على مجموعة SEER لتكرار سرطان الثدي ومجموعة بيانات Wisconsin التشخيصية لسرطان الثدي أن XGBoost المعاير وإطارات الدمج المعززة بـ AE تحقق أداءً استثنائيًا، حيث تحقق مجموعة بيانات Wisconsin قيم ROC-AUC تبلغ 0.9954 ومعامل ارتباط ماثيو (MCC) ≥ 0.981. يعزز إطار الدمج بشكل ملحوظ الاسترجاع على مجموعة بيانات SEER، التي تتميز بارتفاع التباين، بينما يوفر XGBoost المعاير توازنًا قويًا بين الدقة والاستقرار.

في الختام، يتعامل الإطار المقترح بفعالية مع تعقيدات توقع تكرار سرطان الثدي من خلال دمج منهجيات متقدمة متنوعة، مما يؤدي إلى تمييز عالٍ، ومعايرة، وتحسين الكشف عن تكرارات الفئة الأقل. تشير النتائج إلى أنه بينما يتفوق XGBoost المعاير في مقاييس الأداء العامة، يوفر إطار الدمج نهجًا أكثر توازنًا، خاصة في السيناريوهات السريرية ذات الصلة. ستسعى الأبحاث المستقبلية إلى توسيع الإطار ليشمل بيانات متعددة الأومكس والتكامل مع التعلم الفيدرالي لتعزيز الخصوصية وقابلية التوسع. بالإضافة إلى ذلك، سيتم استكشاف دمج تقنيات الذكاء الاصطناعي القابل للتفسير (XAI) وأنظمة دعم القرار في الوقت الحقيقي لتحسين القابلية السريرية والأثر التشغيلي. بشكل عام، يمثل هذا الإطار تقدمًا كبيرًا في أنظمة توقع التكرار المدفوعة بالذكاء الاصطناعي، مع إمكانية تطبيق سريري ذو مغزى.

مقدمة

يظل سرطان الثدي سببًا رئيسيًا للوفيات المرتبطة بالسرطان بين النساء في جميع أنحاء العالم، على الرغم من التقدم في الكشف والعلاج. أحد التحديات السريرية الكبيرة هو توقع التكرار، الذي يمكن أن يحدث محليًا أو إقليميًا أو بعيدًا بعد العلاج الأولي. التوقع الدقيق ضروري لتصنيف المخاطر، والعلاج الشخصي، وتحسين نتائج المرضى. ومع ذلك، تنشأ تعقيدات توقع التكرار من عوامل غير متجانسة متنوعة، بما في ذلك بيولوجيا الورم، وطرق العلاج، والمتغيرات الديموغرافية، بالإضافة إلى الطبيعة عالية الأبعاد وغير المتوازنة لمجموعات البيانات السريرية. غالبًا ما تكون هذه المجموعات موزعة عبر مؤسسات متعددة، كل منها بتنسيقات تخزين وقوانين خصوصية مميزة، مما يعقد تطوير نماذج توقع قوية.

لمعالجة هذه التحديات، هناك حاجة متزايدة لإطارات عمل حسابية يمكنها تحليل البيانات الطبية الموزعة وغير المتجانسة بفعالية مع الحفاظ على الخصوصية. تقدم نماذج الحوسبة الموزعة مثل Hadoop MapReduce وApache Spark حلولًا واعدة من خلال تمكين معالجة البيانات بشكل متوازي وقابل للتوسع دون نقل معلومات المرضى الحساسة. يقدم هذا البحث إطار عمل هجين متماشي مع نموذج MapReduce، والذي يدمج التعلم القائم على الأشجار الموزعة، وهياكل التمثيل الجدولي العميق، ومقدرات احتمالية معايرة لتوقع تكرار سرطان الثدي. يهدف الإطار إلى تحقيق دقة توقع عالية مع الالتزام بقيود بيئات البيانات الطبية الموزعة، مستخدمًا تقنيات مثل اختيار الميزات المدمجة من خلال أشجار تعزيز التدرج ومشفري إزالة الضوضاء لتحسين أداء النموذج.

الطرق

تجمع المنهجية المقترحة بين ثلاثة مكونات رئيسية: اختيار مدمج قائم على الأشجار، وتعلم تمثيل جدولي عميق، وهندسة دمج هرمية. يتم استخدام أطر الأشجار لالتقاط القواعد الهيكلية داخل البيانات، بينما يتم استخدام المحولات لاستخراج تفاعلات الميزات السياقية، مما يعزز قدرة النموذج على فهم العلاقات المعقدة. أخيرًا، يقوم رأس الدمج بتوحيد هذه التمثيلات متعددة المناظر، بهدف تعظيم تمييز التكرار، مما يحسن الأداء العام للنموذج في التعامل مع البيانات الجدولية. يستفيد هذا النهج المتكامل من نقاط القوة لكل مكون لتحقيق تحليل أكثر قوة وفعالية.

المناقشة

تسلط قسم المناقشة في الورقة الضوء على تطوير إطار عمل هجين لتوقع تكرار سرطان الثدي يدمج بين هياكل تعلم الآلة المختلفة، وخاصة Spark GBT وFT-Transformer وTabTransformer. تم تصميم هذا النهج متعدد الأطر للاستفادة من نقاط القوة لنماذج الأشجار، التي تتفوق في البيانات الهيكلية، ونماذج التعلم العميق، التي تلتقط التفاعلات المعقدة ولكنها تتطلب بيانات طبيعية. الطريقة المقترحة مناسبة بشكل خاص للإعدادات السريرية، حيث تحافظ على التوافق مع أنظمة Hadoop، مما يسهل النشر في البيئات الموزعة حيث تكون حركة البيانات محدودة. يتم إثبات فعالية الإطار من خلال تقييمات شاملة على مجموعات بيانات مرجعية، تظهر أداءً متفوقًا عبر مقاييس متعددة، بما في ذلك ROC-AUC وBrier Score، مع ضمان معايرة احتمالية قوية لدعم القرار السريري.

تستعرض الورقة أيضًا الأدبيات الحالية حول توقع تكرار سرطان الثدي، مشيرة إلى التقدم الكبير في تقنيات تعلم الآلة والتعلم العميق. ومع ذلك، تحدد القيود الرئيسية في المنهجيات الحالية، مثل عدم وجود دعم للحوسبة الموزعة، وعدم كفاية دمج تمثيلات البيانات المتنوعة، والمعايرة الاحتمالية غير الكافية. تبرز هذه الفجوات ضرورة الإطار الهجين المقترح، الذي يهدف إلى معالجة هذه التحديات من خلال دمج أهمية الميزات من الطرق القائمة على الأشجار، وتمثيلات مشفرات إزالة الضوضاء، والتوقعات المعايرة من XGBoost ضمن هيكل موحد. تؤكد الدراسة على أهمية تطوير نماذج توقع قابلة للتوسع، وقابلة للتفسير، وقوية يمكنها الاستفادة بفعالية من البيانات السريرية متعددة الأبعاد لتحسين نتائج المرضى.

Journal: Scientific Reports, Volume: 16, Issue: 1
DOI: https://doi.org/10.1038/s41598-026-47382-0
PMID: https://pubmed.ncbi.nlm.nih.gov/41935148
Publication Date: 2026-04-04
Author(s): Prachi Damodhar Shahare et al.
Primary Topic: Artificial Intelligence in Healthcare

Overview

The research presents a novel MapReduce-aligned hybrid framework aimed at predicting breast cancer recurrence, addressing significant challenges such as heterogeneous clinical factors, imbalanced datasets, and the decentralized nature of medical records. This framework integrates distributed Spark-based Gradient Boosted Trees (GBT), denoising autoencoder (AE)-derived latent representations, calibrated XGBoost, and deep tabular architectures (FT-Transformer and TabTransformer). Evaluations on the SEER breast cancer recurrence cohort and the Wisconsin Diagnostic Breast Cancer dataset demonstrate that the calibrated XGBoost and AE-augmented fusion frameworks achieve exceptional performance, with the Wisconsin dataset yielding ROC-AUC values of 0.9954 and Matthews Correlation Coefficient (MCC) ≥ 0.981. The fusion framework notably enhances recall on the SEER dataset, characterized by high heterogeneity, while calibrated XGBoost provides a robust balance of precision and stability.

In conclusion, the proposed framework effectively tackles the complexities of breast cancer recurrence prediction by combining various advanced methodologies, resulting in high discrimination, calibration, and improved detection of minority-class recurrences. The findings indicate that while calibrated XGBoost excels in overall performance metrics, the fusion framework offers a more balanced approach, particularly in clinically relevant scenarios. Future research will aim to expand the framework to include multi-omics data and integrate with federated learning for enhanced privacy and scalability. Additionally, the incorporation of explainable AI (XAI) techniques and real-time decision-support systems will be explored to improve clinical applicability and operational impact. Overall, this framework represents a significant advancement in AI-driven recurrence prediction systems, with potential for meaningful clinical application.

Introduction

Breast cancer remains a leading cause of cancer-related mortality among women worldwide, despite advancements in detection and treatment. A significant clinical challenge is the prediction of recurrence, which can occur locally, regionally, or distantly after initial therapy. Accurate prediction is essential for risk stratification, personalized treatment, and improved patient outcomes. However, the complexity of recurrence prediction arises from various heterogeneous factors, including tumor biology, treatment modalities, and demographic variables, compounded by the high-dimensional and imbalanced nature of clinical datasets. These datasets are often distributed across multiple institutions, each with distinct storage formats and privacy regulations, complicating the development of robust predictive models.

To address these challenges, there is an increasing need for computational frameworks that can effectively analyze distributed and heterogeneous medical data while maintaining privacy. Distributed computing paradigms such as Hadoop MapReduce and Apache Spark offer promising solutions by enabling scalable, parallel processing of data without transferring sensitive patient information. This study introduces a hybrid framework aligned with the MapReduce paradigm, which integrates distributed tree-based learning, deep tabular representation frameworks, and calibrated probabilistic estimators for breast cancer recurrence prediction. The framework aims to achieve high predictive accuracy while adhering to the constraints of distributed medical data environments, utilizing techniques such as embedded feature selection through Gradient Boosted Trees and denoising autoencoders to enhance model performance.

Methods

The proposed methodology combines three key components: tree-based embedded selection, deep tabular representation learning, and a hierarchical fusion architecture. The tree frameworks are employed to capture structured rules within the data, while Transformers are utilized to extract contextual feature interactions, enhancing the model’s ability to understand complex relationships. Finally, the fusion head consolidates these multi-view representations, aiming to maximize recurrence discriminability, thereby improving the overall performance of the model in handling tabular data. This integrated approach leverages the strengths of each component to achieve a more robust and effective analysis.

Discussion

The discussion section of the paper highlights the development of a hybrid framework for breast cancer recurrence prediction that integrates various machine learning architectures, specifically Spark GBT, FT-Transformer, and TabTransformer. This multi-framework approach is designed to leverage the strengths of tree-based models, which excel in structured data, and deep learning models, which capture complex interactions but require normalized data. The proposed method is particularly suited for clinical settings, as it maintains compatibility with Hadoop ecosystems, facilitating deployment in distributed environments where data movement is limited. The framework’s effectiveness is demonstrated through extensive evaluations on benchmark datasets, showing superior performance across multiple metrics, including ROC-AUC and Brier Score, while ensuring robust probabilistic calibration for clinical decision support.

The paper also reviews existing literature on breast cancer recurrence prediction, noting significant advancements in machine learning and deep learning techniques. However, it identifies key limitations in current methodologies, such as a lack of support for distributed computation, insufficient integration of diverse data representations, and inadequate probabilistic calibration. These gaps underscore the necessity for the proposed hybrid framework, which aims to address these challenges by combining feature importance from tree-based methods, denoising autoencoder representations, and calibrated predictions from XGBoost within a unified architecture. The study emphasizes the importance of developing scalable, interpretable, and robust predictive models that can effectively utilize multimodal clinical data for improved patient outcomes.