DOI: https://doi.org/10.1007/s11263-026-02973-2
تاريخ النشر: 2026-08-01
المؤلف: Qi Chen وآخرون
الموضوع الرئيسي: تطبيقات تعلم الآلة متعددة الوسائط
نظرة عامة
تقدم هذه القسم نظرة شاملة على نماذج الرؤية واللغة الطبية (MVLMs)، التي تدمج معالجة اللغة الطبيعية مع التصوير الطبي لتعزيز تفسير البيانات الطبية المعقدة. تم تصميم MVLMs خصيصًا للمجال الطبي، مما يمكّن من استخراج وتفسير المعلومات الحرجة تلقائيًا من كل من الصور الطبية والتقارير النصية المقابلة. تشمل تطبيقاتها توليد التقارير الطبية تلقائيًا، والإجابة على الأسئلة البصرية، والتجزئة متعددة الوسائط، والتشخيص والتنبؤ، واسترجاع الصورة والنص، وكلها تسهم في تحسين دقة التشخيص واتخاذ القرارات في الرعاية الصحية.
تسلط الدراسة الضوء على مزايا وإنجازات MVLMs، مصنفةً المهام المختلفة وتحليل التحديات التي تواجهها. تؤكد على الحاجة إلى البحث المستقبلي لمعالجة ندرة البيانات، وتعزيز تقنيات التكامل بين الوسائط، وتحسين تعميم النموذج وقابلية التفسير. كما يقدم المؤلفون تحليلًا مفصلًا لهياكل النماذج الحالية ومجموعات البيانات، مقارنين أدائها بناءً على مقاييس موحدة. من خلال تحديد اتجاهات البحث المحتملة، يبرز البحث الإمكانات التحويلية لـ MVLMs في تعزيز خدمات الرعاية الصحية وتسهيل اتخاذ قرارات سريرية أفضل.
مقدمة
تسلط مقدمة الورقة الضوء على الأهمية المتزايدة لنماذج الرؤية واللغة الطبية (MVLMs) في سياق النمو الأسي للبيانات الطبية متعددة الوسائط. تدمج MVLMs رؤية الكمبيوتر ومعالجة اللغة الطبيعية لتعزيز التطبيقات الطبية المختلفة، بما في ذلك التشخيص، وتخطيط العلاج، والبحث السريري. تستخدم هذه النماذج مشفرات الصور لاستخراج الميزات البصرية ومشفرات النصوص للميزات النصية، مما يمكّنها من توليد تقارير تشخيصية، وتوصيات، وتسهيل استرجاع البيانات بكفاءة. ومع ذلك، تواجه تطوير MVLMs تحديات كبيرة، مثل قضايا خصوصية البيانات، وتنوع البيانات الطبية، والحاجة إلى خبرة في المجال في توضيح البيانات، وضرورة تحقيق قابلية تفسير وموثوقية عالية بسبب الطبيعة الحرجة للقرارات السريرية.
تهدف الورقة إلى تقديم مسح شامل لـ MVLMs، تتناول مهام متعددة الوسائط الطبية المختلفة، بما في ذلك توليد التقارير الطبية، والإجابة على الأسئلة البصرية، والتشخيص والتنبؤ متعدد الوسائط، وتجزئة الصور الموجهة بالنص، واسترجاع الصورة والنص. على عكس المسوحات السابقة التي ركزت بشكل ضيق على مهام أو منهجيات معينة، تقدم هذه الدراسة نظرة عامة واسعة على المجال، محددة الاتجاهات العامة والترابطات بين المهام. يؤكد المؤلفون على أهمية فهم تحديات هذه النماذج، والأساليب الحالية، واتجاهات البحث المستقبلية لتعزيز التعاون بين التخصصات بين باحثي الذكاء الاصطناعي، والأطباء، والمهنيين في الرعاية الصحية، مما يعزز في النهاية الممارسة السريرية. تم هيكلة المسح لتغطية التحديات التي تواجه استكشاف MVLM ومناقشات مفصلة حول المهام الرئيسية الخمس، مما يؤدي إلى ملخص للأعمال الحالية وآفاق المستقبل.
الطرق
تناقش قسم الطرق تقنيات الدمج المختلفة المستخدمة في الإجابة على الأسئلة البصرية (VQA) والتشخيص متعدد الوسائط الطبية. تعتبر طرق الدمج، مثل آليات الانتباه والتجميع متعدد الوسائط، ضرورية للاستفادة من نقاط القوة التكميلية للميزات البصرية والنصية لتعزيز دقة الإجابة على الأسئلة. يتم تسليط الضوء على تحديات دمج البيانات متعددة الوسائط، خاصة بسبب اختلاف أنواع المعلومات والتنسيقات الموجودة في الوسائط السريرية، مثل صور علم الأمراض ثنائية الأبعاد وعمليات المسح بالأشعة المقطعية أو الرنين المغناطيسي ثلاثية الأبعاد، مما يتطلب أساليب معالجة واستخراج ميزات متميزة.
في سياق التجزئة، يتم تحديد استراتيجيتين رئيسيتين: تلك التي تستخدم التقارب بين الوسائط لمحاذاة ميزات البكسل مع الأوصاف النصية، وتلك التي تدمج بعمق الوسائط اللغوية لمهام التجزئة. مثال على ذلك هو طريقة TPRO، التي تستخدم BERT لدمج الأوصاف النصية لأنواع الأنسجة الفرعية، مدمجةً هذه مع ميزات الصورة من خلال شبكة U-Net المعرفية. علاوة على ذلك، ي outlines القسم عملية استرجاع الصورة والنص، التي تتكون من تدريب مشفرات الوسائط لإسقاط البيانات في فضاء ميزات مشترك ومن ثم استرجاع وترتيب البيانات بناءً على درجات التشابه. تعتبر طريقة المشفر المزدوج شائعة في استرجاع الصورة والنص الطبي، على الرغم من أن بعض الطرق، مثل MMDL، تعتمد استراتيجية المعلمات المشتركة لمعالجة الوسائط المفقودة. يتم التأكيد على أن التعلم التمثيلي أمر حاسم لجسر الوسائط، مع تصنيف الأساليب الحالية إلى التعلم التمثيلي الثنائي والقيم الحقيقية.
النتائج
ت outlines قسم النتائج مجموعات البيانات المستخدمة في الدراسة، مسلطًا الضوء على أهميتها في سياق التصوير الطبي وتوليد التقارير. تُعتبر مجموعة بيانات IU X-ray الأكثر انتشارًا، حيث تتكون من 7,470 صورة شعاعية أمامية وجانبية للصدر إلى جانب 3,955 تقريرًا مطابقًا. تشمل مجموعات البيانات الكبيرة الأخرى MIMIC-CXR مع 377,110 صورة وPadChest مع 160,868 صورة، مما يساعد في التخفيف من مشاكل ندرة البيانات. بالإضافة إلى ذلك، يتم ذكر مجموعة بيانات CheXpert، التي تحتوي على 224,316 صورة، لدورها في تصنيف الصور، حيث تقدم تعليقات توضيحية لـ 14 علامة سريرية في تقارير اللغة الطبيعية.
علاوة على ذلك، يناقش القسم مجموعات البيانات ذات الصلة بالإجابة على الأسئلة البصرية الطبية (VQA)، بما في ذلك VQA-Med، VQA-RAD، PathVQA، وSLAKE. تتكون هذه المجموعات من أزواج مصنفة تسهل تقييم فهم اللغة البصرية في السياقات الطبية. يتم تقديم معلومات مفصلة حول مجموعات البيانات، ومقاييس التقييم، والنتائج التجريبية في الأقسام التكميلية A.1 وA.2.
المناقشة
تناقش هذه القسم التقدم في توليد التقارير الطبية (MRG) وأهميتها في الرعاية الصحية، خاصة في أتمتة تفسير الصور الطبية لتخفيف عبء العمل عن المهنيين في الرعاية الصحية. تعتمد المنهجيات الحالية بشكل أساسي على تقنيات وصف الصور لاستخراج الميزات وتوليد التقارير، باستخدام الشبكات العصبية مثل VGG وResNet وTransformers لاستخراج الميزات البصرية من الصور الطبية. يتم تصنيف هذه الميزات إلى أنواع عالمية ومحلية، مع التأكيد على أهمية التقاط الشذوذات المحلية بدقة لتحسين جودة التقرير. تم تقديم تقنيات مثل نماذج الانتباه المتباينة والتعلم متعدد المهام لتحسين تمثيل الميزات ومعالجة التحيزات في توقعات النموذج.
تشمل عملية توليد التقرير مجموعة متنوعة من الهياكل، بما في ذلك النماذج التلقائية، والهياكل الهرمية، والأساليب القائمة على القوالب، والأساليب القائمة على نماذج اللغة الكبيرة (LLM). تولد النماذج التلقائية، مثل LSTMs وTransformers، التقارير بشكل متسلسل، بينما توفر الهياكل الهرمية وسيلة منظمة لوصف الصور المعقدة. تستخدم الأساليب القائمة على القوالب تنسيقات موحدة لضمان الاتساق، وتقدم نماذج LLM، المدربة على مجموعات بيانات واسعة، طريقًا جديدًا لتوليد تقارير متماسكة وذات صلة سياقية. بالإضافة إلى ذلك، تعزز تقنيات الدمج بين الوسائط المعتمدة على المعرفة من تكامل الميزات البصرية مع المصطلحات الطبية، مما يحسن دقة التقارير المولدة. بشكل عام، يعتبر دمج البيانات متعددة الوسائط وتقنيات التعلم الآلي المتقدمة أمرًا محوريًا في تعزيز فعالية وكفاءة توليد التقارير الطبية.
القيود
تسلط قسم القيود الضوء على عدة تحديات حرجة تواجه توليد التقارير الطبية (MRG) والحقول ذات الصلة. أولاً، تعاني MRG من نقص في تنوع البيانات وحجمها، حيث تركز بشكل أساسي على صور الأشعة السينية للصدر، مما يقيد قدرات تعميم النماذج وقابليتها للتطبيق السريري. يعتبر التوافق الدلالي بين البيانات متعددة الوسائط مصدر قلق آخر، حيث يبقى ضمان تطابق الكلمات الرئيسية الطبية بدقة مع البيانات البصرية أمرًا معقدًا. تعتبر مقاييس التقييم الحالية، المستمدة بشكل أساسي من معالجة اللغة الطبيعية (NLP)، غير كافية للمجال الطبي، مما يستلزم تطوير مقاييس متخصصة يمكن أن تقيم أداء النموذج بشكل أفضل في السياقات السريرية. بالإضافة إلى ذلك، يخلق انتشار اللغة الإنجليزية في مجموعات البيانات تحيزات ضد السكان غير الناطقين باللغة الإنجليزية، مما يبرز الحاجة إلى تحسين النمذجة متعددة اللغات ودقة الترجمة الآلية في التطبيقات الطبية.
في مجال الإجابة على الأسئلة البصرية الطبية (VQA)، تشمل القيود بيانات ذات جودة منخفضة غالبًا ما تفشل في عكس الاستفسارات السريرية ذات الصلة، بالإضافة إلى نقص الدعم للحوار متعدد الجولات، وهو أمر ضروري للتفاعلات الواقعية بين المرضى والأطباء. قدرة تعميم هذه النماذج محدودة أيضًا، حيث غالبًا ما تكون مصممة لمجموعات بيانات محددة. علاوة على ذلك، تتطلب قابلية تفسير وموثوقية أنظمة VQA تحسينًا لتعزيز الثقة بين المهنيين الطبيين. أخيرًا، لا تزال التحديات في طرق دمج الميزات لدمج البيانات متعددة الوسائط قائمة، مع وجود اختلالات بين بيانات الصورة والنص مما يؤدي إلى أداء دون المستوى للنموذج. يجب أن تركز اتجاهات البحث المستقبلية على تحسين استخدام البيانات، وتعزيز القابلية للتفسير، وتنقيح تقنيات استخراج الميزات لمعالجة هذه القيود بشكل فعال.
DOI: https://doi.org/10.1007/s11263-026-02973-2
Publication Date: 2026-08-01
Author(s): Qi Chen et al.
Primary Topic: Multimodal Machine Learning Applications
Overview
The section provides a comprehensive overview of Medical Vision-and-Language Models (MVLMs), which integrate natural language processing with medical imaging to enhance the interpretation of complex medical data. MVLMs are specifically designed for the medical domain, enabling automated extraction and interpretation of critical information from both medical images and corresponding textual reports. Their applications include automated medical report generation, visual question answering, multimodal segmentation, diagnosis and prognosis, and image-text retrieval, all of which contribute to improved diagnostic accuracy and decision-making in healthcare.
The survey highlights the advantages and achievements of MVLMs, categorizing various tasks and analyzing the challenges they face. It emphasizes the need for future research to address data scarcity, enhance cross-modal integration techniques, and improve model generalization and interpretability. The authors also provide a detailed analysis of existing model architectures and datasets, comparing their performance based on standardized metrics. By identifying potential research directions, the paper underscores the transformative potential of MVLMs in advancing healthcare services and facilitating better clinical decision-making.
Introduction
The introduction of the paper highlights the increasing importance of medical vision-language models (MVLMs) in the context of the exponential growth of multimodal medical data. MVLMs integrate computer vision and natural language processing to enhance various medical applications, including diagnosis, treatment planning, and clinical research. These models utilize image encoders to extract visual features and text encoders for textual features, enabling them to generate diagnostic reports, recommendations, and facilitate efficient data retrieval. However, the development of MVLMs faces significant challenges, such as data privacy issues, the heterogeneity of medical data, the need for domain expertise in data annotation, and the necessity for high interpretability and reliability due to the critical nature of clinical decisions.
The paper aims to provide a comprehensive survey of MVLMs, addressing various medical multimodal tasks, including medical report generation, visual question answering, multimodal diagnosis and prognosis, text-guided image segmentation, and image-text retrieval. Unlike previous surveys that focused narrowly on specific tasks or methodologies, this study offers a broad overview of the field, identifying overarching trends and interconnections among tasks. The authors emphasize the significance of understanding these models’ challenges, existing methods, and future research directions to foster interdisciplinary collaboration among AI researchers, clinicians, and healthcare professionals, ultimately enhancing clinical practice. The survey is structured to cover the challenges faced in MVLM exploration and detailed discussions of the five key tasks, culminating in a summary of existing works and future outlooks.
Methods
The section on methods discusses various fusion techniques employed in visual question answering (VQA) and medical multimodal diagnosis. Fusion methods, such as attention mechanisms and multimodal pooling, are essential for leveraging the complementary strengths of visual and textual features to enhance question answering accuracy. The challenges of integrating multimodal data are highlighted, particularly due to the differing information types and formats present in clinical modalities, such as 2D pathology images and 3D CT or MRI scans, which necessitate distinct processing and feature extraction approaches.
In the context of segmentation, two primary strategies are identified: those that utilize cross-modal affinity to align pixel features with textual descriptions, and those that deeply integrate language modalities for segmentation tasks. An example is the TPRO method, which employs BERT to embed textual descriptions of tissue subtypes, integrating these with image features through a knowledge U-Net. Furthermore, the section outlines the process of image-text retrieval, which consists of training modality encoders to project data into a common feature space and subsequently retrieving and ranking data based on similarity scores. The dual-encoder approach is prevalent in medical image-text retrieval, although some methods, like MMDL, adopt a shared parameter strategy to address missing modalities. Representation learning is emphasized as crucial for bridging modalities, with current approaches categorized into binary and real-valued representation learning.
Results
The results section outlines the datasets utilized in the study, highlighting their significance in the context of medical imaging and report generation. The IU X-ray dataset is noted as the most prevalent, comprising 7,470 frontal and lateral chest radiographs alongside 3,955 corresponding reports. Other substantial datasets include MIMIC-CXR with 377,110 images and PadChest with 160,868 images, which help mitigate data scarcity issues. Additionally, the CheXpert dataset, containing 224,316 images, is mentioned for its role in image classification, providing annotations for 14 clinical labels in natural language reports.
Furthermore, the section discusses datasets relevant to medical visual question answering (VQA), including VQA-Med, VQA-RAD, PathVQA, and SLAKE. These datasets consist of categorized pairs that facilitate the evaluation of visual language comprehension in medical contexts. Detailed information regarding datasets, evaluation metrics, and experimental outcomes is provided in supplementary sections A.1 and A.2.
Discussion
The section discusses the advancements in medical report generation (MRG) and its significance in healthcare, particularly in automating the interpretation of medical images to alleviate the workload of healthcare professionals. Current methodologies primarily leverage image captioning technologies for feature extraction and report generation, utilizing neural networks like VGG, ResNet, and Transformers to derive visual features from medical images. These features are categorized into global and local types, with recent approaches emphasizing the importance of accurately capturing local abnormalities to enhance report quality. Techniques such as contrast attention models and multi-task learning have been introduced to improve feature representation and address biases in model predictions.
The report generation process involves various architectures, including autoregressive, hierarchical, template-based, and large language model (LLM)-based approaches. Autoregressive models, such as LSTMs and Transformers, generate reports sequentially, while hierarchical architectures provide a structured way to describe complex images. Template-based methods utilize standardized formats for consistency, and LLMs, trained on extensive datasets, offer a new avenue for generating coherent and contextually relevant reports. Additionally, knowledge-based cross-modal fusion techniques enhance the integration of visual features with medical terminology, improving the accuracy of generated reports. Overall, the integration of multimodal data and advanced machine learning techniques is pivotal in enhancing the effectiveness and efficiency of medical report generation.
Limitations
The section on limitations highlights several critical challenges faced by Medical Report Generation (MRG) and related fields. Firstly, MRG suffers from insufficient data diversity and size, primarily focusing on chest X-ray images, which restricts the models’ generalization capabilities and clinical applicability. The semantic alignment among multimodal data is another concern, as ensuring that medical keywords accurately correspond to visual data remains complex. Current evaluation metrics, primarily derived from natural language processing (NLP), are inadequate for the medical domain, necessitating the development of specialized metrics that can better assess model performance in clinical contexts. Additionally, the predominance of English in datasets creates biases against non-English-speaking populations, highlighting the need for improved multilingual modeling and machine translation accuracy in medical applications.
In the realm of medical Visual Question Answering (VQA), limitations include low-quality data that often fails to reflect clinically relevant inquiries, as well as a lack of support for multi-round dialogue, which is essential for realistic patient-doctor interactions. The generalization ability of these models is also limited, as they are often tailored to specific datasets. Furthermore, the interpretability and credibility of VQA systems require enhancement to foster trust among medical professionals. Lastly, challenges in feature fusion methods for multimodal data integration persist, with imbalances between image and text data leading to suboptimal model performance. Future research directions should focus on improving data utilization, enhancing explainability, and refining feature extraction techniques to address these limitations effectively.