DOI: https://doi.org/10.1145/3801746
PMID: https://pubmed.ncbi.nlm.nih.gov/42434330
تاريخ النشر: 2026-03-16
المؤلف: Zhenyue Qin وآخرون
الموضوع الرئيسي: تطبيقات تعلم الآلة متعددة الوسائط
نظرة عامة
إن الزيادة في انتشار الأمراض العينية التي تهدد الرؤية تمثل تحديات صحية واقتصادية كبيرة على مستوى العالم، تفاقمت بسبب نقص القوى العاملة والوصول المحدود إلى الرعاية المتخصصة. تقدم الذكاء الاصطناعي (AI)، وخاصة من خلال التقدم في نماذج اللغة الكبيرة متعددة الأنماط (MLLMs)، حلولاً واعدة لتحسين تفسير الصور الطبية والتوثيق السريري. ومع ذلك، فإن تطوير وتقييم MLLMs في طب العيون مقيد بغياب مجموعات بيانات مرجعية شاملة، حيث تركز المعايير الحالية بشكل أساسي على مهام ضيقة وتقدم مخرجات كعلامات مرضية بدلاً من استجابات نصية حرة.
استجابةً لهذه الفجوة، يقدم المؤلفون LMOD+، مجموعة بيانات مرجعية كبيرة متعددة الأنماط في طب العيون تتكون من 32,633 حالة مع تعليقات متعددة الدرجات عبر 12 حالة عينية شائعة وخمسة أنماط تصوير. تم تصميم هذه المجموعة لتسهيل تطوير وتقييم MLLMs والنماذج التوليدية، ودعم التطبيقات مثل التعرف على الهياكل التشريحية، وفحص الأمراض، والتنبؤ الديموغرافي لتقييم التحيز. كما يقدم المؤلفون خط أنابيب منهجي لتنظيم البيانات يعيد استخدام مجموعات البيانات الحالية لاستخدام MLLM. بينما يقيم الدراسة 24 نموذجًا متقدمًا من MLLMs، فإنها تعترف بالقيود، بما في ذلك التطور السريع في تطوير النماذج والحاجة إلى مجموعات بيانات أكثر شمولاً تتضمن معلومات المرضى. يدعو المؤلفون إلى التعاون المجتمعي في تعزيز تطبيقات MLLM في طب العيون للتخفيف من العبء العالمي للأمراض العينية.
مقدمة
تسلط المقدمة الضوء على التحدي الكبير الذي تمثله الأمراض العينية التي تهدد الرؤية، حيث يوجد أكثر من 90 مليون فرد في الولايات المتحدة معرضين لخطر فقدان الرؤية، والعديد منهم لا يتم تشخيصهم أو يتلقون تشخيصات متأخرة. تظهر حالات مثل اعتلال الشبكية السكري تأخيرات تشخيصية مقلقة، بمتوسط قدره 22 أسبوعًا، مما يؤدي إلى فقدان دائم للرؤية في أكثر من 70% من المرضى المتأثرين. على مستوى العالم، يتأثر أكثر من 2.2 مليار شخص بضعف الرؤية، ومع ذلك، فإن نسبة صغيرة فقط تتلقى التدخلات المناسبة. تشمل الحواجز الرئيسية أمام التشخيص في الوقت المناسب طبيعة الفحوصات اليدوية المرهقة والوصول المحدود إلى رعاية العيون، مما يؤدي إلى خسائر اقتصادية كبيرة تقدر بـ 411 مليار دولار سنويًا.
يقدم الذكاء الاصطناعي (AI) حلولاً واعدة لهذه التحديات، وخاصة من خلال التقدم في الشبكات العصبية التلافيفية (CNNs) ونماذج اللغة الكبيرة متعددة الأنماط (MLLMs). بينما أظهرت النماذج السابقة فعاليتها في تشخيص الأمراض العينية، تقدم MLLMs قدرات محسنة في التعلم بدون عينة والتعلم من عدد قليل من العينات، مما يجعلها مناسبة للإعدادات ذات الموارد المحدودة. ومع ذلك، لا يزال هناك تحدٍ كبير يتمثل في نقص المعايير الشاملة لتقييم هذه النماذج في طب العيون، حيث تركز المعايير الحالية غالبًا على مهام ضيقة أو تقييمات نصية لا تعكس بشكل كافٍ دمج المعلومات المرئية اللازمة للتشخيص الدقيق. تقدم هذه الدراسة LMOD+، مجموعة بيانات مرجعية متعددة الأنماط محسنة في طب العيون تتكون من 32,633 صورة عبر أنماط تصوير وحالات مختلفة، تهدف إلى معالجة هذه القيود وتعزيز التقدم المستمر في تقييم وتطوير النماذج في هذا المجال.
طرق
في هذا القسم، يحدد المؤلفون مقاييس التقييم والأساليب الإحصائية المستخدمة لتقييم أداء نماذجهم عبر مجموعات ديموغرافية مختلفة. استخدموا الدقة ودرجة F1 كمقاييس رئيسية لكل مجموعة من نماذج المهام الفرعية. لتحديد عدم اليقين في تقديرات الأداء هذه، تم حساب فترات الثقة (CIs) بنسبة 95% باستخدام نهج bootstrap غير المعلمي، والذي يتضمن توليد 1,000 عينة إعادة أخذ مع الاستبدال. تم تحديد FIs من خلال أخذ النسب المئوية 2.5 و97.5 من توزيع المقاييس المستمدة من هذه العينات.
علاوة على ذلك، لتقييم الأهمية الإحصائية للاختلافات في الأداء بين المجموعات الديموغرافية – مثل الفئات العمرية (مثل 40-60 مقابل 60+) والجنس (ذكر مقابل أنثى) – استخدم المؤلفون اختبارات كاي-تربيع على نتائج التنبؤ الثنائية. يتم الإبلاغ عن قيم p الدقيقة من هذه الاختبارات، مما يوفر إطارًا صارمًا لتفسير أداء النموذج عبر مجموعات سكانية مختلفة.
نتائج
يوفر قسم النتائج نظرة شاملة على أداء 24 نموذجًا عبر مهام مختلفة، كما هو موضح في الجدول 3. تشمل النتائج الرئيسية تحليلات أداء المجموعات الفرعية المقدمة في الجدولين 12 و13، التي تركز على دقة ودرجة F1 لعدة نماذج لغة تعلم الآلة (MLLMs) بالنسبة لمجموعات فرعية من العمر والجنس لمهمتين من مهام تشخيص الأمراض. يتم مرافقة أداء كل نموذج بفترات ثقة (CIs) بنسبة 95% وقيم p المستمدة من اختبارات كاي-تربيع، التي تقيم الأهمية الإحصائية للاختلافات في الأداء بين المجموعات الفرعية. تسلط هذه النتائج الضوء على الفعالية الدقيقة لـ MLLMs عبر فئات ديموغرافية مختلفة في سياق تشخيص الأمراض.
نقاش
في قسم النقاش، يقدم المؤلفون تقييمًا شاملاً لـ 24 نموذجًا متقدمًا من نماذج اللغة الكبيرة متعددة الأنماط (MLLMs) في سياق طب العيون، كاشفين عن اختلافات كبيرة في الأداء عبر مهام مختلفة. من الجدير بالذكر أن نماذج مثل Qwen-7B وInternVL 2.5-8B أظهرت نتائج واعدة في فحص الأمراض العينية، حيث حققت دقة قدرها 58.26% و57.83% في إعداد بدون عينة، على التوالي. ومع ذلك، تؤكد النتائج على الفجوة الحرجة بين قدرات MLLMs العامة والمتطلبات المتخصصة لطب العيون، مما يبرز الحاجة الملحة لتطوير نماذج محددة للمجال. لتسهيل هذا التقدم، يقدم المؤلفون LMOD+، معيارًا جديدًا وخط أنابيب تقييم مصمم لدعم تقييم مجموعات البيانات والنماذج الناشئة في هذا المجال.
يناقش القسم أيضًا تطور نماذج اللغة الكبيرة (LLMs) من الهياكل السابقة مثل BERT إلى نماذج توليدية أكثر تقدمًا مثل GPT-3 وChatGPT، التي أظهرت قدرات ملحوظة في التعلم بدون عينة والتعلم من عدد قليل من العينات. يؤكد المؤلفون على أهمية النماذج متعددة الأنماط التي تدمج البيانات المرئية والنصية، مشيرين إلى التقدم في الهياكل التي تسمح بالتفكير البصري الفعال. على الرغم من هذه التقدمات، يحدد المؤلفون قيودًا كبيرة في مجموعات بيانات طب العيون الحالية، التي تم تصميمها أساسًا للتعلم الخاضع للإشراف التقليدي وتفتقر إلى التنوع اللازم لتدريب MLLMs. يدعون إلى نهج منهجي لتنظيم مجموعات البيانات يشمل مجموعة متنوعة من أنماط التصوير والتطبيقات، مما يعالج النقص الحالي في موارد المعايير لتطبيقات الذكاء الاصطناعي في طب العيون.
DOI: https://doi.org/10.1145/3801746
PMID: https://pubmed.ncbi.nlm.nih.gov/42434330
Publication Date: 2026-03-16
Author(s): Zhenyue Qin et al.
Primary Topic: Multimodal Machine Learning Applications
Overview
The increasing prevalence of vision-threatening eye diseases presents significant global health and economic challenges, exacerbated by workforce shortages and limited access to specialized care. Artificial intelligence (AI), particularly through advancements in multimodal large language models (MLLMs), offers promising solutions for improving medical image interpretation and clinical documentation. However, the development and evaluation of MLLMs in ophthalmology are constrained by the absence of comprehensive benchmark datasets, as existing benchmarks primarily focus on narrow tasks and provide outputs as disease labels rather than free-text responses.
In response to this gap, the authors introduce LMOD+, a large-scale multimodal ophthalmology benchmark dataset consisting of 32,633 instances with multi-granular annotations across 12 common ophthalmic conditions and five imaging modalities. This dataset is designed to facilitate the development and evaluation of MLLMs and generative models, supporting applications such as anatomical structure recognition, disease screening, and demographic prediction for bias evaluation. The authors also present a systematic data curation pipeline that repurposes existing datasets for MLLM use. While the study evaluates 24 state-of-the-art MLLMs, it acknowledges limitations, including the rapid evolution of model development and the need for more comprehensive datasets that incorporate patient information. The authors advocate for community collaboration in advancing MLLM applications in ophthalmology to mitigate the global burden of eye diseases.
Introduction
The introduction highlights the significant public health challenge posed by vision-threatening eye diseases, with over 90 million individuals in the United States at high risk for vision loss, many of whom remain undiagnosed or receive late diagnoses. Conditions such as diabetic retinopathy exhibit alarming diagnostic delays, with a median of 22 weeks, leading to permanent vision loss in over 70% of affected patients. Globally, more than 2.2 billion people are affected by vision impairment, yet only a small percentage receive appropriate interventions. Key barriers to timely diagnosis include the burdensome nature of manual examinations and limited access to eye care, resulting in substantial economic losses estimated at $411 billion annually.
Artificial intelligence (AI) presents promising solutions to these challenges, particularly through advancements in convolutional neural networks (CNNs) and multimodal large language models (MLLMs). While earlier models have shown effectiveness in diagnosing eye diseases, MLLMs offer enhanced capabilities in zero-shot and few-shot learning, making them suitable for resource-limited settings. However, a significant challenge remains in the lack of comprehensive benchmarks for evaluating these models in ophthalmology, as existing benchmarks often focus on narrow tasks or text-based evaluations that do not adequately reflect the integration of visual information necessary for accurate diagnosis. This study introduces LMOD+, an enhanced multimodal ophthalmology benchmark dataset comprising 32,633 images across various imaging modalities and conditions, aimed at addressing these limitations and fostering ongoing advancements in model evaluation and development in the field.
Methods
In this section, the authors outline the evaluation metrics and statistical methods employed to assess the performance of their models across various demographic subgroups. They utilized accuracy and F1-score as primary metrics for each model-task-subgroup combination. To quantify the uncertainty in these performance estimates, 95% confidence intervals (CIs) were calculated using a non-parametric bootstrap approach, which involved generating 1,000 bootstrap resamples with replacement. The CIs were determined by taking the 2.5th and 97.5th percentiles of the distribution of metrics obtained from these resamples.
Furthermore, to evaluate the statistical significance of performance differences between demographic subgroups—such as age groups (e.g., 40-60 vs. 60+) and gender (male vs. female)—the authors employed chi-square tests on the binary prediction outcomes. The exact p-values from these tests are reported, providing a rigorous framework for interpreting the model’s performance across different populations.
Results
The results section provides a comprehensive overview of the performance of 24 models across various tasks, as detailed in Table 3. Key findings include subgroup performance analyses presented in Tables 12 and 13, which focus on the accuracy and F1-score of multiple machine learning language models (MLLMs) in relation to age and gender subgroups for two disease diagnosis tasks. Each model’s performance is accompanied by 95% confidence intervals (CIs) and p-values derived from chi-square tests, which evaluate the statistical significance of performance disparities among the subgroups. These findings highlight the nuanced effectiveness of MLLMs across different demographic categories in the context of disease diagnosis.
Discussion
In the discussion section, the authors present a comprehensive evaluation of 24 state-of-the-art multimodal large language models (MLLMs) in the context of ophthalmology, revealing significant performance disparities across various tasks. Notably, models such as Qwen-7B and InternVL 2.5-8B demonstrated promising results in eye disease screening, achieving accuracies of 58.26% and 57.83% in a zero-shot setting, respectively. However, the findings underscore a critical gap between the capabilities of general-domain MLLMs and the specialized requirements of ophthalmology, highlighting the urgent need for the development of domain-specific models. To facilitate this progress, the authors introduce LMOD+, a new benchmark and evaluation pipeline designed to support the assessment of emerging datasets and models in the field.
The section also discusses the evolution of large language models (LLMs) from earlier architectures like BERT to more advanced generative models such as GPT-3 and ChatGPT, which have demonstrated remarkable capabilities in zero-shot and few-shot learning. The authors emphasize the importance of multimodal models that integrate visual and textual data, citing advancements in architectures that allow for effective visual reasoning. Despite these advancements, the authors identify significant limitations in existing ophthalmology datasets, which are primarily tailored for traditional supervised learning and lack the diversity necessary for training MLLMs. They call for a systematic approach to dataset curation that encompasses a variety of imaging modalities and applications, thereby addressing the current inadequacies in benchmarking resources for ophthalmic AI applications.