DOI: https://doi.org/10.1038/s41746-025-02300-y
PMID: https://pubmed.ncbi.nlm.nih.gov/41484436
تاريخ النشر: 2026-01-03
المؤلف: Kai Jin وآخرون
الموضوع الرئيسي: تصوير الشبكية والتحليل
نظرة عامة
التفسير الدقيق للأشعة فوق الصوتية العينية أمر ضروري لتشخيص حالات العين، ومع ذلك، فإنه غالبًا ما يستغرق وقتًا طويلاً ويتطلب خبرة كبيرة. نظرًا للزيادة المستمرة في حجم بيانات الأشعة فوق الصوتية، هناك حاجة ملحة لأنظمة الذكاء الاصطناعي (AI) التي يمكنها تحليل الصور بكفاءة وإنتاج تقارير. تكافح نماذج الذكاء الاصطناعي التقليدية مع تحديد الآفات في الوقت نفسه وتفتقر إلى القابلية للتفسير. تقدم هذه الدراسة نموذج تقسيم اللغة البصرية (VLS)، الذي يدمج نموذج اللغة البصرية (VLM) مع نموذج تقسيم أي شيء (SAM) لتعزيز القابلية للتفسير في تصوير الأشعة فوق الصوتية العينية.
باستخدام مجموعة بيانات من ثلاثة مستشفيات تضم 64,098 صورة و21,355 تقريرًا، أظهر نموذج VLS مقاييس أداء مثيرة للإعجاب، حيث حقق درجة BLEU4 قدرها 66.37 في مجموعة الاختبار الداخلية، ودرجات 85.36 و73.77 في مجموعات الاختبار الخارجية. كانت متوسط معامل ديس (dice coefficient) للنموذج 59.6% لمجموعة الاختبار الداخلية، مع حصول مجموعات الاختبار الخارجية على معاملات قدرها 50.2% و51.5%، إلى جانب قيم خصوصية قدرها 97.8% و97.7%، على التوالي. بلغت دقة التشخيص العامة 90.59% في مجموعة الاختبار الداخلية و71.87% في المجموعات الخارجية. أظهر تحليل التكلفة الفعالة انخفاضًا كبيرًا في تكاليف التقارير، حيث انخفضت من 39 دولارًا لكل تقرير من قبل أطباء العيون الكبار إلى 1.3 دولار لنموذج VLS. لا تعزز هذه الطريقة المبتكرة دقة التشخيص فحسب، بل تقلل أيضًا من الجهد اليدوي وتسارع سير العمل، مما يقدم حلاً واعدًا لتفسير الأشعة فوق الصوتية العينية.
مقدمة
تسلط المقدمة الضوء على الدور الحاسم للتفسير الدقيق للصور الطبية وإنتاج تقارير شاملة في رعاية المرضى، خاصة في طب العيون حيث يعد تصوير الأشعة فوق الصوتية أمرًا أساسيًا لتشخيص حالات مثل أمراض الشبكية والأورام العينية. على الرغم من طبيعته غير الغازية والرؤى الهيكلية التفصيلية التي يوفرها، فإن تفسير صور الأشعة فوق الصوتية العينية يستغرق وقتًا طويلاً ويتطلب خبرة كبيرة. إن الزيادة في حجم بيانات الأشعة فوق الصوتية تستلزم أنظمة متقدمة للتحليل الفعال وإنتاج التقارير. حققت نماذج الذكاء الاصطناعي التقليدية تقدمًا في تحليل الصور الطبية ولكنها غالبًا ما تفتقر إلى القابلية للتفسير والقدرة على تسليط الضوء على الشذوذات الرئيسية، مما يحد من فائدتها العملية عبر مختلف التخصصات الطبية.
تقدم التطورات الحديثة في الذكاء الاصطناعي، وخاصة من خلال نماذج اللغة البصرية (VLM) ونموذج تقسيم أي شيء (SAM)، حلولًا واعدة من خلال دمج البيانات المرئية والنصية لتعزيز دقة التشخيص ودعم اتخاذ القرارات السريرية. تقدم هذه الدراسة نموذج ذكاء اصطناعي جديد يستخدم VLM لإنتاج تقارير تشخيصية شاملة وتوضيح الآفات مباشرة على الصور الطبية. من خلال دمج الفهم البصري مع معالجة اللغة الطبيعية، يهدف نموذج تقسيم اللغة البصرية (VLS) المقترح إلى تقديم تقارير ذات معنى وقابلة للتفسير مع ضمان تقسيم دقيق للآفات. لا تعالج الطريقة المبتكرة للنموذج الفجوات الحالية في أدوات التشخيص المدفوعة بالذكاء الاصطناعي في طب العيون فحسب، بل لديها أيضًا القدرة على إحداث ثورة في التشخيص عبر عدة طرق تصوير طبية.
النتائج
حللت الدراسة بيانات من ثلاثة مستشفيات، تشمل ما مجموعه 63,979 صورة و21,239 تقريرًا عبر سبع حالات عينية. تضمنت مجموعات البيانات مجموعة تدريب تضم 5,497 مريضًا، و37,917 صورة، و12,649 تقريرًا؛ ومجموعة تحقق تضم 1,915 مريضًا، و12,639 صورة، و4,197 تقريرًا؛ ومجموعة اختبار تضم 1,919 مريضًا، و12,640 صورة، و4,170 تقريرًا. بالإضافة إلى ذلك، تم استخدام مجموعتين اختبار خارجيتين: مجموعة الاختبار الخارجي 1 (FAHWM) مع 269 مريضًا ومجموعة الاختبار الخارجي 2 (FAHZC) مع 70 مريضًا. تراوحت متوسط أعمار المرضى بين 49.5 إلى 57.4 عامًا، مع توزيع متوازن للجنس في مجموعات البيانات الداخلية (47.4% ذكور، 52.6% إناث) وتباينات في المجموعات الخارجية.
شملت الغالبية العظمى من الحالات كلا العينين (OS&OD)، خاصة في مجموعات البيانات الداخلية (51.6%). اختلفت أطوال التقارير بشكل كبير، حيث بلغ متوسط مجموعات البيانات الداخلية 99.6-99.7 كلمة، بينما كانت تقارير مجموعة الاختبار الخارجي 1 أقصر (28.6 كلمة) وكانت تقارير مجموعة الاختبار الخارجي 2 أطول (132.8 كلمة). كشفت توزيع التشخيص عن انفصال الشبكية (RD) كأكثر الحالات انتشارًا (33.1%)، تليها نزيف الزجاجية (VH) بنسبة 24.0%، وقصر النظر الشديد (HM) بنسبة 18.5%، والكتاراكت بنسبة 10.7%. كانت حالات أخرى مثل الميلانوما الهدبية (UM)، والخلل الانكساري (RE)، ورم الشبكية (RB) أقل شيوعًا.
المناقشة
في هذه الدراسة، يقدم المؤلفون نهجًا جديدًا يدمج نظام اللغة البصرية (VLS) مع نموذج تقسيم وقناع (SAM) لتعزيز تفسير صور الأشعة فوق الصوتية العينية. أظهر نموذج VLS أداءً قويًا في إنتاج تقارير ذات صلة سريرية تتماشى بشكل وثيق مع ملاحظات أطباء العيون الكبار، محققًا درجات BLEU4 وROUGE عالية في كل من مجموعات الاختبار الداخلية والخارجية. كانت كفاءة النموذج ملحوظة، حيث عالج العينات بشكل أسرع بكثير من الطرق التقليدية، وقلل تكاليف إنتاج التقارير بحوالي 40 مرة مقارنة بالأطباء البشريين. تشير النتائج إلى أن نموذج VLS لا يحسن دقة التشخيص وكفاءته فحسب، بل يعالج أيضًا مشكلات المحتوى غير المناسب والمفقود في التقارير المنتجة.
على الرغم من هذه التقدمات، تعترف الدراسة بالقيود، بما في ذلك مجموعة البيانات المحدودة التي قد تؤثر على قوة النموذج عبر مجموعة أوسع من الحالات السريرية. يقترح المؤلفون أن تركز الأعمال المستقبلية على توسيع مجموعة البيانات لتشمل المزيد من الأمراض العينية المتنوعة ودمج طرق التصوير المختلفة لإنشاء نظام ذكاء اصطناعي متعدد الوسائط شامل. بالإضافة إلى ذلك، يبرزون الحاجة إلى تحسين دقة التقسيم، خاصة للحالات النادرة، ويؤكدون على أهمية قدرات التعلم في الوقت الحقيقي لنظام الذكاء الاصطناعي. بشكل عام، تؤكد هذه الأبحاث على إمكانيات تقنيات الذكاء الاصطناعي في إحداث ثورة في الممارسة السريرية في طب العيون من خلال توفير أدوات تشخيصية دقيقة وفعالة من حيث التكلفة.
DOI: https://doi.org/10.1038/s41746-025-02300-y
PMID: https://pubmed.ncbi.nlm.nih.gov/41484436
Publication Date: 2026-01-03
Author(s): Kai Jin et al.
Primary Topic: Retinal Imaging and Analysis
Overview
The accurate interpretation of ophthalmic ultrasound is essential for diagnosing eye conditions, yet it is often time-consuming and requires substantial expertise. Given the increasing volume of ultrasound data, there is a pressing need for Artificial Intelligence (AI) systems that can efficiently analyze images and generate reports. Traditional AI models struggle with simultaneous lesion identification and lack interpretability. This study introduces the Vision-Language Segmentation (VLS) model, which integrates a Vision-Language Model (VLM) with the Segment Anything Model (SAM) to enhance interpretability in ophthalmic ultrasound imaging.
Utilizing a dataset from three hospitals comprising 64,098 images and 21,355 reports, the VLS model demonstrated impressive performance metrics, achieving a BLEU4 score of 66.37 on the internal test set, and scores of 85.36 and 73.77 on external test sets. The model’s mean dice coefficient was 59.6% for the internal test set, with external test sets yielding coefficients of 50.2% and 51.5%, alongside specificity values of 97.8% and 97.7%, respectively. Overall diagnostic accuracy reached 90.59% in the internal test set and 71.87% in external sets. A cost-effectiveness analysis revealed a dramatic reduction in report costs, decreasing from $39 per report by senior ophthalmologists to $1.3 for the VLS model. This innovative approach not only enhances diagnostic accuracy but also reduces manual effort and accelerates workflows, presenting a promising solution for the interpretation of ophthalmic ultrasound.
Introduction
The introduction highlights the critical role of accurate medical image interpretation and comprehensive report generation in patient care, particularly in ophthalmology where ultrasound imaging is essential for diagnosing conditions like retinal diseases and ocular tumors. Despite its non-invasive nature and the detailed structural insights it provides, interpreting ophthalmic ultrasound images is time-consuming and requires significant expertise. The increasing volume of ultrasound data necessitates advanced systems for effective analysis and report generation. Traditional AI models have made strides in medical image analysis but often lack interpretability and the ability to highlight key abnormalities, limiting their practical utility across various medical specialties.
Recent advancements in artificial intelligence, particularly through Vision-Language Models (VLM) and the Segment Anything Model (SAM), offer promising solutions by integrating visual and textual data to enhance diagnostic accuracy and support clinical decision-making. This study introduces a novel AI model that utilizes VLM to generate comprehensive diagnostic reports and annotate lesions directly on medical images. By combining visual understanding with natural language processing, the proposed Visual-Language Segmentation (VLS) model aims to provide meaningful, interpretable reports while ensuring precise lesion segmentation. The model’s innovative approach not only addresses the existing gaps in AI-driven diagnostic tools in ophthalmology but also has the potential to revolutionize diagnostics across multiple medical imaging modalities.
Results
The study analyzed data from three hospitals, encompassing a total of 63,979 images and 21,239 reports across seven ocular conditions. The datasets included a training set with 5,497 patients, 37,917 images, and 12,649 reports; a validation set with 1,915 patients, 12,639 images, and 4,197 reports; and a test set with 1,919 patients, 12,640 images, and 4,170 reports. Additionally, two external test sets were utilized: External Test Set 1 (FAHWM) with 269 patients and External Test Set 2 (FAHZC) with 70 patients. The mean patient age ranged from 49.5 to 57.4 years, with a balanced gender distribution in the internal datasets (47.4% male, 52.6% female) and variations in the external sets.
The majority of cases involved both eyes (OS&OD), particularly in the internal datasets (51.6%). Report lengths varied significantly, with internal datasets averaging 99.6-99.7 words, while External Test Set 1 had shorter reports (28.6 words) and External Test Set 2 had longer reports (132.8 words). The diagnostic distribution revealed retinal detachment (RD) as the most prevalent condition (33.1%), followed by vitreous hemorrhage (VH) at 24.0%, high myopia (HM) at 18.5%, and cataract at 10.7%. Other conditions such as uveal melanoma (UM), refractive error (RE), and retinoblastoma (RB) were less common.
Discussion
In this study, the authors present a novel approach that integrates a Vision-Language System (VLS) with a Segmentation and Masking (SAM) model to enhance the interpretation of ophthalmic ultrasound images. The VLS model demonstrated strong performance in generating clinically relevant reports that closely aligned with the observations of senior ophthalmologists, achieving high BLEU4 and ROUGE scores in both internal and external test sets. The model’s efficiency was notable, processing samples significantly faster than traditional methods, and it reduced report generation costs by approximately 40-fold compared to human physicians. The findings indicate that the VLS model not only improves diagnostic accuracy and efficiency but also addresses issues of inappropriate and missing content in generated reports.
Despite these advancements, the study acknowledges limitations, including a restricted dataset that may affect the model’s robustness across a broader range of clinical conditions. The authors suggest that future work should focus on expanding the dataset to include more diverse ophthalmic diseases and integrating various imaging modalities to create a comprehensive multi-modal AI system. Additionally, they highlight the need for improvements in segmentation accuracy, particularly for rare conditions, and emphasize the importance of real-time learning capabilities for the AI system. Overall, this research underscores the potential of AI technologies to revolutionize clinical practice in ophthalmology by providing accurate, efficient, and cost-effective diagnostic tools.