DOI: https://doi.org/10.3389/fmed.2025.1741146
PMID: https://pubmed.ncbi.nlm.nih.gov/41585223
تاريخ النشر: 2026-01-09
المؤلف: Abdel-Hamid Mohamed Emara وآخرون
الموضوع الرئيسي: تصوير الشبكية والتحليل
نظرة عامة
تقدم البحث إطار عمل للتعلم العميق متعدد الأنماط يهدف إلى تعزيز توقع مخاطر اعتلال الشبكية السكري (DR) في مراحله المبكرة من خلال دمج تصوير قاع العين وتصوير التماسك البصري (OCT). باستخدام مجموعة بيانات مختارة من 222 صورة مرتبطة بالأنماط، يستخدم الدراسة بنية شبكة عصبية تلافيفية مزدوجة (CNN)، تضم ResNet50 و EfficientNet، للاستفادة من نقاط القوة التكميلية لكلا نمطي التصوير. يحقق الإطار دقة تصل إلى 94.7% ومنطقة تحت منحنى التشغيل للمتلقي (AUC-ROC) تبلغ 0.97، مما يوضح إمكانيته في الفحص التلقائي لاعتلال الشبكية السكري والتفريق الفعال بين مراحل عدم وجود DR، و DR الخفيف، و DR المعتدل.
يؤكد الدراسة على أهمية دمج الميزات المعتمدة على الانتباه، مما يعزز عملية التصنيف من خلال إعطاء الأولوية للميزات المعلوماتية من كل نمط. بينما النتائج واعدة، يعترف المؤلفون بالحاجة إلى مزيد من التحقق على مجموعات بيانات أكبر وأكثر تنوعًا، خاصة لتضمين مراحل DR الشديدة. ستركز الأعمال المستقبلية على دمج البيانات السريرية لتحسين الأداء التنبؤي، ودمج أساليب الذكاء الاصطناعي القابلة للتفسير للشفافية، واستكشاف استراتيجيات النشر في الوقت الحقيقي لتسهيل الفحص القابل للتوسع لاعتلال الشبكية السكري عبر مختلف إعدادات الرعاية الصحية.
مقدمة
تتناول مقدمة هذه الورقة البحثية القضية الحرجة لاعتلال الشبكية السكري (DR)، وهو مضاعف ميكرو وعائي كبير لمرض السكري الذي يشكل خطرًا كبيرًا على العمى القابل للتجنب، خاصة بين الأفراد في سن العمل. مع تقدير انتشار عالمي يتجاوز 93 مليون حالة، يتم التأكيد على الحاجة الملحة للكشف في الوقت المناسب، حيث أن المراحل المبكرة من DR غالبًا ما تكون بدون أعراض ولكنها قابلة للعلاج. تلتقط طرق الفحص التقليدية، التي تعتمد أساسًا على تصوير قاع العين، الميزات الأساسية للشبكية ولكنها تفتقر إلى إدراك العمق، مما يستلزم الاستخدام التكاملي لتصوير التماسك البصري (OCT) لتقييم أكثر شمولاً لصحة الشبكية.
تسلط الورقة الضوء على قيود نماذج الفحص التلقائي الحالية لاعتلال الشبكية السكري، التي تعتمد عادةً على نمط تصوير واحد، مما يضعف دقة التشخيص. تدعو إلى نهج متعدد الأنماط يدمج تصوير قاع العين وOCT لتعزيز قدرات الكشف المبكر من خلال توفير رؤية شاملة لعلم الأمراض الشبكية. تقدم الدراسة المقترحة إطار عمل للتعلم العميق متعدد الأنماط يستخدم بنية شبكة عصبية تلافيفية مزدوجة (CNN)، تضم ResNet50 و EfficientNet كمستخلصات ميزات لصور قاع العين وOCT، على التوالي. من خلال استخدام مجموعة مصفاة من 222 صورة مرتبطة، تهدف الدراسة إلى تحسين أداء التصنيف من خلال استراتيجيات دمج معتمدة على الانتباه، مما يعزز في النهاية التمييز بين حالات عدم وجود DR، و DR الخفيف، و DR المعتدل. تشمل المساهمات الرئيسية تصميم بنية التدفق المزدوج، وتقييم استراتيجيات الدمج المختلفة، والتحقق مقابل النماذج الحالية، مما يمهد الطريق لتحسين الممارسات التشخيصية في الكشف عن DR.
طرق
تستفيد المنهجية المقترحة من تقنيات التعلم العميق للتنبؤ بالمراحل المبكرة من اعتلال الشبكية السكري (DR). يشمل هذا الإطار نهجًا منهجيًا يبدأ بجمع البيانات، تليه خطوات المعالجة المسبقة لإعداد البيانات للتحليل.
يتم تفصيل الإعداد التجريبي للتحقق من المنهجية المقترحة في الجدول 8، الذي يوضح تكوينات البرمجيات والأجهزة المحددة المستخدمة خلال التجارب. يهدف هذا النهج المنظم إلى تعزيز دقة وموثوقية توقعات DR، مما يساهم في استراتيجيات التشخيص المبكر والتدخل.
نتائج
تظهر نتائج إطار العمل المقترح للتعلم العميق متعدد الأنماط للكشف المبكر عن اعتلال الشبكية السكري (DR) تقدمًا كبيرًا في كل من أداء التصنيف وتقارب التدريب. يدمج الإطار بفعالية بين أنماط البيانات المختلفة، مما يعزز قدرة النموذج على تحديد العلامات المبكرة لاعتلال الشبكية السكري بدقة.
تشير المقاييس الكمية إلى أن آلية دمج الميزات المعتمدة على الانتباه تلعب دورًا حاسمًا في تحسين دقة التشخيص، مما يسمح للنموذج بإعطاء الأولوية للميزات ذات الصلة من بيانات الإدخال. تدعم التقييمات النوعية هذه النتائج، مما يبرز قوة وموثوقية الإطار في التطبيقات السريرية للكشف المبكر عن DR.
مناقشة
تسلط قسم المناقشة في الورقة البحثية الضوء على التقدم في تطبيقات التعلم العميق ضمن طب العيون، خاصة للكشف عن اعتلال الشبكية السكري (DR) باستخدام تقنيات التصوير متعدد الأنماط. كانت الأساليب الأولية تعتمد بشكل أساسي على تصوير قاع العين مع طرق التعلم الآلي التقليدية، التي كانت تتطلب هندسة ميزات يدوية واسعة النطاق ومعالجة مسبقة. مثلت إدخال الشبكات العصبية التلافيفية (CNNs) تحولًا كبيرًا، مما سمح بالتعلم من البداية إلى النهاية مباشرة من بيانات البكسل الخام، مما أدى إلى تحسين دقة التشخيص. ومع ذلك، غالبًا ما تفتقر هذه النماذج إلى السياق الهيكلي الذي يوفره تصوير التماسك البصري (OCT)، وهو أمر أساسي لتحديد الشذوذ تحت الشبكية. بدأت الدراسات الحديثة في دمج بيانات قاع العين وOCT، معترفة بأن DR ينطوي على تغييرات سطحية وتحت سطحية، مما يعزز دقة التشخيص.
على الرغم من التقدم، لا تزال التحديات قائمة، بما في ذلك الاعتماد على مجموعات بيانات محدودة تعيق القابلية للتعميم والحاجة إلى طرق دمج محسّنة تحافظ على القابلية للتفسير السريرية. تعالج الإطار المقترح في هذه الدراسة هذه القضايا من خلال استخدام بنية تدفق مزدوجة تدمج الميزات من كلا نمطي التصوير باستخدام استراتيجية دمج معتمدة على الانتباه. لا يركز هذا النهج فقط على الميزات ذات الصلة سريريًا ولكنه يضمن أيضًا اتساق البيانات وتدريبًا فعالًا مع مجموعة بيانات مدمجة من 222 صورة مرتبطة. حقق النموذج دقة ملحوظة تبلغ 90.5% وAUC قدره 0.970، مما يوضح إمكانيته للنشر العملي في إعدادات سريرية ذات موارد منخفضة. ستركز الأعمال المستقبلية على توسيع مجموعة البيانات لتشمل مراحل أكثر شدة من DR لتعزيز قوة النموذج وقابليته للتطبيق السريري.
القيود
تعترف الدراسة بعدة قيود قد تؤثر على قابلية تعميم نتائجها. أولاً، مجموعة البيانات المستخدمة، التي تتكون من 222 عينة مرتبطة عالية الجودة فقط، محدودة في الحجم والتنوع الجغرافي، مما قد يؤدي إلى تضخيم مقاييس الأداء وزيادة خطر الإفراط في التكيف. بينما تعزز العناية في اختيار العينات الاتساق، فإنها تقدم أيضًا درجة من التجانس قد تؤثر على النتائج.
علاوة على ذلك، يؤكد المؤلفون على الحاجة إلى تحقق أوسع عبر مراكز متعددة وتضمين أجهزة تصوير متنوعة، بالإضافة إلى التباينات السريرية المحددة حسب المنطقة، لتعزيز قوة النموذج. بالإضافة إلى ذلك، يتم تسليط الضوء على أهمية الشفافية والقدرة على التفسير السريرية، حيث أن هذه العوامل حاسمة لبناء الثقة بين الممارسين الصحيين. يجب أن تركز الأبحاث المستقبلية على مجموعات بيانات أكبر ومتعددة المؤسسات التي تلتقط التباين في العالم الحقيقي لدعم نتائج هذه الدراسة.
DOI: https://doi.org/10.3389/fmed.2025.1741146
PMID: https://pubmed.ncbi.nlm.nih.gov/41585223
Publication Date: 2026-01-09
Author(s): Abdel-Hamid Mohamed Emara et al.
Primary Topic: Retinal Imaging and Analysis
Overview
The research presents a multimodal deep learning framework aimed at enhancing early diabetic retinopathy (DR) risk prediction by integrating fundus photography and optical coherence tomography (OCT) imaging. Utilizing a curated dataset of 222 modality-paired images, the study employs a dual-stream convolutional neural network (CNN) architecture, incorporating ResNet50 and EfficientNet, to leverage the complementary strengths of both imaging modalities. The framework achieves an accuracy of 94.7% and an area under the receiver operating characteristic curve (AUC-ROC) of 0.97, demonstrating its potential for automated DR screening and effective differentiation between No DR, Mild DR, and Moderate DR stages.
The study emphasizes the importance of attention-based feature fusion, which enhances the classification process by prioritizing informative features from each modality. While the results are promising, the authors acknowledge the need for further validation on larger and more diverse datasets, particularly to include severe DR stages. Future work will focus on integrating clinical metadata to improve predictive performance, incorporating explainable AI methods for transparency, and exploring real-time deployment strategies to facilitate scalable DR screening across various healthcare settings.
Introduction
The introduction of this research paper addresses the critical issue of Diabetic Retinopathy (DR), a significant microvascular complication of diabetes mellitus that poses a major risk of preventable blindness, particularly among working-age individuals. With an estimated global prevalence exceeding 93 million cases, the urgency for timely detection is underscored, as early stages of DR are often asymptomatic yet treatable. Traditional screening methods, primarily fundus photography, capture essential retinal features but lack depth perception, necessitating the complementary use of Optical Coherence Tomography (OCT) for a more comprehensive assessment of retinal health.
The paper highlights the limitations of existing automated DR screening models, which typically rely on a single imaging modality, thereby compromising diagnostic accuracy. It advocates for a multimodal approach that integrates fundus and OCT imaging to enhance early detection capabilities by providing a holistic view of retinal pathology. The proposed study introduces a multimodal deep learning framework that utilizes a dual-stream convolutional neural network (CNN) architecture, incorporating ResNet50 and EfficientNet as feature extractors for fundus and OCT images, respectively. By employing a filtered subset of 222 paired images, the study aims to improve classification performance through attention-based fusion strategies, ultimately enhancing the differentiation between no DR, mild DR, and moderate DR cases. Key contributions include the design of the dual-stream architecture, evaluation of various fusion strategies, and validation against existing models, setting the stage for improved diagnostic practices in DR detection.
Methods
The proposed methodology leverages deep learning techniques to predict the early stages of diabetic retinopathy (DR). This framework encompasses a systematic approach that begins with data acquisition, followed by preprocessing steps to prepare the data for analysis.
The experimental setup for validating the proposed methodology is detailed in Table 8, which outlines the specific software and hardware configurations utilized during the experiments. This structured approach aims to enhance the accuracy and reliability of DR predictions, contributing to early diagnosis and intervention strategies.
Results
The results of the proposed multimodal deep learning framework for early diabetic retinopathy (DR) detection demonstrate significant advancements in both classification performance and training convergence. The framework effectively integrates various data modalities, which enhances the model’s ability to accurately identify early signs of DR.
Quantitative metrics indicate that the attention-based feature fusion mechanism plays a crucial role in improving diagnostic accuracy, allowing the model to prioritize relevant features from the input data. Qualitative assessments further support these findings, highlighting the framework’s robustness and reliability in clinical applications for early DR detection.
Discussion
The discussion section of the research paper highlights the advancements in deep learning applications within ophthalmology, particularly for the detection of diabetic retinopathy (DR) using multimodal imaging techniques. Initial approaches primarily utilized fundus photography with traditional machine learning methods, which required extensive manual feature engineering and preprocessing. The introduction of Convolutional Neural Networks (CNNs) marked a significant shift, allowing for end-to-end learning directly from raw pixel data, resulting in improved diagnostic accuracy. However, these models often lacked the structural context provided by Optical Coherence Tomography (OCT), which is essential for identifying subretinal abnormalities. Recent studies have begun to integrate both fundus and OCT data, recognizing that DR involves both superficial and subsurface changes, thereby enhancing diagnostic precision.
Despite the progress, challenges remain, including the reliance on limited datasets that hinder generalizability and the need for optimized fusion methods that maintain clinical interpretability. The proposed framework in this study addresses these issues by employing a dual-stream architecture that integrates features from both imaging modalities using an attention-based fusion strategy. This approach not only emphasizes clinically relevant features but also ensures data consistency and efficient training with a compact dataset of 222 paired images. The model achieved a commendable accuracy of 90.5% and an AUC of 0.970, demonstrating its potential for practical deployment in low-resource clinical settings. Future work will focus on expanding the dataset to include more severe stages of DR to enhance the model’s robustness and clinical applicability.
Limitations
The study acknowledges several limitations that may impact the generalizability of its findings. Firstly, the dataset utilized, comprising only 222 high-quality paired samples, is limited in size and geographical diversity, which may lead to inflated performance metrics and an increased risk of overfitting. While the careful curation of samples enhances consistency, it also introduces a degree of homogeneity that could skew results.
Moreover, the authors emphasize the need for broader validation across multiple centers and the inclusion of various imaging devices, as well as region-specific clinical variations, to enhance the robustness of the model. Additionally, the importance of transparency and clinical explainability is highlighted, as these factors are crucial for fostering trust among healthcare practitioners. Future research should focus on larger, multi-institutional datasets that capture real-world variability to substantiate the findings of this study.