DOI: https://doi.org/10.3389/fmed.2025.1730678
PMID: https://pubmed.ncbi.nlm.nih.gov/41694677
تاريخ النشر: 2026-01-30
المؤلف: Emmanuel Eric Pazo وآخرون
الموضوع الرئيسي: تصوير الشبكية والتحليل
نظرة عامة
يقدم هذا القسم شبكة دوال-ترانسفورمر المتبقية للتكبير الفائق (DTRSRN)، وهي بنية جديدة مصممة لتعزيز صور قاع العين عالية الدقة لتشخيص اعتلال الشبكية السكري. تكافح طرق التكبير الفائق التقليدية مع التوازن بين المخرجات المفرطة السلاسة من الشبكات العصبية التلافيفية (CNNs) وإدخال العيوب بواسطة الشبكات التنافسية التوليدية (GANs). تعالج DTRSRN هذه القضايا من خلال دمج ترانسفورمر سوان لنمذجة السياق العالمي مع مسار CNN المتبقي المتوازي، مما يضمن الحفاظ على التفاصيل الوعائية الدقيقة الضرورية للتشخيص الدقيق.
تشير النتائج الرئيسية إلى أن DTRSRN تحقق نسبة ذروة الإشارة إلى الضوضاء (PSNR) تبلغ 33.64 ديسيبل للتكبير الفائق 2×، متجاوزة الطرق المتقدمة مثل SwinIR وHAT وResShift. ومن الجدير بالذكر أنها تظهر تحسنًا بنسبة 17.0% في الحفاظ على بنية الأوعية الدموية، تم قياسها من خلال تحليل البعد الفركتالي (Df = 0.0987)، مما يبرز أهميتها السريرية. تم التحقق من تكوين البنية الثنائية المسار والدمج متعدد المقاييس التكيفي من خلال دراسات الإزالة، مما يكشف عن تحسينات كبيرة في كل من PSNR ومقاييس الحفاظ على الأوعية الدموية. بشكل عام، تظهر DTRSRN كحل قابل للتطبيق سريريًا لتحسين صور الشبكية، مع الحفاظ بشكل فعال على سلامة الهياكل الوعائية المهمة تشخيصيًا.
مقدمة
تناقش مقدمة الورقة التحديات والتقدم في التكبير الفائق للصورة الواحدة (SISR)، خاصة في سياق التصوير الطبي. يهدف SISR إلى إعادة بناء الصور عالية الدقة ($I_{HR}$) من المدخلات منخفضة الدقة ($I_{LR}$)، وهو أمر حيوي لاكتشاف الميزات التشريحية الدقيقة في السياقات الطبية، مثل الأوعية الدقيقة في صور الشبكية. تبرز الورقة قيود تقنيات التصوير التقليدية بسبب قيود الأجهزة وضرورة تقليل تعرض المرضى. تشير إلى التوتر في بنى التكبير الفائق بين التقاط التفاصيل المحلية والعلاقات العالمية، حيث تكون الشبكات العصبية التلافيفية (CNNs) فعالة في الميزات المحلية ولكن محدودة في السياق العالمي. لقد عالج إدخال ترانسفورمر الرؤية (ViTs) هذه الفجوة، ومع ذلك، فإنها تكافح للحفاظ على ميزات الحواف الدقيقة.
لمعالجة هذه القضايا، تقدم الورقة شبكة دوال-ترانسفورمر المتبقية للتكبير الفائق (DTRSRN)، وهي بنية هجينة تجمع بين CNNs للحفاظ على التفاصيل مع ترانسفورمر لنمذجة السياق العالمي، مصممة خصيصًا لتصوير قاع العين. تهدف DTRSRN إلى تحسين إعادة بناء الحدود الوعائية ذات الأهمية السريرية والملمس الدقيق، باستخدام تحليل البعد الفركتالي كمعيار تقييم جديد لضمان أن الصور المحسنة تحافظ على التعقيد الشكلي للمراجع عالية الدقة الحقيقية. تشمل المساهمات الرئيسية تطوير بنية DTRSRN، والتركيز على التكبير الفائق لصور قاع العين، وإدخال تحليل البعد الفركتالي للتقييم، والتحقق التجريبي الشامل الذي يظهر تحسين الأداء في إعادة بناء التفاصيل الحرجة لتشخيص اعتلال الشبكية السكري.
طرق
في هذا القسم، يناقش المؤلفون تطور تقنيات التكبير الفائق (SR)، مع التركيز بشكل خاص على الشبكات التنافسية التوليدية (GANs) وتأثيرها على الجودة الإدراكية في توليد الصور. بينما حققت الشبكات العصبية التلافيفية التقليدية المعتمدة على البكسل، مثل تلك التي تحسن نسبة الذروة للإشارة إلى الضوضاء (PSNR)، دقة عالية، إلا أنها غالبًا ما أدت إلى صور تفتقر إلى القوام الواقعي. لقد شكل إدخال SRGAN تحولًا كبيرًا نحو إعطاء الأولوية للجودة الإدراكية، باستخدام إطار عمل GAN مع فقد إدراكي. وقد تقدمت ESRGAN أكثر من ذلك من خلال تعزيز بنية الشبكة باستخدام كتل كثيفة متبقية في متبقية (RRDB)، وتحسين فقد الخصومة من خلال GAN النسبي (RaGAN)، وتنقيح الفقد الإدراكي باستخدام ميزات من شبكة VGG، مما أدى إلى نتائج أكثر حدة وجاذبية بصريًا. تم التحقق من أداء ESRGAN من خلال احتلاله المركز الأول في تحدي PIRM2018-SR، مما يبرز فعاليته.
ثم يقدم المؤلفون شبكتهم المقترحة دوال-ترانسفورمر المتبقية للتكبير الفائق (DTRSRN)، المصممة خصيصًا لتكبير صور قاع العين. يحددون بنية الشبكة، واستراتيجيات التدريب، وإطار تقييم قائم على البعد الفركتالي لضمان الأهمية السريرية. لتقييم أداء DTRSRN، يقارن المؤلفون بينها وبين مجموعة متنوعة من طرق التكبير الفائق المتقدمة، بما في ذلك كل من بنى CNN وTransformer. تشمل طرق الأساس تقنيات التداخل التقليدية ثنائية التكعيب ونماذج التعلم العميق المبكرة مثل SRCNN، بالإضافة إلى بنى متقدمة مثل EDSR وRCAN وPAN وSwinIR وHAT وSRFormer. يتضمن التقييم أيضًا نماذج هجينة تعتمد على CNN-Transformer وطرق قائمة على الانتشار، مما يضمن مقارنة شاملة من خلال إعادة تدريب جميع طرق الأساس على مجموعات بيانات الشبكية الخاصة بالمؤلفين تحت معلمات تدريب متسقة وبروتوكولات تدريب.
نتائج
يسلط قسم النتائج الضوء على فعالية نموذج DTRSRN في تحسين صور الشبكية منخفضة الدقة من مجموعة بيانات STARE. توضح الشكل 2 أربعة أزواج تمثيلية من المقارنات البصرية، مما يظهر تحسينات كبيرة في كل من الجودة البصرية والحفاظ على التفاصيل الهيكلية في المخرجات المحسنة. ومن الجدير بالذكر أن الهياكل الوعائية الدقيقة التي كانت مشوشة سابقًا في الصور منخفضة الدقة تم عرضها بحدود حادة ومحددة جيدًا، مما يسمح برؤية أوضح للأوعية الصغيرة والشعيرات الدموية.
علاوة على ذلك، تظهر الصور المحسنة وضوحًا أفضل للميزات التشريحية الحرجة مثل حدود القرص البصري ومناطق الفوفا، كل ذلك مع تجنب إدخال عيوب اصطناعية أو آثار فرط الحدة. ينجح نموذج DTRSRN في الحفاظ على المظهر الطبيعي لأنسجة الشبكية، مستعيدًا بفعالية التفاصيل الشكلية الدقيقة—مثل تفرعات الأوعية، وأنماط الالتواء، والتغيرات الطفيفة في قطر الأوعية—التي تعتبر حيوية للتقييم السريري وتشخيص أمراض الشبكية.
مناقشة
ت outlines قسم المناقشة في الورقة التقدمات الكبيرة في تقنيات التكبير الفائق للصورة الواحدة (SISR)، مع التركيز بشكل خاص على الشبكات العصبية التلافيفية (CNNs) وترانسفورمر الرؤية (ViTs). أسست نماذج CNN المبكرة مثل SRCNN وVDSR الإمكانية للتعلم العميق في SISR، مما أدى إلى تحسينات في البنى مثل EDSR وRCAN، التي دمجت آليات الانتباه لتعزيز الأداء من خلال التركيز على التفاصيل عالية التردد. لقد شكل إدخال ViTs، كما يتضح من نماذج مثل SwinIR، تحولًا نحو الاستفادة من الانتباه الذاتي لالتقاط الاعتماديات بعيدة المدى، مما أدى إلى أداء متفوق مع عدد أقل من المعلمات مقارنةً بالشبكات العصبية التلافيفية التقليدية. تؤكد الابتكارات الحديثة، مثل آليات الانتباه الهجينة وبنى CNN خفيفة الوزن، على أهمية دمج قدرات استخراج الميزات المحلية والعالمية.
تسلط الورقة الضوء أيضًا على ظهور بنى هجينة تعتمد على CNN وترانسفورمر، والتي تهدف إلى الاستفادة من نقاط القوة في كلا النهجين. تشمل الأمثلة البارزة الشبكة الهجينة لـ CNN وترانسفورمر (HNCT) والتكبير الفائق المعتمد على ترانسفورمر المدعوم بالتداخل متعدد المقاييس (MSCT-SR)، والتي تعالج بشكل فعال قيود كل بنية في الحفاظ على التفاصيل الحرجة، خاصة في سياقات التصوير الطبي. يقترح المؤلفون طريقتهم، شبكة دوال-ترانسفورمر المتبقية للتكبير الفائق (DTRSRN)، التي تدمج بشكل فريد بنية ثنائية المسار ودالة فقد البعد الفركتالي المصممة خصيصًا لصور قاع العين، مما يبرز الحاجة إلى الحفاظ على الهيكل في التطبيقات السريرية. تختتم المناقشة بالتأكيد على أهمية تقييم طرق التكبير الفائق ليس فقط على المعايير التقليدية ولكن أيضًا من خلال معايير ذات صلة سريريًا، مثل تحليل البعد الفركتالي، لضمان أن الصور المحسنة تحافظ على القيمة التشخيصية.
القيود
يسلط قسم القيود الضوء على عدة تحديات مرتبطة بنموذج DTRSRN. أولاً، قد تعيق المطالب الحسابية المتزايدة للنموذج تنفيذه في البيئات السريرية ذات الموارد المحدودة، على الرغم من أن هذه المشكلة يمكن أن يتم التخفيف منها من خلال ضغط النموذج أو استخدام الأجهزة المتخصصة. بالإضافة إلى ذلك، تم تصميم بنية النموذج خصيصًا لصور الشبكية، مما قد يقيد قابليتها للتطبيق على أنواع التصوير الطبي الأخرى دون التعديلات اللازمة.
تعتبر الاعتماد على بيانات التدريب قيدًا آخر كبيرًا، حيث تظل فعالية النموذج على الصور المتدهورة بشدة أو الحالات المرضية الجديدة غير المدرجة في مجموعة التدريب غير مؤكدة. إن تضمين حسابات البعد الفركتالي، على الرغم من أهميتها السريرية، يقدم عبئًا حسابيًا قد لا يكون ضروريًا لجميع التطبيقات. يتناول التقييم الحالي بشكل أساسي الهياكل الوعائية، متجاهلاً ميزات الشبكية المهمة الأخرى مثل القرص البصري والمكولا، والتي يمكن أن تستفيد من استراتيجيات الحفاظ المستهدفة. يجب أن تهدف الأبحاث المستقبلية إلى تعزيز الإطار من خلال دمج مصطلحات فقد محددة لهياكل تشريحية متعددة والتحقق من النموذج على مجموعات بيانات سريرية أكبر وأكثر تنوعًا لتعزيز قابليته للتعميم.
DOI: https://doi.org/10.3389/fmed.2025.1730678
PMID: https://pubmed.ncbi.nlm.nih.gov/41694677
Publication Date: 2026-01-30
Author(s): Emmanuel Eric Pazo et al.
Primary Topic: Retinal Imaging and Analysis
Overview
The section presents the Dual-Transformer Residual Super-Resolution Network (DTRSRN), a novel architecture designed to enhance high-resolution retinal fundus images for diabetic retinopathy diagnosis. Traditional super-resolution methods struggle with a trade-off between overly smooth outputs from convolutional neural networks (CNNs) and the introduction of artifacts by generative adversarial networks (GANs). DTRSRN addresses these issues by integrating Swin Transformers for global context modeling with a parallel residual CNN pathway, ensuring the preservation of fine vascular details critical for accurate diagnosis.
Key findings indicate that DTRSRN achieves a peak signal-to-noise ratio (PSNR) of 33.64 dB for 2× super-resolution, surpassing state-of-the-art methods such as SwinIR, HAT, and ResShift. Notably, it demonstrates a 17.0% improvement in vascular structure preservation, quantified through fractal dimension analysis (Df = 0.0987), underscoring its clinical relevance. The architecture’s dual-path configuration and adaptive multi-scale fusion were validated through ablation studies, revealing significant enhancements in both PSNR and vascular preservation metrics. Overall, DTRSRN emerges as a clinically viable solution for retinal image enhancement, effectively maintaining the integrity of diagnostically important vascular structures.
Introduction
The introduction of the paper discusses the challenges and advancements in Single Image Super-Resolution (SISR), particularly in the context of medical imaging. SISR aims to reconstruct high-resolution images ($I_{HR}$) from low-resolution inputs ($I_{LR}$), which is crucial for detecting subtle anatomical features in medical contexts, such as microaneurysms in retinal images. The paper highlights the limitations of traditional imaging techniques due to hardware constraints and the necessity of minimizing patient exposure. It notes the tension in super-resolution architectures between capturing local details and global relationships, with Convolutional Neural Networks (CNNs) being effective for local features but limited in global context. The introduction of Vision Transformers (ViTs) has addressed this gap, yet they struggle with preserving precise edge features.
To tackle these issues, the paper presents the Dual-Transformer Residual Super-Resolution Network (DTRSRN), a hybrid architecture that combines CNNs for detail preservation with Transformers for global context modeling, specifically designed for retinal fundus imaging. The DTRSRN aims to optimize the reconstruction of clinically relevant vascular boundaries and fine textures, employing fractal dimension analysis as a new evaluation metric to ensure that enhanced images maintain the morphological complexity of true high-resolution references. The primary contributions include the development of the DTRSRN architecture, a focus on retinal fundus image super-resolution, the introduction of fractal dimension analysis for evaluation, and comprehensive experimental validation demonstrating improved performance in reconstructing critical details for diabetic retinopathy diagnosis.
Methods
In this section, the authors discuss the evolution of super-resolution (SR) techniques, particularly focusing on Generative Adversarial Networks (GANs) and their impact on perceptual quality in image generation. While traditional pixel-based CNNs, such as those optimizing Peak Signal-to-Noise Ratio (PSNR), achieved high accuracy, they often resulted in images lacking realistic textures. The introduction of SRGAN marked a significant shift towards prioritizing perceptual quality, utilizing a GAN framework with perceptual loss. ESRGAN further advanced this approach by enhancing the network architecture with Residual-in-Residual Dense Blocks (RRDB), improving adversarial loss through a relativistic GAN (RaGAN), and refining perceptual loss using features from the VGG network, leading to sharper and more visually appealing results. ESRGAN’s performance was validated by its first-place finish in the PIRM2018-SR Challenge, underscoring its effectiveness.
The authors then introduce their proposed Dual-Transformer Residual Super-Resolution Network (DTRSRN), specifically designed for retinal fundus image super-resolution. They outline the network architecture, training strategies, and a fractal dimension-based evaluation framework to ensure clinical relevance. To assess the performance of DTRSRN, the authors compare it against various state-of-the-art super-resolution methods, including both CNN and Transformer-based architectures. Baseline methods include traditional bicubic interpolation and early deep learning models like SRCNN, as well as advanced architectures such as EDSR, RCAN, PAN, SwinIR, HAT, and SRFormer. The evaluation also incorporates hybrid CNN-Transformer models and diffusion-based methods, ensuring a comprehensive comparison by retraining all baseline methods on the authors’ retinal datasets under consistent hyperparameters and training protocols.
Results
The results section highlights the effectiveness of the DTRSRN model in enhancing low-resolution retinal images from the STARE dataset. Figure 2 illustrates four representative pairs of visual comparisons, showcasing significant improvements in both visual quality and structural detail preservation in the super-resolved outputs. Notably, fine vascular structures that were previously blurred in the low-resolution images are rendered with sharp, well-defined boundaries, allowing for clearer visibility of small vessels and capillaries.
Furthermore, the enhanced images demonstrate improved clarity of critical anatomical features such as the optic disc boundaries and foveal regions, all while avoiding the introduction of artificial artifacts or over-sharpening effects. The DTRSRN model successfully maintains the natural appearance of retinal tissue, effectively recovering fine-grained morphological details—such as vessel bifurcations, tortuosity patterns, and subtle variations in vessel caliber—that are vital for clinical assessment and diagnosis of retinal diseases.
Discussion
The discussion section of the paper outlines significant advancements in single-image super-resolution (SISR) techniques, particularly focusing on convolutional neural networks (CNNs) and vision transformers (ViTs). Early CNN models like SRCNN and VDSR established the potential of deep learning for SISR, leading to improvements in architectures such as EDSR and RCAN, which incorporated attention mechanisms to enhance performance by focusing on high-frequency details. The introduction of ViTs, exemplified by models like SwinIR, marked a shift towards leveraging self-attention for capturing long-range dependencies, resulting in superior performance with fewer parameters compared to traditional CNNs. Recent innovations, such as hybrid attention mechanisms and lightweight CNN architectures, further emphasize the importance of combining local and global feature extraction capabilities.
The paper also highlights the emergence of hybrid CNN-transformer architectures, which aim to capitalize on the strengths of both approaches. Notable examples include the Hybrid Network of CNN and Transformer (HNCT) and the Multi-Scale Convolution-Aided Transformer-Based Super Resolution (MSCT-SR), which effectively address the limitations of each architecture in preserving critical details, particularly in medical imaging contexts. The authors propose their method, the Dual-Transformer Residual Super-Resolution Network (DTRSRN), which uniquely integrates a dual-path architecture and a fractal dimension loss function tailored for retinal fundus images, emphasizing the need for structural preservation in clinical applications. The discussion concludes by underscoring the importance of evaluating super-resolution methods not only on traditional metrics but also through clinically relevant criteria, such as fractal dimension analysis, to ensure that enhanced images maintain diagnostic value.
Limitations
The section on limitations highlights several challenges associated with the DTRSRN model. Firstly, the model’s increased computational demands may hinder its implementation in resource-limited clinical settings, although this issue could potentially be mitigated through model compression or the use of specialized hardware. Additionally, the architecture’s design is tailored specifically for retinal images, which may restrict its applicability to other medical imaging types without necessary modifications.
Another significant limitation is the dependency on training data, as the model’s efficacy on severely degraded images or novel pathological conditions not included in the training set remains unverified. The inclusion of fractal dimension calculations, while clinically pertinent, introduces computational overhead that may not be essential for all applications. The current evaluation predominantly addresses vascular structures, neglecting other important retinal features such as the optic disc and macula, which could benefit from targeted preservation strategies. Future research should aim to enhance the framework by integrating multiple anatomical structure-specific loss terms and validating the model on larger, more diverse clinical datasets to bolster its generalizability.