DOI: https://doi.org/10.1016/j.media.2026.104010
PMID: https://pubmed.ncbi.nlm.nih.gov/41780319
تاريخ النشر: 2026-02-27
المؤلف: Yue Cao وآخرون
الموضوع الرئيسي: تقنيات تقسيم الصور الطبية
نظرة عامة
يتناول القسم قيود الاتصالات التقليدية في الشبكات على شكل حرف U المستخدمة في تقسيم الصور الطبية، مع التركيز بشكل خاص على القيود بين الميزات وداخل الميزات. يتميز القيد بين الميزات بالطبيعة الثابتة لدمج الميزات، بينما ينشأ القيد داخل الميزات من عدم كفاية نمذجة تفاعلات الميزات متعددة المقاييس. لمعالجة هذه القضايا، يقترح المؤلفون كتلة الاتصال الديناميكي (DSC)، التي تعزز الاتصال عبر الطبقات من خلال آليات تكيفية. تتكون كتلة DSC من مكونين رئيسيين: وحدة التدريب في وقت الاختبار (TTT) التي تسمح بالتكيف الديناميكي للتمثيلات المخفية أثناء الاستدلال، ووحدة النواة متعددة المقاييس الديناميكية (DMSK) التي تختار أحجام النواة بناءً على الإشارات السياقية العالمية، مما يحسن دمج الميزات متعددة المقاييس.
تم تصميم كتلة DSC لتكون غير مرتبطة بالهندسة المعمارية، مما يسمح بدمجها بسهولة في هياكل الشبكات المختلفة على شكل حرف U. تظهر النتائج التجريبية فعاليتها عبر أنواع مختلفة من الشبكات، بما في ذلك النماذج المعتمدة على CNN، والنماذج المعتمدة على المحولات، والنماذج الهجينة. يشير المؤلفون إلى أنه بينما تحسن كتلة DSC تمثيل الميزات وتتكيف مع الخصائص الفريدة للصورة، فإنها تقدم عبئًا حسابيًا بسبب آليات التكيف الديناميكي لوحدة TTT. يشكل هذا التبادل بين التكيف والكفاءة تحديات للتطبيقات السريرية الحساسة للوقت. يجب أن تركز الأبحاث المستقبلية على تطوير تنفيذات TTT أكثر كفاءة حسابيًا لتعزيز جدوى الآليات التكيفية في سيناريوهات التصوير الطبي في العالم الحقيقي.
مقدمة
تسلط مقدمة ورقة البحث الضوء على الدور الحاسم لتقسيم الصور الطبية في الرعاية الصحية، مع التأكيد على أهميته للتشخيص السريري، والتخطيط قبل الجراحة، ومراقبة الأمراض. مع ارتفاع أنواع التصوير الطبي المختلفة مثل الأشعة المقطعية، والرنين المغناطيسي، والموجات فوق الصوتية، زادت الحاجة إلى التحليل الآلي للبيانات عالية الدقة. تعتبر طرق التقسيم اليدوي التقليدية، على الرغم من دقتها، مستهلكة للوقت وعرضة للتباين، خاصة في السيناريوهات التشريحية المعقدة. لقد اكتسبت بنية U-Net شهرة لتصميمها الفعال من نوع الترميز-فك الترميز، الذي يستخدم الاتصالات لتجميع التفاصيل المكانية منخفضة المستوى مع الميزات الدلالية عالية المستوى. ومع ذلك، يحدد المؤلفون قيودين رئيسيين في الهياكل الحالية للتقسيم: الطبيعة الثابتة للاتصالات وعدم كفاية نمذجة تفاعلات الميزات متعددة المقاييس.
لمعالجة هذه القيود، يقترح المؤلفون كتلة الاتصال الديناميكي (DSC) التي تتضمن وحدة التدريب في وقت الاختبار (TTT) ووحدة النواة متعددة المقاييس الديناميكية (DMSK) في هياكل U-Net. تم تصميم كتلة DSC كعنصر مرن يمكن دمجه في هياكل مختلفة على شكل حرف U، بما في ذلك النماذج المعتمدة على CNN والنماذج الهجينة. من خلال تطبيق TTT على الاتصالات، تحول كتلة DSC المسارات الثابتة إلى آليات تكيفية تعدل الأوزان الداخلية بناءً على الخصائص المحددة للإدخال أثناء الاستدلال. بالإضافة إلى ذلك، تعزز وحدة DMSK استخراج الميزات من خلال تمكين اختيار حجم النواة التكيفية المستندة إلى الإشارات السياقية العالمية، مما يتغلب على القيود داخل الميزات ويحسن التمثيل العام للميزات في الصور الطبية.
طرق
يتناول القسم فئتين من الطرق التي تهدف إلى تعزيز الاتصالات في هياكل الشبكات العصبية: طرق تعزيز الاتصال الضمنية والصريحة. تركز الطرق الضمنية، مثل TransUNet وSwinUNet وHiFormer، على تحسين جودة الميزات الناتجة في الترميز. يستخدم TransUNet معالجة الميزات المعتمدة على المحولات لتوفير تمثيلات ميزات عالمية أغنى، بينما يستخدم SwinUNet آليات انتباه نافذة التحول الهرمي لإنتاج ميزات متعددة المقاييس أكثر تمييزًا. يعزز HiFormer جودة الميزات من خلال دمج الميزات عبر المقاييس، مما يسهل تدفق المعلومات بشكل أفضل بين الترميز وفك الترميز.
من ناحية أخرى، تهدف طرق تعديل الاتصال الصريحة، بما في ذلك GridNet وU-Net++ وUNet3+ وFuseUNet، إلى إعادة هيكلة أو تعزيز المسارات نفسها. يقدم GridNet إطار اتصال هيكلي شبكي لتحسين تجميع الميزات، بينما تنفذ U-Net++ وUNet3+ اتصالات متداخلة وكاملة النطاق، على التوالي، لتعزيز دمج الميزات متعددة المقاييس. على الرغم من التقدم الذي تقدمه كل من الطرق الضمنية والصريحة، يبرز القسم قيدًا شائعًا: تعتمد هذه الأساليب على هياكل ثابتة مع مسارات نقل وأحجام نواة ثابتة، مما يحد من قدرتها على التكيف مع الخصائص المتغيرة للإدخال في سياقات التصوير الطبي.
نتائج
في قسم النتائج، يقيم الدراسة أداء كتلة الاتصال الديناميكي (DSC) في مهام تقسيم الصور ثنائية وثلاثية الأبعاد، مع الإبلاغ عن مقاييس مثل درجة Dice، ودرجة سطح Dice المعدلة (NSD)، ودرجات F1. بالنسبة لتقسيم الصور ثنائية الأبعاد، تعزز كتلة DSC الأداء باستمرار عبر هياكل مختلفة. من الجدير بالذكر أن U-Mamba_Bot مع DSC تحقق درجة Dice قدرها $0.6733 \pm 0.3217$ لتقسيم أدوات التنظير، متجاوزة خط الأساس الخاص بها البالغ $0.6540 \pm 0.3008$. تظهر هياكل أخرى، بما في ذلك nnU-Net وSegResNet، أيضًا تحسينات كبيرة، مما يشير إلى التطبيق الواسع لنهج DSC. تستفيد النماذج المعتمدة على المحولات، مثل UNETR وSwinUNETR، من دمج DSC، حيث تحسن SwinUNETR من $0.5528 \pm 0.3089$ إلى $0.6064 \pm 0.3408$، مما يشير إلى أن DSC يكمل آليات الانتباه الذاتي الموجودة.
بالنسبة لمهام تقسيم الصور ثلاثية الأبعاد، تظهر كتلة DSC أيضًا تحسينات في الأداء عبر مجموعات بيانات الأشعة المقطعية والرنين المغناطيسي البطني. تشير النتائج إلى أن دمج DSC يؤدي إلى تحسين نتائج التقسيم، على الرغم من عدم تفصيل الدرجات المحددة لمهام 3D في النص المقدم. بشكل عام، تؤكد النتائج فعالية كتلة DSC في تعزيز أداء التقسيم عبر مهام التصوير الطبي المختلفة، سواء في السياقات ثنائية أو ثلاثية الأبعاد.
مناقشة
في هذا القسم، يناقش المؤلفون دمج التدريب في وقت الاختبار (TTT) في أطر تقسيم الصور الطبية، مع التأكيد على مزاياه مقارنة بأساليب المعلمات الثابتة التقليدية. يسمح TTT بمعالجة الميزات التكيفية أثناء الاستدلال، وهو أمر حاسم نظرًا للتباين الفطري في الصور الطبية بسبب عوامل مثل تشريح المريض وبروتوكولات التصوير. يجادل المؤلفون بأنه بينما يمكن أن توفر آليات الانتباه وزنًا للميزات، فإنها تفتقر إلى قابلية التكيف لـ TTT، الذي يعامل كل إدخال كمشكلة تعلم فريدة. هذه القابلية للتكيف مفيدة بشكل خاص في مسارات الاتصال في هياكل الترميز-فك الترميز، حيث يمكن لـ TTT تحسين نقل الميزات دون تغيير الهيكل العام.
تعزز كتلة الاتصال الديناميكي (DSC) الهياكل التقليدية لـ U-Net من خلال دمج كل من وحدة النواة متعددة المقاييس الديناميكية (DMSK) ووحدة TTT. تلتقط وحدة DMSK الاعتماديات المكانية من خلال اختيار النواة التكيفية، بينما تمكّن وحدة TTT التعديلات الفورية لمسارات الميزات بناءً على خصائص الإدخال. تتيح هذه المقاربة المزدوجة تجميع الميزات بدقة وتعزز قدرة النموذج على التكيف مع الهياكل التشريحية المتغيرة والحالات المرضية. يبرز المؤلفون أن إطار عملهم يظهر تحسينات كبيرة في الأداء عبر مجموعات بيانات التصوير الطبي المتعددة، مما يبرز فعالية دمج TTT ضمن الاتصالات لتحسين نتائج التقسيم.
DOI: https://doi.org/10.1016/j.media.2026.104010
PMID: https://pubmed.ncbi.nlm.nih.gov/41780319
Publication Date: 2026-02-27
Author(s): Yue Cao et al.
Primary Topic: Medical Image Segmentation Techniques
Overview
The section discusses the limitations of conventional skip connections in U-like networks used for medical image segmentation, specifically highlighting inter-feature and intra-feature constraints. The inter-feature constraint is characterized by the static nature of feature fusion, while the intra-feature constraint stems from inadequate modeling of multi-scale feature interactions. To address these issues, the authors propose a Dynamic Skip Connection (DSC) block, which enhances cross-layer connectivity through adaptive mechanisms. The DSC block comprises two key components: a Test-Time Training (TTT) module that allows for dynamic adaptation of hidden representations during inference, and a Dynamic Multi-Scale Kernel (DMSK) module that selects kernel sizes based on global contextual cues, improving multi-scale feature integration.
The DSC block is designed to be architecture-agnostic, allowing it to be easily integrated into various U-like network structures. Experimental results demonstrate its effectiveness across different network types, including CNN-based, Transformer-based, and hybrid models. The authors note that while the DSC block improves feature representation and adapts to unique image characteristics, it introduces computational overhead due to the dynamic adaptation mechanisms of the TTT module. This trade-off between adaptivity and efficiency poses challenges for time-sensitive clinical applications. Future research should focus on developing more computationally efficient TTT implementations to enhance the practicality of adaptive mechanisms in real-world medical imaging scenarios.
Introduction
The introduction of the research paper highlights the critical role of medical image segmentation in healthcare, emphasizing its importance for clinical diagnosis, preoperative planning, and disease monitoring. With the rise of various medical imaging modalities such as CT, MRI, and ultrasound, the demand for automated analysis of high-resolution data has intensified. Traditional manual segmentation methods, while accurate, are time-consuming and prone to variability, particularly in complex anatomical scenarios. The U-Net architecture has gained prominence for its effective encoder-decoder design, which utilizes skip connections to merge low-level spatial details with high-level semantic features. However, the authors identify two primary limitations in current segmentation architectures: the static nature of skip connections and inadequate modeling of adaptive multi-scale feature interactions.
To address these limitations, the authors propose a Dynamic Skip Connection (DSC) block that incorporates a Test-Time Training (TTT) module and a Dynamic Multi-Scale Kernel (DMSK) module into U-Net architectures. The DSC block is designed as a versatile plug-and-play component that can be integrated into various U-like architectures, including CNN-based and hybrid models. By applying TTT to skip connections, the DSC block transforms static pathways into adaptive mechanisms that adjust internal weights based on input-specific characteristics during inference. Additionally, the DMSK module enhances feature extraction by enabling adaptive kernel size selection informed by global contextual cues, thereby overcoming intra-feature constraints and improving the overall representation of features in medical images.
Methods
The section discusses two categories of methods aimed at enhancing skip connections in neural network architectures: implicit and explicit skip-connection enhancement methods. Implicit methods, such as TransUNet, SwinUNet, and HiFormer, focus on improving the quality of features generated in the encoder. TransUNet employs Transformer-based feature processing to provide richer global feature representations, while SwinUNet utilizes hierarchical shift-window attention mechanisms to produce more discriminative multi-scale features. HiFormer enhances feature quality through cross-scale feature fusion, facilitating better information flow between the encoder and decoder.
On the other hand, explicit skip-connection modification methods, including GridNet, U-Net++, UNet3+, and FuseUNet, aim to restructure or augment the skip pathways themselves. GridNet introduces a grid-structured connection framework for improved feature aggregation, while U-Net++ and UNet3+ implement nested and full-scale skip connections, respectively, to enhance multi-scale feature integration. Despite the advancements offered by both implicit and explicit methods, the section highlights a common limitation: these approaches rely on static architectures with fixed transmission pathways and kernel sizes, which restrict their adaptability to varying input characteristics in medical imaging contexts.
Results
In the results section, the study evaluates the performance of the Dynamic Skip Connection (DSC) block in both 2D and 3D segmentation tasks, reporting metrics such as Dice score, Normalized Surface Dice (NSD), and F1 scores. For 2D segmentation, the DSC block consistently enhances performance across various architectures. Notably, U-Mamba_Bot with DSC achieves a Dice score of $0.6733 \pm 0.3217$ for endoscopy instrument segmentation, surpassing its baseline of $0.6540 \pm 0.3008$. Other architectures, including nnU-Net and SegResNet, also show significant improvements, indicating the broad applicability of the DSC approach. Transformer-based models, such as UNETR and SwinUNETR, benefit from DSC integration, with SwinUNETR improving from $0.5528 \pm 0.3089$ to $0.6064 \pm 0.3408$, suggesting that DSC complements existing self-attention mechanisms.
For 3D segmentation tasks, the DSC block similarly demonstrates performance enhancements across abdominal CT and MRI datasets. The results indicate that the integration of DSC leads to improved segmentation outcomes, although specific scores for 3D tasks were not detailed in the provided text. Overall, the findings underscore the effectiveness of the DSC block in enhancing segmentation performance across various medical imaging tasks, both in 2D and 3D contexts.
Discussion
In this section, the authors discuss the integration of Test-Time Training (TTT) into medical image segmentation frameworks, emphasizing its advantages over traditional static parameter methods. TTT allows for adaptive feature processing during inference, which is crucial given the inherent variability in medical images due to factors like patient anatomy and imaging protocols. The authors argue that while attention mechanisms can provide feature weighting, they lack the adaptability of TTT, which treats each input as a unique learning problem. This adaptability is particularly beneficial in skip connection pathways of encoder-decoder architectures, where TTT can optimize feature transmission without altering the overall architecture.
The proposed Dynamic Skip Connection (DSC) block enhances traditional U-Net architectures by incorporating both a Dynamic Multi-Scale Kernel (DMSK) module and a TTT module. The DMSK module captures spatial dependencies through adaptive kernel selection, while the TTT module enables real-time adjustments to feature pathways based on input characteristics. This dual approach allows for fine-grained feature aggregation and enhances the model’s ability to adapt to varying anatomical structures and pathological conditions. The authors highlight that their framework demonstrates significant performance improvements across multiple medical imaging datasets, showcasing the effectiveness of integrating TTT within skip connections for improved segmentation outcomes.