DOI: https://doi.org/10.1109/jbhi.2026.3678309
PMID: https://pubmed.ncbi.nlm.nih.gov/41894218
تاريخ النشر: 2026-01-01
المؤلف: Chen Ma وآخرون
الموضوع الرئيسي: تكييف المجال والتعلم من عدد قليل من الأمثلة
نظرة عامة
تقدم ورقة البحث TinyUSFM، وهو نموذج أساسي خفيف الوزن للأشعة فوق الصوتية مصمم لتعزيز نشر تقنيات التصوير الطبي المتقدمة في البيئات السريرية ذات الموارد المحدودة. من خلال استخدام تقنيات استخراج المعرفة مع مجموعات بيانات صغيرة مختارة بعناية، يحقق TinyUSFM كفاءة حسابية ملحوظة مع الاحتفاظ بتنوع الأعضاء وقابلية التكيف مع المهام لنظيره الأكبر، نموذج الأساس للأشعة فوق الصوتية (USFM). يقوم المؤلفون بتنفيذ استراتيجية اختيار مجموعة بيانات مدفوعة بتدرج الميزات لضمان بيانات تدريب عالية الجودة، مما يقلل من مخاطر تدهور الأداء المرتبطة بالصور ذات الجودة المنخفضة. بالإضافة إلى ذلك، يقومون بتطوير نهج نمذجة الصورة المقنعة المنفصلة عن المجال (MIM) الذي يسهل نقل المعرفة بشكل فعال من خلال الحفاظ على الخصائص المكانية والترددية الأساسية أثناء عملية استخراج المعرفة.
تتم تقييم TinyUSFM باستخدام UniUS-Bench، وهو معيار شامل للأشعة فوق الصوتية يتضمن 8 مجموعات بيانات تصنيف و10 مجموعات بيانات تقسيم عبر 15 عضوًا. تشير النتائج إلى أن TinyUSFM يطابق أداء USFM بينما يستخدم فقط 6.36% من معاييره و6.40% من GFLOPs الخاصة به. ومن الجدير بالذكر أن TinyUSFM يتفوق على النماذج الخفيفة التقليدية، محققًا دقة تصنيف متوسطة تبلغ 84.91% ودرجة Dice متوسطة للتقسيم تبلغ 85.78%. لا يربط هذا العمل فقط الفجوة بين نماذج الأساس عالية الأداء والتطبيقات السريرية العملية، بل يضع أيضًا TinyUSFM كحل قابل للتطبيق لتحسين الوصول إلى التشخيص وكفاءته في بيئات الرعاية الصحية المحدودة الموارد.
مقدمة
في هذا القسم، يقدم المؤلفون إطار عمل جديد لاستخراج المعرفة من نموذج المعلم (USFM) إلى نموذج الطالب (TinyUSFM) باستخدام نهج استخراج ديناميكي مدفوع بالاتساق مدعوم بنمذجة الصورة المقنعة المنفصلة عن المجال (MIM). يقوم الإطار بتقييم موثوقية نموذج المعلم من خلال تقييم اتساقه التنبؤي تحت الاضطرابات المكانية والترددية، مما يسمح بالتعديل التكيفي لوزن الاستخراج. تحافظ MIM المنفصلة عن المجال على التمثيلات المكانية والطيفية الأساسية المتوسطة الضرورية لتحليل الصور بالأشعة فوق الصوتية.
تشمل الطريقة المقترحة استراتيجية إخفاء منفصلة عن المجال تولد وجهات نظر مقنعة متميزة للصور بالأشعة فوق الصوتية، مما يسهل تقييم اتساق نموذج المعلم. يقوم الإخفاء المكاني باستبدال بقع مختارة بمتوسط الشدة، بينما يستخدم إخفاء التردد مرشح وقف النطاق لقمع نطاقات تردد معينة. ثم يقيس إطار العمل الديناميكي المدفوع بالاتساق تشابه الميزات العميقة المستخرجة من هذه الوجهات المقنعة، مع تخصيص أوزان أعلى للعناصر الموثوقة وتقليل وزن العناصر غير المتسقة. يعزز هذا الآلية تركيز نموذج الطالب على المعرفة الموثوقة، مما يؤدي إلى تعلم تمثيل أكثر فعالية. بالإضافة إلى ذلك، يوفر نظام MIM المنفصل عن المجال إشرافًا مستهدفًا على المستوى المتوسط من خلال إعادة البناء الذاتية، مما يسمح لـ TinyUSFM بتعلم الإشارات الهيكلية والطيفية مع الحفاظ على الكفاءة الحسابية. يدمج الهدف التدريبي المشترك كل من خسائر الاستخراج وإعادة البناء، مما يضمن نقل المعرفة بشكل قوي وتمثيلات عالية الدقة لتحليل الصور بالأشعة فوق الصوتية.
طرق
في هذا القسم، يتم توضيح المنهجية لتقييم TinyUSFM، مع التركيز على أدائه في مهام التصنيف والتقسيم. يتضمن التقييم تحليلًا مقارنًا ضد ثلاث فئات من النماذج: النماذج التقليدية (ResNet وViT-B)، والنماذج الخفيفة (MobileViT وEfficientNet وViT-Tiny)، ونماذج الأساس (URFM ونموذج المعلم USFM). بالنسبة لمهام التصنيف، يتم قياس الأداء باستخدام دقة التصنيف، بينما لمهام التقسيم، يتم استخدام درجة Dice كمقياس للأداء.
يتم تهيئة النماذج بشكل مختلف بناءً على نوعها؛ يتم تهيئة النماذج التقليدية والخفيفة بأوزان مدربة مسبقًا من ImageNet، بينما يتم تهيئة نماذج الأساس USFM وURFM بأوزان مدربة مسبقًا بالأشعة فوق الصوتية. يسمح هذا الإطار المنهجي بتقييم شامل لفعالية TinyUSFM بالنسبة للمعايير المعتمدة في مجالات التصنيف والتقسيم.
نتائج
في قسم النتائج، يقوم المؤلفون بإجراء تقييم شامل لـ TinyUSFM، مع التركيز على فعالية التدريب المسبق وقابلية التكيف للمهام اللاحقة. يبدأ التحليل بفحص إطار الاستخراج، مع تسليط الضوء على دوره في تحسين كل من جودة وكفاءة التمثيلات التي ينتجها TinyUSFM.
بعد ذلك، يتم تقييم TinyUSFM مقابل نماذج مختلفة، بما في ذلك النماذج التقليدية والخفيفة والأساسية، عبر مجموعة من المهام. تظهر النتائج مجتمعة أن TinyUSFM يسهل بنجاح نقل المعرفة بكفاءة وموثوقية مع ضمان نشر خفيف الوزن، مما يبرز إمكانيته في التطبيقات العملية.
مناقشة
يناقش هذا القسم التقدم والتحديات في تطوير نماذج الأساس الطبية، وخاصة في التصوير بالأشعة فوق الصوتية. لقد أظهرت نماذج الأساس، مثل نموذج الأساس العالمي للأشعة فوق الصوتية (USFM)، وعدًا كبيرًا من خلال الاستفادة من التدريب المسبق على نطاق واسع على مجموعات بيانات متنوعة لتعزيز الأداء عبر مهام التصوير الطبي المختلفة. ومع ذلك، فإن متطلباتها الحسابية الكبيرة تحد من نشرها في البيئات السريرية ذات الموارد المحدودة. وقد أثار هذا اهتمامًا في النماذج الخفيفة التي تحافظ على قدرات التعميم بينما تكون أكثر وصولاً للاستخدام العملي.
تظهر استخراج المعرفة (KD) كاستراتيجية رئيسية لإنشاء هذه النماذج الخفيفة، حيث يتم نقل المعرفة من نماذج المعلم الأكبر إلى الشبكات الأصغر. بينما كانت KD فعالة في ضغط الشبكات ذات المهمة الواحدة، فإن تطبيقها على نماذج الأساس معقد بسبب الحاجة إلى التقاط المعرفة الواسعة متعددة الأعضاء بدلاً من الميزات المحددة للمهام. بالإضافة إلى ذلك، فإن وجود الضوضاء والتباين في بيانات الأشعة فوق الصوتية يعقد عملية الاستخراج، مما يتطلب نهجًا خاصًا بالأشعة فوق الصوتية. تهدف طريقة اختيار مجموعة البيانات المدفوعة بتدرج الميزات المقترحة إلى تحسين كفاءة التدريب من خلال اختيار عينات عالية الجودة من مجموعات بيانات كبيرة، مما يعالج التحديات التي تطرحها البيانات ذات الجودة المنخفضة أو المكررة. تظهر هذه الطريقة المزدوجة التي تجمع بين اختيار مجموعة البيانات مع إعادة البناء المنفصلة عن المجال والاستخراج الديناميكي المدفوع بالاتساق أنها تحسن أداء النماذج الخفيفة، كما يتضح من النتائج على مجموعة بيانات UniUS-Bench.
القيود
تتركز قيود هذه الدراسة بشكل أساسي على تركيزها على التصوير بالأشعة فوق الصوتية ثنائية الأبعاد، مع تحديد طرق أخرى مثل التصوير بالأشعة فوق الصوتية ثلاثية الأبعاد، وتصوير دوبلر، والإيلاستوجرافي كمجالات للبحث المستقبلي. يقترح المؤلفون أن توسيع الإطار ليشمل هذه الطرق، بالإضافة إلى تطبيقات إضافية مثل اكتشاف الآفات وتعزيز الصور، سيوفر تقييمًا أكثر شمولاً لقابلية تعميم الإطار.
على الرغم من هذه القيود، فإن النتائج المقدمة في هذا العمل تضع أساسًا قويًا لتنفيذ الذكاء الاصطناعي الخفيف في تطبيقات الأشعة فوق الصوتية، مما يشير إلى إمكانية الاستخدام العملي في البيئات السريرية. يتم تشجيع التحقيقات المستقبلية لاستكشاف قابلية تطبيق الطرق المقترحة عبر تقنيات التصوير المختلفة والمهام.
DOI: https://doi.org/10.1109/jbhi.2026.3678309
PMID: https://pubmed.ncbi.nlm.nih.gov/41894218
Publication Date: 2026-01-01
Author(s): Chen Ma et al.
Primary Topic: Domain Adaptation and Few-Shot Learning
Overview
The research paper introduces TinyUSFM, a lightweight ultrasound foundation model designed to enhance the deployment of advanced medical imaging technologies in resource-constrained clinical settings. By utilizing knowledge distillation with carefully curated small datasets, TinyUSFM achieves remarkable computational efficiency while retaining the organ versatility and task adaptability of its larger counterpart, the Ultrasound Foundation Model (USFM). The authors implement a feature-gradient driven coreset selection strategy to ensure high-quality training data, thereby mitigating the risks of performance degradation associated with low-quality images. Additionally, they develop a domain-separated masked image modeling (MIM) approach that facilitates effective knowledge transfer by maintaining essential spatial and frequency characteristics during the distillation process.
The evaluation of TinyUSFM is conducted using the UniUS-Bench, a comprehensive ultrasound benchmark featuring 8 classification and 10 segmentation datasets across 15 organs. Results indicate that TinyUSFM matches the performance of USFM while utilizing only 6.36% of its parameters and 6.40% of its GFLOPs. Notably, TinyUSFM outperforms traditional lightweight models, achieving an average classification accuracy of 84.91% and an average segmentation Dice score of 85.78%. This work not only bridges the gap between high-performance foundation models and practical clinical applications but also positions TinyUSFM as a viable solution for improving diagnostic accessibility and efficiency in point-of-care and resource-limited healthcare environments.
Introduction
In this section, the authors introduce a novel framework for knowledge distillation from a teacher model (USFM) to a student model (TinyUSFM) using a consistency-driven dynamic distillation approach supported by domain-separated masked image modeling (MIM). The framework evaluates the teacher model’s reliability by assessing its predictive consistency under spatial and frequency perturbations, allowing for adaptive adjustment of the distillation weight. The domain-separated MIM preserves essential mid-level spatial and spectral representations critical for ultrasound image analysis.
The proposed method includes a domain-separated masking strategy that generates distinct masked views of ultrasound images, facilitating the evaluation of the teacher model’s consistency. Spatial masking replaces selected patches with the mean intensity, while frequency masking employs a band-stop filter to suppress specific frequency bands. The consistency-driven dynamic distillation framework then measures the similarity of deep-layer features extracted from these masked views, assigning higher weights to reliable samples and down-weighting inconsistent ones. This mechanism enhances the student model’s focus on trustworthy knowledge, leading to more effective representation learning. Additionally, a domain-separated MIM scheme provides targeted mid-level supervision through self-reconstruction, allowing TinyUSFM to learn structural and spectral cues while maintaining computational efficiency. The combined training objective integrates both distillation and reconstruction losses, ensuring robust knowledge transfer and high-fidelity representations for ultrasound image analysis.
Methods
In this section, the methodology for evaluating TinyUSFM is outlined, focusing on its performance in classification and segmentation tasks. The evaluation involves a comparative analysis against three categories of models: conventional models (ResNet and ViT-B), lightweight models (MobileViT, EfficientNet, and ViT-Tiny), and foundation models (URFM and the teacher model USFM). For classification tasks, performance is measured using classification accuracy, while for segmentation tasks, the Dice score is utilized as the performance metric.
The models are initialized differently based on their type; conventional and lightweight models are initialized with ImageNet pretrained weights, whereas the foundation models USFM and URFM are initialized with ultrasound pretrained weights. This methodological framework allows for a comprehensive assessment of TinyUSFM’s effectiveness relative to established benchmarks in both classification and segmentation domains.
Results
In the results section, the authors conduct a thorough evaluation of TinyUSFM, focusing on its pre-training effectiveness and adaptability for downstream tasks. The analysis begins with an examination of the distillation framework, highlighting its role in improving both the quality and efficiency of representations generated by TinyUSFM.
Subsequently, TinyUSFM is benchmarked against various models, including conventional, lightweight, and foundational architectures, across a range of tasks. The findings collectively demonstrate that TinyUSFM successfully facilitates efficient and reliable knowledge transfer while ensuring lightweight deployment, underscoring its potential utility in practical applications.
Discussion
The section discusses the advancements and challenges in the development of medical foundation models, particularly in ultrasound imaging. Foundation models, such as the Universal Ultrasound Foundation Model (USFM), have shown significant promise by leveraging large-scale pretraining on diverse datasets to enhance performance across various medical imaging tasks. However, their substantial computational requirements limit their deployment in resource-constrained clinical settings. This has spurred interest in lightweight models that maintain generalization capabilities while being more accessible for practical use.
Knowledge distillation (KD) emerges as a key strategy for creating these lightweight models, transferring knowledge from larger teacher models to smaller student networks. While KD has been effective in compressing single-task networks, its application to foundation models is complex due to the need to capture broad, multi-organ knowledge rather than task-specific features. Additionally, the presence of noise and variability in ultrasound data complicates the distillation process, necessitating ultrasound-specific approaches. The proposed feature-gradient driven coreset selection method aims to enhance training efficiency by curating high-quality samples from large datasets, addressing the challenges posed by low-quality or redundant data. This dual approach of combining coreset selection with domain-separated reconstruction and consistency-driven dynamic distillation is shown to improve the performance of lightweight models, as evidenced by the results on the UniUS-Bench dataset.
Limitations
The limitations of this study are primarily centered on its focus on two-dimensional ultrasound imaging, with other modalities such as three-dimensional ultrasound, Doppler imaging, and elastography being identified as areas for future research. The authors suggest that extending the framework to include these modalities, as well as additional applications like lesion detection and image enhancement, will provide a more comprehensive evaluation of the framework’s generalizability.
Despite these limitations, the findings presented in this work lay a robust groundwork for the implementation of lightweight artificial intelligence in ultrasound applications, indicating potential for practical use in clinical settings. Future investigations are encouraged to explore the broader applicability of the proposed methods across various imaging techniques and tasks.