DOI: https://doi.org/10.1109/tmrb.2026.3654277
تاريخ النشر: 2026-01-14
المؤلف: Junling Fu وآخرون
الموضوع الرئيسي: تقنيات تقسيم الصور الطبية
نظرة عامة
تقدم هذه الدراسة إطار عمل قائم على التعلم الهجين مصمم لتعزيز تتبع رأس الإبرة ورؤيته أثناء التدخلات الجراحية الموجهة بالموجات فوق الصوتية (US) الروبوتية. يدمج الإطار وحدة كشف مطابقة القالب ذات الفرعين، ووحدة كشف قائمة على الشبكة العصبية التلافيفية (CNN)، وآلية لاختيار القالب الديناميكي وتحديثه. يهدف هذا الجمع إلى تحسين دقة وموثوقية تحديد موقع الإبرة، مع معالجة التحديات التي تطرحها الدقة المكانية المنخفضة، وضوضاء النقاط، وعيوب التصوير في صور US. بالإضافة إلى ذلك، تقدم الدراسة استراتيجية استكشاف نشطة تستخدم نموذج عملية غاوسي (GP) وتحسين بايزي (BO) لاستعادة رؤية رأس الإبرة عندما يصبح غير مرئي.
أظهرت التقييمات التجريبية التي أجريت على عينات كبد خنازير خارج الجسم فعالية الإطار، حيث حققت خطأ موضعي وسطي أقصى قدره 1.17 مم ونطاق ربعي (IQR) قدره 1.28 مم عبر زوايا وسرعات إدخال مختلفة. في السيناريوهات التي تم فيها حجب رأس الإبرة، حافظت استراتيجية الاستعادة المعتمدة على BO على خطأ موضعي وسطي قدره 1.52 مم مع نطاق ربعي قدره 0.95 مم. ومع ذلك، تعترف الدراسة بالقيود، بما في ذلك عدم وجود محاذاة ديناميكية بين مسبار US وعمود الإبرة، وتقييد التجارب على عينات ثابتة، والتي لا تأخذ في الاعتبار الحركات الفسيولوجية. ستسعى الأبحاث المستقبلية إلى دمج التحكم التنبؤي للنموذج لمعالجة الاضطرابات الديناميكية والتحقيق بشكل أكبر في انحراف رأس الإبرة بسبب تفاعل الأنسجة.
مقدمة
في مقدمة هذه الورقة البحثية، يناقش المؤلفون أهمية وضع الإبرة بدقة في تدخلات طبية مختلفة، مثل الخزعات والتخدير الإقليمي، مؤكدين على الحاجة لتجنب إلحاق الضرر بالهياكل التشريحية الحيوية. بينما يتم استخدام عدة طرق تصوير مثل CT وMRI لتوجيه الإبرة، يتم تسليط الضوء على التصوير بالموجات فوق الصوتية (US) لقدراته في الوقت الحقيقي، وفعاليته من حيث التكلفة، وغياب الإشعاع. ومع ذلك، تواجه الإجراءات التقليدية الموجهة بالموجات فوق الصوتية تحديات بسبب اعتماد المشغل على تفسير الصور ذات التباين المنخفض، مما قد يعقد تحديد موقع الإبرة.
لتحسين دقة تتبع الإبرة، يصنف المؤلفون التقنيات الحالية إلى طرق قائمة على الأجهزة وطرق قائمة على التصوير. يمكن أن تعيق الطرق القائمة على الأجهزة، على الرغم من دقتها، التداخل والتعقيد. في المقابل، تظهر التقنيات القائمة على التصوير، بما في ذلك طرق معالجة الصور المتقدمة وخوارزميات التعلم العميق، وعدًا في تحسين رؤية الإبرة وتحديد موقعها. على الرغم من التقدم، لا تزال التحديات قائمة، خاصة في السيناريوهات التي تكون فيها الإبرة مرئية جزئيًا أو في بيئات صاخبة. يقترح المؤلفون إطار عمل جديد يدمج بنية تتبع رأس الإبرة الهجينة مع الأنظمة الروبوتية، بهدف تحسين الموثوقية والدقة في التدخلات الموجهة بالموجات فوق الصوتية من خلال معالجة التحديات الشائعة في التصوير ودمج استراتيجيات الاستكشاف الروبوتية النشطة. تشمل المساهمات الرئيسية وحدة مطابقة القالب للكشف الفعال عن الإبرة وإطار تتبع هجين يجمع بين طرق الكشف القائمة على مطابقة القالب وCNN.
طرق
يتكون الإعداد التجريبي للتدخلات بالإبرة الموجهة بالموجات فوق الصوتية (US) الروبوتية من روبوت تسلسلي بسبع درجات من الحرية (LWR IV+) مدمج مع واجهة البحث السريع (FRI) ونظام تشغيل الروبوت (ROS) لتحريك مسبار US. يتم تركيب مسبار الموجات فوق الصوتية الخطية على أداة نهاية الروبوت، بينما تلتقط وحدة التقاط الإطار صور US الخام بسرعة 30 إطارًا في الثانية للمعالجة وكشف رأس الإبرة. يتم استخدام إبرة خزعة بقطر 18 غيغابايت لإجراء عملية الإدخال، مدعومة بحامل لتقليل الانحراف. يتم استخدام نظام تتبع بصري خارجي (Polaris Vicra) لتحديد موقع رأس الإبرة، مما يسهل التحقق من أداء التتبع عبر سرعات وزوايا إدخال مختلفة باستخدام وحدة إدخال إبرة مصممة خصيصًا.
تم إجراء تجربتين رئيسيتين لتقييم إطار تتبع رأس الإبرة المقترح. تركز التجربة 1 على التحقق من أداء تتبع رأس الإبرة، مع فحص تأثيرات سرعات الإدخال المختلفة (0.5، 1.5، و3.0 مم/ث) والزوايا (15°، 30°، و40°)، مما أسفر عن تسع إعدادات تجريبية. يتم تقييم أداء التتبع مقابل أطر YOLOv11 وSiamRPN++، مع تكرار كل سيناريو تسع مرات لضمان الاتساق. تقيّم التجربة 2 فعالية استراتيجية تعتمد على تحسين بايزي (BO) لاستعادة رؤية رأس الإبرة عندما يصبح غير مرئي في صور US. يتضمن ذلك سلسلة من الخطوات لمحاكاة عدم المحاذاة وعدم رؤية رأس الإبرة، تليها عملية تحسين لضبط وضع مسبار US، مع اختبار الموثوقية عبر زوايا عدم المحاذاة المختلفة.
النتائج
في قسم النتائج من الدراسة، يتم تقييم فعالية استراتيجية تحسين بايزي (BO) المقترحة لاستعادة رؤية رأس الإبرة في التصوير بالموجات فوق الصوتية (US). تم إجراء التجارب عبر ثلاث زوايا عدم المحاذاة (10°، 15°، و20°)، مع قياس الوسيط ونطاق الربعي (IQR) لخطأ نقل رأس الإبرة ($e_{tip}$). عند زاوية عدم المحاذاة 10°، وُجد أن الخطأ الوسيط كان 1.50 مم مع نطاق ربعي قدره 0.52 مم، مما يمثل أدنى خطأ موضعي عبر جميع التجارب. مع زيادة زاوية عدم المحاذاة إلى 15° و20°، ظلت الأخطاء قابلة للمقارنة عند 1.52 مم (IQR 0.95 مم) و1.50 مم (IQR 0.78 مم) على التوالي، دون ملاحظة اختلافات ذات دلالة إحصائية.
شملت المنهجية أخذ عينات من أوضاع مسبار مختلفة لإنشاء مجموعة بيانات لتدريب نموذج عملية غاوسي، والذي تم استخدامه بعد ذلك لتحسين موضع المسبار من أجل تعزيز كشف رأس الإبرة. أسفرت محاولات الكشف الأولية عن درجات ثقة منخفضة، لكن الاستكشافات اللاحقة أظهرت تحسينًا في تحديد موقع رأس الإبرة، خاصة في الاستكشاف E7، حيث تم تحقيق درجة ثقة قدرها 0.43 وتم الحفاظ على خطأ الموضع أقل من 1.50 مم. تؤكد هذه النتائج على موثوقية ودقة الاستراتيجية المعتمدة على التحسين المقترحة في تعزيز رؤية رأس الإبرة في التصوير بالموجات فوق الصوتية بعد تعديلات الوضع المستهدفة.
مناقشة
تدمج استراتيجية تتبع رأس الإبرة الهجينة القائمة على التعلم المقترحة ثلاثة وحدات رئيسية: وحدة الكشف القائمة على القالب، وحدة الكشف القائمة على YOLO، ووحدة اختيار صندوق الحدود (BBOX) والتحديث الديناميكي للقالب. تستخدم وحدة الكشف القائمة على القالب مستخرج ميزات يجمع المعلومات الهرمية من صور الموجات فوق الصوتية (US)، باستخدام شبكة اقتراح منطقة سيامية (RPN) لتحديد الموقع بكفاءة. تعالج هذه الوحدة صور US في الوقت الحقيقي والقوالب الديناميكية/الثابتة لتعزيز دقة الكشف. تتناول وحدة الكشف القائمة على YOLO قيود مطابقة القالب من خلال توفير كشف كائنات قوي من مرحلة واحدة، مما يميز بفاعلية رأس الإبرة عن عيوب النقاط في صور US. تجمع وحدة اختيار BBOX درجات الثقة من كلا طريقتي الكشف لتحسين تحديد موقع رأس الإبرة، بينما تتكيف وحدة تحديث القالب الديناميكي مع التغيرات في بنية الأنسجة من خلال تحسين تمثيل رأس الإبرة.
بالإضافة إلى ذلك، يتم تقديم تحسين بايزي (BO) لاستعادة رؤية رأس الإبرة عندما يصبح غير مرئي، مع تحسين وضع مسبار US لتعظيم ثقة الكشف. تستخدم عملية التحسين الانحدار بواسطة عملية غاوسي لنمذجة العلاقة بين أوضاع المسبار وثقة الكشف، مع استخدام دالة تحسين متوقعة لتوجيه الاستكشاف. تم التحقق من الإطار باستخدام مجموعة بيانات من عينات كبد خنازير خارج الجسم، مما يظهر خطأ تتبع وسطي أقصى قدره 1.30 مم عبر زوايا وسرعات إدخال مختلفة. تكشف التحليلات المقارنة أن الإطار الهجين يتفوق على الطرق الحالية، مثل YOLOv11 وSiamRPN++، خاصة في الظروف الصعبة، مما يثبت فعاليته في تتبع رأس الإبرة بدقة في التدخلات الروبوتية الموجهة بالموجات فوق الصوتية.
DOI: https://doi.org/10.1109/tmrb.2026.3654277
Publication Date: 2026-01-14
Author(s): Junling Fu et al.
Primary Topic: Medical Image Segmentation Techniques
Overview
This research presents a hybrid learning-based framework designed to enhance needle tip tracking and visualization during robotic ultrasound (US)-guided surgical interventions. The framework integrates a dual-branch template matching detection module, a Convolutional Neural Network (CNN)-based detection module, and a mechanism for dynamic template selection and updating. This combination aims to improve the accuracy and robustness of needle localization, addressing challenges posed by low spatial resolution, speckle noise, and imaging artifacts in US images. Additionally, the study introduces an active exploration strategy utilizing a Gaussian Process (GP) model and Bayesian Optimization (BO) to recover needle tip visibility when it becomes obscured.
Experimental evaluations conducted on ex vivo porcine liver samples demonstrated the framework’s effectiveness, achieving a maximum median localization error of 1.17 mm and an Interquartile Range (IQR) of 1.28 mm across various insertion angles and velocities. In scenarios where the needle tip was occluded, the BO-based recovery strategy maintained a median localization error of 1.52 mm with an IQR of 0.95 mm. However, the study acknowledges limitations, including the lack of dynamic alignment between the US probe and needle shaft and the restriction of experiments to static samples, which do not account for physiological motions. Future research will aim to incorporate model predictive control to address dynamic disturbances and further investigate needle tip deflection due to tissue interaction.
Introduction
In the introduction of this research paper, the authors discuss the significance of precise needle placement in various medical interventions, such as biopsies and regional anesthesia, emphasizing the need to avoid damaging critical anatomical structures. While multiple imaging modalities like CT and MRI are utilized for needle guidance, ultrasound (US) imaging is highlighted for its real-time capabilities, cost-effectiveness, and absence of radiation. However, conventional US-guided procedures face challenges due to the operator’s reliance on interpreting low-contrast images, which can complicate needle localization.
To enhance needle tracking accuracy, the authors categorize existing techniques into hardware-based and imaging-based approaches. Hardware methods, while precise, can be hindered by interference and complexity. In contrast, imaging-based techniques, including advanced image processing methods and deep learning algorithms, show promise in improving needle visibility and localization. Despite advancements, challenges remain, particularly in scenarios where the needle is partially visible or in noisy environments. The authors propose a novel framework that integrates a hybrid needle tip tracking architecture with robotic systems, aiming to improve robustness and precision in US-guided interventions by addressing common imaging challenges and incorporating active robotic exploration strategies. Key contributions include a template-matching module for efficient needle detection and a hybrid tracking framework that combines template-matching and CNN-based detection methods.
Methods
The experimental setup for the robotic ultrasound (US)-guided needle interventions comprises a 7-DOF serial robot (LWR IV+) integrated with the FastResearchInterface (FRI) and Robot Operating System (ROS) for US probe manipulation. A linear ultrasound probe is mounted on the robot’s end effector, while a frame grabber captures raw US images at 30 frames per second for processing and needle tip detection. An 18-gauge biopsy needle is utilized for the insertion procedure, supported by a holder to minimize deflection. An external optical tracking system (Polaris Vicra) is employed to localize the needle tip, facilitating validation of tracking performance across various insertion velocities and angles using a custom-designed needle insertion module.
Two primary experiments are conducted to evaluate the proposed needle tip tracking framework. Experiment 1 focuses on validating the needle tip tracking performance, examining the effects of different insertion velocities (0.5, 1.5, and 3.0 mm/s) and angles (15°, 30°, and 40°), resulting in nine experimental setups. The tracking performance is assessed against YOLOv11 and SiamRPN++ frameworks, with each scenario repeated nine times for consistency. Experiment 2 assesses the effectiveness of a Bayesian optimization (BO)-based strategy for restoring needle tip visibility when it becomes obscured in US images. This involves a series of steps to simulate misalignment and invisibility of the needle tip, followed by an optimization process to adjust the US probe’s pose, with robustness tested across various misalignment angles.
Results
In the results section of the study, the effectiveness of the proposed Bayesian Optimization (BO)-based strategy for needle tip visualization restoration in ultrasound (US) imaging is evaluated. The experiments were conducted across three misalignment angles (10°, 15°, and 20°), with the median and interquartile range (IQR) of the needle tip relocation error ($e_{tip}$) measured. At a misalignment angle of 10°, the median error was found to be 1.50 mm with an IQR of 0.52 mm, marking the lowest localization error across all trials. As the misalignment angle increased to 15° and 20°, the errors remained comparable at 1.52 mm (IQR 0.95 mm) and 1.50 mm (IQR 0.78 mm), respectively, with no statistically significant differences observed.
The methodology involved sampling various probe poses to create a dataset for training a Gaussian Process model, which was then used to optimize the probe’s position for enhanced needle tip detection. Initial detection attempts yielded low confidence scores, but subsequent explorations demonstrated improved identification of the needle tip, particularly in exploration E7, where a confidence score of 0.43 was achieved and the localization error was maintained below 1.50 mm. These findings underscore the robustness and accuracy of the proposed optimization-based strategy in enhancing needle tip visibility in US imaging following targeted pose adjustments.
Discussion
The proposed learning-based hybrid needle tip tracking strategy integrates three main modules: a Template-based Detection module, a YOLO-based Detection module, and a combined Bounding Box (BBOX) Selection and Dynamic Template Update module. The Template-based Detection employs a feature extractor that aggregates hierarchical information from ultrasound (US) images, utilizing a Siamese Region Proposal Network (RPN) for efficient localization. This module processes real-time US images and dynamic/static templates to enhance detection accuracy. The YOLO-based Detection module addresses the limitations of template matching by providing robust single-stage object detection, effectively distinguishing the needle tip from speckle artifacts in US images. The BBOX Selection module combines confidence scores from both detection methods to optimize needle tip localization, while the Dynamic Template Update module adapts to variations in tissue structure by refining the needle tip representation.
Additionally, Bayesian Optimization (BO) is introduced to restore needle tip visibility when it becomes obscured, optimizing the US probe pose to maximize detection confidence. The optimization process utilizes Gaussian Process regression to model the relationship between probe poses and detection confidence, employing an Expected Improvement acquisition function to guide exploration. The framework was validated using a dataset of ex vivo porcine liver samples, demonstrating a maximum median tracking error of 1.30 mm across various insertion angles and velocities. Comparative analyses reveal that the hybrid framework outperforms existing methods, such as YOLOv11 and SiamRPN++, particularly in challenging conditions, thereby establishing its efficacy for precise needle tip tracking in robotic US-guided interventions.