DOI: https://doi.org/10.1109/tmi.2026.3680352
PMID: https://pubmed.ncbi.nlm.nih.gov/41931430
تاريخ النشر: 2026-01-01
المؤلف: Д. А. Морозов وآخرون
الموضوع الرئيسي: تقنيات تقسيم الصور الطبية
نظرة عامة
في هذا القسم، يتناول المؤلفون تحدي تسجيل الموجات فوق الصوتية في الوقت الحقيقي (iUS) أثناء العملية الجراحية مع التصوير بالرنين المغناطيسي (MRI) قبل العملية، والذي يتعقد بسبب الفروق الكبيرة في مظهر الوسائط، والدقة، ومجال الرؤية. يقترحون وصفًا جديدًا لنقاط المفاتيح ثلاثية الأبعاد عبر الوسائط مصممًا لمطابقة وتسجيل MRI-iUS بشكل فعال. تستخدم هذه الطريقة نهج المطابقة حسب التركيب الخاص بالمريض لتوليد أحجام iUS اصطناعية من MRI قبل العملية، مما يسهل التدريب الخاضع للإشراف على التباين لتطوير مساحة وصف مشتركة. يتم استخدام استراتيجية كشف نقاط المفاتيح الاحتمالية لتحديد المواقع ذات الصلة التشريحية والمتوافقة مع الوسائط.
تتضمن عملية التدريب خسارة ثلاثية قائمة على المنهج الدراسي مع تعدين سلبي صعب ديناميكي، مما يمكّن من تعلم أوصاف تكون قوية ضد عيوب iUS، مثل ضوضاء النقاط والتغطية المحدودة، بينما تكون أيضًا غير حساسة للدوران. أثناء الاستدلال، تكشف الطريقة عن نقاط المفاتيح في كل من صور MR وiUS الحقيقية، مما يثبت المطابقات النادرة للتسجيل الصلب. تم تقييمها على أزواج MRI-iUS ثلاثية الأبعاد من مجموعة بيانات ReMIND، حيث تظهر الطريقة المقترحة أداءً متفوقًا مقارنة بأساليب مطابقة نقاط المفاتيح الحديثة، محققة دقة متوسطة تبلغ 69.8% عبر 11 مريضًا ومتوسط خطأ تسجيل الهدف يبلغ 2.39 مم على معيار ReMIND2Reg. من الجدير بالذكر أن الإطار قابل للتفسير، ولا يتطلب بدءًا يدويًا، ويظهر قوة ضد التغيرات في مجال رؤية iUS. الكود والبيانات وأوزان النموذج المرتبطة متاحة للجمهور على الرابط المقدم في GitHub.
مقدمة
تسلط المقدمة الضوء على التحدي الكبير لمطابقة الصور عبر وسائط مختلفة في التصوير الطبي، خاصة بسبب الفروق الكبيرة في المظهر التي توجد بينها. هذا التحدي حاسم لمجموعة متنوعة من التطبيقات السريرية، مثل استرجاع الصور القائم على المحتوى، وإعادة بناء الشرائح إلى الحجم، وتسجيل الصور القابلة للتشوه. في الجراحة الموجهة بالصور، على سبيل المثال، يعد تسجيل الموجات فوق الصوتية أثناء العملية (iUS) مع التصوير بالرنين المغناطيسي (MRI) قبل العملية أمرًا أساسيًا لتحسين نتائج الجراحة من خلال تعزيز تحديد الهياكل الحرجة أثناء الإجراءات مثل جراحة الأعصاب.
لمعالجة الفجوات في المظهر الخاصة بالوسائط، يقترح المؤلفون التركيز على الأساليب متعددة الوسائط المعتمدة على نقاط المفاتيح، والتي تؤسس تطابقات بين نقاط المفاتيح البارزة المكتشفة في كل صورة. تعتبر نقاط المفاتيح مفيدة في السيناريوهات التي تتضمن تشريحًا جزئي الملاحظة وتشوهات غير صلبة، حيث تقدم قابلية التفسير من خلال التصور المباشر. تحدد الورقة القيود الحالية في الأساليب الحالية، خاصة تركيزها على التطبيقات ثنائية الأبعاد والسيناريوهات ذات توزيعات الشدة المتسقة. يقدم المؤلفون وصفًا جديدًا لنقاط المفاتيح ثلاثية الأبعاد عبر الوسائط يهدف إلى مطابقة أحجام MR وiUS قبل العملية، موضحين المساهمات مثل استراتيجية المطابقة حسب التركيب، وكاشف نقاط المفاتيح عبر الوسائط باستخدام خرائط الحرارة البارزة، وإطار تبايني خاضع للإشراف مصمم لتعزيز القوة ضد التغيرات في مظهر iUS. يمثل هذا العمل تقدمًا كبيرًا مقارنة بالأبحاث السابقة من خلال التوسع إلى المطابقة ثلاثية الأبعاد بالكامل ودمج إطار تركيب خاص بالمريض مصمم لحالات فردية.
الطرق
يستعرض قسم الطرق الإجراءات التجريبية والتحليلية المستخدمة في الدراسة. يوضح اختيار المشاركين، وتصميم التجارب، والتقنيات الإحصائية المستخدمة لتحليل البيانات. استخدم الباحثون بيئة خاضعة للرقابة لضمان موثوقية النتائج، حيث نفذوا بروتوكولات محددة لجمع البيانات لتقليل التحيز.
بالإضافة إلى ذلك، يصف القسم النماذج الرياضية المطبقة لتفسير البيانات، بما في ذلك أي معادلات أو خوارزميات ذات صلة. تؤكد المنهجية على إمكانية التكرار والشفافية، مما يسمح للدراسات المستقبلية بتكرار النتائج. بشكل عام، تدعم دقة الطرق المستخدمة صحة استنتاجات الدراسة.
النتائج
في هذا القسم، يقدم المؤلفون نتائج تجاربهم التي تهدف إلى تقييم فعالية نهجهم لمطابقة وتسجيل صور MRI والموجات فوق الصوتية أثناء العملية (iUS) في المرضى الذين يعانون من أورام الدماغ. يتم تقييم الأداء من خلال ثلاث منهجيات رئيسية: أولاً، يتم تقييم مطابقة الصور المزدوجة باستخدام مقاييس التقييم المزدوجة القياسية؛ ثانيًا، يتم إجراء دراسة إلغاء لتحليل مساهمة كل مكون جديد من النهج، جنبًا إلى جنب مع تحليل القوة لتقييم الأداء تحت الدوران؛ ثالثًا، يركز المؤلفون على تسجيل الصور، وتحديدًا محاذاة MRI قبل العملية مع صور iUS بعد الاستئصال.
توفر النتائج من هذه التجارب رؤى حول دقة وموثوقية الأساليب المقترحة، مما يبرز إمكانية استخدامها في الإعدادات السريرية لتحسين نتائج الجراحة في إجراءات أورام الدماغ.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على التقدم والتحديات في مطابقة نقاط المفاتيح عبر الوسائط، خاصة في التصوير الطبي. تم تطوير طرق مختلفة لمطابقة الصور عبر وسائط مختلفة، بما في ذلك الإعدادات متعددة الطيف والمطابقة من المرئي إلى الأشعة تحت الحمراء. يؤكد القسم على التحديات الفريدة التي تطرحها التصوير الطبي بسبب الطبيعة الديناميكية وغير المتجانسة لمظهر الأنسجة عبر الوسائط مثل MRI وCT والموجات فوق الصوتية. لقد تم تجاوز الأوصاف اليدوية التقليدية إلى حد كبير بواسطة الأساليب المعتمدة على التعلم التي تعزز القوة ضد التغيرات في الشدة والتحولات المكانية. من الجدير بالذكر أن الأساليب الحديثة تستفيد من هياكل التعلم العميق، بما في ذلك الشبكات السيامية ونماذج المحولات، لتحقيق تطابقات غير حساسة للوسائط، على الرغم من أنها غالبًا ما تواجه صعوبات مع القيود الجوهرية لأساليب نقاط المفاتيح ثنائية الأبعاد عند تطبيقها على بيانات ثلاثية الأبعاد.
يقترح المؤلفون نهجًا خاصًا بالمريض لكشف نقاط المفاتيح والمطابقة، باستخدام صور الموجات فوق الصوتية أثناء العملية (iUS) الاصطناعية التي تم إنشاؤها من MRI قبل العملية لإنشاء مجموعة تدريب قوية. تعالج هذه الطريقة تحدي الحصول على بيانات تدريب مزدوجة من خلال تركيب أحجام iUS، مما يمكّن من تحديد نقاط المفاتيح البارزة عبر الوسائط. يستخدم الإطار المقترح استراتيجية تعلم تباينية لتطوير وصف ميزات ثلاثي الأبعاد عبر الوسائط، مما يعزز دقة وموثوقية عملية المطابقة. تظهر النتائج التجريبية أن الطريقة المقترحة تتفوق على الأساليب الحالية من حيث دقة المطابقة والنتيجة، مما يشير إلى فعاليتها في إنشاء تطابقات موثوقة بين MRI قبل العملية وصور iUS الحقيقية، وهو أمر حاسم لمهام التسجيل اللاحقة.
DOI: https://doi.org/10.1109/tmi.2026.3680352
PMID: https://pubmed.ncbi.nlm.nih.gov/41931430
Publication Date: 2026-01-01
Author(s): Д. А. Морозов et al.
Primary Topic: Medical Image Segmentation Techniques
Overview
In this section, the authors address the challenge of intraoperative registration of real-time ultrasound (iUS) to preoperative Magnetic Resonance Imaging (MRI), which is complicated by significant differences in modality appearance, resolution, and field-of-view. They propose a novel 3D cross-modal keypoint descriptor designed for effective MRI-iUS matching and registration. This method utilizes a patient-specific matching-by-synthesis approach to generate synthetic iUS volumes from preoperative MRI, facilitating supervised contrastive training to develop a shared descriptor space. A probabilistic keypoint detection strategy is employed to identify anatomically relevant and modality-consistent locations.
The training process incorporates a curriculum-based triplet loss with dynamic hard negative mining, enabling the learning of descriptors that are robust to iUS artifacts, such as speckle noise and limited coverage, while also being rotation-invariant. During inference, the method detects keypoints in both MR and real iUS images, establishing sparse matches for rigid registration. Evaluated on 3D MRI-iUS pairs from the ReMIND dataset, the proposed approach demonstrates superior performance compared to state-of-the-art keypoint matching methods, achieving an average precision of 69.8% across 11 patients and a mean Target Registration Error of 2.39 mm on the ReMIND2Reg benchmark. Notably, the framework is interpretable, does not require manual initialization, and exhibits robustness to variations in the iUS field-of-view. The associated code, data, and model weights are publicly available at the provided GitHub link.
Introduction
The introduction highlights the significant challenge of matching images across different modalities in medical imaging, particularly due to the substantial appearance differences that exist between them. This challenge is crucial for various clinical applications, such as content-based image retrieval, slice-to-volume reconstruction, and deformable image registration. In image-guided surgery, for instance, the registration of intraoperative ultrasound (iUS) with preoperative Magnetic Resonance Imaging (MRI) is essential for improving surgical outcomes by enhancing the identification of critical structures during procedures like neurosurgery.
To address the modality-specific appearance gaps, the authors propose a focus on keypoint-based multimodal approaches, which establish correspondences between salient keypoints detected in each image. Keypoints are advantageous in scenarios involving partially observed anatomy and non-rigid deformations, offering interpretability through direct visualization. The paper identifies existing limitations in current methods, particularly their focus on 2D applications and scenarios with consistent intensity distributions. The authors introduce a novel cross-modal 3D keypoint descriptor aimed at matching preoperative MR and iUS volumes, detailing contributions such as a matching-by-synthesis strategy, a cross-modal keypoint detector using saliency heatmaps, and a supervised contrastive framework designed to enhance robustness against variability in iUS appearance. This work represents a significant advancement over previous research by extending to fully 3D matching and incorporating a patient-specific synthesis framework tailored to individual cases.
Methods
The Methods section outlines the experimental and analytical procedures employed in the study. It details the selection of participants, the design of the experiments, and the statistical techniques used for data analysis. The researchers utilized a controlled environment to ensure the reliability of results, implementing specific protocols for data collection to minimize bias.
Additionally, the section describes the mathematical models applied to interpret the data, including any relevant equations or algorithms. The methodology emphasizes reproducibility and transparency, allowing for future studies to replicate the findings. Overall, the rigor of the methods employed supports the validity of the study’s conclusions.
Results
In this section, the authors present the results of their experiments aimed at evaluating the effectiveness of their approach for matching and registering MRI and intraoperative ultrasound (iUS) images in patients with brain tumors. The performance assessment is conducted through three primary methodologies: first, paired image matching is evaluated using standard paired evaluation metrics; second, an ablation study is performed to analyze the contribution of each novel component of the approach, alongside a robustness analysis to assess performance under rotation; third, the authors focus on image registration, specifically aligning pre-operative MRI with post-resection iUS images.
The findings from these experiments provide insights into the accuracy and reliability of the proposed methods, highlighting their potential utility in clinical settings for enhancing surgical outcomes in brain tumor procedures.
Discussion
The discussion section of the research paper highlights the advancements and challenges in cross-modal keypoint matching, particularly in medical imaging. Various methods have been developed for matching images across different modalities, including multi-spectral settings and visible-to-infrared matching. The section emphasizes the unique challenges posed by medical imaging due to the dynamic and heterogeneous nature of tissue appearance across modalities such as MRI, CT, and ultrasound. Traditional handcrafted descriptors have been largely surpassed by learning-based methods that enhance robustness against variations in intensity and spatial transformations. Notably, recent approaches leverage deep learning architectures, including Siamese networks and Transformer models, to achieve modality-invariant correspondences, although they often struggle with the inherent limitations of 2D keypoint methods when applied to 3D data.
The authors propose a patient-specific approach to keypoint detection and matching, utilizing synthetic intraoperative ultrasound (iUS) images generated from preoperative MRI to create a robust training set. This method addresses the challenge of acquiring paired training data by synthesizing iUS volumes, thereby enabling the identification of salient keypoints across modalities. The proposed framework employs a contrastive learning strategy to develop a cross-modal 3D feature descriptor, enhancing the matching process’s precision and robustness. Experimental results demonstrate that the proposed method outperforms existing approaches in terms of matching precision and score, indicating its effectiveness in establishing reliable correspondences between preoperative MRI and real iUS images, which is crucial for downstream registration tasks.