DOI: https://doi.org/10.1109/tmi.2026.3651254
PMID: https://pubmed.ncbi.nlm.nih.gov/41525535
تاريخ النشر: 2026-01-12
المؤلف: Zheng Fang وآخرون
الموضوع الرئيسي: تقنيات تقسيم الصور الطبية
نظرة عامة
تقدم ورقة البحث إطار عمل جديد للتعلم الفيدرالي المخصص (PFL)، يسمى فصل وتعزيز التمثيل الزماني المكاني (FedST)، يهدف إلى تحسين تقسيم أدوات الجراحة عبر مواقع جراحية متنوعة دون مركزية البيانات. تسلط الدراسة الضوء على التحديات الفريدة في مجال الجراحة، مثل اختلاف الخلفيات التشريحية وتوافر البيانات الاصطناعية من محاكيات الجراحة. يتضمن FedST آلية فصل التعاون والتمثيل (RSC) خلال التدريب في المواقع المحلية، مما يسمح بالتدريب الخاص لتضمينات الاستعلام لالتقاط الخلفيات المحددة للموقع بينما يتم تحسين المعلمات الأخرى على مستوى عالمي للحفاظ على تمثيلات الأدوات المتسقة. بالإضافة إلى ذلك، يتم استخدام اختيار القناة الموجه بالنص لتعزيز تكيف النموذج مع المواقع الفردية.
في مرحلة تدريب الخادم العالمي، يقدم الإطار الكمي الواضح للتمثيل القائم على التركيب (SERQ)، الذي يحدد هدف تمثيل واضح بناءً على البيانات الاصطناعية لتسهيل تقارب النموذج المتزامن خلال عملية الدمج. يتم التحقق من فعالية FedST من خلال معيار PFL الجديد الذي يتكون من خمسة مواقع جراحية من مجموعات بيانات عامة، مما يظهر تحسينات كبيرة في الأداء مقارنةً بالطرق الحديثة، مع زيادة قدرها 1.84% في تقاطع على الاتحاد (IoU) في المواقع الفيدرالية وتحسين ملحوظ قدره 45.29% في موقع خارج الفيدرالية. تؤكد النتائج على قدرة الإطار على معالجة تنوع الخلفيات وتعزيز تعميم النموذج عبر سياقات جراحية مختلفة.
مقدمة
تؤكد مقدمة ورقة البحث هذه على الدور الحاسم لتقسيم أدوات الجراحة في تعزيز الجراحة الأقل تدخلاً بمساعدة الروبوت (RAS). لا يساعد التقسيم الفعال الجراحين من خلال توفير المساعدة المعرفية فحسب، بل يشكل أيضًا أساسًا لمهام متقدمة مثل تقدير وضع الأدوات والأتمتة. بينما أظهرت نماذج التعلم العميق وعدًا في هذا المجال، فإن أدائها يعتمد بشكل كبير على توفر مجموعات بيانات كبيرة. يظهر التعلم الفيدرالي (FL) كحل لتسهيل التدريب التعاوني عبر مواقع سريرية متعددة دون المساس بخصوصية المرضى. ومع ذلك، تكافح طرق FL التقليدية مع تباين البيانات عبر سيناريوهات جراحية مختلفة، مما يستلزم تطوير أساليب التعلم الفيدرالي المخصص (PFL) التي يمكن أن تستوعب التباينات المحلية في البيانات.
تحدد الورقة تحديين كبيرين في تطبيق PFL على تقسيم أدوات الجراحة: تنوع الخلفيات التشريحية وتشابه الأدوات عبر العمليات الجراحية المختلفة. لمعالجة هذه القضايا، يقترح المؤلفون مخطط PFL جديد يسمى فصل وتعزيز التمثيل الزماني المكاني (FedST). تتضمن هذه الطريقة دمج المعرفة الخاصة بالمجال في كل من مراحل التعلم في المواقع المحلية والخادم العالمي. تشمل الابتكارات الرئيسية آلية فصل التعاون والتمثيل (RSC)، التي تخصص التدريب المحلي من خلال فصل تمثيلات الخلفية مع الحفاظ على تمثيلات الأدوات المتسقة، واستراتيجية الكمي الواضح للتمثيل القائم على التركيب (SERQ)، التي تستفيد من البيانات الاصطناعية لتعزيز أداء النموذج العالمي. كما تؤسس الدراسة معيارًا جديدًا لتقسيم الأدوات الفيدرالية، مما يظهر أداءً متفوقًا للطريقة المقترحة، خاصة في السيناريوهات التي تتضمن أنواع جراحية متنوعة.
طرق
ت outlines قسم المنهجية إطار عمل لنهج التعلم الفيدرالي اللامركزي (FL)، مع التركيز بشكل خاص على نموذج FedST الذي يهدف إلى تقسيم أدوات الجراحة. يتم صياغة المشكلة مع $K$ مواقع محلية، كل منها لديها توزيع غير IID فريد $D_k$ على $N_k$ عينات $(x_{i,k}, y_{i,k})$. الهدف هو تقليل الخسارة المتوقعة عبر جميع المواقع باستخدام خوارزمية FedAvg، التي تقوم بتحديث معلمات النموذج وفقًا للمعادلة:
\[
w_{t+1} = w_t – \eta E_{k \in [K]} E_{(x_{i,k}, y_{i,k}) \in D_k} \nabla L(f_{w}(x_{i,k}), y_{i,k}).
\]
على النقيض من ذلك، تهدف طرق التعلم الفيدرالي المخصص (PFL) إلى تطوير نماذج محلية $v_k$ لكل موقع، مع إعادة صياغة التحديث كالتالي:
\[
v_{t+1}^k = v_t^k – \eta E_{(x_{i,k}, y_{i,k}) \in D_k} \nabla L(f_{v_k}(x_{i,k}), y_{i,k}).
\]
يعمل FedST في مرحلتين: مرحلة الجانب المحلي التي تستخدم فصل التعاون والتمثيل (RSC) لتخصيص النموذج، ومرحلة الجانب الخادم التي تستخدم الكمي الواضح للتمثيل القائم على التركيب (SERQ) لتعزيز النموذج العالمي. تبدأ عملية التدريب مع التدريب المسبق للنماذج المحلية باستخدام البيانات الاصطناعية، تليها $T$ جولات من التواصل المحلي-العالمي مع $E$ تحديثات محلية لكل جولة، مما يسمح بتطوير نماذج مخصصة دون المساس بخصوصية البيانات المحلية.
كما يقارن القسم أداء FedST ضد الطرق الحديثة التي تستخدم البيانات الاصطناعية. تشير النتائج إلى أنه بينما تعاني الطرق الأساسية من تدهور الأداء عند خلط البيانات الاصطناعية مع البيانات الحقيقية – بسبب الفجوات في المجال وصراعات التحسين – يستفيد FedST بشكل فعال من البيانات الاصطناعية من خلال SERQ، مما يؤدي إلى تدريب مستقر وتحسين التعميم عبر جميع المواقع.
نقاش
يناقش القسم التقدم في تقسيم أدوات الجراحة، مع التأكيد على أهمية تقسيم الصور الطبية لتشخيص الأمراض آليًا وتخطيط العلاج. تم استكشاف تقنيات متنوعة، بما في ذلك الشبكات المتداخلة بشكل شامل والتعلم التبايني، مع نماذج حديثة مثل Segment Anything (SAM) التي تظهر وعدًا. ومع ذلك، غالبًا ما تركز الطرق الحالية على التدريب المحلي ضمن أنواع جراحية محددة، متجاهلة الفوائد المحتملة للتدريب التعاوني عبر بيئات جراحية متنوعة.
ظهر التعلم الفيدرالي (FL) كحل قابل للتطبيق لمعالجة مخاوف خصوصية البيانات في التطبيقات الطبية، مما يسمح بتدريب النماذج اللامركزية دون مشاركة البيانات الخام. بينما تم تطبيق FL بنجاح في مجالات مثل تقسيم أورام الدماغ واكتشاف COVID-19، لا يزال تطبيقه في تقسيم أدوات الجراحة محدودًا. تهدف طريقة التعلم الفيدرالي المخصص (PFL) المقترحة إلى معالجة تباين البيانات من خلال السماح بالتخصيص الجزئي لمعلمات النموذج، مما يعزز التكيف عبر مواقع جراحية مختلفة. يبرز القسم الحاجة إلى مزيد من البحث لتحسين تقنيات FL خصيصًا للطبيعة الزمنية المعقدة لبيانات الفيديو الجراحي، والتي غالبًا ما يتم تجاهلها في المنهجيات الحالية.
يتم تقديم إطار عمل فصل التعاون والتمثيل (RSC) لإدارة التمثيلات الفريدة والمشتركة لأدوات الجراحة عبر مواقع مختلفة بشكل فعال. يستخدم هذا الإطار آلية اختيار القناة الموجهة بالنص لتعزيز تكيف النموذج المحلي، مما يضمن أن النموذج يلتقط الميزات المحددة للموقع مع الحفاظ على تمثيل متسق للأدوات. تهدف الطرق المقترحة إلى تحسين دقة التقسيم من خلال الاستفادة من كل من التدريب المحلي والعالمي للنموذج، مما يعزز في النهاية أداء تقسيم أدوات الجراحة في سياق التعلم الفيدرالي.
DOI: https://doi.org/10.1109/tmi.2026.3651254
PMID: https://pubmed.ncbi.nlm.nih.gov/41525535
Publication Date: 2026-01-12
Author(s): Zheng Fang et al.
Primary Topic: Medical Image Segmentation Techniques
Overview
The research paper presents a novel Personalized Federated Learning (PFL) framework, named Spatio-Temporal Representation Decoupling and Enhancement (FedST), aimed at improving surgical instrument segmentation across diverse surgical sites without centralizing data. The study highlights the unique challenges in the surgical domain, such as varying anatomical backgrounds and the availability of synthetic data from surgical simulators. FedST incorporates a Representation Separation and Cooperation (RSC) mechanism during local-site training, which allows for the private training of query embeddings to capture site-specific backgrounds while optimizing other parameters globally to maintain consistent instrument representations. Additionally, a textual-guided channel selection is employed to enhance model adaptation to individual sites.
In the global-server training phase, the framework introduces Synthesis-based Explicit Representation Quantification (SERQ), which establishes a clear representation target based on synthetic data to facilitate synchronized model convergence during the fusion process. The effectiveness of FedST is validated through a newly constructed PFL benchmark comprising five surgical sites from public datasets, demonstrating significant performance improvements over state-of-the-art methods, with an increase of 1.84% in Intersection over Union (IoU) on federated sites and a remarkable 45.29% improvement on an out-of-federation site. The findings underscore the framework’s capability to address background diversity and enhance model generalization across different surgical contexts.
Introduction
The introduction of this research paper emphasizes the critical role of surgical instrument segmentation in enhancing robot-assisted minimally invasive surgery (RAS). Effective segmentation not only aids surgeons by providing cognitive assistance but also serves as a foundation for advanced tasks such as instrument pose estimation and automation. While deep learning models have shown promise in this area, their performance is heavily dependent on the availability of large datasets. Federated Learning (FL) emerges as a solution to facilitate collaborative training across multiple clinical sites without compromising patient privacy. However, traditional FL methods struggle with data heterogeneity across different surgical scenarios, necessitating the development of Personalized Federated Learning (PFL) approaches that can accommodate local variations in data.
The paper identifies two significant challenges in applying PFL to surgical instrument segmentation: the diversity of anatomical backgrounds and the similarity of instruments across different surgeries. To address these issues, the authors propose a novel PFL scheme called Spatio-Temporal Representation Decoupling and Enhancement (FedST). This method incorporates domain-specific knowledge into both local-site and global-server learning phases. Key innovations include the Representation Separation and Cooperation (RSC) mechanism, which personalizes local training by decoupling background representations while maintaining consistent instrument representations, and the Synthesis-based Explicit Representation Quantification (SERQ) strategy, which leverages synthetic data to enhance global model performance. The study also establishes a new benchmark for federated instrument segmentation, demonstrating superior performance of the proposed method, particularly in scenarios involving diverse surgical types.
Methods
The methodology section outlines the framework for a decentralized federated learning (FL) approach, specifically focusing on the FedST model aimed at surgical instrument segmentation. The problem is formulated with $K$ local sites, each having a unique non-iid distribution $D_k$ over $N_k$ samples $(x_{i,k}, y_{i,k})$. The objective is to minimize the expected loss across all sites using the FedAvg algorithm, which updates model parameters according to the equation:
\[
w_{t+1} = w_t – \eta E_{k \in [K]} E_{(x_{i,k}, y_{i,k}) \in D_k} \nabla L(f_{w}(x_{i,k}), y_{i,k}).
\]
In contrast, personalized federated learning (PFL) methods aim to develop local models $v_k$ for each site, reformulating the update as:
\[
v_{t+1}^k = v_t^k – \eta E_{(x_{i,k}, y_{i,k}) \in D_k} \nabla L(f_{v_k}(x_{i,k}), y_{i,k}).
\]
FedST operates in two stages: a local-side stage utilizing Representation Separation and Cooperation (RSC) for model personalization, and a server-side stage employing Synthesis-based Explicit Representation Quantification (SERQ) to enhance the global model. The training process begins with pre-training local models using synthetic data, followed by $T$ rounds of local-global communication with $E$ local updates per round, allowing for the development of personalized models without compromising local data privacy.
The section also compares the performance of FedST against state-of-the-art methods that utilize synthetic data. Results indicate that while baseline methods experience performance degradation when synthetic data is mixed with real data—due to domain gaps and optimization conflicts—FedST effectively leverages synthetic data through SERQ, leading to stable training and improved generalization across all sites.
Discussion
The section discusses advancements in surgical instrument segmentation, emphasizing the importance of medical image segmentation for automated disease diagnosis and treatment planning. Various techniques, including holistically-nested networks and contrastive learning, have been explored, with recent models like Segment Anything (SAM) showing promise. However, existing methods often focus on local training within specific surgical types, neglecting the potential benefits of collaborative training across diverse surgical environments.
Federated Learning (FL) has emerged as a viable solution to address data privacy concerns in medical applications, allowing decentralized model training without sharing raw data. While FL has been successfully applied in areas such as brain tumor segmentation and COVID-19 detection, its application in surgical instrument segmentation remains limited. The proposed Personalized Federated Learning (PFL) approach aims to tackle data heterogeneity by allowing partial personalization of model parameters, enhancing adaptability across different surgical sites. The section highlights the need for further research to optimize FL techniques specifically for the intricate temporal nature of surgical video data, which is often overlooked in current methodologies.
The Representation Separation and Cooperation (RSC) framework is introduced to effectively manage the unique and shared representations of surgical instruments across different sites. This framework utilizes a textual-guided channel selection mechanism to enhance local model adaptation, ensuring that the model captures site-specific features while maintaining a consistent representation of instruments. The proposed methods aim to improve segmentation accuracy by leveraging both local and global model training, ultimately enhancing the performance of surgical instrument segmentation in a federated learning context.