DOI: https://doi.org/10.1038/s41746-026-02927-5
PMID: https://pubmed.ncbi.nlm.nih.gov/42337001
تاريخ النشر: 2026-06-23
المؤلف: Xi Li وآخرون
الموضوع الرئيسي: محاكاة وتدريب جراحي
نظرة عامة
تقدم البحث نظام Frame-to-Outcome (F2O)، وهو نظام مبتكر مصمم لتحليل السلوك داخل العملية من خلال ترجمة مقاطع فيديو تشريح الأنسجة إلى تسلسلات إيمائية، مما يكشف عن أنماط ترتبط بالنتائج بعد الجراحة. باستخدام نمذجة مكانية وزمنية قائمة على المحولات جنبًا إلى جنب مع التصنيف على مستوى الإطار، يحدد F2O بفعالية الإيماءات القصيرة (حوالي 2 ثانية) خلال مرحلة الحفاظ على الأعصاب في استئصال البروستاتا الجذري بمساعدة الروبوت، محققًا درجات منطقة تحت المنحنى (AUC) تبلغ 0.80 على مستوى الإطار و0.81 على مستوى الفيديو.
أظهرت الميزات المستمدة من F2O، والتي تشمل تكرار الإيماءات، والمدة، والانتقالات، دقة تنبؤية للنتائج بعد الجراحة تعادل تلك الخاصة بالتعليقات البشرية (0.79 مقابل 0.75)، مع تداخل في فترات الثقة بنسبة 95%. كشفت تحليل 25 ميزة مشتركة عن اتجاهات حجم تأثير متوافقة مع اختلافات طفيفة (متوسط الفرق ∆d_avg ≈ 0.07) وارتباط قوي (r = 0.96، p < 1 × 10^{-14}). من الجدير بالذكر أن F2O حدد أنماطًا حاسمة مرتبطة باستعادة الوظيفة الانتصابية، مثل تقشير الأنسجة لفترة طويلة وانخفاض استخدام الطاقة، مما يسهل التقييمات التلقائية والقابلة للتفسير للأداء الجراحي.
مقدمة
تسلط المقدمة الضوء على التحديات في أتمتة قياس الأنشطة الجراحية داخل العملية وارتباطها بالنتائج السريرية، وهو جانب حاسم من علوم البيانات الجراحية. على الرغم من الزيادة المتزايدة في انتشار تسجيلات الفيديو الروبوتية والتنظيرية عالية الدقة، لا يزال هناك نقص في الأدوات القياسية لالتقاط وتفسير هذه الأنشطة، مما يعيق تقدم الممارسات الجراحية المستندة إلى الأدلة. تشمل العقبات الرئيسية مصطلحات جراحية غير متسقة، وتوصيف يدوي كثيف العمل للفيديو، وتباين كبير في التقنيات الجراحية عبر سياقات مختلفة. تسهم هذه العوامل في صعوبات تطوير نماذج للاعتراف التلقائي بالإجراءات الجراحية الدقيقة.
تناقش هذه الفقرة أيضًا تطور تحليل سير العمل الجراحي، الذي يشمل مستويات مختلفة من الدقة من الإجراء إلى التعرف على الإجراءات. بينما حسنت تقنيات التعلم العميق، مثل الشبكات العصبية التلافيفية (CNNs) والهياكل القائمة على المحولات، من تعلم التمثيل المكاني الزمني في مقاطع الفيديو الجراحية، لا تزال التحديات قائمة في نمذجة الانتقالات السريعة وأنماط الحركة الدقيقة. تركز الأدبيات بشكل أساسي على مهام الخياطة، متجاهلة الإيماءات التشريحية التي تكون أكثر شيوعًا في العمليات الجراحية. قدم المؤلفون سابقًا تصنيفًا غير مرتبط بالإجراء للإيماءات التشريحية في العمليات الجراحية بمساعدة الروبوت، مؤكدين على أهمية هذه الإيماءات في عكس النية الجراحية والسياق التشريحي. تشير نتائجهم إلى أن الجراحين المهرة يظهرون كفاءة أعلى في استخدام إيماءات محددة، والتي تتنبأ أيضًا بنتائج المرضى على المدى الطويل.
طرق
توضح فقرة “الطرق” الإجراءات التجريبية والتحليلية المستخدمة في الدراسة. تفصل تصميم التجارب، بما في ذلك اختيار الموضوعات، والمواد المستخدمة، والبروتوكولات المحددة المتبعة لضمان إمكانية التكرار. تم إجراء تحليلات إحصائية باستخدام برامج مناسبة لتقييم البيانات، مع تحديد مستويات الدلالة عند p < 0.05. بالإضافة إلى ذلك، تصف الفقرة النماذج الرياضية المطبقة لتفسير النتائج، بما في ذلك أي معادلات أو خوارزميات ذات صلة. تؤكد المنهجية على الضوابط الصارمة وخطوات التحقق لتقليل التحيزات وتعزيز موثوقية النتائج. بشكل عام، تم تصميم الطرق المستخدمة لتوفير إطار عمل قوي لمعالجة الأسئلة البحثية المطروحة في الدراسة.
مناقشة
يظهر نظام F2O تقدمًا كبيرًا في التعرف التلقائي على الإيماءات الجراحية، محققًا تصنيفًا دقيقًا على مستوى الإطار للإيماءات الجراحية من خلال هيكل قائم على المحولات يدمج النمذجة المكانية والزمنية. باستخدام مجموعة بيانات تضم 294 فيديو مسجل لجراحة استئصال البروستاتا الجذري بمساعدة الروبوت (RARP)، حقق النموذج متوسط منطقة تحت منحنى التشغيل (AUC) تبلغ 0.80 (95% CI: 0.78-0.81) عبر عشرة فئات إيمائية مهيمنة، مما يلتقط بفعالية 97% من الإيماءات في مجموعة البيانات. تم التحقق من أداء النظام القوي من خلال التعرف المستمر على تسلسل الإيماءات في مقاطع الفيديو الجراحية الكاملة، مع الحفاظ على دقة تنبؤية قوية للنتائج بعد الجراحة، وخاصة استعادة الوظيفة الانتصابية بعد 12 شهرًا.
علاوة على ذلك، أظهرت الميزات المصممة من F2O المستمدة من تسلسلات الإيماءات المتوقعة دقة تنبؤية قابلة للمقارنة مع تلك المستندة إلى الإيماءات الموصوفة يدويًا، مع دقة متوسطة تبلغ 0.7902 (95% CI: [0.6696, 0.9109]) مقابل 0.7506 (95% CI: [0.6397, 0.8616]). من الجدير بالذكر أن التداخل في الميزات السريرية الهامة بين F2O والتعليقات الحقيقية يبرز إمكانية النظام في تكرار وتعزيز تحليل الإيماءات اليدوية، كاشفًا عن سلوكيات جراحية حاسمة مرتبطة بنتائج المرضى. يسمح تصميم الإطار غير المرتبط بالهيكل بالمرونة عبر نماذج المحولات المختلفة، مما يضمن القابلية للتوسع والكفاءة في بيئات سريرية متنوعة، خاصة حيث قد تكون البيانات محدودة. بشكل عام، يمثل F2O نهجًا تحويليًا لتحليل الفيديو الجراحي، مما يسهل التغذية الراجعة في الوقت الحقيقي وقد يحسن تقنيات الجراحة ونتائج المرضى.
DOI: https://doi.org/10.1038/s41746-026-02927-5
PMID: https://pubmed.ncbi.nlm.nih.gov/42337001
Publication Date: 2026-06-23
Author(s): Xi Li et al.
Primary Topic: Surgical Simulation and Training
Overview
The research introduces Frame-to-Outcome (F2O), an innovative system designed to analyze intraoperative behavior through the translation of tissue dissection videos into gesture sequences, thereby revealing patterns that correlate with postoperative outcomes. Utilizing transformer-based spatial and temporal modeling alongside frame-wise classification, F2O effectively identifies short gestures (approximately 2 seconds) during the nerve-sparing phase of robot-assisted radical prostatectomy, achieving area under the curve (AUC) scores of 0.80 at the frame level and 0.81 at the video level.
The features derived from F2O, which include gesture frequency, duration, and transitions, demonstrated predictive accuracy for postoperative outcomes that is comparable to human annotations (0.79 vs. 0.75), with overlapping 95% confidence intervals. The analysis of 25 shared features revealed concordant effect size directions with minor differences (average difference ∆d_avg ≈ 0.07) and a strong correlation (r = 0.96, p < 1 × 10^{-14}). Notably, F2O identified critical patterns associated with erectile function recovery, such as prolonged tissue peeling and decreased energy usage, thereby facilitating automatic and interpretable assessments of surgical performance.
Introduction
The introduction highlights the challenges in automating the quantification of intraoperative surgical activities and their correlation with clinical outcomes, a critical aspect of surgical data science. Despite the increasing prevalence of high-resolution robotic and endoscopic video recordings, there remains a lack of standardized tools for capturing and interpreting these activities, which hinders the advancement of evidence-based surgical practices. Key obstacles include inconsistent surgical terminology, labor-intensive manual video annotation, and high variability in surgical techniques across different contexts. These factors contribute to difficulties in developing models for automated recognition of fine-grained surgical actions.
The section further discusses the evolution of surgical workflow analysis, which encompasses various levels of granularity from procedure to action recognition. While deep learning techniques, such as Convolutional Neural Networks (CNNs) and Transformer-based architectures, have improved spatiotemporal representation learning in surgical videos, challenges persist in modeling rapid transitions and subtle motion patterns. The literature predominantly focuses on suturing tasks, neglecting dissection gestures that are more common in surgeries. The authors previously introduced a procedure-agnostic taxonomy for dissection gestures in robot-assisted surgeries, emphasizing the significance of these gestures in reflecting surgical intent and anatomical context. Their findings indicate that skilled surgeons exhibit a higher efficacy in using specific gestures, which are also predictive of long-term patient outcomes.
Methods
The “Methods” section outlines the experimental and analytical procedures employed in the study. It details the design of the experiments, including the selection of subjects, materials used, and the specific protocols followed to ensure reproducibility. Statistical analyses were conducted using appropriate software to evaluate the data, with significance levels set at p < 0.05. Additionally, the section describes the mathematical models applied to interpret the results, including any relevant equations or algorithms. The methodology emphasizes rigorous controls and validation steps to mitigate biases and enhance the reliability of the findings. Overall, the methods employed are designed to provide a robust framework for addressing the research questions posed in the study.
Discussion
The F2O system demonstrates significant advancements in automated surgical gesture recognition, achieving accurate frame-level classification of surgical gestures through a Transformer-based architecture that integrates spatial and temporal modeling. Utilizing a dataset of 294 annotated robotic-assisted radical prostatectomy (RARP) videos, the model attained a mean area under the receiver operating characteristic curve (AUC) of 0.80 (95% CI: 0.78-0.81) across ten dominant gesture classes, effectively capturing 97% of gestures in the dataset. The system’s robust performance was further validated through continuous gesture sequence recognition in full-length surgical videos, maintaining strong predictive accuracy for postoperative outcomes, particularly erectile function recovery at 12 months.
Moreover, F2O’s engineered features derived from predicted gesture sequences exhibited comparable predictive accuracy to those based on manually annotated gestures, with a mean accuracy of 0.7902 (95% CI: [0.6696, 0.9109]) versus 0.7506 (95% CI: [0.6397, 0.8616]). Notably, the overlap in clinically significant features between F2O and ground-truth annotations underscores the system’s potential to replicate and enhance manual gesture analysis, revealing critical surgical behaviors linked to patient outcomes. The framework’s backbone-agnostic design allows for adaptability across various transformer models, ensuring scalability and efficiency in diverse clinical settings, particularly where data may be limited. Overall, F2O represents a transformative approach to surgical video analysis, facilitating real-time feedback and potentially improving surgical techniques and patient outcomes.