DOI: https://doi.org/10.1109/tmi.2026.3681175
PMID: https://pubmed.ncbi.nlm.nih.gov/41941823
تاريخ النشر: 2026-04-06
المؤلف: Runlong He وآخرون
الموضوع الرئيسي: تطبيقات تعلم الآلة متعددة الوسائط
نظرة عامة
يتناول هذا القسم التقدم في نماذج الرؤية-اللغة (VLMs) للإجابة على الأسئلة البصرية (VQA) في سياق الإجراءات الجراحية، مع التركيز بشكل خاص على تطبيقها في تعزيز اتخاذ القرارات داخل العملية التعليمية الجراحية. تواجه تطوير VLMs للإجابة على الأسئلة الجراحية تحديات مثل مجموعات البيانات المحدودة ومشكلات مثل الإفراط في التكيف والنسيان الكارثي أثناء ضبط النماذج المدربة مسبقًا. لمعالجة هذه التحديات، يقدم المؤلفون PitVQA++، الذي يتضمن مجموعة بيانات PitVQA المفتوحة التي تتكون من حوالي 101,803 إطارًا من 25 فيديو إجرائي و745,972 زوجًا من الأسئلة والأجوبة التي تشمل عناصر جراحية حاسمة مثل التعرف على المراحل، واكتشاف الأدوات، وفهم التفاعل.
يقترح المؤلفون طريقة جديدة لضبط النماذج تسمى Vector-MoLoRA، والتي تجمع بين مبادئ التكيف منخفض الرتبة (LoRA) ومصفوفة التكيف الرتبي (MoRA). تقوم هذه الطريقة بتخصيص المزيد من المعلمات لطبقات النموذج المبكرة، المسؤولة عن تعلم الميزات العامة، بينما تقلل تدريجياً تخصيص المعلمات للطبقات اللاحقة. يتم إثبات فعالية Vector-MoLoRA من خلال التحقق على مجموعات بيانات PitVQA المفتوحة وEndoVis18-VQA، مما يظهر تحسينات كبيرة في الأداء وتقليل النسيان الكارثي مقارنة بالمعايير الحالية. بالإضافة إلى ذلك، تشير تحليل تغطية المخاطر إلى تعزيز الموثوقية والثقة في إدارة التنبؤات غير المؤكدة. تم جعل الشيفرة المصدرية ومجموعة البيانات متاحة للجمهور لمزيد من البحث.
مقدمة
تناقش مقدمة هذه الورقة البحثية الإمكانيات التحويلية لنماذج الرؤية-اللغة (VLMs) في سير العمل الجراحي، وخاصة في تعزيز اتخاذ القرارات داخل العملية التعليمية الجراحية. يمكن أن توفر VLMs رؤى في الوقت الحقيقي حول مراحل الجراحة واستخدام الأدوات، وهو أمر حاسم للإجراءات المعقدة مثل جراحة الغدة النخامية الأنفية التي تتطلب تنقلًا تشريحيًا دقيقًا. ومع ذلك، تواجه تطوير VLMs المصممة لتطبيقات جراحية تحديات، بما في ذلك نقص مجموعات البيانات المحددة للمجال وخطر الإفراط في التكيف عند ضبط النماذج المدربة مسبقًا. لا تعالج تقنيات ضبط المعلمات الفعالة الحالية، مثل التكيف منخفض الرتبة (LoRA) ومصفوفة التكيف الرتبي (MoRA)، توزيع الميزات الهرمية في الشبكات العصبية العميقة بشكل كافٍ، مما يستدعي نهجًا مبتكرًا لتخصيص المعلمات بشكل فعال.
لمعالجة هذه التحديات، يقدم المؤلفون مجموعة بيانات مفتوحة خصيصًا لجراحة الغدة النخامية الأنفية، تتكون من 101,803 إطارًا جراحيًا و745,972 زوجًا من الأسئلة والأجوبة التي تسهل التفكير المعقد والتفاعلات الديناميكية. كما يقدمون Vector-MoLoRA، وهي تقنية جديدة لضبط المعلمات بكفاءة تدمج الطبيعة الهرمية للشبكات العميقة للتخفيف من مشكلات مثل النسيان الكارثي. تدعي الورقة أن Vector-MoLoRA يتفوق على الطرق الحالية في كل من المعايير العامة ومجموعة بيانات PitVQA المطورة حديثًا، مما يعزز موثوقية VLMs في السياقات الجراحية. لا توسع هذه العمل مجموعة البيانات للإجابة على الأسئلة الجراحية فحسب، بل تحول أيضًا التركيز من التصنيف إلى توليد الجمل، مما يحسن تفاعلات الجراح مع الذكاء الاصطناعي ويعزز عملية اتخاذ القرار بشكل أكثر حدسية أثناء الجراحة.
طرق
يستعرض قسم المنهجية في الورقة البحثية ثلاث تقنيات رئيسية للتكيف: التكيف منخفض الرتبة (LoRA)، التكيف بمصفوفة الرتبة (MoRA)، وVector-LoRA، كل منها مصمم لتحسين كفاءة المعلمات أثناء ضبط النموذج. يستخدم LoRA مصفوفتين منخفضتي الرتبة، $B \in \mathbb{R}^{d \times r}$ و$A \in \mathbb{R}^{r \times k}$، لتحديث الأوزان المدربة مسبقًا $W_0 \in \mathbb{R}^{d \times k}$ مع الحفاظ عليها مجمدة، مما يمنع النسيان الكارثي. يتم حساب الناتج النهائي كـ $h = W_0 x + BAx$، حيث $x \in \mathbb{R}^k$. يوسع MoRA هذا المفهوم باستخدام مصفوفة مربعة $M \in \mathbb{R}^{r \times r}$ للتحديثات، مع مشغلات غير معلمية $g(\cdot)$ و$f(\cdot)$ تسهل الضغط وفك الضغط، مما يؤدي إلى صياغة $h = W_0 x + f(M g(x))$.
يعزز Vector-LoRA المزيد من LoRA من خلال السماح بتخصيص الرتبة التكيفية عبر الطبقات، مما يحسن الرتبة بناءً على أهمية كل طبقة. تحدد متجه الرتبة $r_l = [r_1, r_2, \ldots, r_i]$ الرتبة لكل طبقة تكيف، مما يتيح درجات أعلى للطبقات المبكرة التي تركز على تعلم الميزات العامة، بينما يتم تعيين درجات أقل للطبقات اللاحقة للتعديلات المحددة بالمهام. تظهر النتائج التجريبية أن طريقة Vector-MoLoRA المقترحة تتفوق بشكل كبير على النماذج الرائدة في مجموعة بيانات PitVQA المفتوحة وEndoVis18-VQA، محققة درجات أعلى في BLEU وROUGE وMETEOR. تكشف التحليلات النوعية أن النموذج يتفوق في توليد مصطلحات جراحية كاملة والتفكير البصري، مما يظهر قوته وقابليته للتعميم في السياقات متعددة الوسائط.
نقاش
في هذا القسم، يناقش المؤلفون تطوير وتقييم PitVQA++، وهو نموذج رؤية-لغة (VLM) مصمم خصيصًا للإجابة على الأسئلة البصرية المفتوحة (VQA) في جراحة ورم الغدة النخامية الأنفية. يتضمن النموذج Vector-MoLoRA، وهي استراتيجية تكيف فعالة من حيث المعلمات تقوم بضبط التحديثات منخفضة الرتبة ومصفوفة الرتبة عبر طبقات المحولات، مما يعزز قدرة النموذج على التعلم من الميزات الهرمية. يقدم المؤلفون أيضًا مجموعة بيانات PitVQA المفتوحة، التي تتضمن تعليقات تفصيلية على مقاطع الفيديو الجراحية، مما يوسع بشكل كبير نطاق تطبيقات الذكاء الاصطناعي الجراحي في سيناريوهات الإجابة على الأسئلة المفتوحة.
تشير النتائج التجريبية إلى أن PitVQA++ يتفوق على النماذج الجراحية الرائدة الحالية في توليد استجابات ذات صلة سياقية ودقيقة لغويًا. تؤكد دراسات الإزالة فعالية Vector-MoLoRA في التخفيف من النسيان الكارثي أثناء التعلم الانتقالي، بينما توضح تحليل تغطية المخاطر تحسين الموثوقية في التعامل مع التنبؤات غير المؤكدة، مما يتطلب إحالات أقل من الخبراء مقارنة بالطرق السابقة. تؤكد هذه النتائج على إمكانيات PitVQA++ كمساعد موثوق للذكاء الاصطناعي في اتخاذ القرارات داخل العملية، مما يمهد الطريق لتحسينات مستقبلية قد تشمل إشارات متعددة الوسائط وآليات دمج متقدمة لتحسين القابلية السريرية بشكل أكبر.
DOI: https://doi.org/10.1109/tmi.2026.3681175
PMID: https://pubmed.ncbi.nlm.nih.gov/41941823
Publication Date: 2026-04-06
Author(s): Runlong He et al.
Primary Topic: Multimodal Machine Learning Applications
Overview
The section discusses the advancements in Vision-Language Models (VLMs) for visual question answering (VQA) within the context of surgical procedures, particularly focusing on their application in enhancing intra-operative decision-making and surgical education. The development of VLMs for surgical VQA faces challenges such as limited datasets and issues like overfitting and catastrophic forgetting during the fine-tuning of pretrained models. To address these challenges, the authors introduce PitVQA++, which includes an open-ended PitVQA dataset comprising approximately 101,803 frames from 25 procedural videos and 745,972 question-answer pairs that encompass critical surgical elements such as phase recognition, tool detection, and interaction understanding.
The authors propose a novel fine-tuning method called Vector-MoLoRA, which combines the principles of Low-Rank Adaptation (LoRA) and Matrix of Rank Adaptation (MoRA). This method strategically allocates more parameters to earlier layers of the model, which are responsible for learning general features, while gradually reducing the parameter allocation for later layers. The effectiveness of Vector-MoLoRA is demonstrated through validation on the Open-Ended PitVQA and EndoVis18-VQA datasets, showing significant improvements in performance and a reduction in catastrophic forgetting compared to existing baselines. Additionally, a risk-coverage analysis indicates enhanced reliability and trustworthiness in managing uncertain predictions. The source code and dataset are made publicly available for further research.
Introduction
The introduction of this research paper discusses the transformative potential of Vision-Language Models (VLMs) in surgical workflows, particularly in enhancing intraoperative decision-making and surgical education. VLMs can provide real-time insights into surgical phases and instrument usage, which is crucial for complex procedures like endonasal pituitary surgery that require precise anatomical navigation. However, the development of VLMs tailored for surgical applications faces challenges, including a lack of domain-specific datasets and the risk of overfitting when fine-tuning pretrained models. Existing parameter-efficient fine-tuning techniques, such as Low-Rank Adaptation (LoRA) and Matrix of Rank Adaptation (MoRA), do not adequately address the hierarchical feature distribution in deep neural networks, necessitating innovative approaches for effective parameter allocation.
To address these challenges, the authors present an open-ended dataset specifically for endonasal pituitary surgery, comprising 101,803 surgical frames and 745,972 question-answer pairs that facilitate complex reasoning and dynamic interactions. They also introduce Vector-MoLoRA, a novel parameter-efficient fine-tuning technique that incorporates the hierarchical nature of deep networks to mitigate issues like catastrophic forgetting. The paper claims that Vector-MoLoRA outperforms existing methods on both public benchmarks and the newly developed PitVQA dataset, enhancing the reliability of VLMs in surgical contexts. This work not only expands the dataset for surgical VQA but also shifts the focus from classification to sentence generation, thereby improving surgeon-AI interactions and fostering a more intuitive decision-making process during surgeries.
Methods
The methodology section of the research paper outlines three key adaptation techniques: Low-Rank Adaptation (LoRA), Matrix-Rank Adaptation (MoRA), and Vector-LoRA, each designed to optimize parameter efficiency during model fine-tuning. LoRA employs two low-rank matrices, $B \in \mathbb{R}^{d \times r}$ and $A \in \mathbb{R}^{r \times k}$, to update the pre-trained weights $W_0 \in \mathbb{R}^{d \times k}$ while keeping them frozen, thereby preventing catastrophic forgetting. The final output is computed as $h = W_0 x + BAx$, where $x \in \mathbb{R}^k$. MoRA extends this concept by using a square matrix $M \in \mathbb{R}^{r \times r}$ for updates, with non-parametric operators $g(\cdot)$ and $f(\cdot)$ facilitating compression and decompression, respectively, leading to the formulation $h = W_0 x + f(M g(x))$.
Vector-LoRA further enhances LoRA by allowing adaptive rank allocation across layers, optimizing the rank based on the importance of each layer. The rank vector $r_l = [r_1, r_2, \ldots, r_i]$ determines the rank for each adaptation layer, enabling higher ranks for earlier layers that focus on general feature learning, while later layers are assigned lower ranks for task-specific refinements. The experimental results demonstrate that the proposed Vector-MoLoRA method significantly outperforms state-of-the-art models on the Open-ended PitVQA and EndoVis18-VQA datasets, achieving higher BLEU, ROUGE, and METEOR scores. Qualitative analyses reveal that the model excels in generating complete surgical terminology and visual reasoning, showcasing its robustness and generalizability in multimodal contexts.
Discussion
In this section, the authors discuss the development and evaluation of PitVQA++, a Vision-Language Model (VLM) specifically designed for open-ended Visual Question Answering (VQA) in endonasal pituitary adenoma surgery. The model incorporates Vector-MoLoRA, a parameter-efficient adaptation strategy that dynamically adjusts low-rank and matrix-rank updates across transformer layers, enhancing the model’s ability to learn from hierarchical features. The authors also introduce the Open-Ended PitVQA dataset, which comprises detailed annotations of surgical videos, significantly broadening the scope of surgical AI applications in open-ended question-answering scenarios.
Experimental results indicate that PitVQA++ surpasses existing state-of-the-art surgical VQA models in generating contextually relevant and linguistically accurate responses. The ablation studies validate the effectiveness of Vector-MoLoRA in mitigating catastrophic forgetting during transfer learning, while the risk-coverage analysis demonstrates improved reliability in handling uncertain predictions, requiring fewer expert referrals compared to previous methods. These findings underscore the potential of PitVQA++ as a reliable AI assistant for intraoperative decision-making, paving the way for future enhancements that may include multimodal cues and advanced fusion mechanisms to further improve clinical applicability.