DOI: https://doi.org/10.1007/s11263-025-02530-3
تاريخ النشر: 2025-07-14
المؤلف: Dingwen Zhang وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
في هذا القسم، يناقش المؤلفون قيود خوارزمية توجيه الكبسولات القائمة على تعظيم التوقعات (EM) في الشبكات الكبسولية (CapsNets) لاكتشاف الأجسام المموهة (COD)، ويرجع ذلك أساسًا إلى متطلبات الحوسبة العالية وأحجام المعلمات الكبيرة المرتبطة بتوجيه الكبسولات على مستوى البكسل. لمعالجة هذه التحديات، يقدمون نهجًا جديدًا يسمى توجيه الكبسولات ماما، الذي يعمل على مستوى النوع بدلاً من مستوى البكسل. تتضمن هذه الطريقة استخراج حالات كامنة ضمنية كمتجهات كبسولة، مما يؤدي إلى إنشاء كبسولات ماما على مستوى النوع التي تتم معالجتها بعد ذلك من خلال خوارزمية توجيه EM لإنتاج كبسولات ماما عالية الطبقة. يقلل هذا الابتكار بشكل كبير من الحمل الحوسبي ومتطلبات المعلمات مع الحفاظ على سلامة علاقات الجزء والكل.
يقدم المؤلفون شبكة توجيه الكبسولات ماما (MCRNet) كحل لمهمة COD، مع التأكيد على قدراتها الخفيفة في توجيه الكبسولات. يتضمن التصميم مولد كبسولات ماما (MCG) الذي يحول بكفاءة الكبسولات على مستوى البكسل إلى كبسولات ماما على مستوى النوع، مما يسهل التوجيه المبسط. بالإضافة إلى ذلك، تم دمج وحدة استرجاع تفاصيل الفضاء للكبسولات (CSDR) لاستعادة التفاصيل المكانية اللازمة لاكتشاف الأجسام المموهة بدقة. تشير النتائج التجريبية إلى أن MCRNet تحسن بشكل ملحوظ من أداء الاكتشاف للأجسام المموهة. تشمل اتجاهات البحث المستقبلية الاستفادة من نماذج اللغة الكبيرة (LLMs) لتعزيز COD من خلال إطار فهم متعدد الوسائط.
مقدمة
تناقش مقدمة هذه الورقة البحثية مفهوم التمويه كتكيف وقائي في الحيوانات، مما يعزز قدراتها على الصيد والبقاء. يهدف اكتشاف الأجسام المموهة (COD) إلى تحديد الأجسام المخفية بدقة وتقسيمها ضمن محيطها، مع تطبيقات تمتد إلى الحفاظ على البيئة البيولوجية، والكشف الصناعي، والإبداع الفني، وتقسيم الصور الطبية. اعتمدت الطرق التقليدية على ميزات مصنوعة يدويًا، لكن هذه الأساليب غالبًا ما واجهت صعوبة في التمييز بين المقدمة والخلفية، مما أدى إلى أداء اكتشاف دون المستوى الأمثل. أدت التطورات الأخيرة في التعلم العميق، لا سيما مع إدخال مجموعات بيانات COD واسعة النطاق، إلى تحسين استخراج الميزات من خلال استخدام الشبكات العصبية التلافيفية (CNNs) والمحولات. ومع ذلك، لا تزال التشابهات الجوهرية بين الأجسام المموهة وخلفياتها تمثل تحديًا لهذه الأساليب.
لمعالجة هذه القيود، يقترح المؤلفون شبكة توجيه الكبسولات ماما (MCRNet) التي تستفيد من خصائص العلاقات بين الجزء والكل في الشبكات الكبسولية (CapsNets) مع تقليل التعقيد الحوسبي المرتبط بتوجيه التوقعات التقليدي (EM). تقدم MCRNet وحدة توليد كبسولات ماما (MCG) لتحويل الكبسولات على مستوى البكسل إلى كبسولات على مستوى النوع، مما يسهل التوجيه الخفيف. بالإضافة إلى ذلك، تم تصميم وحدة استرجاع تفاصيل الفضاء للكبسولات (CSDR) لاستخراج التفاصيل المكانية من كبسولات ماما عالية الطبقة لتحسين دقة الاكتشاف. تظهر MCRNet المقترحة أداءً متفوقًا على ثلاث مجموعات بيانات COD مستخدمة على نطاق واسع، متفوقة على 25 طريقة موجودة من الطراز الأول، مما يمثل تقدمًا كبيرًا في مجال COD.
طرق
في هذا القسم، يصف المؤلفون الإعدادات التجريبية ومعايير التقييم المستخدمة لتقييم أداء طريقتهم المقترحة، MCRNet، على ثلاث مجموعات بيانات مرجعية لاكتشاف الأجسام المموهة (COD): CAMO وCOD10K وNC4K. تتكون مجموعة بيانات CAMO من 1,250 صورة، بينما تتضمن COD10K 5,066 صورة (3,040 للتدريب و2,026 للاختبار)، وتتكون NC4K من 4,121 صورة. للتدريب، استخدم المؤلفون 3,040 عينة من COD10K و1,000 من CAMO، مع إجراء الاختبار على الصور المتبقية من هذه المجموعات وبيانات NC4K بالكامل.
لتقييم أداء النموذج، تم استخدام أربعة معايير: متوسط الخطأ المطلق (MAE)، أقصى قياس F ($F_m$)، أقصى قياس محسن للتوافق ($E_m$)، وقياس الهيكل ($S_m$). يقيس MAE الفرق المتوسط على مستوى البكسل بين الأقنعة المتوقعة والحقائق الأرضية، بينما يقيم $F_m$ و$E_m$ الأداء العام والتشابه بين التوقعات والحقائق الأرضية، على التوالي. يجمع قياس الهيكل بين التشابهات المعتمدة على الكائنات والتشابهات المعتمدة على المناطق. تم تنفيذ MCRNet باستخدام PyTorch، مع تكوينات تدريب محددة تشمل تغيير حجم الصور، والقص العشوائي، ومحسن آدم، مما أدى إلى 150,000 خطوة تدريب. تشير النتائج إلى أن MCRNet تتفوق على العديد من الطرق الموجودة عبر المعايير التي تم تقييمها.
نقاش
في قسم النقاش، يستعرض المؤلفون التقدمات الكبيرة في اكتشاف الأجسام المموهة (COD)، والشبكات الكبسولية، والمفهوم الناشئ لرؤية ماما. يسلطون الضوء على تحديات COD، وخاصة الصعوبة في تقسيم الأجسام التي تندمج في خلفياتها بسبب التشابه العالي والكونتراست المنخفض. اعتمدت الطرق المبكرة على ميزات مصنوعة يدويًا، والتي كانت أقل فعالية في السيناريوهات المعقدة. أدى الانتقال إلى التعلم العميق إلى تقنيات أكثر قوة تستفيد من استخراج الميزات التفصيلية، بما في ذلك الأساليب المبتكرة المستوحاة من الآليات البيولوجية وإدراك الإنسان البصري. قدمت الأعمال الأخيرة استراتيجيات متنوعة، مثل تقسيم متعدد المراحل والمهام المساعدة، لتعزيز دقة الاكتشاف، ومع ذلك لا تزال العديد من الطرق الموجودة تواجه صعوبة في السيناريوهات ذات التشابه العالي.
يناقش المؤلفون أيضًا تطور الشبكات الكبسولية، التي حسنت تمثيلات الجزء والكل من خلال آليات تقلل من التعقيد الحوسبي. يؤكدون على نهجهم الجديد، الذي يدمج إطار رؤية ماما في الشبكات الكبسولية لتسهيل التوجيه الخفيف وتعزيز الأداء في مهام COD. تجمع بنية MCRNet المقترحة بين مشفر Swin Transformer مع وحدة توليد كبسولات ماما ووحدة استرجاع تفاصيل الفضاء للكبسولات، مما يظهر أداءً متفوقًا على الطرق الحديثة عبر مجموعات بيانات متعددة. تشير النتائج إلى أن MCRNet لا تتفوق فقط في اكتشاف الأجسام المموهة ولكن أيضًا تلتقط حدودها بفعالية، مما يظهر فعالية الطرق المقترحة في معالجة تحديات COD.
DOI: https://doi.org/10.1007/s11263-025-02530-3
Publication Date: 2025-07-14
Author(s): Dingwen Zhang et al.
Primary Topic: Advanced Neural Network Applications
Overview
In this section, the authors discuss the limitations of the existing Expectation Maximization (EM) capsule routing algorithm in Capsule Networks (CapsNets) for camouflaged object detection (COD), primarily due to its high computational demands and large parameter sizes associated with pixel-level capsule routing. To address these challenges, they introduce a novel approach called Mamba Capsule Routing, which operates at the type level rather than the pixel level. This method involves extracting implicit latent states as capsule vectors, thereby creating type-level mamba capsules that are subsequently processed through the EM routing algorithm to yield high-layer mamba capsules. This innovation significantly reduces computational overhead and parameter requirements while maintaining the integrity of part-whole relationships.
The authors present the Mamba Capsule Routing Network (MCRNet) as a solution for the COD task, emphasizing its lightweight capsule routing capabilities. The design includes a MCG (Mamba Capsule Generator) that efficiently transforms pixel-level capsules into type-level mamba capsules, facilitating streamlined routing. Additionally, a CSDR (Capsule Spatial Detail Retrieval) module is incorporated to recover spatial details necessary for accurate camouflaged object detection. Experimental results indicate that MCRNet markedly improves detection performance for camouflaged objects. Future research directions include leveraging large language models (LLMs) to enhance COD through a multi-modal understanding framework.
Introduction
The introduction of this research paper discusses the concept of camouflage as a protective adaptation in animals, which enhances their hunting and survival capabilities. Camouflaged object detection (COD) aims to accurately identify and segment concealed objects within their surroundings, with applications spanning biological conservation, industrial detection, artistic creation, and medical image segmentation. Traditional methods relied on hand-crafted features, but these approaches often struggled with distinguishing between foreground and background, leading to suboptimal detection performance. Recent advancements in deep learning, particularly with the introduction of large-scale COD datasets, have improved feature extraction through the use of Convolutional Neural Networks (CNNs) and Transformers. However, the inherent similarity between camouflaged objects and their backgrounds continues to challenge these methods.
To address these limitations, the authors propose a novel Mamba Capsule Routing Network (MCRNet) that leverages the part-whole relational properties of Capsule Networks (CapsNets) while mitigating the computational complexity associated with traditional Expectation-Maximization (EM) routing. The MCRNet introduces a Mamba Capsule Generation (MCG) module to convert pixel-level capsules into type-level capsules, facilitating lightweight routing. Additionally, a Capsules Spatial Details Retrieval (CSDR) module is designed to extract spatial details from high-layer mamba capsules for improved detection accuracy. The proposed MCRNet demonstrates superior performance on three widely-used COD datasets, outperforming 25 existing state-of-the-art methods, marking a significant advancement in the field of COD.
Methods
In this section, the authors describe the experimental settings and evaluation metrics used to assess the performance of their proposed method, MCRNet, on three benchmark datasets for camouflage object detection (COD): CAMO, COD10K, and NC4K. The CAMO dataset consists of 1,250 images, while COD10K includes 5,066 images (3,040 for training and 2,026 for testing), and NC4K comprises 4,121 images. For training, the authors utilized 3,040 samples from COD10K and 1,000 from CAMO, with testing conducted on the remaining images from these datasets and the entire NC4K dataset.
To evaluate model performance, four metrics were employed: Mean Absolute Error (MAE), maximum F-measure ($F_m$), maximum enhanced-alignment measure ($E_m$), and structure-measure ($S_m$). MAE quantifies the average pixel-wise difference between predicted and ground truth masks, while $F_m$ and $E_m$ assess the overall performance and similarity between predictions and ground truth, respectively. The structure-measure combines object-aware and region-aware similarities. The implementation of MCRNet was conducted using PyTorch, with specific training configurations including image resizing, random cropping, and the Adam optimizer, culminating in 150,000 training steps. The results indicate that MCRNet outperforms several existing methods across the evaluated metrics.
Discussion
In the discussion section, the authors review significant advancements in camouflaged object detection (COD), capsule networks, and the emerging concept of Vision Mamba. They highlight the challenges of COD, particularly the difficulty in segmenting objects that blend into their backgrounds due to high similarity and low contrast. Early methods relied on hand-crafted features, which were less effective in complex scenarios. The shift to deep learning has led to more robust techniques that leverage detailed feature extraction, including innovative approaches inspired by biological mechanisms and human visual perception. Recent works have introduced various strategies, such as multi-stage segmentation and auxiliary tasks, to enhance detection accuracy, yet many existing methods still struggle with high-similarity scenarios.
The authors also discuss the evolution of capsule networks, which have improved part-whole representations through mechanisms that reduce computational complexity. They emphasize their novel approach, which integrates the Vision Mamba framework into capsule networks to facilitate lightweight routing and enhance performance in COD tasks. The proposed MCRNet architecture combines a Swin Transformer encoder with a Mamba Capsule Generation module and a Capsules Spatial Details Retrieval module, demonstrating superior performance over state-of-the-art methods across multiple datasets. The results indicate that the MCRNet not only excels in detecting camouflaged objects but also effectively captures their boundaries, showcasing the efficacy of the proposed methods in addressing the challenges of COD.