DOI: https://doi.org/10.1109/tcsvt.2026.3666899
تاريخ النشر: 2026-02-23
المؤلف: Dejun Zhang وآخرون
الموضوع الرئيسي: تطبيقات الشبكات العصبية المتقدمة
نظرة عامة
في هذا القسم، يقدم المؤلفون SAM-Zero3D، وهو إطار عمل جديد لتجزئة المشاهد ثلاثية الأبعاد بدون تدريب مسبق يستفيد من الأقنعة ثنائية الأبعاد التي تم إنشاؤها بواسطة نموذج Segment Anything (SAM). يعالج الإطار التحديات مثل الحجب المعتمد على الرؤية وحقول الرؤية المحدودة، والتي يمكن أن تؤدي إلى تجزئة غير متماسكة وعدم توافق هندسي في التمثيلات ثلاثية الأبعاد. يستخدم SAM-Zero3D خط أنابيب دمج منظم يتكون من فرعين تكميليين: فرع موجه بنقطة مرجعية عالمية لتوافق الأقنعة عبر الرؤى وفرع مدفوع بالهندسة المحلية لدمج المناطق بدقة. تعمل تفاعلات عالمية-محلية تكرارية على تحسين التجزئة من خلال دمج المعلومات الدلالية العالمية مع الإشارات الهندسية المحلية.
تظهر التجارب الواسعة التي أجريت على مجموعات بيانات مثل ShapeNetPart وScanNetV2 وScanNet200 أن SAM-Zero3D يتفوق بشكل كبير على الأسس الحالية بدون تدريب مسبق، محققًا تجزئة دقيقة وواعية بالهيكل دون الحاجة إلى أي تدريب أو إشراف ثلاثي الأبعاد. يشير المؤلفون إلى أنه بينما يتفوق SAM-Zero3D في إعدادات المفردات المفتوحة والأطوال الطويلة، فإن أدائه يتأثر بعوامل مثل توفر الرؤى المتعددة وجودة الأقنعة ثنائية الأبعاد. يعترفون بأن الإطار مصمم أساسًا للتطبيقات غير المتصلة بالإنترنت ويبرزون الحاجة إلى تعديلات مستقبلية لتعزيز المتانة في المشاهد الخارجية واسعة النطاق، حيث قد تكون سحب النقاط أقل كثافة وتكون الرؤى الفعالة أكثر محدودية. ستركز الأعمال المستقبلية على دمج مكونات قابلة للتعلم خفيفة الوزن لمعالجة هذه التحديات مع الحفاظ على ميزة تكلفة التوصيف المنخفضة للطريقة المقترحة.
مقدمة
تناقش مقدمة ورقة البحث أهمية تجزئة السحب النقطية الدلالية في فهم المشاهد ثلاثية الأبعاد، مع تسليط الضوء على تطبيقاتها في تحليل الدلالات على مستوى المشهد، وضغط السحب النقطية، والقيادة الذاتية. تتضمن هذه المهمة تعيين تسميات دلالية لنقاط فردية داخل سحب نقطية ثلاثية الأبعاد غير مرتبة، مما يسهل التحليل التفصيلي للهياكل المكانية المعقدة. على الرغم من التقدم الذي تم تحقيقه من خلال التعلم العميق، فإن الاعتماد على مجموعات بيانات موسعة موضوعة يتسبب في تحديات بسبب الطبيعة كثيفة العمل للحصول على توصيفات ثلاثية الأبعاد دقيقة، والتي تتطلب خبرة كبيرة في المجال.
لمعالجة التحديات المرتبطة بالتوصيف، قامت دراسات حديثة بالتحقيق في تقنيات التجزئة ثلاثية الأبعاد القليلة اللقطات وبدون لقطات. تستخدم هذه الأساليب تضمين دلالي عبر الأنماط، وإشراف موجه باللغة، واكتشاف ثنائي الأبعاد متعدد الرؤى لتقليل الاعتماد على مجموعات بيانات موسعة موضوعة. على الرغم من أن هذه الطرق تظهر وعدًا في تخفيف عبء التوصيف، تشير الورقة إلى أن المزيد من الاستكشاف ضروري لتعزيز قابلية التوسع والنشر العملي في التطبيقات الواقعية.
طرق
يستعرض القسم المعنون “ج. النتائج التجريبية” النتائج المستخلصة من التجارب التي أجريت، موضحًا المنهجيات المستخدمة لجمع البيانات والتحليل اللاحق لتلك البيانات. تم تصميم التجارب لاختبار فرضيات محددة تتعلق بأهداف البحث، باستخدام بيئة خاضعة للرقابة لضمان موثوقية النتائج. تم قياس مؤشرات رئيسية، وتم إجراء تحليلات إحصائية للتحقق من دلالة النتائج.
تشير النتائج إلى وجود علاقة واضحة بين المتغيرات قيد التحقيق، مع دعم البيانات الكمية للفرضيات الأولية. أسفرت التجارب عن نتائج متسقة عبر تجارب متعددة، مما يعزز قوة الاستنتاجات المستخلصة. بشكل عام، تسهم النتائج في تقديم رؤى قيمة حول الظواهر المدروسة، مما يشير إلى آثار محتملة للبحث والتطبيقات المستقبلية في المجال المعني.
النتائج
يقدم قسم النتائج أداء SAM-Zero3D عبر ثلاث مجموعات بيانات: ShapeNetPart وScanNetV2 وScanNet200، مع تسليط الضوء على فعاليته في تجزئة الكائنات ثلاثية الأبعاد بدون الحاجة إلى تسميات دلالية صريحة. في مجموعة بيانات ShapeNetPart، حقق SAM-Zero3D متوسط تقاطع على اتحاد (IoU) قدره 59.9%، متجاوزًا PointCLIP-V2 وPointCLIP بمقدار 11.5 و28.9 نقطة مئوية، على التوالي. ومن الجدير بالذكر أنه تفوق في الفئات ذات الهياكل الجزئية المتميزة، مثل الجيتار (85.7%) والسكين (80.7%)، مما يدل على أن تجزئته عالية الجودة تعزز بشكل كبير مهام التصنيف الدلالي اللاحقة.
في تقييم ScanNetV2، حقق SAM-Zero3D متوسط دقة متوسطة (AP) قدرها 35.7%، متفوقًا على أفضل طريقة موجودة بدون لقطات، SAMPro3D، بمقدار 1.9%. يعتبر هذا الأداء مثيرًا للإعجاب بشكل خاص نظرًا لأن SAM-Zero3D يعمل بدون أي بيانات تدريب، مما يقترب من دقة الطرق الخاضعة للإشراف الكامل مثل Mask3D. ساهم دمج توجيه النقاط المرجعية العالمية والإشارات الهندسية المحلية في أدائه القوي في البيئات الداخلية المعقدة. علاوة على ذلك، في مجموعة بيانات ScanNet200 الأكثر تحديًا، حقق SAM-Zero3D دقة قدرها 12.3%، متفوقًا على طرق المفردات المفتوحة الأخرى، خاصة في الفئات النادرة، مما يثبت قدرته على التعميم على الفئات غير المتكررة في المشاهد المزدحمة. بشكل عام، تؤكد هذه النتائج على إمكانيات SAM-Zero3D في تجزئة ثلاثية الأبعاد فعالة في إعدادات بدون لقطات في العالم الواقعي.
نقاش
في هذا القسم، يناقش المؤلفون قيود الطرق الحالية لتجزئة السحب النقطية ثلاثية الأبعاد، وخاصة اعتمادها على نماذج اللغة المدربة مسبقًا على نطاق واسع والمشفّرات المحددة للمهام، مما يعيق التعميم والقدرة على التكيف في السيناريوهات بدون لقطات. يقدمون SAM-Zero3D، وهو إطار عمل جديد بدون تدريب يستخدم نموذج Segment Anything (SAM) لنقل أقنعة التجزئة ثنائية الأبعاد متعددة الرؤى إلى الفضاء ثلاثي الأبعاد. يعالج هذا الإطار التحديات الرئيسية مثل قلة كثافة السحب النقطية والحجب من خلال استخدام خط أنابيب دمج منظم يضمن الاتساق الدلالي والمحاذاة الهندسية عبر الرؤى.
يتكون إطار عمل SAM-Zero3D من فرعين رئيسيين: فرع موجه بنقطة مرجعية عالمية يقوم بأخذ عينات من نقاط مرجعية ثلاثية الأبعاد ذات رؤية عالية لبناء رسم بياني للتوافق لتوافق الأقنعة عبر الرؤى، وفرع مدفوع بالهندسة المحلية يقوم بتقسيم السحب النقطية إلى مناطق دقيقة لتقدير التشابه الدلالي ودمج المناطق المتشابهة. يعمل وحدة تفاعل عالمية-محلية تكرارية على تحسين التجزئة من خلال دمج المعلومات الدلالية العالمية مع التفاصيل الهندسية المحلية. يقوم المؤلفون بالتحقق من صحة SAM-Zero3D على عدة معايير، مما يظهر أدائه المتفوق في مهام التجزئة بدون لقطات، ومرونته تجاه الحجب، وقابلية التوسع دون الحاجة إلى تدريب أو إشراف موسع.
DOI: https://doi.org/10.1109/tcsvt.2026.3666899
Publication Date: 2026-02-23
Author(s): Dejun Zhang et al.
Primary Topic: Advanced Neural Network Applications
Overview
In this section, the authors present SAM-Zero3D, a novel framework for zero-shot 3D scene segmentation that leverages 2D masks generated by the Segment Anything Model (SAM). The framework addresses challenges such as view-dependent occlusions and limited fields of view, which can lead to fragmented semantics and geometric misalignment in 3D representations. SAM-Zero3D employs a structured fusion pipeline consisting of two complementary branches: a global anchor point-guided branch for cross-view mask alignment and a local geometry-driven branch for fine-grained region merging. An iterative global-local interaction further refines the segmentation by integrating global semantic information with local geometric cues.
Extensive experiments conducted on datasets such as ShapeNetPart, ScanNetV2, and ScanNet200 demonstrate that SAM-Zero3D significantly outperforms existing zero-shot baselines, achieving accurate and structure-aware segmentation without requiring any 3D training or supervision. The authors note that while SAM-Zero3D excels in open-vocabulary and long-tailed settings, its performance is influenced by factors such as multi-view availability and 2D mask quality. They acknowledge that the framework is primarily designed for offline applications and highlight the need for future adaptations to enhance robustness in large-scale outdoor scenes, where point clouds may be sparser and effective views more limited. Future work will focus on integrating lightweight learnable components to address these challenges while maintaining the low-annotation-cost advantage of the proposed method.
Introduction
The introduction of the research paper discusses the significance of point cloud semantic segmentation in 3D scene understanding, highlighting its applications in scene-level semantic parsing, point cloud compression, and autonomous driving. This task involves assigning semantic labels to individual points within unordered 3D point clouds, facilitating the detailed analysis of complex spatial structures. Despite the advancements achieved through deep learning, the reliance on extensive annotated datasets poses challenges due to the labor-intensive nature of acquiring accurate 3D annotations, which requires considerable domain expertise.
To address the challenges associated with annotation, recent studies have investigated few-shot and zero-shot 3D segmentation techniques. These approaches utilize cross-modal semantic embedding, language-guided supervision, and multi-view 2D detection to reduce the dependency on large-scale labeled datasets. Although these methods show promise in alleviating the annotation burden, the paper suggests that further exploration is necessary to enhance scalability and practical deployment in real-world applications.
Methods
The section titled “C. Experimental Results” outlines the findings from the conducted experiments, detailing the methodologies employed to gather data and the subsequent analysis of that data. The experiments were designed to test specific hypotheses related to the research objectives, utilizing a controlled environment to ensure the reliability of results. Key metrics were measured, and statistical analyses were performed to validate the significance of the findings.
The results indicate a clear correlation between the variables under investigation, with quantitative data supporting the initial hypotheses. The experiments yielded consistent outcomes across multiple trials, reinforcing the robustness of the conclusions drawn. Overall, the findings contribute valuable insights into the studied phenomena, suggesting potential implications for future research and applications in the relevant field.
Results
The results section presents the performance of SAM-Zero3D across three datasets: ShapeNetPart, ScanNetV2, and ScanNet200, highlighting its effectiveness in zero-shot 3D instance segmentation without requiring explicit semantic labels. On the ShapeNetPart dataset, SAM-Zero3D achieved a mean Intersection over Union (IoU) of 59.9%, surpassing PointCLIP-V2 and PointCLIP by 11.5 and 28.9 percentage points, respectively. Notably, it excelled in categories with distinct part structures, such as Guitar (85.7%) and Knife (80.7%), demonstrating that its high-quality segmentation significantly enhances downstream semantic classification tasks.
In the ScanNetV2 evaluation, SAM-Zero3D attained a mean Average Precision (AP) of 35.7%, outperforming the best existing zero-shot method, SAMPro3D, by 1.9%. This performance is particularly impressive given that SAM-Zero3D operates without any training data, approaching the accuracy of fully supervised methods like Mask3D. The integration of global anchor guidance and local geometric cues contributed to its robust performance in complex indoor environments. Furthermore, in the more challenging ScanNet200 dataset, SAM-Zero3D achieved an AP of 12.3%, outperforming other open-vocabulary methods, especially in tail categories, thus validating its capability to generalize to infrequent classes in cluttered scenes. Overall, these results underscore SAM-Zero3D’s potential for effective open-world 3D segmentation in realistic zero-shot settings.
Discussion
In this section, the authors discuss the limitations of existing methods for 3D point cloud segmentation, particularly their reliance on large-scale pretrained language models and task-specific encoders, which hinder generalization and adaptability in zero-shot scenarios. They introduce SAM-Zero3D, a novel training-free framework that utilizes the Segment Anything Model (SAM) to transfer multi-view 2D segmentation masks into 3D space. This framework addresses key challenges such as point cloud sparsity and occlusions by employing a structured fusion pipeline that ensures semantic consistency and geometric alignment across views.
The SAM-Zero3D framework comprises two main branches: a global anchor point-guided branch that samples high-visibility 3D anchor points to construct an affinity graph for cross-view mask alignment, and a local geometry-driven branch that partitions the point cloud into fine-grained regions to estimate semantic similarity and merge similar regions. An iterative global-local interaction module further refines the segmentation by integrating global semantic information with local geometric details. The authors validate SAM-Zero3D on multiple benchmarks, demonstrating its superior performance in zero-shot segmentation tasks, robustness to occlusions, and scalability without the need for extensive training or supervision.