DOI: https://doi.org/10.1038/s40494-025-02292-8
تاريخ النشر: 2026-01-13
المؤلف: Rui Liu وآخرون
الموضوع الرئيسي: المسح ثلاثي الأبعاد والتراث الثقافي
نظرة عامة
تقدم هذه القسم نظرة عامة على تقسيم السحب النقطية الدلالية القليل من اللقطات (FS-PCSS)، مع التأكيد على أهميته في رقمنة التراث المعماري من خلال تمكين تقسيم الفئات غير المرئية مع الحد الأدنى من التعليقات التوضيحية. يحدد المؤلفون قيدًا حرجًا في الطرق الحالية، التي تركز بشكل أساسي على ميزات الهدف مع إهمال نمذجة الخلفية، مما يؤدي إلى آثار تقسيم ووضوح منخفض في المناطق غير المستهدفة.
لمعالجة هذه التحديات، يقدم المؤلفون LUBK-Net، وهو إطار عمل جديد مصمم لتعزيز محاذاة ميزات الخلفية وتقليل انحراف الميزات بسبب الفجوات في المجال. تشمل المكونات الرئيسية لـ LUBK-Net وحدة انتباه الخلفية (BAM) التي تتعلم نموذج خلفية عالمي من خلال خسارة خلفية تكيفية، مما يفلتر بشكل فعال الميزات غير ذات الصلة لتقليل ضوضاء الخلفية. بالإضافة إلى ذلك، يتم استخدام التعلم التبايني للنموذج (PCL) لتحسين القدرة على التمييز بين المقدمة والخلفية. تشير النتائج التجريبية على مجموعة بيانات العمارة القديمة التي تم إنشاؤها ذاتيًا ومجموعات بيانات التراث الثقافي المعماري المتاحة للجمهور إلى أن LUBK-Net يتفوق على الطرق الحالية الرائدة، مما يوفر رؤى قيمة للحفاظ على المواقع التراثية.
مقدمة
في هذا القسم، يقدم المؤلفون وحدة انتباه الخلفية (BAM)، التي تتكون من ثلاثة مكونات رئيسية: وحدة نمذجة الخلفية (BMM)، ودالة خسارة الخلفية التكيفية (ABL)، ووحدة تصفية الخلفية (BFM). تم تصميم BAM لتعزيز أداء التقسيم في مهام تقسيم السحب النقطية الدلالية القليل من اللقطات (FS-PCSS)، خاصة عند التعامل مع التراث المعماري حيث قد تحتوي مناطق الخلفية على ميزات مشابهة للفئات المستهدفة. تنشأ التحديات من صعوبة النموذج في التمييز بين الفروق الدقيقة في الفئات المستهدفة ومعلومات الخلفية، خاصة مع وجود عينات تدريب محدودة. للتخفيف من ذلك، يقترح المؤلفون طريقة تشجع النموذج على تعلم نموذج خلفية عالمي قوي من كل من نقاط الدعم والاستعلام، مما يحسن نقل المعرفة مع تقليل التداخل الخلفي.
يتناول القسم أيضًا صياغة دوال خسارة الخلفية التكيفية التي تتكيف ديناميكيًا بناءً على عدم توازن الفئات بين المقدمة والخلفية، وهو أمر شائع في المشاهد المعمارية. تهدف دالة الخسارة هذه إلى تحسين توقعات الخلفية من خلال تشجيع النموذج على تخصيص احتمالات منخفضة لنقاط الخلفية المرتبطة بالأجسام المقدمة. بالإضافة إلى ذلك، يصف المؤلفون مجموعة البيانات المستخدمة في تجاربهم، والتي تشمل سحب نقطية ثلاثية الأبعاد عالية الدقة من معبد بيدينغ نيانغنيانغ، موضوعة على مستوى النقطة. تقدم مجموعة البيانات تحديات مثل عدم التوازن الكبير بين المقدمة والخلفية، والتشابهات الدقيقة بين الفئات، والانسدادات المعقدة، مما يجعلها معيارًا مناسبًا لتقييم قوة طرق FS-PCSS.
طرق
في هذا القسم، يحدد المؤلفون المنهجية لمهمة FS-PCSS (تقسيم السحب النقطية الدلالية القليل من اللقطات)، كما هو موضح في الشكل 4. تتضمن الطريقة نموذج تدريب/اختبار يتم تنفيذه بعد مرحلة التدريب المسبق. يتم تصنيف مجموعة البيانات إلى مجموعتين متميزتين: الفئات الأساسية، المشار إليها بـ \( C_{\text{base}} \)، والفئات الجديدة، الممثلة بـ \( C_{\text{novel}} \)، مع العلاقة \( C_{\text{base}} \cap C_{\text{novel}} = \emptyset \).
تتكون مجموعة الدعم، \( S = \{ (p_{1,k}^s, y_{1,k}^s), \ldots, (p_{N,k}^s, y_{N,k}^s) \} \)، من \( K \) مجموعات من سحب النقاط الداعمة \( p_{n,k}^s \) لكل من الفئات \( N \)، جنبًا إلى جنب مع أقنعتها المقابلة \( y_{n,k}^s \). تسهل هذه الإعدادات الهيكلية تقييم أداء النموذج في التعرف على الفئات الجديدة وتقسيمها بناءً على أمثلة محدودة، مما يعالج التحديات الكامنة في سيناريوهات التعلم القليل من اللقطات. يتم أيضًا تعريف مجموعة الاستعلام، المشار إليها بـ \( Q \)، ولكن لم يتم توضيحها بالكامل في النص المقدم.
نتائج
في تقييم مجموعة بيانات ArCH، تظهر طريقتنا أداءً متفوقًا مقارنة بالطرق الحالية الرائدة (SOTA)، خاصة في إعداد 1-way 1-shot. على وجه التحديد، تحقق طريقتنا متوسط تقاطع الاتحاد (mIoU) أعلى بنسبة 4.16% من DPA، وهو SOTA الحالي، وتظهر تحسينات كبيرة على AttProtoNet، مع زيادات قدرها 14.37% و23.24% للانقسامين، مما يؤدي إلى تحسين متوسط قدره 18.81%. بالإضافة إلى ذلك، في إعدادات أخرى متنوعة، تتفوق طريقتنا باستمرار على المنافسين، مما يؤدي إلى تحسينات في الدقة المتوسطة بنسبة 1.63% و2.93% و1.47%.
علاوة على ذلك، تتفوق طريقتنا في التمييز بين المقدمة والخلفية، محققة أعلى أداء في كل من إعدادات 1-way و2-way. في سيناريو 1-way 1-shot، تتجاوز DPA بنسبة 6.51% و3.56% للانقسامين المعنيين، بمتوسط تحسين قدره 5.03%. في إعداد 1-way 5-shot، يكون متوسط طريقتنا أعلى بنسبة 3.01% من QGPA، بينما في إعدادات 2-way 1-shot و2-way 5-shot، تظهر تحسينات بنسبة 1.93% و2.39% على التوالي. تسلط هذه النتائج، الممثلة بصريًا في الشكل 10، الضوء على فعالية نهجنا مقارنة بسبع طرق كلاسيكية عبر مقاييس mIoU وIntersection over Union (FB-IoU) بين المقدمة والخلفية.
نقاش
تقدم الطريقة المقترحة، LUBK-Net، إطار عمل شامل لتقسيم السحب النقطية الدلالية القليل من اللقطات للتراث المعماري، مع التركيز على تعلم النماذج الواعية بالخلفية وتعزيز الميزات التباينية. يتكون الإطار من مولد نماذج يستخرج ميزات الدعم والاستعلام باستخدام شبكة تضمين، تليها التجميع الأولي والتقسيم من خلال المتوسطات الموزونة التكيفية. تعتبر وحدة انتباه الخلفية (BAM) محورية، حيث تتكون من وحدة نمذجة الخلفية التي تتعلم توزيعات ميزات الخلفية عبر المجالات دون الاعتماد على تسميات فعلية، ووحدة تصفية الخلفية التي تخفف من ضوضاء الخلفية في ميزات الاستعلام. تعزز طريقة التعلم التبايني للنموذج (PCL) قدرة النموذج على التمييز بين المناطق المستهدفة وغير المستهدفة من خلال بناء مكتبات عينات إيجابية وسلبية، مما يؤدي في النهاية إلى تحسين مطابقة الميزات وتوقعات النقاط.
في التقييمات التجريبية، يظهر LUBK-Net أداءً متفوقًا على مجموعة بيانات SAA، محققًا تحسينات كبيرة في مقاييس تقاطع الاتحاد المتوسط (mIoU) وIoU بين المقدمة والخلفية (FB-IoU) مقارنة بالطرق الحالية. تسلط دراسات الإزالة الضوء على المساهمات الحاسمة لكل وحدة، خاصة مولد النماذج وBAM، في تعزيز دقة التقسيم. علاوة على ذلك، يتم التأكيد على كفاءة الطريقة من خلال تقليل تعقيدها الحسابي مقارنة بالطرق الأخرى، على الرغم من زيادة التعقيد الناتج عن نمذجة الخلفية ومكونات التعلم التبايني. بينما يظهر LUBK-Net وعدًا لمهام التقسيم القليل من اللقطات، يتم الاعتراف باعتماده على مستخلصات الميزات المدربة مسبقًا ومشكلات القابلية للتوسع المحتملة للسحب النقطية الكبيرة كمجالات للبحث المستقبلي. بشكل عام، يعزز هذا العمل تقاطع رؤية الكمبيوتر والحفاظ على التراث الثقافي، مقدماً أداة قابلة للتوسع للحفاظ الرقمي على التراث المعماري.
DOI: https://doi.org/10.1038/s40494-025-02292-8
Publication Date: 2026-01-13
Author(s): Rui Liu et al.
Primary Topic: 3D Surveying and Cultural Heritage
Overview
The section presents an overview of Few-shot Point Cloud Semantic Segmentation (FS-PCSS), emphasizing its significance in the digitization of architectural heritage by enabling the segmentation of unseen categories with minimal annotations. The authors identify a critical limitation in existing methods, which primarily focus on target features while neglecting background modeling, leading to segmentation artifacts and reduced clarity in non-target regions.
To address these challenges, the authors introduce LUBK-Net, a novel framework designed to enhance background feature alignment and reduce feature deviation due to domain gaps. Key components of LUBK-Net include a Background Attention Module (BAM) that learns a universal background prototype through an adaptive background loss, effectively filtering out irrelevant features to minimize background noise. Additionally, Prototype Contrastive Learning (PCL) is employed to improve the discriminability between foreground and background. Experimental results on both a self-constructed Ancient Architecture dataset and publicly available Architectural Cultural Heritage datasets indicate that LUBK-Net surpasses existing state-of-the-art methods, providing valuable insights for the conservation of heritage sites.
Introduction
In this section, the authors introduce the Background Attention Module (BAM), which comprises three key components: the Background Modeling Module (BMM), the Adaptive Background Loss function (ABL), and the Background Filtering Module (BFM). The BAM is designed to enhance segmentation performance in Few-Shot Point Cloud Semantic Segmentation (FS-PCSS) tasks, particularly when dealing with architectural heritage where background regions may contain features similar to target categories. The challenge arises from the model’s difficulty in distinguishing between subtle differences in target categories and background information, especially with limited training samples. To mitigate this, the authors propose a method that encourages the model to learn a robust universal background prototype from both support and query points, thereby improving knowledge transfer while minimizing background interference.
The section further details the formulation of adaptive background loss functions that dynamically adjust based on the foreground-background class imbalance, which is prevalent in architectural scenes. This loss function aims to optimize background predictions by encouraging the model to assign low probabilities to background points associated with foreground objects. Additionally, the authors describe the dataset used for their experiments, which includes high-precision 3D point clouds from the Beiding Niangniang Temple, annotated at the point level. The dataset presents challenges such as significant foreground-background imbalance, fine-grained inter-class similarities, and complex occlusions, making it a suitable benchmark for evaluating the robustness of FS-PCSS methods.
Methods
In this section, the authors outline the methodology for the FS-PCSS (Few-Shot Point Cloud Semantic Segmentation) task, as depicted in Figure 4. The approach involves a training/testing paradigm that is implemented following a pretraining phase. The dataset is categorized into two distinct groups: the base categories, denoted as \( C_{\text{base}} \), and the novel categories, represented as \( C_{\text{novel}} \), with the relationship \( C_{\text{base}} \cap C_{\text{novel}} = \emptyset \).
The support set, \( S = \{ (p_{1,k}^s, y_{1,k}^s), \ldots, (p_{N,k}^s, y_{N,k}^s) \} \), comprises \( K \) groups of support point clouds \( p_{n,k}^s \) for each of the \( N \) categories, along with their corresponding masks \( y_{n,k}^s \). This structured setup facilitates the evaluation of the model’s performance in recognizing and segmenting novel categories based on limited examples, thereby addressing the challenges inherent in few-shot learning scenarios. The query set, denoted as \( Q \), is also defined but not fully elaborated in the provided text.
Results
In the evaluation of the ArCH dataset, our method demonstrates superior performance compared to existing state-of-the-art (SOTA) approaches, particularly in the 1-way 1-shot setting. Specifically, our method achieves an average mean Intersection over Union (mIoU) that is 4.16% higher than DPA, the current SOTA, and shows significant improvements over AttProtoNet, with increases of 14.37% and 23.24% for the two splits, resulting in an average enhancement of 18.81%. Additionally, in various other settings, our method consistently outperforms competitors, yielding average accuracy improvements of 1.63%, 2.93%, and 1.47%.
Furthermore, our method excels in foreground-background distinction, achieving the highest performance in both 1-way and 2-way settings. In the 1-way 1-shot scenario, it surpasses DPA by 6.51% and 3.56% for the respective splits, averaging a 5.03% improvement. In the 1-way 5-shot setting, our method’s average is 3.01% higher than that of QGPA, while in the 2-way 1-shot and 2-way 5-shot settings, it shows improvements of 1.93% and 2.39%, respectively. These results, visually represented in Figure 10, highlight the effectiveness of our approach relative to seven classical methods across the metrics of mIoU and foreground-background Intersection over Union (FB-IoU).
Discussion
The proposed method, LUBK-Net, introduces a comprehensive framework for few-shot semantic segmentation of architectural heritage point clouds, emphasizing background-aware prototype learning and contrastive feature enhancement. The framework consists of a prototype generator that extracts support and query features using an embedding network, followed by initial clustering and segmentation through adaptive weighted averaging. The Background Attention Module (BAM) is pivotal, comprising a background modeling module that learns cross-domain background feature distributions without relying on actual labels, and a background filtering module that mitigates background noise in query features. The Prototypical Contrastive Learning (PCL) approach enhances the model’s ability to distinguish between target and non-target areas by constructing positive and negative sample libraries, ultimately leading to improved feature matching and point-wise predictions.
In empirical evaluations, LUBK-Net demonstrates superior performance on the SAA dataset, achieving significant improvements in mean Intersection-over-Union (mIoU) and foreground-background IoU (FB-IoU) metrics compared to existing methods. The ablation studies highlight the critical contributions of each module, particularly the prototype generator and BAM, in enhancing segmentation accuracy. Furthermore, the method’s efficiency is underscored by its reduced computational complexity relative to other approaches, despite the increased complexity from the background modeling and contrastive learning components. While LUBK-Net shows promise for few-shot segmentation tasks, its reliance on pre-trained feature extractors and the potential scalability issues for large-scale point clouds are acknowledged as areas for future research. Overall, this work advances the intersection of computer vision and cultural heritage conservation, offering a scalable tool for the digital preservation of architectural heritage.