Deep-JGAC: ضغط هندسة النقاط المشتركة والسمات من النهاية إلى النهاية للسحب النقطية الملونة الكثيفة Deep-JGAC: End-to-End Deep Joint Geometry and Attribute Compression for Dense Colored Point Clouds

شارك:
المجلة: IEEE Transactions on Circuits and Systems for Video Technology، المجلد: 36، العدد: 8
DOI: https://doi.org/10.1109/tcsvt.2026.3676115
تاريخ النشر: 2026-03-20
المؤلف: Yun Zhang وآخرون
الموضوع الرئيسي: تقنيات ترميز الفيديو وضغطه

نظرة عامة

تقدم البحث إطار عمل مبتكر شامل لضغط سحابة النقاط (PCC) يسمى ضغط الهندسة والسمات المشترك العميق (Deep-JGAC)، مصمم خصيصًا لسحب النقاط الملونة الكثيفة. يستفيد هذا الإطار بفعالية من العلاقة بين البيانات الهندسية وبيانات السمات لتحقيق كفاءة ضغط عالية. تشمل المكونات الرئيسية لـ Deep-JGAC بنية مرنة تستوعب كل من المشفرات المعتمدة على التعلم وغير المعتمدة على التعلم، ومشفر هندسي عميق مدعوم بالسمات يعزز التمثيلات الهندسية، ووحدة دمج معلومات السمات (AIFM) التي تدمج بيانات السمات في ترميز الهندسة. بالإضافة إلى ذلك، تم تقديم وحدة إعادة تلوين محسّنة لمعالجة عدم التطابق الناتج عن تشويه ضغط الهندسة، مما يحسن جودة التلوين ويقلل من التعقيد الحسابي.

تظهر التجارب الواسعة أن Deep-JGAC يتفوق بشكل كبير على الأساليب الحالية الرائدة، حيث يحقق متوسط تخفيض في معدل البت بنسبة 82.96%، 36.46%، 41.72%، و31.16% في مقاييس جودة الهندسة (D1-PSNR) مقارنة بـ G-PCC، V-PCC، GRASP، وPCGCv2، على التوالي. من حيث الجودة الإدراكية (MS-GraphSIM)، يحقق تخفيضات متوسطة بنسبة 48.72%، 14.67%، و57.14% ضد G-PCC، V-PCC، وIT-DL-PCC. علاوة على ذلك، يظهر الإطار تحسينات كبيرة في أوقات الترميز وفك الترميز، مع تخفيضات بنسبة 94.29%/24.70% و96.75%/91.02% مقارنة بـ V-PCC وIT-DL-PCC، على التوالي. بشكل عام، يمثل Deep-JGAC تقدمًا كبيرًا في الترميز المشترك وترميز الهندسة لبيانات سحابة النقاط.

طرق

في هذا القسم، يوضح المؤلفون الطرق التجريبية المستخدمة لتقييم نظام ترميز الهندسة Deep-JGAC المقترح مقابل طرق ترميز الهندسة المعتمدة على سحابة النقاط (PCGC) المعروفة. شملت المعايير PCGCv2، GRASP، V-PCC v18، وG-PCC v23، بالإضافة إلى أنظمة PCC المشتركة مثل IT-DL-PCC. من أجل مقارنة عادلة، تم تعطيل شبكة ما بعد التعزيز في IT-DL-PCC، مما جعلها تتماشى مع تكوينات Deep-JGAC، V-PCC، وG-PCC. تم تحديد أوضاع ترميز الهندسة والسمات لـ G-PCC، وتم استخدام أزواج مختلفة من معلمات التكميم (QP) لتقييم الأداء.

شملت مجموعات البيانات المستخدمة للتدريب والاختبار مزيجًا من مجموعات البيانات الموجودة وبيانات معززة من مجموعة بيانات الأشياء الملموسة في العالم الحقيقي (RWTT)، مما عزز تنوع الألوان. تم تعزيز مجموعة الاختبار بمزيد من مجموعة بيانات الشبكة الملموسة التي تم إصدارها حديثًا من AVS، مما يضمن تقييمًا شاملاً لـ Deep-JGAC عبر فئات سحابة النقاط المختلفة. تضمنت مقاييس الجودة لتقييم سحب النقاط المعاد بناؤها نسب ذروة الإشارة إلى الضوضاء من نقطة إلى نقطة ومن نقطة إلى مستوى (D1-PSNR وD2-PSNR)، بالإضافة إلى مقاييس إدراكية مثل تباين الطاقة المحتملة متعددة المقاييس (MPED) ومقياس التشويه القائم على التعقيد التحويلي (TCDM). تم قياس النتائج باستخدام معدل بت دلتا Bjøntegaard (BDBR) للإشارة إلى متوسط توفير معدل البت، مع القيم السلبية التي تعكس كفاءة محسنة.

نقاش

في قسم النقاش من الورقة، يستعرض المؤلفون طرق ضغط سحابة النقاط التقليدية والمعتمدة على التعلم (PCC)، مع تسليط الضوء على نقاط قوتها وقيودها. تركز الأساليب التقليدية، مثل تلك التي قدمها غارسيا وآخرون وزانغ وآخرون، بشكل أساسي على ضغط الهندسة، وغالبًا ما تتجاهل سمات سحب النقاط. بينما تم اقتراح طرق مثل تحويل فورييه البياني (GFT) وتحويل هرمي متكيف مع المنطقة (RAHT) لترميز السمات، إلا أنها لا تزال تواجه تحديات تتعلق بتشويه الهندسة وتدهور الجودة الإدراكية. تم الإشارة إلى دمج ترميز الهندسة والسمات في برامج الترميز مثل PCC المعتمد على الهندسة (G-PCC) وPCC المعتمد على الفيديو (V-PCC)، ولكن هذه الطرق محدودة بسبب اعتمادها على برامج الترميز ثنائية الأبعاد، التي ليست مُحسّنة لبيانات سحابة النقاط.

على النقيض من ذلك، أظهرت الأساليب الحديثة المعتمدة على التعلم وعدًا في تجاوز التقنيات التقليدية من خلال الاستفادة من الشبكات العصبية لكل من ضغط الهندسة والسمات. ومع ذلك، لا تزال العديد من هذه الأساليب تفشل في حساب العلاقة بين الهندسة والسمات بشكل كافٍ. يقترح المؤلفون إطار عمل جديد، Deep-JGAC، الذي يعزز ترميز الهندسة من خلال وحدة دمج معلومات السمات (AIFM) التي تستخدم بيانات السمات لتحسين استخراج ميزات الهندسة. بالإضافة إلى ذلك، يقدمون وحدة إعادة تلوين محسّنة لمعالجة عدم التطابق الناتج عن تشويه الهندسة، مما يحسن كفاءة ترميز السمات. تهدف الأساليب المقترحة إلى تقليل الخسارة العامة في جودة الهندسة والسمات، مما يظهر تحسينات كبيرة في الكفاءة الحسابية وأداء الضغط مقارنة بالمعايير الحالية.

Journal: IEEE Transactions on Circuits and Systems for Video Technology, Volume: 36, Issue: 8
DOI: https://doi.org/10.1109/tcsvt.2026.3676115
Publication Date: 2026-03-20
Author(s): Yun Zhang et al.
Primary Topic: Video Coding and Compression Technologies

Overview

The research presents an innovative end-to-end framework for Point Cloud Compression (PCC) called Deep Joint Geometry and Attribute Compression (Deep-JGAC), specifically designed for dense colored point clouds. This framework effectively leverages the correlation between geometric and attribute data to achieve high compression efficiency. Key components of Deep-JGAC include a flexible architecture that accommodates both learning-based and non-learning-based encoders, an attribute-assisted deep geometry encoder that enhances geometric representations, and an Attribute Information Fusion Module (AIFM) that integrates attribute data into geometry coding. Additionally, an optimized re-colorization module is introduced to address mismatches caused by geometric compression distortion, thereby improving colorization quality and reducing computational complexity.

Extensive experiments demonstrate that Deep-JGAC significantly outperforms existing state-of-the-art methods, achieving average bit-rate reductions of 82.96%, 36.46%, 41.72%, and 31.16% in geometry quality metrics (D1-PSNR) compared to G-PCC, V-PCC, GRASP, and PCGCv2, respectively. In terms of perceptual quality (MS-GraphSIM), it achieves average reductions of 48.72%, 14.67%, and 57.14% against G-PCC, V-PCC, and IT-DL-PCC. Furthermore, the framework demonstrates substantial improvements in encoding and decoding times, with reductions of 94.29%/24.70% and 96.75%/91.02% compared to V-PCC and IT-DL-PCC, respectively. Overall, Deep-JGAC represents a significant advancement in joint coding and geometry coding for point cloud data.

Methods

In this section, the authors detail the experimental methods employed to evaluate the proposed Deep-JGAC geometry coding scheme against established point cloud geometry coding (PCGC) methods. The benchmarks included PCGCv2, GRASP, V-PCC v18, and G-PCC v23, as well as joint PCC schemes like IT-DL-PCC. For a fair comparison, the post-enhancement network in IT-DL-PCC was deactivated, aligning it with the configurations of Deep-JGAC, V-PCC, and G-PCC. The geometry and attribute coding modes for G-PCC were specified, and various quantization parameter (QP) pairs were utilized to assess performance.

The datasets used for training and testing included a combination of existing datasets and augmented data from the Real World Textured Things (RWTT) dataset, which enhanced color diversity. The testing set was further supplemented with a newly released textured mesh dataset from AVS, ensuring a comprehensive evaluation of Deep-JGAC across various point cloud categories. Quality metrics for assessing the reconstructed point clouds included point-to-point and point-to-plane Peak Signal-to-Noise Ratios (D1-PSNR and D2-PSNR), as well as perceptual metrics such as Multiscale Potential Energy Discrepancy (MPED) and Transformational Complexity based Distortion Metric (TCDM). The results were quantified using Bjøntegaard Delta Bit Rate (BDBR) to indicate average bit rate savings, with negative values reflecting improved efficiency.

Discussion

In the discussion section of the paper, the authors review traditional and learning-based point cloud compression (PCC) methods, highlighting their strengths and limitations. Traditional approaches, such as those by Garcia et al. and Zhang et al., primarily focus on geometry compression, often neglecting the attributes of point clouds. While methods like Graph Fourier Transform (GFT) and Region-Adaptive Hierarchical Transform (RAHT) have been proposed for attribute coding, they still face challenges related to geometry distortion and perceptual quality degradation. The integration of geometry and attribute coding in codecs like Geometry-based PCC (G-PCC) and Video-based PCC (V-PCC) is noted, but these methods are limited by their reliance on 2D codecs, which are not optimized for point cloud data.

In contrast, recent learning-based methods have shown promise in surpassing traditional techniques by leveraging neural networks for both geometry and attribute compression. However, many of these approaches still fail to adequately account for the correlation between geometry and attributes. The authors propose a novel framework, Deep-JGAC, which enhances geometry coding through an Attribute Information Fusion Module (AIFM) that utilizes attribute data to improve geometry feature extraction. Additionally, they introduce an optimized re-colorization module to address mismatches caused by geometry distortion, thereby improving attribute coding efficiency. The proposed methods aim to minimize overall loss in geometry and attribute quality, demonstrating significant improvements in computational efficiency and compression performance compared to existing benchmarks.