DOI: https://doi.org/10.1109/tip.2025.3648141
PMID: https://pubmed.ncbi.nlm.nih.gov/41477793
تاريخ النشر: 2026-01-01
المؤلف: Hongning Ruan وآخرون
الموضوع الرئيسي: تقنيات ترميز الفيديو وضغطه
نظرة عامة
في هذا القسم، يقدم المؤلفون NeRC 3، وهو إطار عمل جديد لضغط السحب النقطية، والتي تُستخدم بشكل متزايد لقدرتها على تمثيل الأجسام والمشاهد ثلاثية الأبعاد بدقة. تستخدم الطريقة المقترحة تمثيلات عصبية ضمنية (INRs) لترميز كل من الهندسة والخصائص للسحب النقطية الكثيفة. على وجه التحديد، تستخدم شبكتين عصبيتين مبنيتين على الإحداثيات: واحدة تقوم بربط الإحداثيات المكانية بإشغال الفوكسل والأخرى تربط الفوكسلات المشغولة بخصائصها. تتيح هذه الطريقة تمثيلًا ضمنيًا للسحب النقطية الموزعة، حيث يقوم المشفر بتكميم وضغط معلمات الشبكة مع المعلومات المساعدة اللازمة لإعادة البناء، بينما يقوم المفكك بإعادة بناء السحب النقطية الأصلية من إحداثيات الفوكسل.
يمتد المؤلفون أيضًا بإطار عملهم إلى ضغط السحب النقطية الديناميكية من خلال تمثيل زمني مكاني رباعي الأبعاد، يُسمى 4D-NeRC 3، والذي يقلل بشكل فعال من التكرار الزمني. تظهر النتائج التجريبية أن NeRC 3 يتفوق بشكل كبير على معيار G-PCC القائم على الأشجار الثمانية والأساليب الحالية القائمة على INR للسحب النقطية الثابتة. بالنسبة للسحب النقطية الديناميكية، يظهر 4D-NeRC 3 ضغط هندسي متفوق مقارنة بأحدث معايير G-PCC و V-PCC، بينما يحقق أيضًا أداءً تنافسيًا في ضغط الهندسة والخصائص معًا، متماشيًا مع الأساليب الحديثة المعتمدة على التعلم.
مقدمة
تناقش مقدمة هذه الورقة البحثية أهمية السحب النقطية كتنسيق شائع لتمثيل الأجسام والمشاهد ثلاثية الأبعاد في تطبيقات متنوعة، بما في ذلك القيادة الذاتية والواقع المعزز. تتكون السحب النقطية من نقاط ثلاثية الأبعاد تتميز بإحداثيات مكانية، والتي يمكن تحويلها إلى فوكسلات لتمثيل فعال. ومع ذلك، فإن التحديات الكامنة في أحجام البيانات الكبيرة والتنسيقات غير المنظمة تتطلب طرق ضغط فعالة للسحب النقطية (PCC). لقد بدأت مجموعة خبراء الصور المتحركة (MPEG) معايير لـ PCC، بما في ذلك V-PCC للسحب النقطية الديناميكية و G-PCC للسحب النقطية الثابتة، باستخدام تقنيات مثل هياكل الأشجار الثمانية وحساء المثلثات لضغط الهندسة.
تقدم الورقة إطار عمل جديد، يُسمى تمثيلات عصبية ضمنية لضغط السحب النقطية الملونة (NeRC³)، والذي يستخدم الشبكات العصبية العميقة (DNNs) لتمثيل كل من الهندسة والخصائص للسحب النقطية الموزعة بشكل ضمني. تعالج الطريقة المقترحة ندرة السحب النقطية من خلال توقع احتمالات الإشغال للفوكسلات وتوليد قيم الخصائص بناءً على الإحداثيات المكانية. بالإضافة إلى ذلك، يمتد الإطار إلى ضغط السحب النقطية الديناميكية من خلال طريقة تُسمى 4D-NeRC³، والتي تعالج تسلسلات السحب النقطية كهيكل رباعي الأبعاد لتقليل التكرار الزمني. تظهر النتائج التجريبية أن NeRC³ يتفوق بشكل كبير على الأساليب الحالية، بما في ذلك G-PCC و V-PCC، في كل من السيناريوهات الثابتة والديناميكية، محققًا أداء ضغط متفوق وإعادة بناء جذابة بصريًا.
طرق
في هذا القسم، يصف المؤلفون الإعدادات التجريبية وتكوينات المعلمات المستخدمة للتحقق من طرقهم المقترحة لضغط السحب النقطية (PCC). استخدموا أربع تسلسلات من مجموعة بيانات 8i Voxelized Full Bodies وأربع من مجموعة بيانات Owlii Dynamic Human Textured Mesh Sequence، مع تقييم أداء PCC الثابت والديناميكي. تم استخدام الإطار الأول من كل تسلسل لتقييم الأداء الثابت، بينما تم تحليل الإطارات الـ 32 الأولى للأداء الديناميكي. لتعزيز بيانات الاختبار لـ PCC الثابت، تم تضمين أربع سحب نقطية ثابتة إضافية. تم تحويل جميع السحب النقطية إلى فوكسلات بدقة 10 بت لتقليل التعقيد الحسابي ومعالجة مشاكل الندرة.
تم تفصيل إعدادات المعلمات للشبكات المعنية في عملية الضغط، بما في ذلك هيكل الشبكات F و G، التي تتكون من كتل متبقية بأبعاد خفية محددة. تم التدريب باستخدام مُحسّن آدم مع انحلال للوزن قدره $10^{-4}$، وتم تحقيق معدلات بت مختلفة من خلال ضبط قوة التنظيم $\lambda$. كما يقدم المؤلفون تحليلًا للتعقيد، مشيرين إلى أن تعقيد وقت الترميز لضغط الهندسة يُعطى بواسطة \( C_{\text{geo.enc}} = O\left(\frac{1}{T} T_F |B||\Theta| + T_\tau (|V||\Theta| + |V| \log |V|)\right) \)، بينما لضغط الخصائص، هو \( C_{\text{att.enc}} = O\left(\frac{1}{T} T_G |B||\Phi|\right) \). تعقيدات فك الترميز أبسط، حيث تكون خطية من حيث عدد الرؤوس والمعلمات. تؤكد النتائج التجريبية صحة تحليل التعقيد النظري، مما يظهر كفاءة الطرق المقترحة.
نتائج
في هذا القسم، يقدم المؤلفون تحليلًا شاملاً لأداء معدل التشويه لطريقتهم المقترحة عبر مجموعات بيانات متنوعة، تحديدًا مجموعات بيانات 8iVFB و Owlii. توضح الأشكال 1 و 2 النتائج لضغط الهندسة والضغط المشترك مع الخصائص، بينما تركز الأشكال 3 و 4 على أربع مشاهد ثابتة. يتم تصوير تحليل مقارن مع طريقة LVAC لضغط الخصائص في الشكل 5، مما يكشف أن LVAC يؤدي بشكل ضعيف من حيث Y PSNR على مجموعة بيانات redandblack. ينسب المؤلفون هذا التدهور إلى عدم دقة الألوان الكبيرة في إعادة بناء LVAC، كما هو موضح في الشكل 7.
علاوة على ذلك، يستكشف المؤلفون العلاقة بين تشويه الهندسة ومعامل العتبة $\tau$، موضحين أن تشويه الهندسة، الذي يتم قياسه بواسطة D1 PSNR، هو دالة أحادية القمة لـ $\tau$. للتحقق من هذه النتيجة، قاموا بتدريب شبكتهم، المشار إليها بـ F، بقيم مختلفة من $\lambda$ وقاموا بتقييم جودة إعادة البناء عبر عتبات مختلفة، مع تقديم النتائج في الشكل 6. يختتم المؤلفون بالإعلان عن أن الشيفرة المصدرية لطريقتهم، NeRC 3، ستصبح متاحة للجمهور على الرابط المقدم في GitHub.
نقاش
يوفر قسم النقاش في الورقة البحثية نظرة شاملة على التقدم في ضغط الصور/الفيديو والسحب النقطية، مع التركيز على كل من الأساليب المعتمدة على التعلم والأساليب المعتمدة على التمثيل العصبي الضمني (INR). في مجال ضغط البيانات المعتمد على التعلم، تم إحراز تقدم كبير من خلال تقنيات التعلم العميق، مثل المشفر التلقائي التلافيفي مع نموذج الانتروبيا الذي قدمه Ballé وآخرون، والذي يعزز أداء معدل التشويه. تم تكييف هذه الطريقة لضغط الفيديو من خلال دمج الشبكات العصبية العميقة (DNNs) في خطوط الأنابيب التقليدية. في ضغط السحب النقطية (PCC)، ظهرت هياكل متنوعة، بما في ذلك الطرق المعتمدة على النقاط والطرق المعتمدة على الفوكسلات، مع تركيز الدراسات الحديثة على تمثيلات الموتر النادرة لتحسين الكفاءة الحسابية. من الجدير بالذكر أن الأطر متعددة المقاييس أظهرت نتائج واعدة، وتم استكشاف دمج DNNs لتحسين إعادة بناء الهندسة.
يسلط القسم الضوء أيضًا على إمكانيات ضغط البيانات المعتمدة على INR، والتي تستخدم الشبكات العصبية لتمثيل أنواع بيانات متنوعة، بما في ذلك الصور والأشكال ثلاثية الأبعاد. تتيح هذه الطريقة ترميزًا فعالًا للإحداثيات المكانية إلى ميزات، حيث أظهرت الأعمال الأخيرة تطبيقها في كل من PCC الثابت والديناميكي. يستخدم الإطار المقترح، NeRC³، هيكلًا مكونًا من شبكتين لتمثيل الهندسة والخصائص، باستخدام التكميم والمعلومات المساعدة لإعادة بناء فعالة. يؤكد النقاش على أهمية تحسين المعلمات والعتبات لتعزيز جودة إعادة البناء، بينما يتناول أيضًا التحديات التي تطرحها التعقيد الكامن في بيانات السحب النقطية. بشكل عام، تؤكد النتائج على المشهد المتطور لتقنيات الضغط، مما يظهر دمج هياكل الشبكات العصبية المتقدمة لتحسين الكفاءة والأداء في كل من السيناريوهات الثابتة والديناميكية.
DOI: https://doi.org/10.1109/tip.2025.3648141
PMID: https://pubmed.ncbi.nlm.nih.gov/41477793
Publication Date: 2026-01-01
Author(s): Hongning Ruan et al.
Primary Topic: Video Coding and Compression Technologies
Overview
In this section, the authors introduce NeRC 3, a novel framework for compressing point clouds, which are increasingly utilized for their capacity to represent 3D objects and scenes accurately. The proposed method utilizes implicit neural representations (INRs) to encode both the geometry and attributes of dense point clouds. Specifically, it employs two coordinate-based neural networks: one that maps spatial coordinates to voxel occupancy and another that associates occupied voxels with their attributes. This approach allows for an implicit representation of voxelized point clouds, where the encoder quantizes and compresses network parameters along with necessary auxiliary information for reconstruction, while the decoder reconstructs the original point cloud from voxel coordinates.
The authors further extend their framework to dynamic point cloud compression through a 4D spatio-temporal representation, termed 4D-NeRC 3, which effectively reduces temporal redundancy. Experimental results demonstrate that NeRC 3 significantly outperforms the octree-based G-PCC standard and existing INR-based methods for static point clouds. For dynamic point clouds, 4D-NeRC 3 exhibits superior geometry compression compared to the latest G-PCC and V-PCC standards, while also achieving competitive performance in joint geometry and attribute compression, aligning with state-of-the-art learning-based methods.
Introduction
The introduction of this research paper discusses the significance of point clouds as a prevalent format for representing 3D objects and scenes in various applications, including autonomous driving and augmented reality. Point clouds consist of 3D points characterized by spatial coordinates, which can be voxelized for efficient representation. However, the inherent challenges of large data volumes and unstructured formats necessitate effective point cloud compression (PCC) methods. The Moving Picture Experts Group (MPEG) has initiated standards for PCC, including V-PCC for dynamic point clouds and G-PCC for static point clouds, employing techniques such as octree structures and triangle soup for geometry compression.
The paper introduces a novel framework, named implicit Neural Representations for Colored point Cloud Compression (NeRC³), which utilizes deep neural networks (DNNs) to implicitly represent both geometry and attributes of voxelized point clouds. The proposed method addresses the sparsity of point clouds by predicting occupancy probabilities for voxels and generating attribute values based on spatial coordinates. Additionally, the framework extends to dynamic point cloud compression through a method termed 4D-NeRC³, which treats point cloud sequences as a 4D structure to reduce temporal redundancy. Experimental results demonstrate that NeRC³ significantly outperforms existing methods, including G-PCC and V-PCC, in both static and dynamic scenarios, achieving superior compression performance and visually appealing reconstructions.
Methods
In this section, the authors describe the experimental settings and parameter configurations used to validate their proposed methods for point cloud compression (PCC). They utilized four sequences from the 8i Voxelized Full Bodies dataset and four from the Owlii Dynamic Human Textured Mesh Sequence Dataset, assessing both static and dynamic PCC performance. The first frame of each sequence was used for static performance evaluation, while the first 32 frames were analyzed for dynamic performance. To enhance the test data for static PCC, four additional static point clouds were included. All point clouds were voxelized at a 10-bit resolution to reduce computational complexity and address sparsity issues.
The parameter settings for the networks involved in the compression process are detailed, including the architecture of networks F and G, which consist of residual blocks with specified hidden dimensions. Training was conducted using the Adam optimizer with a weight decay of $10^{-4}$, and various bit rates were achieved by adjusting the regularization strength $\lambda$. The authors also present a complexity analysis, indicating that the encoding time complexity for geometry compression is given by \( C_{\text{geo.enc}} = O\left(\frac{1}{T} T_F |B||\Theta| + T_\tau (|V||\Theta| + |V| \log |V|)\right) \), while for attribute compression, it is \( C_{\text{att.enc}} = O\left(\frac{1}{T} T_G |B||\Phi|\right) \). The decoding complexities are simpler, being linear in terms of the number of vertices and parameters. Experimental results validate the theoretical complexity analysis, demonstrating the efficiency of the proposed methods.
Results
In this section, the authors present a comprehensive analysis of the rate-distortion performance of their proposed method across various datasets, specifically the 8iVFB and Owlii datasets. Figures 1 and 2 illustrate the results for geometry compression and joint compression with attributes, respectively, while Figures 3 and 4 focus on four static scenes. A comparative analysis with the LVAC method for attribute compression is depicted in Figure 5, revealing that LVAC performs poorly in terms of Y PSNR on the redandblack dataset. The authors attribute this degradation to significant color inaccuracies in LVAC’s reconstruction, as visualized in Figure 7.
Furthermore, the authors explore the relationship between geometry distortion and the threshold parameter $\tau$, demonstrating that the geometry distortion, quantified by D1 PSNR, is a unimodal function of $\tau$. To validate this finding, they trained their network, denoted as F, with varying values of $\lambda$ and evaluated the reconstruction quality across different thresholds, with results presented in Figure 6. The authors conclude by announcing that the source code for their method, NeRC 3, will be made publicly available at the provided GitHub link.
Discussion
The discussion section of the research paper provides a comprehensive overview of advancements in image/video and point cloud compression, emphasizing both learning-based and implicit neural representation (INR)-based methodologies. In the realm of learning-based compression, significant strides have been made through deep learning techniques, such as the convolutional autoencoder with an entropy model introduced by Ballé et al., which enhances rate-distortion performance. This approach has been adapted for video compression by integrating deep neural networks (DNNs) into traditional pipelines. In point cloud compression (PCC), various architectures, including point-based and voxel-based methods, have emerged, with recent studies focusing on sparse tensor representations to optimize computational efficiency. Notably, multi-scale frameworks have shown promising results, and the integration of DNNs to refine geometry reconstruction has been explored.
The section also highlights the potential of INR-based compression, which utilizes neural networks to represent diverse data types, including images and 3D shapes. This method allows for efficient encoding of spatial coordinates into features, with recent works demonstrating its application in both static and dynamic PCC. The proposed framework, NeRC³, employs a two-network architecture to represent geometry and attributes, utilizing quantization and auxiliary information for effective reconstruction. The discussion emphasizes the importance of optimizing parameters and thresholds to enhance reconstruction quality, while also addressing the challenges posed by the inherent complexity of point cloud data. Overall, the findings underscore the evolving landscape of compression techniques, showcasing the integration of advanced neural network architectures to improve efficiency and performance in both static and dynamic scenarios.