DOI: https://doi.org/10.1109/tmm.2025.3608643
تاريخ النشر: 2025-09-10
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: تقنيات ترميز الفيديو وضغطه
نظرة عامة
تقدم ورقة البحث مجموعة بيانات USTC-TD، وهي مجموعة بيانات اختبار جديدة مصممة لتعزيز تقييم تقنيات ترميز الصور والفيديو. تتكون من 40 صورة بدقة 4K و10 تسلسلات فيديو بدقة 1080p، تشمل USTC-TD مجموعة واسعة من المحتوى المتأثر بعوامل بيئية وتصويرية مختلفة. تم استخدام مجموعة البيانات في تحديات مؤتمر IEEE الدولي للاتصالات المرئية ومعالجة الصور (VCIP) في عامي 2022 و2023، مما يدل على أهميتها العملية.
يجري المؤلفون تقييمًا كميًا شاملاً لمجموعة بيانات USTC-TD عبر ميزات متعددة للصور والفيديو، بما في ذلك الخصائص المكانية والزمانية واللونية والسطوع، ويقارنونها مع مجموعات بيانات موجودة لتسليط الضوء على مزاياها. كما يقيمون كل من أنظمة الترميز التقليدية والحديثة باستخدام مقاييس موضوعية مثل PSNR وMS-SSIM وVMAF، إلى جانب مقاييس ذاتية مثل درجة الرأي المتوسطة (MOS). تشير النتائج إلى أن USTC-TD تعالج بفعالية القيود المفروضة على مجموعات البيانات السابقة وتعمل كمعيار قوي للبحوث المستقبلية في ترميز الصور والفيديو. تشمل الخطط المستقبلية توسيع مجموعة البيانات لتشمل تعليقات للمهام مثل تقسيم الكائنات والتعرف على الأفعال، مما يدعم مجموعة أوسع من مبادرات البحث المتعلقة بالضغط.
مقدمة
تسلط مقدمة الورقة الضوء على الطلب المتزايد على تخزين ونقل بيانات الصور والفيديو عالية الدقة بسبب النمو السريع في حركة مرور الإنترنت وظهور تنسيقات متقدمة مثل 2K و4K ونطاق ديناميكي عالٍ. لمواجهة هذه التحديات، تم تطوير معايير ترميز الفيديو المختلفة، بما في ذلك ترميز الفيديو عالي الكفاءة (H.265/HEVC) وترميز الفيديو المتنوع (H.266/VVC). أظهرت التطورات الأخيرة في تقنيات ضغط الصور والفيديو من النهاية إلى النهاية، وخاصة تلك التي تستخدم الشبكات العصبية، تحسينات في الأداء مقارنة بالمعايير التقليدية تحت ظروف معينة. يعتمد تقييم هذه الأنظمة عادةً على كل من مقاييس الجودة الموضوعية والذاتية لتقييم أدائها في معدل التشويه.
استجابةً للحاجة إلى مجموعات بيانات اختبار قوية، يقترح المؤلفون مجموعة بيانات جديدة تُسمى USTC-TD، والتي تتضمن 40 صورة عالية الدقة و10 تسلسلات فيديو مصممة لتغطية مجموعة واسعة من عوامل المحتوى ذات الصلة بالسيناريوهات الواقعية. تم بناء مجموعة البيانات لتعزيز تنوع مجموعات البيانات الموجودة من خلال دمج خصائص مكانية وزمنية ولونية متنوعة. كما يضع المؤلفون معايير لتقييم كل من أنظمة الضغط الكلاسيكية والحديثة باستخدام مقاييس موضوعية مثل PSNR وMS-SSIM، بالإضافة إلى مقاييس ذاتية مثل درجة الرأي المتوسطة (MOS). تهدف توفر مجموعة بيانات USTC-TD إلى تسهيل التقييمات الأكثر إبلاغًا وتوجيه الأبحاث المستقبلية في تقنيات ترميز الصور والفيديو.
الطرق
في قسم الطرق، يوضح المؤلفون الإعدادات التجريبية لتقييم أنظمة ضغط الصور والفيديو المتقدمة المختلفة. يشمل ذلك معايير الاختيار لهذه الأنظمة بالإضافة إلى التكوينات المستخدمة للتدريب والاختبار. بالإضافة إلى ذلك، يحدد القسم مقاييس الجودة المستخدمة لتقييم أداء أنظمة الضغط على مجموعة البيانات المقترحة.
ثم يقدم المؤلفون النتائج التجريبية، ويضعون مقاييس أداء أساسية لأنظمة الضغط المختارة على مجموعات بيانات الصور والفيديو USTC-TD. يتم إجراء تحليل شامل لأدائها، مما يوفر رؤى حول فعالية كل نظام مقارنة بالمعايير المعمول بها.
المناقشة
في هذا القسم، يوضح المؤلفون بناء وتحليل مجموعات بيانات الصور والفيديو USTC-TD لعامي 2022 و2023، مع التركيز على تصميمها الشامل لمعالجة عوامل بيئية وتصويرية متنوعة. تم التقاط مجموعات البيانات باستخدام كاميرات نيكون، مع تحويل الصور من تنسيقات Raw إلى مساحات ألوان RGB وYUV. شمل عملية الجمع أنواع مشاهد متنوعة، وملمس، وظروف إضاءة، مما يضمن تمثيلًا واسعًا للسيناريوهات الواقعية. بالنسبة لمجموعة بيانات الصور، تم تضمين تحديات محددة مثل المشاهد ذات الإضاءة المنخفضة والمشاهد المحجوبة لاختبار قوة أنظمة ضغط الصور. تم تصميم مجموعة بيانات الفيديو لالتقاط ديناميات الحركة المعقدة، مع إعدادات قصيرة وطويلة لتسهيل اختبار تقنيات ترميز الفيديو بكفاءة.
يكشف التحليل أن مجموعات بيانات USTC-TD تتفوق على مجموعات البيانات الاختبارية الشائعة السابقة من حيث التنوع المكاني، واللون، والسطوع، والتنوع الزمني. تشير التقييمات الكمية إلى أن مجموعات بيانات USTC-TD تعرض مجموعة أوسع من الميزات، خاصة في المعلومات المكانية (SI) والمعلومات الزمنية (TI)، والتي تعتبر حاسمة لتقييم أداء خوارزميات الضغط. يجادل المؤلفون بأن التصميم الفريد لمجموعات البيانات، الذي يتميز بمزيج من تنوع المحتوى وعوامل بيئية محددة، يعزز من فائدتها للباحثين. في النهاية، تُعتبر مجموعات بيانات USTC-TD موارد قيمة لتقدم البحث في ضغط الصور والفيديو، حيث تعالج القيود الموجودة في مجموعات البيانات الحالية وتسهّل استكشاف تحديات جديدة في هذا المجال.
القيود
في هذا القسم، يناقش المؤلفون قيود أنظمة ضغط الصور والفيديو المتقدمة، مع التركيز على التحديات المتعلقة بالتعميم والأداء عبر سيناريوهات متنوعة. بالنسبة لضغط الصور، يبرزون أن الطرق الحالية غالبًا ما تعطي الأولوية لكفاءة الضغط على القدرة على التعميم بفعالية على مجموعات بيانات متنوعة. تنبع هذه القيود من نقص بيانات التدريب وقيود عملية التقييم، مما قد يؤدي إلى تخصيص غير مثالي للبت، كما يتضح من الفروق في الأداء لنموذج MLIC++ مقارنةً بالآخرين عند نقاط معينة من البت لكل بكسل (bpp). يقترح المؤلفون أن تركز التحسينات المستقبلية على تحسين نموذج قابل للتحكم، وتكييف المجال، وتخصيص دقيق للمعدل.
فيما يتعلق بضغط الفيديو، يشير المؤلفون إلى أن برامج ترميز الفيديو المتعلمة عمومًا تؤدي أداءً أقل مقارنةً ببرامج الترميز التقليدية، خاصةً في التسلسلات ذات الميزات الحركية المعقدة. يحددون أن وحدات تقدير الحركة المعتمدة على التدفق البصري في هذه البرامج المتعلمة تواجه صعوبة في التنبؤ بدقة بمتجهات الحركة، مما يؤدي إلى ضبابية الحركة وحقول حركة غير مرتبة. لمعالجة هذه القضايا، يقترح المؤلفون تحسين الوحدات المتعلقة بالتدفق البصري من خلال الاستفادة من متجهات الحركة من برامج الترميز التقليدية كهدف للتدريب. تشير النتائج إلى أن تعزيز نمذجة الحركة واستراتيجيات التدريب أمر حاسم لتحسين التطبيق العملي لنماذج ضغط الفيديو المتعلمة.
DOI: https://doi.org/10.1109/tmm.2025.3608643
Publication Date: 2025-09-10
Author(s): Zhenyun Du et al.
Primary Topic: Video Coding and Compression Technologies
Overview
The research paper presents the USTC-TD dataset, a novel test dataset designed to enhance the evaluation of image and video coding techniques. Comprising 40 images at 4K resolution and 10 video sequences at 1080p, USTC-TD encompasses a wide range of content influenced by various environmental and imaging factors. The dataset has been utilized in the IEEE International Conference on Visual Communications and Image Processing (VCIP) challenges in 2022 and 2023, demonstrating its practical relevance.
The authors conduct a thorough quantitative evaluation of USTC-TD across multiple image and video features, including spatial, temporal, color, and lightness attributes, and compare it with existing datasets to highlight its advantages. They also assess both traditional and modern coding schemes using objective metrics such as PSNR, MS-SSIM, and VMAF, alongside subjective metrics like Mean Opinion Score (MOS). The findings indicate that USTC-TD effectively addresses the limitations of prior datasets and serves as a robust benchmark for future research in image and video coding. Future plans include expanding the dataset to include annotations for tasks such as object segmentation and action recognition, thereby supporting a broader range of compression-related research initiatives.
Introduction
The introduction of the paper highlights the increasing demand for efficient storage and transmission of high-resolution image and video data due to the rapid growth of internet traffic and the emergence of advanced formats such as 2K, 4K, and high dynamic range. To meet these challenges, various video coding standards, including High Efficiency Video Coding (H.265/HEVC) and Versatile Video Coding (H.266/VVC), have been developed. Recent advancements in end-to-end image and video compression techniques, particularly those utilizing neural networks, have shown performance improvements over traditional standards under specific conditions. The evaluation of these compression schemes typically relies on both objective and subjective quality metrics to assess their rate-distortion performance.
In response to the need for robust testing datasets, the authors propose a new dataset named USTC-TD, which includes 40 high-resolution images and 10 video sequences designed to cover a wide range of content factors relevant to real-world scenarios. The dataset is constructed to enhance the diversity of existing datasets by incorporating various spatial, temporal, and color characteristics. The authors also establish baselines for evaluating both classic and modern compression schemes using objective metrics such as PSNR and MS-SSIM, as well as subjective metrics like Mean Opinion Score (MOS). The availability of the USTC-TD dataset aims to facilitate more informed evaluations and guide future research in image and video coding technologies.
Methods
In the Methods section, the authors detail the experimental settings for evaluating various advanced image and video compression schemes. This includes the selection criteria for these schemes as well as the configurations used for training and testing. Additionally, the section outlines the quality metrics employed to assess the performance of the compression schemes on the proposed dataset.
The authors then present the experimental results, establishing baseline performance metrics for the selected compression schemes on the USTC-TD image and video datasets. A thorough analysis of their performance is conducted, providing insights into the effectiveness of each scheme in comparison to the established benchmarks.
Discussion
In this section, the authors detail the construction and analysis of the USTC-TD image and video datasets for 2022 and 2023, emphasizing their comprehensive design to address various environmental and imaging factors. The datasets were captured using Nikon cameras, with images transcoded from Raw formats to RGB and YUV color spaces. The collection process involved diverse scene types, textures, and illumination conditions, ensuring a wide representation of real-world scenarios. For the image dataset, specific challenges such as low-light and occluded scenes were included to test the robustness of image compression schemes. The video dataset was designed to capture complex motion dynamics, with both short and long settings to facilitate efficient testing of video coding techniques.
The analysis reveals that the USTC-TD datasets outperform previous common test datasets in terms of spatial, colorfulness, lightness, and temporal diversity. Quantitative evaluations indicate that the USTC-TD datasets exhibit a broader range of features, particularly in spatial information (SI) and temporal information (TI), which are critical for assessing the performance of compression algorithms. The authors argue that the unique design of the datasets, characterized by a mixture of content diversity and specific environmental factors, enhances their utility for researchers. Ultimately, the USTC-TD datasets are positioned as valuable resources for advancing research in image and video compression, addressing limitations found in existing datasets and facilitating the exploration of new challenges in the field.
Limitations
In this section, the authors discuss the limitations of advanced image and video compression schemes, emphasizing the challenges related to generalization and performance across diverse scenarios. For image compression, they highlight that existing methods often prioritize compression efficiency over the ability to generalize effectively to various datasets. This limitation stems from insufficient training data and the constraints of the evaluation process, which can lead to suboptimal bit allocation, as illustrated by the performance discrepancies of the MLIC++ model compared to others at specific bits-per-pixel (bpp) points. The authors suggest that future improvements should focus on controllable model optimization, domain adaptation, and precise rate allocation.
Regarding video compression, the authors note that learned video codecs generally underperform compared to traditional codecs, particularly in sequences with complex motion features. They identify that the optical flow-based motion estimation modules in these learned codecs struggle with accurately predicting motion vectors, resulting in motion blur and disordered motion fields. To address these issues, the authors propose optimizing the optical flow-related modules by leveraging motion vectors from traditional codecs as a training target. The findings indicate that enhancing motion modeling and training strategies is crucial for improving the practical applicability of learned video compression models.