DOI: https://doi.org/10.1016/j.displa.2026.103612
تاريخ النشر: 2026-07-10
المؤلف: Yuhang Zhang وآخرون
الموضوع الرئيسي: تقييم جودة الصور والفيديو
نظرة عامة
تناقش هذه القسم التقدم في تقنيات تركيب العرض الجديد (NVS)، وتحديداً تقنية Gaussian Splatting (GS) و Neural Radiance Fields (NeRF)، التي عززت بشكل كبير قدرات العرض الفوتوغرافي الواقعي. تؤكد الدراسة على ضرورة تقييم الجودة في NVS من منظور إدراك الإنسان، خاصة بالنظر إلى التطبيقات المتنوعة في الواقع الافتراضي والمعزز، ونمذجة ثلاثية الأبعاد، والتصوير الطبي. على الرغم من الجهود السابقة في تقييم الجودة الذاتية، لا تزال هناك تحديات في اختيار الأساليب، وتغطية السيناريوهات، ومنهجيات التقييم. لمعالجة هذه القضايا، أجرى المؤلفون تجربتين ذاتيتين تركزان على المشاهد الديناميكية والعالم الحقيقي، مع دمج مجموعة متنوعة من وجهات النظر وتوفير مجموعة بيانات أكثر شمولاً من الأبحاث السابقة.
تسلط الخاتمة الضوء على إنشاء قاعدة بيانات شاملة لتقييم جودة NVS التي تركز على اختيار الأساليب، وتنوع المشاهد، ومسارات التقييم. تتضمن قاعدة البيانات 13 مشهداً من العالم الحقيقي تم التقاطه من مسافات كاميرا مختلفة وتحقق في تأثيرات وجهات النظر متعددة العرض ووجهات النظر الفردية على إدراك الإنسان. من الجدير بالذكر أن هذا البحث هو الأول الذي يفحص تأثير المشاهد الديناميكية مع الأجسام المتحركة على أساليب NVS. بالإضافة إلى ذلك، تم إنشاء معيار لمقاييس موضوعية متطورة، مما يكشف أن الأساليب الحالية لا تلتقط الجودة الذاتية بشكل كافٍ. بشكل عام، تؤكد النتائج على التأثيرات المميزة لأساليب NVS على إدراك الإنسان في السيناريوهات الديناميكية، مما يضع أساساً للتقدم المستقبلي في تقييم جودة NVS ومنهجياته.
الطرق
في هذا القسم، يحدد المؤلفون المنهجية لإجراء تقييمات الجودة الذاتية لمسارات العرض، مع التركيز بشكل خاص على التقييمات متعددة العرض والفردية. تم تصميم اختبارين متميزين: اختبار متعدد العرض بدون مرجع، والذي يفتقر إلى مرجع بسبب استخدام كاميرات متعددة تلتقط المشاهد من وجهات نظر متنوعة، واختبار فردي مرجعي، حيث يتم مقارنة فيديو مُركب من كاميرا مركزية مع اللقطات الأصلية. يسبق اختبار بدون مرجع الاختبار المرجعي لتخفيف تأثير مقاطع الفيديو المرجعية على تقييمات المشاركين. شمل كل اختبار 130 مثيراً، بمدة 5 ثوانٍ لكل منها، وتم منح المشاركين فترات راحة لتقليل التعب البصري.
بالإضافة إلى ذلك، يصف المؤلفون الإعداد التجريبي الموضوعي الذي يتبع التقييمات الذاتية، والذي أنتج مجموعتين جديدتين من البيانات لتقييم المقاييس الموضوعية: مجموعة بيانات NVS متعددة العرض بدون مرجع ومجموعة بيانات NVS فردية مرجعية. تم اختيار أكثر من 20 مقياس لتقييم جودة الصورة والفيديو لتقييم الأداء، مصنفة إلى مرجع كامل (FR)، ومرجع مخفض (RR)، وبدون مرجع (NR) بناءً على اعتمادها على المعلومات المرجعية. لضمان التحقق القوي، تم استخدام نهج التحقق المتقاطع بترك اثنين خارجاً، وتم استخدام مقاييس إحصائية متنوعة، بما في ذلك معامل الارتباط الخطي لبييرسون (PLCC) ومعامل الارتباط الترتيبي لسبيرمان (SRCC)، لتقييم الارتباط بين المقاييس الموضوعية والدرجات الذاتية.
المناقشة
في قسم “المناقشة” من الورقة، يستكشف المؤلفون التقدم في تقنيات تركيب العرض الجديد (NVS)، مع التركيز على دمج الأساليب المعتمدة على NeRF و GS. يبرزون أنه بينما أعاد NeRF إحياء أبحاث NVS من خلال نهجه الفعال في التعلم العميق، لا تزال هناك تحديات من حيث التكاليف الحسابية العالية، خاصة مع البيانات عالية الدقة. تهدف إدخال أساليب مثل Instant-NGP و Mip-NeRF إلى تعزيز سرعة وجودة العرض، ومع ذلك، لا تزال الحاجة إلى تدريب وعرض فعالين قائمة. كما يشير المؤلفون إلى ظهور قواعد بيانات تقييم جودة NVS (NVSQA) المختلفة، التي تم تطويرها لتقييم فعالية هذه الأساليب من منظور بصري إنساني، مما يدل على اهتمام متزايد في فهم جودة NVS.
يقدم المؤلفون مزيدًا من التفاصيل حول المعيار المقترح، الذي يتضمن مجموعة متنوعة من تسلسلات المصدر (SRCs) والدارات المرجعية الافتراضية (HRCs) لتقييم الجودة البصرية لأساليب NVS المختلفة. يؤكدون على أهمية تنوع المشهد—سواء في المحتوى أو الأسلوب—داخل SRCs الخاصة بهم، التي تتكون من 13 مشهداً من العالم الحقيقي تم التقاطه تحت ظروف متنوعة. يهدف المعيار إلى سد الفجوات في قواعد بيانات NVSQA الحالية من خلال دمج كل من المشاهد الثابتة والديناميكية، بالإضافة إلى استكشاف العلاقة بين مسارات العرض متعددة العرض والفردية. يخلص المؤلفون إلى أن عملهم يساهم بشكل كبير في مجتمع NVSQA من خلال توفير فهم شامل لنقاط القوة والضعف في أساليب NVS المختلفة، مما يعزز مجال أبحاث NVS.
DOI: https://doi.org/10.1016/j.displa.2026.103612
Publication Date: 2026-07-10
Author(s): Yuhang Zhang et al.
Primary Topic: Image and Video Quality Assessment
Overview
This section discusses the advancements in Novel View Synthesis (NVS) technologies, specifically Gaussian Splatting (GS) and Neural Radiance Fields (NeRF), which have significantly enhanced photorealistic rendering capabilities. The study emphasizes the necessity of quality assessment in NVS from a human perception standpoint, particularly given the diverse applications in virtual and augmented reality, 3D modeling, and medical imaging. Despite previous efforts in subjective quality assessments, challenges remain in method selection, scenario coverage, and evaluation methodologies. To address these issues, the authors conducted two subjective experiments focusing on dynamic and real-world scenes, incorporating a variety of viewpoints and providing a more extensive dataset than prior research.
The conclusion highlights the creation of a comprehensive NVS quality assessment database that emphasizes method selection, scene diversity, and assessment pathways. The database includes 13 real-world scenes captured with varying camera distances and investigates the effects of multi-view and single-view perspectives on human perception. Notably, this research is the first to examine the influence of dynamic scenes with moving objects on NVS methods. Additionally, a benchmark of state-of-the-art objective metrics was established, revealing that current methods inadequately capture subjective quality. Overall, the findings underscore the distinct impacts of NVS methods on human perception in dynamic scenarios, laying a foundation for future advancements in NVS quality assessment and methodologies.
Methods
In this section, the authors outline the methodology for conducting subjective quality assessments of visual pathways, specifically focusing on multi-view and single-view evaluations. Two distinct tests were designed: a no-reference multi-view test, which lacks a reference due to the use of multiple cameras capturing scenes from various viewpoints, and a referenced single-view test, where a synthesized video from a central camera is compared to the original footage. The no-reference test precedes the referenced test to mitigate the influence of reference videos on participant ratings. Each test involved 130 stimuli, with a duration of 5 seconds each, and participants were given breaks to reduce visual fatigue.
Additionally, the authors describe the objective experimental setting that follows the subjective assessments, which generated two new datasets for evaluating objective metrics: a no-reference multi-view NVS dataset and a reference single-view NVS dataset. Over 20 image and video quality assessment metrics were selected for performance evaluation, categorized into Full-Reference (FR), Reduced-Reference (RR), and No-Reference (NR) based on their reliance on reference information. To ensure robust validation, a leave-two-fold-out cross-validation approach was employed, and various statistical measures, including Pearson Linear Correlation Coefficient (PLCC) and Spearman Rank-order Correlation Coefficient (SRCC), were utilized to assess the correlation between objective metrics and subjective scores.
Discussion
In the “Discussion” section of the paper, the authors explore the advancements in Novel View Synthesis (NVS) technologies, emphasizing the integration of NeRF-based and GS-based methods. They highlight that while NeRF has revitalized NVS research through its effective deep learning approach, challenges remain in terms of high computational costs, especially with high-resolution data. The introduction of methods like Instant-NGP and Mip-NeRF aims to enhance rendering speed and quality, yet the need for efficient training and rendering persists. The authors also note the emergence of various NVS quality assessment (NVSQA) databases, which have been developed to evaluate the effectiveness of these methods from a human visual perspective, indicating a growing interest in understanding NVS quality.
The authors further detail their proposed benchmark, which includes a diverse set of source sequences (SRCs) and hypothetical reference circuits (HRCs) to assess the visual quality of different NVS methods. They emphasize the importance of scene diversity—both in content and style—within their SRCs, which consist of 13 real-world scenes captured under varying conditions. The benchmark aims to fill gaps in existing NVSQA databases by incorporating both static and dynamic scenes, as well as exploring the relationship between multi-view and single-view visual pathways. The authors conclude that their work contributes significantly to the NVSQA community by providing a comprehensive understanding of the strengths and weaknesses of various NVS methods, thereby advancing the field of NVS research.