DOI: https://doi.org/10.1109/tetci.2026.3683092
تاريخ النشر: 2026-04-22
المؤلف: Li Yu وآخرون
الموضوع الرئيسي: الانتباه البصري واكتشاف الأهمية
نظرة عامة
في هذا القسم، يسلط المؤلفون الضوء على أهمية البيانات الصوتية في التأثير على الانتباه البصري أثناء استهلاك الفيديو. يشيرون إلى أنه بينما تدمج طرق التنبؤ بالوضوح السمعي البصري الحالية عادةً الميزات الصوتية والبصرية، فإن هذا النهج غالبًا ما يتجاهل التناقضات بين النمطين، خاصة عندما يكون الصوت بمثابة موسيقى خلفية. لمواجهة هذا التحدي، يقدم المؤلفون شبكة التنبؤ بالوضوح السمعي البصري الموجهة بالملاءمة (AVRSP)، التي تتميز بوحدة دمج الميزات السمعية والبصرية الموجهة بالملاءمة (RAVF). تقوم هذه الوحدة بضبط الاحتفاظ بالميزات الصوتية ديناميكيًا بناءً على ملاءمتها الدلالية للعناصر البصرية، مما يعزز عملية الدمج.
بالإضافة إلى ذلك، تتضمن AVRSP وحدة تآزر الميزات متعددة المقاييس (MS) التي تجمع الميزات البصرية من مراحل الترميز المختلفة، مما يحسن قدرة الشبكة على تمثيل الأشياء بمقاييس مختلفة. كما أن بوابة منظم المقاييس المتعددة (MRG) تعزز استخدام الميزات البصرية متعددة المقاييس من خلال نقل المعلومات الأساسية للدمج إليها. يتم التحقق من فعالية شبكة AVRSP من خلال تجارب واسعة على ستة مجموعات بيانات لحركة العين السمعية البصرية، مما يظهر أدائها التنافسي في التنبؤ بالوضوح السمعي البصري.
الطرق
يستعرض قسم المنهجية تطوير شبكة جديدة للتنبؤ بالوضوح السمعي البصري الموجهة بالملاءمة، تُسمى AVRSP، تهدف إلى تعزيز دقة التنبؤ بالوضوح في الفيديو مع معالجة التناقضات الدلالية بين الميزات الصوتية والبصرية. يتم هيكلة إطار عمل AVRSP في ثلاث مراحل رئيسية: (1) استخراج الميزات الصوتية والبصرية، حيث يتم اشتقاق الميزات من الموجات الصوتية وإطارات الفيديو؛ (2) تحسين الميزات متعددة المقاييس ودمج الميزات السمعية والبصرية، والتي تعزز وتدمج هذه الميزات عبر مقاييس مختلفة؛ و(3) التنبؤ بالوضوح، الذي يستخدم الميزات المدمجة لإنشاء خرائط الوضوح النهائية.
المركز في AVRSP هو وحدة دمج الميزات السمعية والبصرية الموجهة بالملاءمة (RAVF)، التي تعدل عملية الدمج بشكل تكيفي بناءً على الملاءمة الدلالية للميزات الصوتية والبصرية. بالإضافة إلى ذلك، يتضمن الإطار وحدة تآزر الميزات متعددة المقاييس (MS) لتحسين تمثيل الأشياء ذات الأحجام المتنوعة وبوابة منظم المقاييس المتعددة (MRG) لتسهيل نقل المعلومات الحيوية من الدمج السمعي البصري إلى التمثيلات البصرية متعددة المقاييس. هذه المكونات أساسية لمرحلة تحسين الميزات متعددة المقاييس ودمج الميزات السمعية والبصرية، مما يضع الأساس للنقاشات التفصيلية اللاحقة في الورقة.
النقاش
يناقش القسم التقدم في التنبؤ بالوضوح في الفيديو، مع التركيز على كل من الأساليب البصرية فقط والأساليب السمعية البصرية. في التنبؤ بالوضوح البصري فقط، تطورت طرق التعلم العميق بشكل كبير، مستفيدة من مجموعات بيانات كبيرة ودمج الشبكات العصبية التلافيفية (CNNs) مع نماذج متكررة مثل الشبكات ذات الذاكرة الطويلة القصيرة (LSTM) لالتقاط الميزات المكانية والزمانية. تشمل الأطر البارزة دمج Wang et al. لشبكة CNN-LSTM مع آليات الانتباه، واستخدام Chen et al. للتلافيف القابلة للتشويه لمعالجة عدم توافق الميزات عبر الإطارات. تعزز الاستكشافات الحديثة لشبكات التلافيف ثلاثية الأبعاد، مثل TASED-Net والهياكل متعددة الفروع، تجميع الميزات المكانية الزمنية لتحسين توقعات الوضوح.
في مجال التنبؤ بالوضوح السمعي البصري، يتم الاعتراف بتأثير الصوت على الانتباه البصري، مع ظهور عدة نماذج لدمج الإشارات الصوتية والبصرية بشكل فعال. استخدم Tavakoli et al. هيكلًا ثنائي التدفق لمعالجة الصوت والفيديو بشكل منفصل، بينما اقترح Chen et al. إطارًا متعدد الحواس يجمع بين الميزات السمعية والبصرية من خلال بنية تعلم عميق. يعالج إدخال وحدة دمج الميزات السمعية والبصرية الموجهة بالملاءمة (RAVF) تحدي ضمان الملاءمة السياقية في الميزات المدمجة، مما يعزز بشكل كبير أداء النموذج. يسلط هذا القسم الضوء على أهمية الدمج متعدد الوسائط والتقنيات المبتكرة التي تم تطويرها لتحسين دقة التنبؤ بالوضوح عبر مجموعات بيانات متنوعة.
DOI: https://doi.org/10.1109/tetci.2026.3683092
Publication Date: 2026-04-22
Author(s): Li Yu et al.
Primary Topic: Visual Attention and Saliency Detection
Overview
In this section, the authors highlight the significance of audio data in influencing visual attention during video consumption. They note that while existing audio-visual saliency prediction methods typically merge audio and visual features, this approach often overlooks inconsistencies between the two modalities, particularly when audio serves as background music. To tackle this challenge, the authors introduce the Relevance-guided Audio-Visual Saliency Prediction network (AVRSP), which features a Relevance-guided Audio-Visual feature Fusion module (RAVF). This module dynamically adjusts the retention of audio features based on their semantic relevance to visual elements, thereby enhancing the integration process.
Additionally, the AVRSP incorporates a Multiscale feature Synergy (MS) module that aggregates visual features from various encoding stages, improving the network’s capacity to represent objects at different scales. The Multi-scale Regulator Gate (MRG) further optimizes the use of multi-scale visual features by transferring essential fusion information to them. The effectiveness of the AVRSP network is validated through extensive experiments on six audio-visual eye movement datasets, demonstrating its competitive performance in predicting audio-visual saliency.
Methods
The methodology section outlines the development of a novel relevance-guided audio-visual saliency prediction network, termed AVRSP, aimed at enhancing the accuracy of video saliency prediction while addressing semantic inconsistencies between audio and visual features. The AVRSP framework is structured into three primary stages: (1) Audio and Visual Feature Extraction, where features are derived from audio waveforms and video frames; (2) Multi-scale Feature Enhancement and Audio-Visual Feature Fusion, which enhances and integrates these features across various scales; and (3) Saliency Prediction, which utilizes the fused features to generate final saliency maps.
Central to the AVRSP is the Relevance-guided Audio-Visual feature Fusion module (RAVF), which adaptively modulates the fusion process based on the semantic relevance of the audio and visual features. Additionally, the framework incorporates a Multi-Scale feature Synergy module (MS) to improve representation of objects of varying sizes and a Multi-Scale Regulator Gate (MRG) to facilitate the transfer of critical information from the audio-visual fusion into multi-scale visual representations. These components are integral to the Multi-scale Feature Enhancement & Audio-Visual Feature Fusion stage, setting the foundation for the subsequent detailed discussions in the paper.
Discussion
The section discusses advancements in video saliency prediction, focusing on both visual-only and audio-visual approaches. In visual-only saliency prediction, deep learning methods have evolved significantly, leveraging large datasets and combining Convolutional Neural Networks (CNNs) with recursive models like Long Short-Term Memory (LSTM) networks to capture both spatial and temporal features. Notable frameworks include Wang et al.’s integration of CNN-LSTM with attention mechanisms, and Chen et al.’s use of deformable convolutions to address feature misalignment across frames. Recent explorations of 3D convolutional networks, such as TASED-Net and multi-branch architectures, further enhance the aggregation of spatio-temporal features for improved saliency predictions.
In the realm of audio-visual saliency prediction, the impact of audio on visual attention is acknowledged, with several models emerging to integrate audio and visual cues effectively. Tavakoli et al. utilized a dual-stream architecture to process audio and video separately, while Chen et al. proposed a multisensory framework that combines auditory and visual features through a deep learning architecture. The introduction of the Relevance-Guided Audio-Visual Feature Fusion (RAVF) module addresses the challenge of ensuring contextual relevance in fused features, significantly enhancing model performance. This section highlights the importance of multimodal integration and the innovative techniques developed to improve saliency prediction accuracy across various datasets.