DOI: https://doi.org/10.1109/tvcg.2026.3679918
PMID: https://pubmed.ncbi.nlm.nih.gov/41926411
تاريخ النشر: 2026-04-02
المؤلف: Daniel Jiménez-Navarro وآخرون
الموضوع الرئيسي: التفاعلات اللمسية والحسية
نظرة عامة
تبحث هذه الدراسة في التفاعل بين الإشارات السمعية والبصرية في تعزيز إدراك العمق داخل بيئات الواقع الافتراضي (VR). تقدم الدراسة طريقة تفصل مكانيًا بين هذه الإشارات، مما يسمح بإدراك هدف بصري على عمق مختلف عن إشارته السمعية المقابلة. من خلال التلاعب بإشارات العمق السمعية – مثل تحديد موقع الصوت وطيف التردد – تقلل هذه الطريقة بشكل فعال من زاوية التقارب المطلوبة ($\Delta \theta$) اللازمة لإدراك العمق، مما يسهل إعادة توجيه النظر بشكل أسرع. تشير النتائج إلى أنه عندما يتم نقل الأهداف البصرية بالقرب من كائن تم التركيز عليه سابقًا، يمكن تعديل الإشارات السمعية لإنشاء انحياز إدراكي نحو العمق المقصود، مما يتعارض مع ضغط العمق ويخفف من صراع التقارب-الإقامة (VAC).
تظهر نتائج الدراسات النفسية الفيزيائية أن التلاعبات السمعية الأقوى تؤدي إلى زيادة اتساق تجاوز العمق، مما يشير إلى إمكانية الدمج المتعدد الحواس كاستراتيجية مكملة لطرق التصحيح التقليدية التي تعتمد فقط على البصر. تتحقق الدراسة من هذه التأثيرات في سيناريوهات VR الواقعية، مما يظهر أن نطاق العمق المدرك يمكن توسيعه بشكل فعال مع تقليل متطلبات التقارب. توفر هذه الرؤى إرشادات قيمة لتصميم واجهات سمعية بصرية ديناميكية في الواقع المعزز والافتراضي، حيث يعد التوزيع المكاني للعناصر عبر أعماق مختلفة أمرًا حاسمًا. يُقترح إجراء أبحاث مستقبلية لاستكشاف هذه الديناميات وتطبيقاتها بشكل أكبر.
مقدمة
تناقش مقدمة هذه الورقة البحثية دور المحتوى المتعدد الحواس في الواقع الافتراضي (VR)، مع التركيز على كيفية تعزيز دمج الإشارات البصرية والسمعية للواقعية وتجربة المستخدم. تبرز أن الجمع بين الصوت والعناصر البصرية لا يزيد فقط من الانغماس ولكن يساعد أيضًا في التنقل والتفاعل وتخفيف التوتر. تبحث الورقة بشكل خاص في تأثيرات الإشارات البصرية والسمعية غير المتطابقة على العمق المدرك في بيئات VR. تفترض أنه عندما يتم تقديم إشارات متعارضة، يمكن أن يتحول العمق المدرك نحو الموقع المكاني للصوت، مما قد يحسن من أوقات استجابة المستخدم وراحته أثناء تغييرات العمق.
يجري المؤلفون تجربة إدراكية لتقييم فعالية تقنية تجاوز العمق هذه، كاشفين أن احتمال الحكم بدقة على العمق يمكن أن ينخفض من حوالي 80% مع الإشارات البصرية فقط إلى مستويات عشوائية (50%) عند إدخال إشارات سمعية متعارضة. يظهرون أن هذه الطريقة يمكن أن تؤدي إلى تقليل كبير في وقت إعادة توجيه النظر، مع تحسينات تصل إلى 50 مللي ثانية. تشير النتائج إلى تطبيقات عملية لتعزيز إدراك العمق في واجهات VR الديناميكية، حيث توفر الأبحاث إرشادات للتلاعب الفعال بالعمق المدرك من خلال الإشارات السمعية والبصرية غير المتطابقة. يتم إتاحة البيانات والشيفرة من الدراسة للجمهور لاستكشافها بشكل أكبر.
الطرق
في هذه الدراسة، تم تصميم الإعداد التجريبي لقياس سلوك استجابة الإشارات البصرية من خلال وضع الأهداف بشكل استراتيجي عند أطراف نطاق التقارب. بشكل خاص، كان التركيز على ظروف التقارب القريب والتباعد البعيد، مما قلل بشكل فعال من نطاق التقارب من مسافة أصلية قدرها 0.43 م إلى 7 م (مع نطاق زاوي $\theta$ من 8.5° إلى 0.5°، واختلاف زاوي أقصى $\Delta\theta_{\text{max}} = 8°$) إلى نطاق مضغوط من 0.5 م إلى 1.5 م (مع $\theta$ يتراوح من 6.5° إلى 2.5°، و$\Delta\theta_{\text{max}} = 4°$).
بالإضافة إلى ذلك، تم استخدام التلاعب بالصوت لتعزيز إدراك العمق، كما هو موضح في الأقسام السابقة من البحث. تهدف هذه الطريقة المنهجية إلى توفير فهم أوضح لكيفية تفاعل المحفزات البصرية والسمعية للتأثير على إدراك العمق.
النتائج
في الدراسة التي شملت 14 مشاركًا (متوسط العمر 23.2، 6 إناث، 8 ذكور)، تم استخدام نموذج مختلط خطي عام (GLMM) لتحليل تأثيرات العوامل المختلفة على نجاح اختيار الهدف الأقرب بناءً على الإشارات السمعية والبصرية. تضمنت النتائج المهمة تأثير تغيير شدة الصوت، والانحراف، واتجاه التقارب، ونطاق التقارب على الأداء، بينما لم يؤثر جانب الهدف الاختباري بشكل كبير على معدلات النجاح (p = 0.69). حقق المشاركون معدل نجاح يقارب 80% في حالة الأساس، مما يشير إلى إدراك فعال للعمق تحت الظروف المثلى. ومع ذلك، أدت الزيادات في تغييرات شدة الصوت إلى انخفاض معدلات النجاح (p < 0.001)، مما يشير إلى أن الإشارات السمعية يمكن أن تتجاوز إدراك العمق البصري. بالإضافة إلى ذلك، تضاءلت الدقة مع زيادة الانحراف وكانت أفضل بشكل ملحوظ للتقارب مقارنة بالتباعد (كلاهما p < 0.001). تم أيضًا تحليل أوقات الاستجابة باستخدام GLMM، مما كشف أن الانحرافات الأكبر وزيادة تغيرات زاوية التقارب (∆θ) أدت إلى زيادة في زمن الاستجابة (كلاهما p < 0.001). لم يتم العثور على اختلافات كبيرة بين حركات التقارب والتباعد (p = 0.948)، كما لم يؤثر جانب الظهور على أوقات الاستجابة (p = 0.585). تشير النتائج إلى أن تقليل تغيرات التقارب يرتبط باستجابات بصرية أسرع، مما يدعم الفرضية القائلة بأن تجاوز الصوت يمكن أن يعزز إدراك العمق وأوقات الاستجابة في سيناريوهات الواقع الافتراضي. علاوة على ذلك، أثر تعديل الصوت بشكل كبير على قدرة المشاركين على ربط التعليقات مع كائنات المشهد، مع تأثيرات متباينة اعتمادًا على تكوين المشهد والقوة النسبية للإشارات البصرية والسمعية. بشكل عام، تؤكد النتائج على التفاعل المعقد بين المعلومات السمعية والبصرية في إدراك العمق وديناميات الاستجابة.
المناقشة
في قسم المناقشة من الورقة البحثية، يستكشف المؤلفون التفاعل بين الإشارات البصرية والسمعية في إدراك العمق، مع التركيز بشكل خاص على الرؤية المجسمة ودمج الإشارات المتعددة الحواس. يبرزون أن إدراك العمق لدى الإنسان يستخدم كل من الإشارات الأحادية والثنائية، حيث تعتمد الإشارات الأحادية على الخبرة السابقة وتوفر الاستريوسكوبية الثنائية معلومات عمق فورية من خلال التباينات الشبكية. يؤكد المؤلفون أنه على الرغم من أن إشارات العمق يمكن أن تتعارض، إلا أن الدماغ يستخدم استراتيجيات دمج متنوعة لحل هذه التناقضات. يستكشفون بشكل خاص كيف يمكن أن تؤثر الإشارات السمعية، مثل شدة الصوت والاختلافات بين الأذنين (IAD)، على العمق المدرك، خاصة في إعدادات الواقع الافتراضي (VR) حيث قد لا تكون المحفزات البصرية والسمعية متوافقة مكانيًا.
تشير النتائج من تجربتهم الرئيسية إلى أن الإشارات السمعية يمكن أن تعدل بشكل كبير إدراك العمق البصري، متجاوزة الفجوات البصرية عند التلاعب بها بشكل مناسب. مع زيادة اعتماد المشاركين على الإشارات السمعية من خلال تعديل الصوت، تضاءلت قدرتهم على التمييز بين الأهداف البصرية، مما يشير إلى دمج سمعي بصري ناجح أخفى تحولات العمق البصري. تكشف النتائج أيضًا أن فعالية هذا التأثير السمعي تختلف مع الانحراف واتجاه التقارب، مع ملاحظات أقوى عند الانحرافات الأكبر وأثناء حركات التقارب. بشكل عام، تؤكد الدراسة على إمكانية استخدام الإشارات السمعية لتعزيز إدراك العمق في بيئات VR، مما يوفر رؤى حول آليات الدمج المتعدد الحواس وآثارها على تصميم تجارب غامرة.
القيود
تناقش قسم القيود التحديات المرتبطة بالرؤية المجسمة في الواقع الافتراضي (VR)، وخاصة صراع التقارب-الإقامة (VAC) الذي ينشأ من غياب إشارات إقامة العين في شاشات VR القياسية. يؤدي هذا الصراع إلى عدم الراحة وزيادة مدة التقارب بسبب عدم التوافق بين الإقامة التي تحددها مسافة العرض والتقارب المتماشي مع الكائن المدرك. يمكن أن تقلل الاستراتيجيات الشائعة للتخفيف من VAC، مثل ضغط عمق المشهد من خلال التلاعب بالتباين، بشكل غير مقصود من العمق المدرك وتتعارض مع إشارات العمق الأحادية الأخرى.
لمعالجة هذه القضايا، يقترح المؤلفون نقل المناطق المركزة بالقرب من العرض مع توسيع نطاق التباين حول نقطة التباين الصفرية للعرض. كما يوصون بتقليل تغييرات التباين للعناصر القابلة للتحكم وتحفيز الحركات السريعة لتقليل مدة التقارب عند الحاجة إلى إعادة التقارب. بالإضافة إلى ذلك، يبرز المؤلفون إمكانية دمج إشارات العمق السمعية لتعزيز إدراك العمق من خلال وضع مصادر الصوت بشكل استراتيجي بالنسبة للأهداف البصرية. على الرغم من النتائج الواعدة لنهجهم، يعترف المؤلفون بأن القيود لا تزال قائمة ويحددون الحاجة إلى مزيد من الاستكشاف في هذا المجال.
DOI: https://doi.org/10.1109/tvcg.2026.3679918
PMID: https://pubmed.ncbi.nlm.nih.gov/41926411
Publication Date: 2026-04-02
Author(s): Daniel Jiménez-Navarro et al.
Primary Topic: Tactile and Sensory Interactions
Overview
This research investigates the interplay between auditory and visual cues in enhancing depth perception within virtual reality (VR) environments. The study introduces a method that spatially decouples these cues, allowing for a visual target to be perceived at a different depth than its corresponding auditory signal. By manipulating auditory depth cues—such as sound localization and frequency spectrum—this approach effectively reduces the required eye vergence angle ($\Delta \theta$) needed for depth perception, thereby facilitating faster gaze retargeting. The findings suggest that when visual targets are shifted closer to a previously fixated object, the auditory cues can be adjusted to create a perceptual bias toward the intended depth, counteracting depth compression and mitigating the vergence-accommodation conflict (VAC).
The results of psychophysical studies demonstrate that stronger auditory manipulations lead to more consistent depth overdriving, indicating the potential of multimodal integration as a complementary strategy to traditional visual-only correction methods. The study validates these effects in realistic VR scenarios, showing that the perceived depth range can be effectively extended while reducing vergence demands. These insights provide valuable guidance for designing dynamic audiovisual interfaces in augmented and virtual reality, where spatial distribution of elements across varying depths is crucial. Future research is suggested to further explore these dynamics and their applications.
Introduction
The introduction of this research paper discusses the role of multimodal content in virtual reality (VR), emphasizing how the integration of visual and auditory cues enhances realism and user experience. It highlights that combining sound with visual elements not only increases immersion but also aids in navigation, interactivity, and stress relief. The paper specifically investigates the effects of misplaced visual and auditory cues on perceived depth in VR environments. It posits that when conflicting cues are presented, the perceived depth can shift toward the sound’s spatial location, potentially improving user response times and comfort during depth changes.
The authors conduct a perceptual experiment to assess the efficacy of this depth overdriving technique, revealing that the probability of accurately judging depth can drop from approximately 80% with visual-only cues to chance levels (50%) when conflicting auditory cues are introduced. They demonstrate that this method can lead to a significant reduction in gaze retargeting time, with improvements of up to 50 ms. The findings suggest practical applications for enhancing depth perception in dynamic VR interfaces, with the research providing guidelines for effectively manipulating perceived depth through non-colocated auditory and visual cues. The data and code from the study are made publicly available for further exploration.
Methods
In this study, the experimental setup was designed to measure the response behavior of visual cues by strategically positioning targets at the extremes of the vergence range. Specifically, the focus was on Convergence-Near and Divergence-Far conditions, which effectively reduced the vergence range from an original distance of 0.43 m to 7 m (with an angular range $\theta$ from 8.5° to 0.5°, and a maximum angular difference $\Delta\theta_{\text{max}} = 8°$) to a compressed range of 0.5 m to 1.5 m (with $\theta$ ranging from 6.5° to 2.5°, and $\Delta\theta_{\text{max}} = 4°$).
Additionally, the manipulation of sound was employed to enhance the perception of depth, as indicated in prior sections of the research. This methodological approach aims to provide a clearer understanding of how visual and auditory stimuli interact to influence depth perception.
Results
In the study involving 14 participants (average age 23.2, 6 females, 8 males), a Generalized Linear Mixed Model (GLMM) was employed to analyze the effects of various factors on the success of selecting the closest target based on auditory and visual cues. Significant findings included the impact of loudness shift, eccentricity, vergence direction, and vergence range on performance, while the side of the test target did not significantly affect success rates (p = 0.69). Participants achieved an approximately 80% success rate in the Baseline condition, indicating effective depth perception under optimal conditions. However, higher loudness shifts resulted in decreased success rates (p < 0.001), suggesting that auditory cues can overdrive visual depth perception. Additionally, accuracy diminished with increased eccentricity and was notably better for convergence compared to divergence (both p < 0.001). Response times were also analyzed using a GLMM, revealing that larger eccentricities and greater vergence angle variations (∆θ) led to increased latency in responses (both p < 0.001). No significant differences were found between convergence and divergence motions (p = 0.948), nor did the side of appearance influence response times (p = 0.585). The results indicate that reduced vergence variations correlate with faster visual responses, supporting the hypothesis that sound-based overdriving can enhance depth perception and response times in virtual reality scenarios. Furthermore, sound modulation significantly influenced participants' ability to associate annotations with scene objects, with varying effects depending on the scene configuration and the relative strength of visual and auditory cues. Overall, the findings underscore the complex interplay between auditory and visual information in depth perception and response dynamics.
Discussion
In the discussion section of the research paper, the authors explore the interplay between visual and auditory cues in depth perception, particularly focusing on stereovision and the integration of multimodal cues. They highlight that human depth perception utilizes both monocular and binocular cues, with monocular cues relying on prior experience and binocular stereopsis providing immediate depth information through retinal disparities. The authors emphasize that while depth cues can conflict, the brain employs various fusion strategies to resolve these inconsistencies. They specifically investigate how auditory cues, such as loudness and interaural differences (IAD), can influence perceived depth, especially in virtual reality (VR) settings where visual and auditory stimuli may not be spatially aligned.
The findings from their main experiment indicate that auditory cues can significantly modulate visual depth perception, effectively overriding visual disparities when appropriately manipulated. As participants’ reliance on auditory cues increased through sound modulation, their ability to distinguish between visual targets diminished, suggesting successful audiovisual fusion that masked visual depth shifts. The results also reveal that the effectiveness of this auditory influence varies with eccentricity and vergence direction, with stronger effects observed at greater eccentricities and during convergence movements. Overall, the study underscores the potential for auditory cues to enhance depth perception in VR environments, providing insights into the mechanisms of multimodal integration and their implications for designing immersive experiences.
Limitations
The section on limitations discusses the challenges associated with stereovision in virtual reality (VR), particularly the vergence-accommodation conflict (VAC) that arises from the absence of eye accommodation cues in standard VR displays. This conflict leads to discomfort and prolonged vergence duration due to the mismatch between the accommodation set by the display distance and the vergence aligned with the perceived object. Common strategies to mitigate VAC, such as compressing scene depth through disparity manipulation, can inadvertently reduce perceived depth and conflict with other monocular depth cues.
To address these issues, the authors suggest shifting fixated regions closer to the display while expanding the disparity range around the display’s zero disparity point. They also recommend minimizing disparity changes for controllable elements and inducing saccades to reduce vergence duration when re-vergence is necessary. Additionally, the authors highlight the potential of incorporating auditory depth cues to enhance depth perception by strategically positioning audio sources in relation to visual targets. Despite the promising results of their approach, the authors acknowledge that limitations persist and outline the need for further exploration in this area.