DOI: https://doi.org/10.3389/frvir.2025.1718198
تاريخ النشر: 2026-01-06
المؤلف: Grégoire Richard وآخرون
الموضوع الرئيسي: التفاعلات اللمسية والحسية
نظرة عامة
تستكشف هذه الفقرة من ورقة البحث دور اللمس الاجتماعي في الوكلاء الافتراضيين (VAs) وكيف يؤثر التغذية الراجعة متعددة الحواس—التي تتكون من إشارات بصرية وسمعية ولمسية—على إدراك اللمس الاجتماعي في البيئات الافتراضية الغامرة (IVEs). على الرغم من الاهتمام المتزايد بالتفاعلات اللمسية، إلا أنه كان هناك استكشاف منهجي محدود لكيفية تفاعل هذه الأنماط للتأثير على التعرف على اللمس، والمصداقية، ونسبة الوكالة. أجرى المؤلفون ثلاثة تجارب لعزل ودمج هذه الأنماط، مما كشف أن التغذية الراجعة متعددة الحواس تعزز تجربة اللمس الاجتماعي، حيث كانت التغذية الراجعة البصرية مؤثرة بشكل خاص في التعرف على الإيماءات. ومع ذلك، تلعب كل من التغذية الراجعة السمعية واللمسية أيضًا أدوارًا مهمة في توضيح إيماءات اللمس.
تشير النتائج إلى أنه بينما تعتبر التغذية الراجعة اللمسية مركزية لاستحضار إحساس اللمس، فإن فعالية التغذية الراجعة البصرية تعتمد على ميزات الرسوم المتحركة والسياق الغامر. تعتبر التغذية الراجعة السمعية، على الرغم من كونها مفيدة في بعض الحالات، أقل تأثيرًا على المصداقية والوكالة مقارنةً بالإشارات البصرية واللمسية. بالإضافة إلى ذلك، تؤثر عوامل مثل القربيات وتفاصيل الرسوم المتحركة بشكل كبير على نسبة الوكالة الاجتماعية إلى VA، مما يشير إلى أن السياق أمر حاسم في تفاعلات اللمس. تمهد هذه الدراسة الطريق لأبحاث مستقبلية حول اللمس الاجتماعي في الواقع الافتراضي، مع التأكيد على أهمية تركيبات الأنماط والحاجة إلى التوافق في المحفزات لتعزيز المصداقية والانخراط الاجتماعي.
مقدمة
تسلط مقدمة ورقة البحث الضوء على أهمية اللمس الاجتماعي في التواصل البشري، مع التأكيد على دوره في تنظيم المشاعر، وإشارة النوايا، وتشكيل الروابط بين الأفراد على مدار الحياة. يؤدي اللمس وظائف متنوعة، بما في ذلك الطقوسية، والوظيفية، والعاطفية، والتي تعتبر أساسية لإقامة العلاقات الاجتماعية والحفاظ عليها. مع التقدم في الوكلاء الافتراضيين المجسدين (VAs)، تم تحديد دمج اللمس الاجتماعي في تفاعلات الإنسان مع الوكلاء كمنطقة بحث حاسمة. يجادل المؤلفون بأن تعزيز VAs بقدرات اللمس قد يحسن من مصداقيتها الاجتماعية، وموثوقيتها، والتعاطف المدرك.
على الرغم من الفوائد المحتملة، فإن محاكاة اللمس الاجتماعي في البيئات الافتراضية الغامرة (IVEs) تقدم تحديات، خاصة في تكرار الفروق الدقيقة في اللمس البشري، مثل التوقيت، والملمس، والنوايا. بينما تستطيع التقنيات اللمسية الحالية توفير إحساسات لمسية، إلا أنها غالبًا ما تفشل في التقاط الغنى الكامل لللمس البشري. يقترح المؤلفون أن نهجًا متعدد الحواس—يجمع بين الرسوم المتحركة البصرية، والتغذية الراجعة اللمسية، والإشارات السمعية—قد يعزز من مصداقية تفاعلات اللمس الاجتماعي. تهدف هذه الدراسة إلى تقييم منهجي لتأثيرات هذه الأنماط الحسية في الواقع الافتراضي الغامر، مما يمثل المقارنة المنضبطة الأولى للإشارات البصرية، والصوتية، واللمسية في هذا السياق. من خلال ثلاث تجارب، تسعى الدراسة لفهم تصورات المشاركين حول اللمس، والتعرف على الإيماءات، ونسبة الوكالة إلى VA، مما يمهد الطريق لتجارب لمسية اجتماعية افتراضية أكثر أصالة.
الطرق
توضح فقرة المنهجية تصميم وأسباب ثلاث تجارب تهدف إلى التحقيق في إدراك اللمس الاجتماعي من خلال أنماط حسية متنوعة عند التفاعل مع وكيل افتراضي (VA). كانت الأهداف الرئيسية هي عزل مساهمات الأنماط الحسية الفردية—البصرية، والسمعية، واللمسية—وتقييم كيفية تأثير تركيباتها على واقعية ومصداقية تجربة اللمس. حصلت الدراسة على موافقة أخلاقية من مجلس المراجعة المؤسسية المحلي (موافقة INSEAD IRB رقم 2024-46)، وتم تجنيد المشاركين في فرنسا دون فحص صارم للخلفية الثقافية. استخدمت كل تجربة بيئة افتراضية محكومة لمحاكاة إيماءات اللمس الاجتماعي، مثل النقر، والضرب، والمداعبة، والتي تم التحقق منها في أبحاث سابقة.
تم تصميم التجارب لاستكشاف تأثيرات المطابقة وعدم المطابقة الحسية على إدراك اللمس الاجتماعي. تم تصنيف الأنماط الحسية على أنها متطابقة، غير متطابقة، أو متطابقة جزئيًا بناءً على ما إذا كانت تمثل نفس الإيماءة. سمح هذا النهج بالتحقيق في كيفية تأثير المحفزات غير المتطابقة على الإدراك، بما يتماشى مع النتائج من Teyssier et al. (2020) بشأن التوافق متعدد الحواس. تضمنت التجربة الأولى ثلاث حالات—بصرية فقط، بصرية ولمسية، وبصرية وصوتية—بينما قدمت الثانية تكوينًا ثلاثي الحواس. قامت التجربة الثالثة بتعديل المحفزات للتركيز حصريًا على إيماءة النقر، التي اعتبرت الأكثر ملاءمة لفحص مساهمات الأنماط نظرًا لقابليتها للتعرف وتعقيدها القابل للإدارة. بشكل عام، تضمن المنهج استكشافًا منهجيًا للطبيعة متعددة الحواس لللمس الاجتماعي في البيئات الافتراضية، مما يساهم في فهم أعمق لإدراك المستخدم في هذه التفاعلات.
النتائج
في قسم النتائج، تم إجراء ثلاث تجارب شملت ما مجموعه 80 مشاركًا (25 في التجربة 1، 24 في التجربة 2، و31 في التجربة 3) للتحقيق في ظروف المطابقة الحسية وتأثيراتها على مقاييس النتائج المختلفة. تضمنت التجربة 1 21 تجربة، مصنفة إلى خمس مجموعات مطابقة: VisuOnly، VisuAudioMatch، VisuAudioMismatch، VisuHapticMatch، وVisuHapticMismatch. نظرًا لانتهاكات الطبيعية كما أشار إليها اختبارات Shapiro-Wilk، تم استخدام تحليلات غير معلمية لجميع التجارب.
في التجربة 2، تم تجميع درجات FeelingTouched للمشاركين بطريقة مشابهة للتجربة 1، مع تقديم توزيعات المجموعات في المواد التكميلية. ركزت التجربة 3 على ثلاث مقاييس نتائج مستمدة من استبيان بعد التجربة: TouchAgency، TouchBelievability، وFeelingTouched، حيث كانت الأخيرة هي متوسط المقاييس الأولى. تم أيضًا توضيح توزيع هذه الدرجات عبر الظروف في الأشكال التكميلية. بشكل عام، تسلط النتائج الضوء على أهمية المطابقة الحسية في التأثير على إدراك المشاركين وتجاربهم عبر الإعدادات التجريبية المختلفة.
المناقشة
في قسم المناقشة، تستكشف الدراسة تعقيدات اللمس الاجتماعي والعاطفي، مع التأكيد على دوره كإشارة تواصلية بين الأفراد. أسس McIntyre et al. (2022) تصنيفًا لإيماءات اللمس، مما يكشف أن المشاركين البشريين يمكنهم التعرف على إيماءات متنوعة ونواياها الاجتماعية والعاطفية المرتبطة، مثل الرعاية والمودة. أظهرت الدراسات العصبية الفسيولوجية أن سرعات المسح المحددة يمكن أن تعزز من متعة اللمس، بينما يمكن أن تؤثر التفضيلات الفردية والسياقات الاجتماعية والثقافية بشكل كبير على إدراك اللمس الاجتماعي (Suvilehto et al., 2015; Van Erp and Toet, 2015). يمكن أن تؤدي الغموض الكامن في اللمس الاجتماعي إلى سوء الفهم، مما يبرز طبيعته الحميمة.
تناقش الفقرة أيضًا محاكاة اللمس الاجتماعي من خلال التكنولوجيا، خاصة في البيئات الافتراضية الغامرة (IVEs). لقد أظهرت التغذية الراجعة اللمسية، التي تُقدم غالبًا عبر أجهزة الاهتزاز، أنها قادرة على تكرار بعض فوائد اللمس البشري، على الرغم من عدم وجود أي تقنية حاليًا تلتقط الغنى الكامل لتجارب اللمس البشرية (Teyssier et al., 2020). سلطت الدراسات الحديثة الضوء على أهمية التكامل متعدد الحواس، مشيرة إلى أن دمج التغذية الراجعة اللمسية مع الإشارات السمعية والبصرية يمكن أن يعزز إدراك إيماءات اللمس الاجتماعي التي يؤديها الوكلاء الافتراضيون (VAs). تركز أسئلة البحث على كيفية تأثير الأنماط الحسية المختلفة على التعرف والتجربة الذاتية لللمس الاجتماعي، مع تصميم التجارب للتلاعب بشكل منهجي بهذه الأنماط لتقييم تأثيراتها على إدراك المشاركين لللمس الاجتماعي من قبل VA.
القيود
تسلط فقرة القيود في ورقة البحث الضوء على عدة قيود حاسمة تؤثر على محاكاة اللمس الاجتماعي من خلال التكامل متعدد الحواس. تم تصنيف هذه القيود إلى جوانب تكنولوجية، ومنهجية، واجتماعية ثقافية. من الناحية التكنولوجية، كشفت اعتماد الدراسة على الرسوم المتحركة للإيماءات والتغذية الراجعة اللمسية عن فجوات، خاصة غياب الإشارات غير اللفظية مثل تعبيرات الوجه، التي تعتبر حيوية لنقل النية والعاطفة. قيد تصميم المحرك لمحاكاة المداعبات واقعية المحفزات اللمسية، على الرغم من أن المشاركين لم يبلغوا عن اختلافات كبيرة في تفسيراتهم لمسارات الاهتزاز المختلفة. بالإضافة إلى ذلك، وُجد أن التغذية الراجعة الصوتية أقل إقناعًا مقارنةً بالإشارات البصرية واللمسية، مما يشير إلى أن تقنيات تصميم الصوت من وسائل الإعلام الأخرى قد تعزز المصداقية. كما أثر مجال الرؤية المحدود لشاشة الرأس (HMD) على الانغماس ودمج الإشارات البصرية، على الرغم من أن الدراسة تفترض أن الدقة الكامنة في إيماءات مثل النقر والمداعبة ستظل صعبة التمييز بغض النظر عن التقدم التكنولوجي.
من الناحية المنهجية، كانت خيارات تصميم الدراسة، مثل التركيز فقط على إيماءات النقر في التجربة 3، قد قيدت استكشاف إيماءات أخرى ومعانيها الاجتماعية. تتطلب الطبيعة الاستكشافية للاستبيانات المستخدمة لتقييم الوكالة والمصداقية مزيدًا من التحقق لتأسيس مقاييس قوية لللمس الاجتماعي. علاوة على ذلك، فإن غياب مقاييس موحدة للحضور والتواجد المشترك يحد من فهم كيفية تأثير إدراك المشاركين لللمس على إحساسهم بالانغماس في البيئة الافتراضية. يجب أن تتناول الأبحاث المستقبلية هذه القيود من خلال دمج مجموعة أوسع من الإيماءات والمقاييس المعتمدة لتعزيز الصلاحية البيئية وعمق النتائج المتعلقة باللمس الاجتماعي في سياقات الواقع الافتراضي.
DOI: https://doi.org/10.3389/frvir.2025.1718198
Publication Date: 2026-01-06
Author(s): Grégoire Richard et al.
Primary Topic: Tactile and Sensory Interactions
Overview
This research paper section investigates the role of social touch in virtual agents (VAs) and how multimodal feedback—comprising visual, auditory, and tactile cues—affects the perception of social touch in immersive virtual environments (IVEs). Despite the increasing interest in haptic interactions, there has been limited systematic exploration of how these modalities interact to influence touch recognition, believability, and agency attribution. The authors conducted three experiments to isolate and combine these modalities, revealing that multisensory feedback enhances the experience of social touch, with visual feedback being particularly influential in gesture recognition. However, both auditory and tactile feedback also play significant roles in disambiguating touch gestures.
The findings indicate that while haptic feedback is central to eliciting the sensation of touch, the effectiveness of visual feedback is contingent on the animation’s features and the immersive context. Auditory feedback, while helpful in some instances, has a lesser impact on believability and agency compared to visual and tactile cues. Additionally, factors such as proxemics and animation detail significantly affect the attribution of social agency to the VA, suggesting that context is crucial in touch interactions. This work lays the groundwork for future research on social touch in VR, emphasizing the importance of modality combinations and the need for congruence in stimuli to enhance believability and social engagement.
Introduction
The introduction of the research paper highlights the significance of social touch in human communication, emphasizing its role in emotional regulation, intention signaling, and the formation of interpersonal bonds throughout life. Touch serves various functions, including ritualistic, functional, and affective, which are essential for establishing and maintaining social relationships. With advancements in embodied virtual agents (VAs), the integration of social touch into human-agent interactions is identified as a critical area of research. The authors argue that enhancing VAs with touch capabilities could improve their social credibility, trustworthiness, and perceived empathy.
Despite the potential benefits, simulating social touch in immersive virtual environments (IVEs) presents challenges, particularly in replicating the nuances of human touch, such as timing, texture, and intent. Current haptic technologies, while capable of providing tactile sensations, often fall short of capturing the full richness of human touch. The authors propose that a multimodal approach—combining visual animations, tactile feedback, and auditory cues—may enhance the believability of social touch interactions. This study aims to systematically evaluate the effects of these sensory modalities in immersive VR, marking the first controlled comparison of visual, audio, and tactile cues in this context. Through three experiments, the research seeks to understand participants’ perceptions of touch, gesture recognition, and agency attribution to the VA, thereby laying the groundwork for more authentic virtual social touch experiences.
Methods
The methodology section outlines the design and rationale behind three experiments aimed at investigating the perception of social touch through various sensory modalities when interacting with a virtual agent (VA). The primary objectives were to isolate the contributions of individual sensory modalities—visual, auditory, and tactile—and to assess how their combinations influence the realism and believability of the touch experience. The study received ethical approval from the local Institutional Review Board (INSEAD IRB approval no 2024-46), and participants were recruited in France without strict cultural background screening. Each experiment utilized a controlled virtual environment to simulate social touch gestures, specifically tapping, hitting, and caressing, which were validated in previous research.
The experiments were designed to explore the effects of sensory matching and mismatching on the perception of social touch. Sensory modalities were categorized as matched, mismatched, or partially matched based on whether they represented the same gesture. This approach allowed for the investigation of how mismatched stimuli could disrupt perception, aligning with findings from Teyssier et al. (2020) regarding multisensory congruence. The first experiment included three conditions—visual-only, visual and haptic, and visual and audio—while the second introduced a tri-modal configuration. The third experiment refined the stimuli to focus exclusively on the tap gesture, which was deemed the most suitable for examining modality contributions due to its recognizability and manageable complexity. Overall, the methodology ensures a systematic exploration of the multisensory nature of social touch in virtual environments, contributing to a deeper understanding of user perception in these interactions.
Results
In the Results section, three experiments involving a total of 80 participants (25 in Experiment 1, 24 in Experiment 2, and 31 in Experiment 3) were conducted to investigate sensory matching conditions and their effects on various outcome metrics. Experiment 1 included 21 trials, categorized into five matching groups: VisuOnly, VisuAudioMatch, VisuAudioMismatch, VisuHapticMatch, and VisuHapticMismatch. Due to violations of normality as indicated by Shapiro-Wilk tests, non-parametric analyses were employed for all experiments.
In Experiment 2, participants’ FeelingTouched scores were aggregated similarly to Experiment 1, with group distributions presented in the supplementary material. Experiment 3 focused on three outcome metrics derived from a post-trial questionnaire: TouchAgency, TouchBelievability, and FeelingTouched, the latter being the mean of the first two metrics. The distribution of these scores across conditions was also illustrated in the supplementary figures. Overall, the findings highlight the significance of sensory matching in influencing participants’ perceptions and experiences across the different experimental setups.
Discussion
In the discussion section, the research explores the complexities of social and affective touch, emphasizing its role as a communicative signal between individuals. McIntyre et al. (2022) established a taxonomy of touch gestures, revealing that human participants can recognize various gestures and their associated socio-emotional intentions, such as care and affection. Neurophysiological studies have shown that specific stroking speeds can enhance the pleasantness of touch, while individual preferences and socio-cultural contexts can significantly influence the perception of social touch (Suvilehto et al., 2015; Van Erp and Toet, 2015). The ambiguity inherent in social touch can lead to misunderstandings, underscoring its intimate nature.
The section also discusses the simulation of social touch through technology, particularly in immersive virtual environments (IVEs). Haptic feedback, often delivered via vibrotactile devices, has been shown to replicate some benefits of human touch, although no technology currently captures the full richness of human tactile experiences (Teyssier et al., 2020). Recent studies have highlighted the importance of multisensory integration, suggesting that combining tactile feedback with auditory and visual cues can enhance the perception of social touch gestures performed by virtual agents (VAs). The research questions focus on how different sensory modalities influence the recognition and subjective experience of social touch, with experiments designed to systematically manipulate these modalities to assess their effects on participants’ perceptions of being socially touched by a VA.
Limitations
The section on limitations in the research paper highlights several critical constraints that affect the simulation of social touch through multimodal integration. These limitations are categorized into technological, methodological, and socio-cultural aspects. Technologically, the study’s reliance on gesture animations and vibrotactile feedback revealed gaps, particularly the absence of nonverbal cues like facial expressions, which are vital for conveying intention and affect. The actuator layout for simulating caresses restricted the realism of tactile stimuli, although participants did not report significant differences in their interpretations of various vibration trajectories. Additionally, audio feedback was found to be less convincing compared to visual and tactile cues, suggesting that sound design techniques from other media may enhance believability. The limited field of view of the head-mounted display (HMD) also impacted immersion and the integration of visual cues, although the study posits that the inherent subtlety of gestures like Tap and Caress would remain challenging to distinguish regardless of technological advancements.
Methodologically, the study’s design choices, such as focusing solely on tap gestures in Experiment 3, limited the exploration of other gestures and their social meanings. The exploratory nature of the questionnaires used to assess agency and believability necessitates further validation to establish robust measures of social touch. Furthermore, the absence of standardized scales for presence and co-presence restricts the understanding of how participants’ perceptions of touch were influenced by their sense of immersion in the virtual environment. Future research should address these limitations by incorporating a broader range of gestures and validated measures to enhance the ecological validity and depth of findings related to social touch in virtual reality contexts.