DOI: https://doi.org/10.1109/vrw70859.2026.00176
تاريخ النشر: 2026-03-21
المؤلف: Julia Soares Dollis وآخرون
الموضوع الرئيسي: تطبيقات وتأثيرات الواقع الافتراضي
نظرة عامة
تتناول هذه الدراسة الفجوة الكبيرة بين الواقعية الجسدية والنفسية للبشر الافتراضيين في بيئات التدريب بالواقع الافتراضي (VR). توضح الدراسة الجدوى التقنية لاستخدام نماذج اللغة الكبيرة لتوليد مرضى افتراضيين طبيين متماسكين، كل منهم يتميز بشخصيات مميزة ومتسقة. تشير النتائج إلى أن هذا النهج المبتكر لا يؤثر فقط على استراتيجيات تفاعل الأطباء، بل يُعتبر أيضًا تحسينًا قيمًا للتدريب الطبي.
علاوة على ذلك، تكشف التحليلات عن مبادئ تصميم حاسمة لتطوير وكلاء افتراضيين مقنعين. ومن الجدير بالذكر أنها تسلط الضوء على ثنائية في سلوك الوكلاء: الوكلاء الرقميون الذين يظهرون سلوكًا متسقًا ولكن أقل تواصلًا قد يُنظر إليهم على أنهم اصطناعيون، مما يبرز التمييز بين التفاعلات الاصطناعية والأصيلة. تقدم هذه الدراسة في النهاية إطارًا منهجيًا والتحقق التجريبي لتقدم المحاكاة الغامرة، والتحول من مجرد تدريب على المهام الوظيفية إلى أنظمة تُجهز المهنيين بشكل فعال للتنقل في تعقيدات التفاعل البشري.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التأثير التحويلي للتقدم التكنولوجي في البيئات الغامرة، لا سيما من خلال الواقع الافتراضي (VR)، الذي أصبح منصة حيوية للمحاكاة الواقعية في مجالات مختلفة، بما في ذلك التدريب الصناعي، والأمن، والرعاية الصحية. يؤكد المؤلفون أنه على الرغم من أن الواقع الافتراضي قد حقق دقة بصرية وجسدية عالية، إلا أن الأبعاد النفسية والاجتماعية للبشر الرقميين لا تزال غير مستكشفة بشكل كاف. هذه الفجوة حاسمة، خاصة في التدريب الطبي، حيث تعتبر التواصل الفعال والديناميات الشخصية أساسية. تجادل الورقة بأن غياب تمثيلات شخصية متنوعة ومتسقة في محاكيات الواقع الافتراضي يحد من فعاليتها في إعداد الأفراد للتفاعلات في العالم الحقيقي، لا سيما في البيئات السريرية حيث تؤثر شخصية المريض بشكل كبير على استراتيجيات التواصل والتشخيص.
لمعالجة هذه القضية، يقترح المؤلفون إطارًا يدمج نماذج الشخصية المدفوعة بنماذج اللغة الكبيرة (LLM) في الاستشارات الطبية الغامرة بالواقع الافتراضي، مما يمكّن من إنشاء مرضى افتراضيين نفسيًا مقنعين. تهدف هذه الابتكار إلى تعزيز أصالة سيناريوهات التدريب من خلال السماح للمهنيين الطبيين بالتفاعل مع مرضى يظهرون سمات شخصية متنوعة. تفترض الدراسة فرضيتين بشأن جدوى محاكاة شخصيات المرضى المتنوعة وتأثيرها على استراتيجيات تفاعل الأطباء. تشمل مساهمات هذا العمل إطارًا منهجيًا لمحاكاة المرضى المدفوعة بالشخصية، ومبادئ تصميم جديدة لوكلاء افتراضيين مقنعين، والتحقق التجريبي من أهمية تنوع الشخصية في التدريب الطبي، مما يبرز الحاجة إلى بيئات واقع افتراضي أكثر غنى اجتماعيًا لتحسين نتائج التدريب.
الطرق
في هذه الدراسة، طور المؤلفون إطار تدريب طبي شامل بالواقع الافتراضي (VR) يهدف إلى تعزيز تفاعلات الأطباء والمرضى من خلال خط أنابيب محاكاة المرضى التفاعلي. تشمل المنهجية عدة مكونات رئيسية: مرحلة نمذجة المرضى الافتراضيين، التي تستخدم استفسارات المرضى الحقيقيين لإنشاء مرضى ذوي قصص خلفية متماسكة، وملفات شخصية، وحالات طبية؛ ومرحلة تفاعل الأطباء، حيث يتم دمج الردود التي تم إنشاؤها بواسطة نموذج لغة كبير (LLM) في الكلام. يتم توضيح هيكل الإطار في الشكل 2، مع تسليط الضوء على دمج وحدات تحويل النص إلى كلام (TTS) وتحويل الكلام إلى نص (STT) لتسهيل التواصل في الوقت الحقيقي.
شمل التصميم التجريبي مجموعة صغيرة من أربعة أطباء، مما يحد من قابلية تعميم النتائج على الاتجاهات الأولية بدلاً من الاستنتاجات الحاسمة. استكشفت الدراسة سيناريوهين سريريين مع أمراض مختلفة (GERD مقابل حمى الضنك)، وخصائص ديموغرافية، وسمات شخصية، مع الاعتراف بالمتغيرات المربكة التي قد تعيق التأثير المحدد للشخصية على التفاعلات. يُقترح إجراء أبحاث مستقبلية باستخدام تصميم عاملي لفك تشابك هذه المتغيرات. بالإضافة إلى ذلك، أشار المؤلفون إلى “مفارقة الواقعية-الإطناب”، حيث أدى نقص الإشارات غير اللفظية في المحاكاة إلى تقليل الإحساس بالواقعية في التفاعلات. لمعالجة ذلك، ستتضمن النسخ المستقبلية الرسوم المتحركة الإجرائية في الوقت الحقيقي بناءً على الحالة العاطفية لنموذج اللغة الكبير. تشمل النماذج المستخدمة GPT-4o-mini لتوليد ردود المرضى وGPT-4 لتقييم التفاعلات، مع تكوين جميع المكونات للبرتغالية البرازيلية. كانت بنية المطالبة للمرضى الافتراضيين معيارية، مما يضمن الاستمرارية والامتثال للقيود الشخصية والسريرية طوال الحوار.
النتائج
في قسم النتائج، يتم تقديم النتائج من دراسة المستخدم بشكل منهجي، استنادًا إلى استبيانات ذاتية باستخدام مقياس ليكرت من 5 نقاط، مع الإبلاغ عن القيم المتوسطة (M) للبيانات الكمية. يتم هيكلة التحليل في ثلاث فئات رئيسية: نتائج تتعلق بالمشاركين، ونتائج تتعلق بالمرضى، ونتائج تم إنشاؤها بواسطة LLM.
تركز نتائج المشاركين على تجربة المستخدم العامة، مع فحص عوامل مثل الألفة السابقة مع التكنولوجيا، ودوار المحاكاة، والانخراط، والعبء المعرفي. تتناول نتائج المرضى الأسئلة البحثية الأساسية من خلال تقييم تصورات الأطباء بشأن شخصية المرضى الافتراضيين، والاتساق السلوكي، والواقعية. أخيرًا، تتضمن نتائج LLM-Generated تحليلًا كميًا لمجموعة بيانات تركيبية تتكون من 3,000 رد من المرضى، مستمدة من 500 استشارة محاكاة. تسهل هذه المجموعة تقييمًا محكمًا لصلابة الإطار، مع التركيز على اتساق المرض واتساق الشخصية عبر التفاعلات التي تم إنشاؤها للمرضى.
المناقشة
تناقش الورقة البحثية دمج نماذج اللغة الكبيرة (LLMs) في بيئات الواقع الافتراضي (VR) لتعزيز التدريب الطبي من خلال إنشاء مرضى افتراضيين نفسيًا معقدين. تتناول الدراسة قيود التطبيقات الحالية للواقع الافتراضي في التعليم الطبي، لا سيما في تدريب المهارات الشخصية، من خلال اقتراح إطار يسمح بمحاكاة شخصيات المرضى المتميزة. تفصل هذه البنية المعيارية سمات الشخصية عن البيانات السريرية، مما يمكّن من تطوير مرضى افتراضيين يظهرون سلوكيات متسقة ومتناسقة خلال الاستشارات المحاكاة. تشير النتائج من دراسة متعددة الأساليب تشمل أطباء مرخصين إلى أن هذا النهج قابل للتطبيق ويُنظر إليه على أنه تحسين قيم للتدريب، مع تحديد مبادئ تصميم رئيسية، مثل “مفارقة الواقعية-الإطناب” وضرورة أن تكون التحديات سريرية أصيلة.
تؤكد الورقة على أهمية الشخصية في الوكلاء الرقميين، مشيرة إلى أن سمات الشخصية تؤثر بشكل كبير على الانخراط، والثقة، ونتائج التعلم. من خلال استخدام إطار منظم يدمج هوية المريض، وقصة الخلفية، وملف الشخصية، وبطاقة المرض، يضمن المؤلفون أن المرضى الافتراضيين يتصرفون بشكل متسق وواقعي طوال التفاعلات. شملت منهجية الدراسة تصميمًا ضمنيًا حيث تفاعل الأطباء مع مرضى افتراضيين يظهرون شخصيات مختلفة، مما يسمح بتحليل كيفية تأثير هذه السمات على استراتيجيات التفاعل السريري وتصورات الواقعية. تشير نتائج تقييمات انخراط المستخدم وتقييمات العبء المعرفي إلى أن التجربة الغامرة التي يوفرها المرضى الافتراضيون المدفوعون بالشخصية ليست فقط جذابة ولكن أيضًا فعالة في تعزيز تطوير مهارات التواصل الأساسية في التعليم الطبي.
القيود
تسلط الدراسة الضوء على إمكانيات المرضى الافتراضيين المدفوعين بالشخصية، ومع ذلك تعترف بعدة قيود تستدعي مزيدًا من التحقيق. قد تشمل هذه القيود قيودًا تتعلق بقابلية تعميم النتائج، وتمثيل المرضى الافتراضيين، والمنهجيات المستخدمة في البحث. يمكن أن تعزز معالجة هذه القضايا من قوة النتائج وتوسع من قابلية تطبيق المرضى الافتراضيين المدفوعين بالشخصية في سياقات مختلفة.
يجب أن تركز الأبحاث المستقبلية على تحسين تصميم المرضى الافتراضيين لتعكس بشكل أفضل السمات الشخصية المتنوعة والسيناريوهات السريرية. بالإضافة إلى ذلك، يمكن أن توفر الدراسات الطولية رؤى حول الفعالية طويلة الأمد وقابلية التكيف لهؤلاء المرضى الافتراضيين في البيئات التعليمية والعلاجية. من خلال معالجة هذه القيود، يمكن أن تسهم الدراسات اللاحقة في فهم أكثر شمولاً لدور الشخصية في تفاعلات المرضى الافتراضيين.
DOI: https://doi.org/10.1109/vrw70859.2026.00176
Publication Date: 2026-03-21
Author(s): Julia Soares Dollis et al.
Primary Topic: Virtual Reality Applications and Impacts
Overview
This research addresses the significant gap between the physical and psychological realism of virtual humans in virtual reality (VR) training environments. The study demonstrates the technical feasibility of employing large language models to generate medically coherent virtual patients, each characterized by distinct and consistent personalities. The findings indicate that this innovative approach not only influences physician interaction strategies but is also regarded as a valuable enhancement to medical training.
Moreover, the analysis reveals critical design principles for developing believable virtual agents. Notably, it highlights a duality in agent behavior: digital agents that exhibit consistent but less communicative behavior may be perceived as artificial, emphasizing the distinction between artificial and authentic interactions. This research ultimately offers a methodological framework and empirical validation for advancing immersive simulations, transitioning from mere functional task training to systems that effectively equip professionals to navigate the complexities of human interaction.
Introduction
The introduction of this research paper highlights the transformative impact of technological advancements in immersive environments, particularly through virtual reality (VR), which has become a vital platform for realistic simulations in various fields, including industrial training, security, and healthcare. The authors emphasize that while VR has achieved high visual and physical fidelity, the psychological and social dimensions of digital humans remain underexplored. This gap is critical, especially in medical training, where effective communication and interpersonal dynamics are essential. The paper argues that the absence of diverse and consistent personality representations in VR simulations limits their effectiveness in preparing individuals for real-world interactions, particularly in clinical settings where patient personality significantly influences communication and diagnostic strategies.
To address this issue, the authors propose a framework that integrates large language model (LLM)-driven personality models into immersive VR medical consultations, enabling the creation of psychologically plausible virtual patients. This innovation aims to enhance the authenticity of training scenarios by allowing medical professionals to engage with patients exhibiting varied personality traits. The study posits two hypotheses regarding the feasibility of simulating diverse patient personalities and their impact on doctors’ interaction strategies. The contributions of this work include a methodological framework for personality-driven patient simulation, novel design principles for believable virtual agents, and empirical validation of the importance of personality diversity in medical training, underscoring the need for more socially rich VR environments to improve training outcomes.
Methods
In this study, the authors developed a comprehensive virtual reality (VR) medical training framework aimed at enhancing physician-patient interactions through an interactive patient simulation pipeline. The methodology encompasses several key components: the Virtual Patient Modeling stage, which utilizes real patient inquiries to create patients with coherent backstories, personality profiles, and medical conditions; and the Physician Interaction stage, where responses generated by a large language model (LLM) are synthesized into speech. The framework’s architecture is illustrated in Figure 2, highlighting the integration of text-to-speech (TTS) and speech-to-text (STT) modules to facilitate real-time communication.
The experimental design involved a small cohort of four physicians, which limits the generalizability of the findings to preliminary trends rather than definitive conclusions. The study explored two clinical scenarios with varying diseases (GERD vs. Dengue), demographics, and personality traits, acknowledging the confounding variables that may obscure the specific impact of personality on interactions. Future research is proposed to employ a factorial design to disentangle these variables. Additionally, the authors noted a “realism-verbosity paradox,” where the lack of non-verbal cues in the simulation diminished the perceived authenticity of interactions. To address this, future iterations will incorporate real-time procedural animations based on the LLM’s emotional state. The models used included GPT-4o-mini for generating patient responses and GPT-4o for evaluating interactions, with all components configured for Brazilian Portuguese. The prompt structure for the virtual patient was modular, ensuring continuity and adherence to personality and clinical constraints throughout the dialogue.
Results
In the Results section, the findings from a user study are systematically presented, based on self-report questionnaires utilizing a 5-point Likert scale, with mean values (M) reported for quantitative data. The analysis is structured into three main categories: Participant-Related Results, Patient-Related Results, and LLM-Generated Results.
The Participant-Related Results focus on the overall user experience, examining factors such as prior familiarity with the technology, simulator sickness, engagement, and cognitive workload. The Patient-Related Results address the core research questions by evaluating physicians’ perceptions regarding the virtual patients’ personality, behavioral consistency, and realism. Lastly, the LLM-Generated Results involve a quantitative analysis of a synthetic dataset comprising 3,000 patient responses, derived from 500 simulated consultations. This dataset facilitates a controlled evaluation of the framework’s robustness, with assessments focusing on disease consistency and personality consistency across the generated patient interactions.
Discussion
The research paper discusses the integration of large language models (LLMs) into virtual reality (VR) environments to enhance medical training through the creation of psychologically nuanced virtual patients. The study addresses the limitations of current VR applications in medical education, particularly in training interpersonal skills, by proposing a framework that allows for the simulation of distinct patient personalities. This modular architecture separates personality traits from clinical data, enabling the development of virtual patients that exhibit consistent and coherent behaviors during simulated consultations. The findings from a mixed-methods study involving licensed physicians indicate that this approach is both feasible and perceived as a valuable enhancement to training, with key design principles identified, such as the “realism-verbosity paradox” and the necessity for challenges to be clinically authentic.
The paper emphasizes the importance of personality in digital agents, noting that personality traits significantly influence engagement, trust, and learning outcomes. By employing a structured framework that incorporates patient identity, backstory, personality profile, and disease card, the authors ensure that virtual patients behave consistently and realistically throughout interactions. The study’s methodology included a within-subjects design where physicians interacted with virtual patients exhibiting different personalities, allowing for an analysis of how these traits impacted clinical interaction strategies and perceptions of realism. Results from user engagement assessments and cognitive workload evaluations suggest that the immersive experience provided by personality-driven virtual patients is not only engaging but also effective in fostering the development of essential communication skills in medical education.
Limitations
The study highlights the potential of personality-driven virtual patients, yet it recognizes several limitations that warrant further investigation. These limitations may include constraints related to the generalizability of the findings, the representativeness of the virtual patients, and the methodologies employed in the research. Addressing these issues could enhance the robustness of the results and expand the applicability of personality-driven virtual patients in various contexts.
Future research should focus on refining the design of virtual patients to better reflect diverse personality traits and clinical scenarios. Additionally, longitudinal studies could provide insights into the long-term effectiveness and adaptability of these virtual patients in educational and therapeutic settings. By tackling these limitations, subsequent studies can contribute to a more comprehensive understanding of the role of personality in virtual patient interactions.