DOI: https://doi.org/10.3389/fcomp.2026.1799323
تاريخ النشر: 2026-03-12
المؤلف: Santiago Berrezueta-Guzman وآخرون
الموضوع الرئيسي: تطبيقات وتأثيرات الواقع الافتراضي
نظرة عامة
تقدم ورقة البحث TUMSphere، وهي منصة تعليمية مبتكرة للواقع الافتراضي (VR) مصممة لتعزيز الانتقال الأكاديمي والثقافي للطلاب الدوليين. على عكس التطبيقات التقليدية التي تستخدم شخصيات غير لاعب (NPCs) مكتوبة مسبقًا، تستخدم TUMSphere بنية معيارية تدمج نماذج اللغة الكبيرة (LLMs) مع Unreal Engine من خلال منصة الذكاء الاصطناعي المحادثاتي (Convai). يسمح هذا الدمج بإنشاء شخصيات غير لاعب متجسدة قادرة على التعرف على الكلام في الوقت الحقيقي، والحوار الواعي بالسياق، والتنقل المكاني المستقل. تم تقييم قابلية استخدام النظام وفعاليته التعليمية من خلال دراسة مستخدمين مختلطة شملت 24 طالبًا دوليًا، مما أسفر عن حصوله على درجة عالية في مقياس قابلية استخدام النظام (SUS) بلغت 76.4 ومعدلات إكمال مهام شبه مثالية للتنقل واسترجاع المعلومات. كما أفاد المشاركون بتقليل كبير في القلق الاجتماعي عند التفاعل مع وكلاء الذكاء الاصطناعي مقارنةً بنظرائهم من البشر.
في الختام، تُظهر TUMSphere إمكانيات دمج الواقع الافتراضي والذكاء الاصطناعي التوليدي لإنشاء أدلة حرم جامعي ديناميكية وتفاعلية تقدم الدعم الأساسي للطلاب الدوليين. تسلط الدراسة الضوء على أهمية التجسيد في الواقع الافتراضي، موضحة أن وكلاء الذكاء الاصطناعي يجب أن يشاركوا بنشاط في الفضاء ثلاثي الأبعاد لتعزيز تجربة المستخدم. بينما توفر المنصة بنجاح بيئة منخفضة القلق لممارسة مهارات اللغة والاستفسارات الإدارية، لا تزال هناك تحديات في معالجة “تجارة التأخير-الحضور”، حيث يمكن أن تؤدي تأخيرات المعالجة إلى تعطيل التجربة الغامرة. بشكل عام، تشير النتائج إلى أن TUMSphere يمكن أن تعيد تعريف أنظمة دعم الطلاب في التعليم العالي، على الرغم من الحاجة إلى مزيد من التطوير للانتقال من النموذج الأولي إلى أداة جاهزة للإنتاج.
مقدمة
تناقش مقدمة ورقة البحث الأهمية المتزايدة لألعاب الواقع الافتراضي التعليمية (VR) كأداة تعليمية غامرة، مما يسمح للطلاب بالمشاركة في بيئات تفاعلية للاستكشاف وممارسة المهارات. يتم تسليط الضوء على أنواع مختلفة من ألعاب الواقع الافتراضي التعليمية، بما في ذلك المختبرات الافتراضية، والمحاكيات التاريخية، وبيئات تعلم اللغة، ومحاكيات التدريب المهني. من المتوقع أن يتوسع سوق الواقع الافتراضي التعليمي بشكل كبير، مما يشير إلى اهتمام قوي بهذه التكنولوجيا، خاصة في سياق التعليم عن بُعد بعد الانتقال إلى التعلم عبر الإنترنت.
تتناقض الورقة بين تجارب الواقع الافتراضي التعليمية التقليدية، التي تعتمد غالبًا على التفاعلات المكتوبة مسبقًا والسيناريوهات المصممة مسبقًا، مع قدرات نماذج اللغة الكبيرة (LLMs) التي تعزز التفاعلية والتخصيص. يمكن لنماذج اللغة الكبيرة، مثل GPT، المشاركة في محادثات بلغة طبيعية، مما يوفر استجابات مخصصة وتدريسًا تكيفيًا، وبالتالي يقدم تجربة تعلم أكثر ديناميكية. يتم اقتراح دمج شخصيات غير لاعب ذكية مدعومة بنماذج اللغة الكبيرة (LLMs) في بيئات الواقع الافتراضي التعليمية كوسيلة لإنشاء تفاعلات أكثر جاذبية وتخصيصًا. تقدم الورقة دراسة حالة حول TUMSphere، وهي منصة تعليمية جديدة للواقع الافتراضي لطلاب هندسة المعلومات في الفصل الدراسي الأول، والتي تتضمن هذه الشخصيات الذكية لتسهيل التفاعلات الطبيعية، وتقديم الإرشادات، ودعم التكيف الثقافي للطلاب الدوليين، باستخدام تقنيات متقدمة مثل Unreal Engine وملحقات الذكاء الاصطناعي المحادثاتي.
الطرق
في هذا القسم، يصف المؤلفون إعداد التجربة وطرق التقييم المستخدمة لتقييم منصة TUMSphere، التي تدمج شخصيات غير لاعب مدعومة بنماذج اللغة الكبيرة (LLMs). تتكون استراتيجية التقييم من مكونين: دراسة مستخدمين تركز على قابلية الاستخدام التعليمية من منظور الطالب، وتقييم الأداء الذي يفحص الجوانب التقنية مثل التأخير واستهلاك الموارد. تضمنت الإجراءات التجريبية ثلاث مراحل تستغرق حوالي 45 دقيقة لكل مشارك: الانضمام، وتنفيذ المهام، وتقييم ما بعد التجربة. خلال الانضمام، تم تقديم المشاركين لبروتوكولات السلامة وآليات الواقع الافتراضي. في مرحلة تنفيذ المهام، شاركوا في “صيد الكنز في الحرم الجامعي”، حيث تفاعلوا مع ثلاثة نماذج لشخصيات غير لاعب لإكمال مهام محددة تتعلق باسترجاع المعلومات، والتنقل، وممارسة اللغة. شمل تقييم ما بعد التجربة مقابلات شبه منظمة تم تحليلها من خلال تحليل موضوعي انعكاسي، محققةً κ لكوهين بلغ 0.82 لتوافق المقيمين.
ركزت منهجية قياس التأخير على مقياس الوقت إلى الصوت (TTA)، الذي يلتقط المدة من لحظة تحرير المستخدم لزر “التحدث” إلى لحظة عرض الإطار الصوتي الأول. يشمل هذا التأخير من النهاية إلى النهاية أربع مراحل: عملية التحميل وتحويل الكلام إلى نص (STT)، تليها استدلال نماذج اللغة الكبيرة (LLM) لتوليد استجابة نصية. تهدف هذه الإطار الشامل للتقييم إلى التحقق من كل من تجربة المستخدم والأداء الفني لمنصة TUMSphere.
النتائج
يستعرض قسم النتائج النتائج المستخلصة من كل من تقييم الأداء وتقييمات المستخدمين للنظام. تركز التحليلات الأولية على الجدوى التقنية للنظام، مع فحص تأخير الاستجابة واستقرار العرض. بعد ذلك، يتم تقديم مقاييس تفاعل المستخدم، ودرجات القابلية للاستخدام، والتعليقات النوعية من مهام محاكاة الحرم الجامعي.
حددت النتائج النوعية من المقابلات شبه المنظمة ثلاثة مواضيع بارزة تتعلق بنموذج التفاعل. توفر هذه المواضيع رؤى حول تجارب المستخدمين وإدراكاتهم، مما يسلط الضوء على مجالات التحسين المحتملة والتطوير الإضافي للنظام.
المناقشة
تسلط قسم المناقشة في الورقة الضوء على دمج نماذج اللغة الكبيرة (LLMs) في بيئات التعليم بالواقع الافتراضي (VR)، مع التأكيد على إمكانياتها لتعزيز تجارب التعلم الغامرة. يتم مراجعة دراسات مختلفة، تعرض تطبيقات مبتكرة لشخصيات غير لاعب مدعومة بنماذج اللغة الكبيرة (LLMs) مصممة لتسهيل التفاعلات الشخصية ودعم احتياجات المتعلمين. على سبيل المثال، طور McKern وآخرون (2024) نظامًا مزدوج القناة يجمع بين نماذج المحادثة والحركة، مما أدى إلى شخصيات غير لاعب تم إنشاؤها بواسطة الذكاء الاصطناعي تفوقت على الحركات المسجلة بشريًا من حيث الفهم. قدم Liu وآخرون (2024) ClassMeta، وهو زميل افتراضي مدعوم بـ GPT-4، مما حسّن بشكل كبير من تفاعل الطلاب ونتائج التعلم في فصول الواقع الافتراضي. تشمل المساهمات البارزة الأخرى ELLMA-T، الذي قلل من قلق التحدث بين متعلمي اللغة (Pan وآخرون، 2025)، و”الدراسة مع كونفوشيوس”، وهي منصة تعلم قائمة على الألعاب عززت الاحتفاظ بالمعرفة في الأدب الكلاسيكي (Luo وآخرون، 2024).
يتناول القسم أيضًا التحديات التي تواجه دمج LLM-VR، مثل التأخير العالي في الاستجابة والحاجة إلى إشارات غير لفظية أكثر دقة. تجادل الورقة بأهمية تطوير هياكل ذاكرة متقدمة وقدرات التعبير العاطفي لتعزيز التعلم التكيفي على المدى الطويل. علاوة على ذلك، تقارن بين جولات الحرم الجامعي الافتراضية الحالية، التي تعتمد غالبًا على التصورات الثابتة، مع منصة TUMSphere، التي تستخدم بنية معيارية لإنشاء وكلاء متجسدين بالكامل قادرين على التفاعلات الديناميكية. تهدف هذه المقاربة إلى تخفيف القلق الاجتماعي والارتباك للطلاب الدوليين خلال انتقالهم إلى الحياة الجامعية، مما يعزز في النهاية التجربة التعليمية من خلال الإرشاد الشخصي والانخراط الغامر.
القيود
تقدم الدراسة عدة قيود تؤثر على نتائجها. أولاً، حجم العينة الصغيرة (N = 24) والتركيز على حرم جامعي واحد يحد من إمكانية تعميم النتائج الكمية. بالإضافة إلى ذلك، استخدمت الدراسة أجهزة متطورة (RTX 4090) من خلال Air Link، مما قد لا يعكس قيود الأداء التي يتم مواجهتها عند نشر النظام على سماعات رأس مستقلة، مثل Meta Quest 3.
علاوة على ذلك، بينما قلل تنفيذ بنك المعرفة بشكل كبير من حدوث الهلاوس، إلا أنه لم يقضِ عليها تمامًا. تم ملاحظة حالات قدمت فيها شخصيات غير لاعب (NPCs) معلومات معقولة ولكن غير صحيحة بشأن مواعيد جامعية محددة لم يتم تغطيتها في الوثائق المرفوعة. يبرز هذا ضرورة وجود تدابير أمان قوية في الذكاء الاصطناعي التعليمي، حيث يمكن أن تؤدي المعلومات الخاطئة إلى عواقب أكاديمية في العالم الحقيقي. أخيرًا، لاحظت الدراسة “أثر الجدة”، كما يتضح من الدرجات العالية في استبيان تجربة المستخدم (UEQ) للجدة. هناك حاجة إلى مزيد من البحث لتقييم ما إذا كان تفاعل الطلاب يبقى مرتفعًا مع مرور الوقت أو يتناقص مع تلاشي جاذبية التفاعل مع شخصية افتراضية.
DOI: https://doi.org/10.3389/fcomp.2026.1799323
Publication Date: 2026-03-12
Author(s): Santiago Berrezueta-Guzman et al.
Primary Topic: Virtual Reality Applications and Impacts
Overview
The research paper introduces TUMSphere, an innovative educational Virtual Reality (VR) platform designed to enhance the academic and cultural transition for international students. Unlike traditional applications that utilize pre-scripted Non-Player Characters (NPCs), TUMSphere employs a modular architecture that integrates Large Language Models (LLMs) with Unreal Engine through the Conversational AI (Convai) platform. This integration allows for the creation of embodied NPCs capable of real-time speech recognition, context-aware dialogue, and autonomous spatial navigation. A mixed-methods user study involving 24 international students assessed the system’s usability and pedagogical efficacy, yielding a high System Usability Scale (SUS) score of 76.4 and nearly perfect task completion rates for navigation and information retrieval. Participants also reported a significant reduction in social anxiety when interacting with AI agents compared to human counterparts.
In conclusion, TUMSphere exemplifies the potential of combining VR and generative AI to create dynamic, conversational campus guides that provide essential support for international students. The study highlights the importance of embodiment in VR, demonstrating that AI agents must actively participate in the 3D space to enhance user experience. While the platform successfully offers a low-anxiety environment for practicing language skills and administrative inquiries, challenges remain in addressing the “latency-presence trade-off,” where processing delays can disrupt the immersive experience. Overall, the findings suggest that TUMSphere could redefine student support systems in higher education, although further development is needed to transition from prototype to a production-ready tool.
Introduction
The introduction of the research paper discusses the growing significance of educational Virtual Reality (VR) gaming as an immersive learning tool, allowing students to engage in interactive environments for exploration and skill practice. Various types of educational VR games are highlighted, including virtual laboratories, historical simulations, language learning environments, and professional training simulations. The market for educational VR is projected to expand significantly, indicating a robust interest in this technology, particularly in the context of remote education following the shift to online learning.
The paper contrasts traditional educational VR experiences, which often rely on scripted interactions and pre-designed scenarios, with the capabilities of large language models (LLMs) that enhance interactivity and personalization. LLMs, such as GPT, can engage in natural language conversations, providing tailored responses and adaptive tutoring, thus offering a more dynamic learning experience. The integration of intelligent non-player characters (NPCs) powered by LLMs into educational VR environments is proposed as a means to create more engaging and personalized interactions. The paper presents a case study on TUMSphere, a novel educational VR platform for first-semester Information Engineering students, which incorporates these intelligent NPCs to facilitate natural interactions, provide guidance, and support cultural adaptation for international students, utilizing advanced technologies like Unreal Engine and conversational AI plugins.
Methods
In this section, the authors describe the experimental setup and evaluation methods used to assess the TUMSphere platform, which integrates LLM-powered non-player characters (NPCs). The evaluation strategy consists of two components: a User Study focusing on pedagogical usability from the student’s perspective, and a Performance Evaluation examining technical aspects such as latency and resource consumption. The experimental procedure involved three phases lasting approximately 45 minutes per participant: onboarding, task execution, and post-experience evaluation. During onboarding, participants were introduced to safety protocols and VR mechanics. In the task execution phase, they engaged in a “Campus Scavenger Hunt,” interacting with three NPC archetypes to complete specific tasks related to information retrieval, navigation, and language practice. The post-experience evaluation included semi-structured interviews analyzed through reflexive thematic analysis, achieving a Cohen’s κ of 0.82 for inter-rater agreement.
The latency measurement methodology focused on the Time-to-Audio (TTA) metric, which captures the duration from when the user releases the “talk” button to when the first audio frame is rendered. This end-to-end latency includes four stages: the upload and speech-to-text (STT) process, followed by large language model (LLM) inference for generating the text response. This comprehensive evaluation framework aims to validate both the user experience and the technical performance of the TUMSphere platform.
Results
The results section outlines the findings from both performance benchmarking and user evaluations of the system. Initial analyses focus on the system’s technical viability, specifically examining response latency and rendering stability. Following this, user engagement metrics, usability scores, and qualitative feedback from campus simulation tasks are presented.
Qualitative findings from semi-structured interviews identified three predominant themes related to the interaction paradigm. These themes provide insights into user experiences and perceptions, highlighting areas for potential improvement and further development of the system.
Discussion
The discussion section of the paper highlights the integration of large language models (LLMs) in virtual reality (VR) educational environments, emphasizing their potential to enhance immersive learning experiences. Various studies are reviewed, showcasing innovative applications of LLM-powered non-player characters (NPCs) designed to facilitate personalized interactions and support learners’ needs. For instance, McKern et al. (2024) developed a dual-channel system that combines conversational and movement models, resulting in AI-generated NPCs that outperformed human-recorded movements in understandability. Liu et al. (2024) introduced ClassMeta, a GPT-4-powered virtual classmate that significantly improved student engagement and learning outcomes in VR classrooms. Other notable contributions include ELLMA-T, which reduced speaking anxiety among language learners (Pan et al., 2025), and “Study with Confucius,” a game-based learning platform that enhanced knowledge retention in classical literature (Luo et al., 2024).
The section also addresses the challenges faced in LLM-VR integration, such as high response latency and the need for more nuanced non-verbal cues. The paper argues for the importance of developing advanced memory architectures and emotional expression capabilities to foster long-term adaptive learning. Furthermore, it contrasts existing virtual campus tours, which often rely on static visualizations, with the TUMSphere platform, which utilizes a modular architecture to create fully embodied agents capable of dynamic interactions. This approach aims to alleviate social anxiety and confusion for international students during their transition to university life, ultimately enhancing the educational experience through personalized guidance and immersive engagement.
Limitations
The study presents several limitations that impact its findings. Firstly, the small sample size (N = 24) and the focus on a single university campus restrict the generalizability of the quantitative results. Additionally, the research utilized high-end hardware (RTX 4090) through Air Link, which may not reflect the performance constraints encountered when deploying the system on standalone headsets, such as the Meta Quest 3.
Moreover, while the implementation of a Knowledge Bank significantly reduced the occurrence of hallucinations, it did not completely eliminate them. Instances were noted where non-player characters (NPCs) provided plausible yet incorrect information regarding specific university deadlines not covered in the uploaded documents. This highlights the necessity for robust safeguards in educational AI, as misinformation can lead to real-world academic repercussions. Lastly, the study noted a “Novelty Effect,” indicated by high scores on the User Experience Questionnaire (UEQ) for novelty. Future research is needed to assess whether student engagement remains high over time or diminishes as the novelty of interacting with a virtual character wears off.