تقييم تأثير الجدة في تجارب التعلم الغامرة بالواقع الافتراضي
Evaluation of the novelty effect in immersive Virtual Reality learning experiences

المجلة: Virtual Reality، المجلد: 28، العدد: 1
DOI: https://doi.org/10.1007/s10055-023-00926-5
تاريخ النشر: 2024-01-21
المؤلف: Ines Miguel-Alonso وآخرون
الموضوع الرئيسي: تطبيقات وتأثيرات الواقع الافتراضي

نظرة عامة

تستكشف هذه الدراسة تأثير novelty المرتبط بتجارب التعلم في الواقع الافتراضي الغامر (iVR)، وخاصة تأثيره على نتائج التعلم بين طلاب السنة الأولى الجامعية. تهدف البحث إلى تقييم فعالية درس iVR مصمم للتخفيف من تأثير novelty أثناء مهمة التعلم التي تتضمن تجميع جهاز كمبيوتر شخصي. تم تقسيم 86 طالبًا إلى مجموعة تحكم (بدون الدرس) ومجموعة معالجة (مع الدرس). استخدمت الدراسة استبيانات قبل وبعد الاختبار لتقييم عوامل مختلفة، بما في ذلك المعرفة السابقة، وقابلية الاستخدام، والرضا، ونتائج التعلم المصنفة إلى تذكر، وفهم، وتقييم. أظهرت النتائج أن الدرس عزز بشكل كبير الرضا العام، وقلل من وقت التعلم لميكانيكا iVR، وحسن الفهم والمعرفة بالتقييم، مما أفاد بشكل خاص الطلاب ذوي الخبرة السابقة الأقل.

تشير النتائج إلى أنه بينما يمكن أن يؤثر تأثير novelty في البداية على المستخدمين، إلا أنه قد يؤدي إلى التركيز على التكنولوجيا بدلاً من تطبيقاتها العملية، مما قد يؤدي إلى عدم الاستفادة الكاملة. تم هيكلة درس iVR في أربعة وحدات، تغطي التفاعلات من الأساسية إلى المعقدة وت culminate في التجميع غير الموجه، مما سمح للطلاب بتطبيق معرفتهم بشكل إبداعي. على الرغم من النتائج الإيجابية، أظهر مجموعة صغيرة من الطلاب أداءً منخفضًا، مما يشير إلى أن المعرفة السابقة قد تلعب دورًا أكثر أهمية في نتائج التعلم من تأثير novelty نفسه. يقترح المؤلفون أبحاثًا مستقبلية لاستكشاف تجارب التعلم الشخصية، وعودة ظهور تأثير novelty، ودمج الذكاء الاصطناعي لتكييف المهام مع سرعات التعلم الفردية، مع التأكيد على الحاجة إلى نهج مخصص في تعليم iVR.

مقدمة

تسلط مقدمة هذه الورقة البحثية الضوء على الاهتمام المتزايد في تطبيقات الواقع الافتراضي الغامر (iVR) منذ ظهور أجهزة iVR بأسعار معقولة حوالي عام 2015. على الرغم من هذا الاهتمام، كانت فعالية iVR في تعزيز نتائج التعلم محدودة، حيث أظهرت حوالي 30% فقط من الدراسات تأثيرات إيجابية مقارنة بأساليب التدريس التقليدية. تعتبر “تأثير novelty” مصدر قلق كبير، والذي يشير إلى الحمل المعرفي الذي يعاني منه المستخدمون المبتدئون أثناء تنقلهم في تفاعلات غير مألوفة داخل بيئة iVR. يمكن أن يؤثر هذا التأثير على تركيزهم على مهام التعلم، مما يؤدي إلى انخفاض المشاركة ونقل المعرفة. علاوة على ذلك، بينما قد تعزز الإثارة الأولية الدافع، إلا أنها غالبًا لا تترجم إلى تحسين نتائج التعلم، حيث قد يصبح المستخدمون مشتتين أو مركزين بشكل مفرط على إتقان التكنولوجيا بدلاً من المحتوى التعليمي.

لمعالجة هذه التحديات، تناقش الورقة إمكانية الدروس المنظمة داخل الألعاب الجادة في iVR للتخفيف من تأثير novelty. من خلال توفير تدريب مسبق يعتاد المستخدمين على بيئة iVR والتحكمات، يمكن أن تعزز هذه الدروس مشاركة المستخدم وكفاءة التعلم. يشير المؤلفون إلى أن الأبحاث الحالية أظهرت نجاحات متفاوتة مع تصميمات دروس مختلفة، مما يبرز الحاجة إلى اعتبار دقيق للجوانب الفريدة لـ iVR، مثل الانغماس ومخاطر مرض السيبرانية. تهدف الدراسة إلى تقييم منهجي لتأثير درس iVR على أداء التعلم من خلال مقارنة مجموعة معالجة تتلقى الدرس مع مجموعة تحكم لا تتلقاه. يسعى هذا النهج إلى سد فجوة بحثية بشأن فعالية الدروس في التغلب على تأثير novelty في تجارب التعلم في iVR، مع منهجية قوية تشمل حجم عينة كبير ومؤشرات أداء متنوعة. ستفصل الأقسام التالية من الورقة تطوير لعبة iVR الجادة، وطرق التقييم المستخدمة، والنتائج من الدراسة.

النتائج

في قسم النتائج والمناقشة، يقدم المؤلفون نتائج من استبيان قابلية الاستخدام والرضا، إلى جانب تحسينات الأداء والتعلم التي تم تقييمها من خلال مقارنات قبل وبعد الاختبار. يبرزون التباين في النتائج، وهي مشكلة شائعة في أبحاث التعليم في الواقع الافتراضي الغامر (iVR)، وغالبًا ما ترتبط بأحجام عينات صغيرة. على الرغم من الجهود المبذولة لتضمين عدد كبير من المشاركين – 20 أو أكثر في معظم المجموعات، مع استثناء واحد من 17 – إلا أن التباين ظل كبيرًا. يتماشى هذا مع التوصيات من المراجعات الأخيرة التي تدعو إلى أحجام عينات أكبر في دراسات iVR.

يقارن المؤلفون نتائجهم مع دراسات مشابهة، مثل Parong & Mayer (2021)، التي حللت تأثيرات iVR مقابل العروض التقليدية باستخدام قياسات حيوية، على الرغم من أن مجموعات المشاركين كانت أصغر. يشيرون إلى انحرافات معيارية عالية في نتائج التعلم، مما يدل على تباين كبير (25-40% لدرجات الاحتفاظ و44-65% لدرجات النقل). بالإضافة إلى ذلك، يشيرون إلى Selzer et al. (2019)، الذين أبلغوا أيضًا عن انحرافات معيارية عالية في نتائجهم مع مجموعات أصغر. بسبب عدم وجود دلالة إحصائية في نتائجهم عند تطبيق اختبارات قياسية مثل اختبار T لطلاب أو ANOVA، لجأ المؤلفون إلى طرق إحصائية بديلة، بما في ذلك اختبار كاي-تربيع، وألفا كرونباخ، وصيغة كودر-ريتشاردسون، لتحليل بياناتهم بشكل أفضل.

المناقشة

تناقش البحث تطوير والتحقق من صحة لعبة iVR الجادة “PC Virtual LAB”، المصممة لتعليم تجميع أجهزة الكمبيوتر من خلال تجربة واقع افتراضي غامر. تم إنشاؤها في البداية لاستكشاف منهجيات التعلم المعتمدة على VR، تهدف اللعبة إلى تعزيز فهم الطلاب لمكونات الكمبيوتر وتسهيل التعلم الذاتي في بيئة خالية من المخاطر. تحدد الدراسة التحديات مثل تأثير novelty، الذي قد يعيق نتائج التعلم، وتقترح درسًا تمهيديًا للتخفيف من هذه القضايا. يتم هيكلة الدرس حول مبادئ من نظرية التعلم المتعددة الوسائط، مع التركيز على استخدام الوسائط المتعددة، والإشارة، والتماسك، والازدواجية، والتخصيص لتحسين مشاركة المستخدم وفهمه.

تم تقييم تجربة التعلم من خلال دراسة مقارنة تشمل مجموعة معالجة، استخدمت الدرس، ومجموعة تحكم، لم تستخدمه. خضع المشاركون لاختبار مسبق، وشاركوا في تجربة التعلم في iVR، وأكملوا اختبارًا لاحقًا لتقييم اكتساب المعرفة. أظهرت النتائج أنه بينما أبلغت المجموعتان عن مستويات رضا عالية، أظهرت مجموعة المعالجة تحسينًا في المشاركة والمهارات، على الرغم من أن الفروق لم تكن ذات دلالة إحصائية. كشفت مقاييس الأداء أن مجموعة المعالجة قضت وقتًا أقل في المراحل الأولية من اللعبة، مما يشير إلى أن الدرس زودهم بمهارات أساسية بشكل فعال. ومع ذلك، واجهوا تحديات في المهام الأكثر تعقيدًا، ربما بسبب انخفاض المعرفة السابقة، مما أدى إلى زيادة أوقات الإنجاز. بشكل عام، تؤكد النتائج على إمكانية دروس iVR لتعزيز تجارب التعلم، بينما تبرز أيضًا مجالات لمزيد من البحث لتحسين مشاركة المستخدم وأدائه في تطبيقات VR التعليمية.

القيود

تسلط قيود الدراسة الضوء على عدة عوامل قد تؤثر على تعميم وتفسير النتائج المتعلقة بتجارب التعليم المعتمدة على iVR. مصدر قلق رئيسي هو حجم العينة والتباين، حيث التزمت الدراسة بحجم عينة موصى به من 20 مشاركًا لكل مجموعة، ومع ذلك، تشير التباينات العالية في النتائج إلى تصورات متنوعة بين المشاركين. بينما كشفت الاختبارات الإحصائية مثل اختبار كاي تربيع عن اختلافات كبيرة في اكتساب المعرفة، لم تظهر تحليلات أخرى مثل اختبارات t المزدوجة وANOVA اختلافات كبيرة، على الأرجح بسبب حجم العينة المحدود وطبيعة التصميم التجريبي. كما أن تعقيد أسئلة التقييم شكل تحديات، حيث تجنب بعض المشاركين الإجابة عليها، مما قد يقدم انحيازًا.

بالإضافة إلى ذلك، تم الاعتراف بحدوث مرض السيبرانية في مجموعة فرعية من المشاركين، على الرغم من أنها كانت صغيرة نسبيًا، كقيود قد تؤثر على الرضا العام والأداء. لم يتضمن تصميم الدراسة درسًا تمهيديًا تقليديًا، مما قد يؤثر على المشاركين بمستويات مختلفة من المعرفة السابقة. يُقترح إجراء أبحاث مستقبلية لتحسين أسئلة التقييم، ودمج تدابير للتخفيف من مرض السيبرانية، واستكشاف تأثير المعرفة السابقة على نتائج التعلم. علاوة على ذلك، تثير التباينات في مستويات المشاركة بين المجموعات وانخفاض الأداء الملحوظ خلال المرحلة النهائية من تجربة iVR تساؤلات حول مدة تأثير novelty وتصميم تجربة التعلم في iVR نفسها، مما يشير إلى مجالات لمزيد من التحقيق.

Journal: Virtual Reality, Volume: 28, Issue: 1
DOI: https://doi.org/10.1007/s10055-023-00926-5
Publication Date: 2024-01-21
Author(s): Ines Miguel-Alonso et al.
Primary Topic: Virtual Reality Applications and Impacts

Overview

This study investigates the novelty effect associated with immersive Virtual Reality (iVR) learning experiences, particularly its impact on learning outcomes among first-year undergraduate students. The research aims to assess the effectiveness of an iVR tutorial designed to mitigate the novelty effect during a learning task involving the assembly of a personal computer. A total of 86 students were divided into a Control group (without the tutorial) and a Treatment group (with the tutorial). The study utilized pre-and post-test questionnaires to evaluate various factors, including previous knowledge, usability, satisfaction, and learning outcomes categorized into remembering, understanding, and evaluation. Results indicated that the tutorial significantly enhanced overall satisfaction, reduced learning time for iVR mechanics, and improved understanding and evaluation knowledge, particularly benefiting students with less prior experience.

The findings suggest that while the novelty effect can initially engage users, it may lead to a focus on the technology rather than its practical applications, potentially resulting in underutilization. The iVR tutorial was structured into four modules, covering basic to complex interactions and culminating in unguided assembly, which allowed students to apply their knowledge creatively. Despite the positive outcomes, a small subset of students still exhibited low performance, indicating that prior knowledge may play a more critical role in learning outcomes than the novelty effect itself. The authors propose future research to explore personalized learning experiences, the re-emergence of the novelty effect, and the integration of artificial intelligence to adapt tasks to individual learning paces, emphasizing the need for tailored approaches in iVR education.

Introduction

The introduction of this research paper highlights the growing interest in immersive Virtual Reality (iVR) applications since the advent of affordable iVR hardware around 2015. Despite this interest, the effectiveness of iVR in enhancing learning outcomes has been limited, with only about 30% of studies demonstrating positive impacts compared to traditional teaching methods. A significant concern is the “novelty effect,” which refers to the cognitive load experienced by novice users as they navigate unfamiliar interactions within the iVR environment. This effect can detract from their focus on learning tasks, leading to lower engagement and knowledge transfer. Furthermore, while initial excitement may boost motivation, it often does not translate into improved learning outcomes, as users may become distracted or overly focused on mastering the technology rather than the educational content.

To address these challenges, the paper discusses the potential of structured tutorials within iVR serious games to mitigate the novelty effect. By providing pre-training that familiarizes users with the iVR environment and controls, these tutorials can enhance user engagement and learning efficiency. The authors note that existing research has shown varying success with different tutorial designs, emphasizing the need for careful consideration of the unique aspects of iVR, such as immersion and the risk of cybersickness. The study aims to systematically evaluate the impact of an iVR tutorial on learning performance by comparing a treatment group that receives the tutorial with a control group that does not. This approach seeks to fill a research gap regarding the effectiveness of tutorials in overcoming the novelty effect in iVR learning experiences, with a robust methodology that includes a significant sample size and diverse performance indicators. Subsequent sections of the paper will detail the development of the iVR serious game, the evaluation methods employed, and the findings from the study.

Results

In the Results and Discussion section, the authors present findings from a usability and satisfaction survey, alongside performance and learning improvements assessed through pre-post-test comparisons. They highlight the variability in results, a common issue in immersive virtual reality (iVR) educational research, often linked to small sample sizes. Despite efforts to include a substantial number of participants—20 or more in most groups, with one exception of 17—the variability remained significant. This aligns with recommendations from recent reviews advocating for larger sample sizes in iVR studies.

The authors compare their findings with similar studies, such as Parong & Mayer (2021), which analyzed the effects of iVR versus traditional presentations using biometric measures, albeit with smaller participant groups. They note high standard deviations in learning outcomes, indicating considerable variability (25-40% for retention scores and 44-65% for transfer scores). Additionally, they reference Selzer et al. (2019), who also reported high standard deviations in their findings with smaller groups. Due to the lack of statistical significance in their results when applying standard tests like the Student’s T-test or ANOVA, the authors resorted to alternative statistical methods, including the Chi-Square test, Cronbach’s alpha, and the Kuder-Richardson formula, to better analyze their data.

Discussion

The research discusses the development and validation of the iVR serious game “PC Virtual LAB,” designed to teach computer hardware assembly through an immersive virtual reality experience. Initially created to explore VR-based learning methodologies, the game aims to enhance students’ understanding of computer components and facilitate autonomous learning in a risk-free environment. The study identifies challenges such as the novelty effect, which may hinder learning outcomes, and proposes an introductory tutorial to mitigate these issues. The tutorial is structured around principles from the Cognitive Theory of Multimedia Learning, emphasizing multimedia use, signaling, coherence, redundancy, and personalization to optimize user engagement and comprehension.

The learning experience was evaluated through a comparative study involving a Treatment group, which utilized the tutorial, and a Control group, which did not. Participants underwent a pre-test, engaged in the iVR learning experience, and completed a post-test to assess knowledge acquisition. Results indicated that while both groups reported high satisfaction levels, the Treatment group demonstrated improved engagement and skill, although differences were not statistically significant. Performance metrics revealed that the Treatment group spent less time on initial stages of the game, suggesting that the tutorial effectively equipped them with foundational skills. However, they faced challenges in more complex tasks, potentially due to lower prior knowledge, leading to increased completion times. Overall, the findings underscore the potential of iVR tutorials to enhance learning experiences, while also highlighting areas for further research to optimize user engagement and performance in educational VR applications.

Limitations

The limitations of the study highlight several factors that may affect the generalizability and interpretation of the findings regarding iVR-based educational experiences. A primary concern is the sample size and variability, as the study adhered to a recommended sample size of 20 participants per group, yet the high scatter in results indicates diverse perceptions among participants. While statistical tests like the Chi Square test revealed significant differences in knowledge acquisition, other analyses such as paired sampled t-tests and ANOVA did not show significant differences, likely due to the limited sample size and the nature of the experimental design. The complexity of evaluation questions also posed challenges, as some participants avoided answering them, potentially introducing bias.

Additionally, the occurrence of cybersickness in a subset of participants, although relatively small, is acknowledged as a limitation that could impact overall satisfaction and performance. The study’s design did not include a traditional introductory lesson, which may have affected participants with varying levels of prior knowledge. Future research is suggested to refine evaluation questions, incorporate measures to mitigate cybersickness, and explore the influence of prior knowledge on learning outcomes. Furthermore, variations in engagement levels among groups and a noted decrease in performance during the final stage of the iVR experience raise questions about the duration of the novelty effect and the design of the iVR learning experience itself, indicating areas for further investigation.