DOI: https://doi.org/10.1109/tvcg.2025.3549537
PMID: https://pubmed.ncbi.nlm.nih.gov/40063468
تاريخ النشر: 2025-03-10
المؤلف: Yoonsang Kim وآخرون
الموضوع الرئيسي: تصوير البيانات والتحليلات
نظرة عامة
في هذه الورقة، قدمنا إطار عمل مبتكر شامل يسمى Explainable XR (EXR)، مصمم لتسجيل ومعالجة وتصوير سلوكيات المستخدمين في بيئات الواقع الممتد (XR) المختلفة. أحد المكونات الرئيسية لإطار عملنا هو موصّف إجراء المستخدم (UAD)، وهو تنسيق جديد يدمج بفعالية بيانات سلوكية متعددة الأنماط ومعلومات سياقية حول إجراءات المستخدم، مما يضمن الاتساق عبر بيئات افتراضية مختلفة وسيناريوهات متعددة المستخدمين.
لقد أظهرنا فائدة UAD في التقاط جلسات المستخدم الغامرة وأبرزنا فعالية واجهتنا البصرية المدعومة بنموذج اللغة الكبير (LLM)، والتي تعزز تجربة التحليل من خلال تقديم رؤى ذكية وإرشادات بصرية مخصصة. من خلال خمسة تطبيقات عملية للواقع الممتد، أجرينا تقييمًا شاملاً لـ EXR، مما يضعه كأداة قيمة للباحثين عبر تخصصات متعددة يسعون لدمج XR في دراساتهم وفهم تجارب المستخدمين بشكل أفضل ضمن هذه الإعدادات الغامرة.
مقدمة
تسلط المقدمة الضوء على التقدم الكبير في تقنيات الواقع الممتد (XR)، التي تشمل الواقع المعزز (AR) والواقع الافتراضي (VR) والواقع المختلط (MR). لقد حسنت هذه التقنيات بشكل ملحوظ تجارب المستخدمين من خلال تحويل استرجاع المعلومات، وتفاعل البيانات، والجهود التعاونية بين المستخدمين. وبالتالي، يتم دمج التقنيات الغامرة بشكل متزايد في مجالات متعددة التخصصات، بما في ذلك التعليم والرعاية الصحية والصناعة، مما يعكس أهميتها المتزايدة وتطبيقها عبر قطاعات متنوعة.
طرق
في هذا القسم، يقدم المؤلفون منهجيتهم لتطوير Explainable XR (EXR)، وهو إطار عمل شامل لتحليل سلوك المستخدمين مصمم لتعزيز تحليل وتصوير تفاعلات المستخدمين ضمن بيئات الواقع الممتد (XR) المختلفة. يتناول الإطار التعقيدات والأنماط المتنوعة لسلوك المستخدم التي تم تحديدها في تقنيات التفاعل الغامرة، والتي أظهرت اختلافًا كبيرًا عن الطرق التقليدية. من خلال التقاط وتفسير البيانات متعددة الأنماط – المكانية، الزمنية، البصرية، والصوتية – يهدف EXR إلى تقديم نهج منهجي لتقييم تفاعلات المستخدمين عبر تطبيقات XR متعددة.
تشمل الميزات الرئيسية لـ EXR موصّف إجراء المستخدم (UAD)، الذي يعمل كخطة معيارية لتسجيل إجراءات المستخدمين، ومسجل جلسات XR غير مرتبط بالمنصة يعتمد على Unity يسهل جمع البيانات. بالإضافة إلى ذلك، يتضمن الإطار واجهة تحليل بصرية قائمة على الويب تجمع بيانات تفاعل المستخدم في عرض واحد، مما يعزز قابلية التفسير. تسهل دمج نماذج اللغة الكبيرة (LLMs) أيضًا تحليل البيانات من خلال توليد ملخصات ورؤى مخصصة. يبرز المؤلفون مرونة الإطار من خلال تطبيقه في خمسة سيناريوهات XR متميزة، مما يظهر قدرته على دعم مجموعة واسعة من التجارب الغامرة، بما في ذلك التفاعلات عبر الواقع وسياقات متعددة المستخدمين.
نتائج
في هذا القسم، تسلط نتائج الدراسة الضوء على فعالية واجهة EXR في تحليل إجراءات ونوايا المستخدمين ضمن بيئات XR. قام المشاركون بتقييم الفائدة العامة للواجهة لتحليل الأنماط بشكل مرتفع، مع متوسط درجة \( \mu = 4.1 \). أكدت تعليقات المشاركين على فائدة عارض الرؤى، خاصة في تقييم وقت أداء المهام، وأشارت إلى نتائج مثيرة للاهتمام بشأن معدلات الخطأ المرتبطة بمجازات التفاعل المختلفة، تحديدًا أن التفاعلات المعتمدة على النظر أدت إلى المزيد من الأخطاء مقارنة بالتفاعلات المعتمدة على الأشعة.
بالإضافة إلى ذلك، ظهر عارض المخططات وعارض الفضاء كأكثر الأدوات استخدامًا لإكمال المهام، مما يمكن المشاركين من تحديد عدد ومدة التفاعلات بدقة. على سبيل المثال، أفاد أحد المشاركين بأن “Subject2 تفاعل مع 262 مكعبًا و27 كرة من خلال النظر ووحدة التحكم، وهو أكثر من Subject1.” تؤكد هذه النتائج قدرة الواجهة على تسهيل تحليل مفصل لسلوك المستخدمين في إعدادات XR.
مناقشة
في مناقشة ورقة البحث، يستعرض المؤلفون الأطر الحالية لالتقاط وتحليل سلوك المستخدمين في بيئات الواقع الممتد (XR)، مع تسليط الضوء على المساهمات الفريدة لنظامهم المقترح، EXR. يشيرون إلى أنه على الرغم من تطوير عدة أدوات، مثل MRAT وCognitive3D، لتسجيل إجراءات المستخدمين والبيانات الفسيولوجية، يتبنى EXR نهجًا أكثر تنظيمًا يركز على إجراءات المستخدم. يربط هذا الإطار جميع البيانات المتعقبة بإجراءات مستخدم محددة، مما يسمح بتحليل أكثر تركيزًا لسلوك المستخدم وسياقه مع تصفية البيانات غير ذات الصلة. بالإضافة إلى ذلك، يدعم EXR قابلية التوسع في سيناريوهات متعددة المستخدمين، مما يميزه عن الأنظمة الأخرى التي قد تكون محدودة بسياقات مستخدم واحد.
كما يؤكد المؤلفون على أهمية التصوير الفعال في فهم سلوكيات المستخدمين، مميزين بين النهجين في الموقع وخارج الموقع. يعزز EXR طرق التصوير التقليدية من خلال دمج الرؤى التي تم إنشاؤها من خلال نماذج اللغة الكبيرة (LLMs)، والتي توفر سياقًا أعمق وتفسيرًا وراء إجراءات المستخدمين. يسمح هذا الدمج بتحليل شامل لديناميات جلسات XR، مما يمكّن المحللين من استكشاف جوانب مختلفة من تفاعلات المستخدمين، مثل الأنماط المكانية والزمنية، مع التركيز على فهم الدوافع وراء الإجراءات. بشكل عام، يضع EXR نفسه كإطار عمل تحليلي متعدد الاستخدامات وغير مرتبط بالمهام يسد الفجوات في الأنظمة الحالية، مما يسهل فهمًا أغنى لسلوك المستخدمين في بيئات XR.
DOI: https://doi.org/10.1109/tvcg.2025.3549537
PMID: https://pubmed.ncbi.nlm.nih.gov/40063468
Publication Date: 2025-03-10
Author(s): Yoonsang Kim et al.
Primary Topic: Data Visualization and Analytics
Overview
In this paper, we introduced Explainable XR (EXR), an innovative end-to-end framework designed for the recording, processing, and visualization of user behaviors in various extended reality (XR) environments. A key component of our framework is the User Action Descriptor (UAD), a novel format that effectively integrates multimodal behavioral data and contextual information about user actions, ensuring consistency across different virtual environments and multi-user scenarios.
We demonstrated the utility of UAD in capturing immersive user sessions and highlighted the effectiveness of our large language model (LLM)-assisted visual interface, which enhances the analytics experience by providing intelligent insights and customized visual guidance. Through five practical applications of XR, we conducted a thorough evaluation of EXR, positioning it as a valuable tool for researchers across multiple disciplines seeking to incorporate XR into their studies and better understand user experiences within these immersive settings.
Introduction
The introduction highlights the significant advancements in eXtended Reality (XR) technologies, encompassing Augmented Reality (AR), Virtual Reality (VR), and Mixed Reality (MR). These technologies have notably improved user experiences by transforming information retrieval, data interaction, and collaborative efforts among users. Consequently, immersive technologies are increasingly being integrated into various multidisciplinary fields, including education, healthcare, and industry, reflecting their growing relevance and application across diverse sectors.
Methods
In this section, the authors present their methodology for developing Explainable XR (EXR), an end-to-end user behavior analytics framework designed to enhance the analysis and visualization of user interactions within various extended reality (XR) environments. The framework addresses the complexities and diverse patterns of user behavior identified in immersive interaction techniques, which have been shown to significantly differ from traditional methods. By capturing and interpreting multimodal data—spatial, temporal, visual, and audio—EXR aims to provide a systematic approach to evaluating user interactions across multiple XR applications.
Key features of EXR include a User Action Descriptor (UAD), which serves as a standardized schema for recording user actions, and a Unity-based platform-agnostic XR session recorder that simplifies data collection. Additionally, the framework incorporates a web-based visual analytics interface that consolidates user interaction data into a single view, enhancing interpretability. The integration of Large Language Models (LLMs) further facilitates data analysis by generating tailored summaries and insights. The authors highlight the framework’s versatility through its application in five distinct XR scenarios, demonstrating its capability to support a wide range of immersive experiences, including cross-virtuality and multi-user contexts.
Results
In this section, the results of the study highlight the effectiveness of the EXR interface in analyzing user actions and intentions within XR environments. Participants rated the overall usefulness of the interface for pattern analysis highly, with a mean score of \( \mu = 4.1 \). Feedback from participants emphasized the utility of the Insight Viewer, particularly in assessing task performance time, and noted interesting findings regarding error rates associated with different interaction metaphors, specifically that gaze-based interactions resulted in more errors compared to ray-based interactions.
Additionally, the Plot Viewer and Spatial Viewer emerged as the most utilized tools for task completion, enabling participants to accurately identify the number and duration of interactions. For instance, one participant reported that “Subject2 interacted with 262 cubes and 27 spheres through gaze and controller, which is more than Subject1.” These findings underscore the interface’s capability to facilitate detailed analysis of user behavior in XR settings.
Discussion
In the discussion of the research paper, the authors review existing frameworks for capturing and analyzing user behavior in Extended Reality (XR) environments, highlighting the unique contributions of their proposed system, EXR. They note that while several toolkits, such as MRAT and Cognitive3D, have been developed to log user actions and physiological data, EXR adopts a more structured, user action-centric approach. This framework links all tracked data to specific user actions, allowing for a more focused analysis of user behavior and context while filtering out irrelevant data. Additionally, EXR supports scalability in multi-user scenarios, distinguishing it from other systems that may be limited to single-user contexts.
The authors also emphasize the importance of effective visualization in understanding user behaviors, distinguishing between in-situ and ex-situ approaches. EXR enhances traditional visualization methods by integrating insights generated through Large Language Models (LLMs), which provide deeper context and reasoning behind user actions. This integration allows for a comprehensive analysis of XR session dynamics, enabling analysts to explore various aspects of user interactions, such as spatial and temporal patterns, with a focus on understanding the motivations behind actions. Overall, EXR positions itself as a versatile, task-agnostic analytics framework that bridges gaps in existing systems, facilitating a richer understanding of user behavior in XR environments.