تعزيز التفاعل متعدد الأوضاع لنظام التراث الثقافي الرقمي: تحليل سلوك المستخدم وإعادة بناء واجهة مكتبة مسح التراث لمتحف القصر Multimodal interaction enhancement of digital cultural heritage system: user behavior analysis and interface reconstruction of the heritage scanning library of the palace museum

شارك:
المجلة: Scientific Reports، المجلد: 16، العدد: 1
DOI: https://doi.org/10.1038/s41598-026-44955-x
PMID: https://pubmed.ncbi.nlm.nih.gov/41912582
تاريخ النشر: 2026-03-30
المؤلف: Linghui Ke وآخرون
الموضوع الرئيسي: تفاعل الإنسان مع التكنولوجيا المبتكرة

نظرة عامة

تواجه مكتبة الآثار الثقافية الرقمية في متحف القصر، التي تعد جزءًا لا يتجزأ من جهود الرقمنة الثقافية في الصين، تحديات كبيرة في قابلية الاستخدام، بما في ذلك تصميم تفاعل أحادي النمط، وهيكل معلومات مجزأ، ونقص في تجربة المستخدم المتعددة الطبقات. تستخدم هذه الدراسة نهجًا تجريبيًا، مستفيدة من تتبع العين وتحليل السلوك لتقييم الانتباه البصري، وكفاءة اكتساب المعلومات، وتجربة المستخدم عبر ثلاث مجموعات مستخدمين متميزة. تشير النتائج إلى وجود تفاوت ملحوظ في فهم المحتوى الثقافي واستراتيجيات استخدام الواجهة، مما يبرز فجوة في التعبير الثقافي ونقص في آلية التنقل في النظام الحالي.

استجابةً لهذه القضايا، تقترح الورقة خطة تحسين واجهة متعددة الأنماط تركز على “التفاعل السمعي البصري”. تشمل هذه الخطة نظام دليل بصري، وشروحات صوتية هرمية، وإعادة بناء الهيكل الدلالي، وآلية تكيف المستخدم، جميعها متكاملة بصريًا من خلال مخطط تدفق النظام. تهدف التحسينات إلى تعزيز ودية الواجهة والتواصل الثقافي مع تعزيز الإدراك الغامر وتسهيل نقل المعلومات الثقافية. في النهاية، تؤسس الدراسة إطارًا نظريًا يربط بين “علم النفس التعاطفي”، و”مادية الوسائط”، و”التفاعل متعدد الأنماط”، مقترحة تحولًا في منصات التراث الثقافي الرقمي من “العرض الثابت” إلى “النقل الديناميكي”.

مقدمة

يعد متحف القصر مؤسسة ثقافية هامة في الصين، ويعمل كمستودع للتراث التاريخي الغني للأمة. يضم مجموعة واسعة من القطع الأثرية التي تعكس الإنجازات الفنية والثقافية للحضارة الصينية. تؤكد هذه الفقرة على دور المتحف ليس فقط كحارس للتاريخ ولكن أيضًا كمنصة للتعليم وتبادل الثقافات. تمهد المقدمة الطريق لاستكشاف أعمق لتأثير المتحف على الهوية الوطنية والحوار الثقافي العالمي، مما يبرز أهميته في الحفاظ على القيم الثقافية الصينية وتعزيزها.

الطرق

تستخدم الدراسة نهجًا مختلطًا للتحقيق في السلوك المعرفي ومسارات التفاعل للمستخدمين في مكتبة الآثار الثقافية الرقمية لمتحف القصر. باستخدام تكنولوجيا تتبع العين وتسجيل السلوك، تركز الدراسة على ثلاث مجموعات مستخدمين متميزة: الباحثين المحترفين، وعشاق التاريخ، والسياح العاديين. تم تجنيد ما مجموعه 18 مشاركًا (n=6 لكل مجموعة)، حيث تم تبرير حجم العينة من خلال متطلبات جمع البيانات عالية الدقة وندرة سكان الباحثين المتخصصين. تم استخدام نظارات توبي 3 لتتبع العين لالتقاط البيانات البصرية، بينما سجل برنامج UXLogger تفاعلات المستخدمين، مما يضمن بيئة تجريبية محكومة.

شمل تحليل البيانات نهجًا متعدد المستويات، يجمع بين الطرق الكمية والنوعية. تم استخراج مقاييس رئيسية مثل زمن التثبيت الأول (FFT)، ومدة التثبيت الكلية (TFD)، وعدد التثبيتات (FC)، والمسافة السريعة (SD) لوصف السلوك البصري. تم تعريف مناطق الاهتمام (AOIs) بناءً على هيكل المكتبة الرقمية، مع التركيز على أربع مناطق رئيسية: عرض القطع الأثرية ثلاثية الأبعاد، ووصف المعلمات، والتفسير الثقافي، والتوصيات ذات الصلة. أشارت خرائط الحرارة الأولية للنظر إلى أنماط انتباه بصري متسقة عبر المشاركين، مما ساعد في توجيه تكوين AOI النهائي وتعزيز قابلية تفسير النتائج. تهدف هذه الاستكشافات المنهجية إلى توضيح التباين المعرفي بين مجموعات المستخدمين المختلفة ضمن بيئة الآثار الثقافية الرقمية.

النتائج

تقدم قسم النتائج تحليلًا شاملاً لكل من البيانات النوعية والكمية المتعلقة بتجربة المستخدم والعبء المعرفي. تقدم النتائج النوعية، المستمدة من مسارات تشغيل UXLogger، ومقابلات المستخدمين، وتقييمات مقياس NASA-TLX، رؤى حاسمة حول سلوك المستخدم وجهدهم المعرفي أثناء أداء المهام.

من الجدير بالذكر أن التحليل يكشف عن أنماط سلوكية متميزة بين الباحثين المحترفين، تتميز بمسار تنقل سلس وخطي. يشير ذلك إلى أن المستخدمين ذوي الخبرة يظهرون نهجًا أكثر كفاءة في إكمال المهام، مما قد يشير إلى عبء معرفي أقل مقارنة بالمستخدمين الأقل خبرة. تعزز دمج البيانات النوعية من فهم تفاعلات المستخدمين ومتطلبات المعرفة، مما يوفر سياقًا أغنى للنتائج الكمية.

المناقشة

تسلط قسم المناقشة في ورقة البحث الضوء على التحديات والفرص في الحفظ الرقمي للمدينة المحرمة، مع التأكيد على الانتقال من الاحتفاظ الفيزيائي البسيط إلى نقل قيمة أكثر ديناميكية تسهلها التقنيات الرقمية المتقدمة. بينما مكنت عمليات المسح عالية الدقة من إنشاء مكتبة شاملة للقطع الأثرية الرقمية، لا تزال هناك قضايا مثل عدم التوازن بين الفعالية التقنية وكفاءة المستخدم المعرفية. غالبًا ما يواجه المستخدمون نقصًا في التفاعل الغامر، مما يؤدي إلى انخراط سطحي مع القطع الأثرية الثقافية وفشل في فهم معانيها الثقافية الأعمق. علاوة على ذلك، لا تلبي مكتبة التراث الرقمي الحالية بشكل كافٍ احتياجات المجموعات المختلفة من المستخدمين، مثل الباحثين المحترفين والسياح العاديين، مما يؤدي إلى واجهة موحدة تحد من تجربة المستخدم وفهمه.

لمعالجة هذه التحديات، تقترح الورقة إطارًا من ثلاثة مستويات يهدف إلى تعزيز تفاعل المستخدم مع التراث الثقافي الرقمي. يركز هذا الإطار على الحاجة إلى نهج يركز على المستخدم، يجمع بين الوسائل التقنية المتقدمة لتحسين تجربة التفاعل. تستخدم الدراسة بيانات تتبع العين لتحليل السلوكيات المعرفية عبر ثلاث مجموعات مستخدمين متميزة – الباحثين المحترفين، وعشاق التاريخ، والسياح العاديين – مع التركيز على توزيع انتباههم البصري، وكفاءة اكتساب المعلومات، وأنماط المسار المعرفي. من خلال تحديد الفروق الإدراكية والمعرفية بين هذه المجموعات، تهدف الدراسة إلى إبلاغ تصميم واجهات متعددة الأنماط تعزز من نشر الثقافة وتفاعل المستخدم، مما يحول تجربة التراث الرقمي من الحفظ الثابت إلى التفاعل الديناميكي.

القيود

تتمثل القيود الرئيسية للدراسة في حجم العينة الصغيرة وغير العشوائية (N=18)، مما يحد من إمكانية تعميم النتائج الكمية المتعلقة بمستخدمي التراث الثقافي الرقمي. بينما تم استخدام العينة الغرضية لالتقاط الفروق المعرفية، فإن زيادة حجم العينة في الأبحاث المستقبلية ستعزز من قوة النتائج. قدمت المقابلات النوعية وبيانات عبء العمل المعرفي من NASA-TLX أدلة مكملة حاسمة، كاشفة عن حواجز المعلومات مثل الأخطاء في التنقل وسوء فهم المصطلحات المتخصصة (مثل “المذهب”). أكدت هذه الرؤى النوعية على المقاييس الكمية، مما يحسن من الصلاحية الداخلية لخطة تحسين الواجهة متعددة الأنماط المقترحة، التي لا تزال نظرية ولم يتم التحقق منها تجريبيًا بعد.

علاوة على ذلك، يثير دمج الأدوات الرقمية الناشئة في البحث النوعي اعتبارات منهجية وأخلاقية. على الرغم من استخدام تقنيات الذكاء الاصطناعي التوليدية في دور داعم، تم إجراء جميع مهام الترميز والتفسير يدويًا من قبل الباحثين، مع الالتزام بالإرشادات الأخلاقية لاستخدام الذكاء الاصطناعي بشكل مسؤول. يجب أن تركز الأبحاث المستقبلية على تطوير أطر معيارية للتكامل الأخلاقي لأدوات الذكاء الاصطناعي في التحليل النوعي، مما يضمن الصرامة المنهجية والمساءلة. بالإضافة إلى ذلك، تمثل القيود العملية مثل الجدوى التقنية، والتكلفة، والحاجة إلى تدريب المستخدمين تحديات لتنفيذ النظام متعدد الأنماط المقترح. بشكل عام، تهدف هذه الدراسة إلى تعزيز أنظمة التراث الثقافي الرقمي من خلال دمج نظرية التعاطف وإدراك المستخدم، مما يوفر رؤى تصميم قيمة ومراجع منهجية للأبحاث المستقبلية في العلوم الإنسانية الرقمية.

Journal: Scientific Reports, Volume: 16, Issue: 1
DOI: https://doi.org/10.1038/s41598-026-44955-x
PMID: https://pubmed.ncbi.nlm.nih.gov/41912582
Publication Date: 2026-03-30
Author(s): Linghui Ke et al.
Primary Topic: Innovative Human-Technology Interaction

Overview

The Palace Museum’s digital cultural relics library, integral to China’s cultural digitization efforts, faces significant usability challenges, including a unimodal interaction design, fragmented information structure, and a lack of layered user experience. This study employs an empirical approach, utilizing eye tracking and behavior analysis to assess visual attention, information acquisition efficiency, and user experience across three distinct user groups. Findings indicate notable disparities in cultural content comprehension and interface usage strategies, highlighting a cultural expression gap and deficiencies in the navigation mechanism of the current system.

In response to these issues, the paper proposes a multimodal interface optimization scheme centered on “audio-visual interaction.” This scheme encompasses a visual guide system, hierarchical voice explanations, semantic structure reconstruction, and a user adaptation mechanism, all visually integrated through a system flowchart. The optimization aims to enhance interface friendliness and cultural communication while fostering immersive perception and facilitating the narrative transmission of cultural information. Ultimately, the study establishes a theoretical framework linking “empathic psychology,” “media materiality,” and “multimodal interaction,” suggesting a shift in digital cultural heritage platforms from “static presentation” to “dynamic transmission.”

Introduction

The Palace Museum, a significant cultural institution in China, serves as a repository of the nation’s rich historical heritage. It houses an extensive collection of artifacts that reflect the artistic and cultural achievements of Chinese civilization. This section emphasizes the museum’s role not only as a guardian of history but also as a platform for education and cultural exchange. The introduction sets the stage for a deeper exploration of the museum’s impact on both national identity and global cultural dialogue, highlighting its importance in preserving and promoting Chinese cultural values.

Methods

The research employs a mixed-methods approach to investigate the cognitive behavior and interaction paths of users in the digital cultural relics library of the Palace Museum. Utilizing eye-tracking technology and behavioral recording, the study focuses on three distinct user groups: professional scholars, history enthusiasts, and general tourists. A total of 18 participants (n=6 per group) were recruited, with the sample size justified by the high-fidelity data collection requirements and the rarity of the specialized scholar population. The Tobii Glasses 3 eye tracker was employed to capture visual data, while UXLogger software recorded user interactions, ensuring a controlled experimental environment.

Data analysis involved a multi-level approach, integrating both quantitative and qualitative methods. Key metrics such as First Fixation Time (FFT), Total Fixation Duration (TFD), Fixation Count (FC), and Saccade Distance (SD) were extracted to characterize visual behavior. Areas of Interest (AOIs) were defined based on the digital library’s structure, focusing on four main regions: 3D artifact display, parameter description, cultural interpretation, and related recommendations. Preliminary gaze heatmaps indicated consistent visual attention patterns across participants, guiding the final AOI configuration and enhancing the interpretability of the results. This systematic exploration aims to elucidate the cognitive variability among different user groups within the digital cultural relics environment.

Results

The results section presents a comprehensive analysis of both qualitative and quantitative data regarding user experience and cognitive load. The qualitative findings, derived from UXLogger operation paths, user interviews, and NASA-TLX scale assessments, offer critical insights into user behavior and cognitive effort during task performance.

Notably, the analysis reveals distinct behavioral patterns among professional scholars, characterized by a smooth and linear navigation path. This suggests that experienced users exhibit a more efficient approach to task completion, potentially indicating lower cognitive load compared to less experienced users. The integration of qualitative data enhances the understanding of user interactions and cognitive demands, providing a richer context for the quantitative findings.

Discussion

The discussion section of the research paper highlights the challenges and opportunities in the digital conservation of the Forbidden City, emphasizing the transition from mere physical retention to a more dynamic value transfer facilitated by advanced digital technologies. While high-precision scanning has enabled the creation of a comprehensive digital artifact library, issues such as the imbalance between technical effectiveness and user cognitive efficiency persist. Users often experience a lack of immersive interaction, leading to superficial engagement with cultural artifacts and a failure to grasp their deeper cultural meanings. Furthermore, the existing digital heritage library does not adequately cater to the diverse needs of different user groups, such as professional researchers and casual tourists, resulting in a homogenized interface that limits user experience and understanding.

To address these challenges, the paper proposes a three-level framework aimed at enhancing user interaction with digital cultural heritage. This framework emphasizes the need for a user-centric approach, integrating advanced technical means to improve the interactive experience. The study employs eye-tracking data to analyze cognitive behaviors across three distinct user groups—professional scholars, history enthusiasts, and general tourists—focusing on their visual attention distribution, information acquisition efficiency, and cognitive path patterns. By identifying perceptual and cognitive differences among these groups, the research aims to inform the design of multimodal interfaces that enhance cultural dissemination and user engagement, ultimately transforming the digital heritage experience from static preservation to dynamic interaction.

Limitations

The study’s primary limitation is its small, non-randomized sample size (N=18), which restricts the generalizability of the quantitative findings regarding digital cultural heritage users. While purposive sampling was employed to capture cognitive differences, increasing the sample size in future research would enhance the robustness of the results. The qualitative interviews and NASA-TLX cognitive load data provided critical supplementary evidence, revealing information barriers such as navigation misjudgments and misunderstandings of specialized terminology (e.g., “gilded”). These qualitative insights corroborated the quantitative metrics, thereby improving the internal validity of the proposed multimodal optimization scheme, which remains conceptual and has yet to be empirically validated.

Furthermore, the integration of emerging digital tools in qualitative research raises methodological and ethical considerations. Although generative AI technologies were utilized in a supportive capacity, all coding and interpretative tasks were conducted manually by the researchers, adhering to ethical guidelines for responsible AI use. Future research should focus on developing standardized frameworks for the ethical integration of AI tools in qualitative analysis, ensuring methodological rigor and accountability. Additionally, practical constraints such as technical feasibility, cost, and the need for user training present challenges for implementing the proposed multimodal system. Overall, this study aims to enhance digital cultural heritage systems by integrating empathy theory and user cognition, providing valuable design insights and methodological references for future research in digital humanities.