التعرف على سلوك المتعلمين وآلية التوجيه الديناميكي في أنظمة المحاكاة التفاعلية المحمولة للتعليم المهني Learner Behavior Recognition and Dynamic Guidance Mechanism in Interactive Mobile Simulation Systems for Vocational Education

شارك:
المجلة: International Journal of Interactive Mobile Technologies (iJIM)، المجلد: 20، العدد: 6
DOI: https://doi.org/10.3991/ijim.v20i06.60865
تاريخ النشر: 2026-03-31
المؤلف: Yan Wang وآخرون
الموضوع الرئيسي: أنظمة التعليم الذكي والتعلم التكيفي

نظرة عامة

تقدم البحث نهجًا جديدًا لتعزيز تقنيات المحاكاة المحمولة للتعليم المهني من خلال معالجة القيود الرئيسية مثل تأخر التعرف على سلوك المتعلم، وعدم كفاية تخصيص الإرشادات، والقدرة المحدودة على التكيف مع قيود الموارد. الحل المقترح يدمج نموذج التعرف على سلوك المتعلم مع الإدراك متعدد الوسائط والتعلم بالتقليد، إلى جانب آلية إرشاد ديناميكية مدركة للسياق. هذا الإطار مُنظم حول بنية ثلاثية الطبقات من الحافة إلى السحابة تشمل الإدراك، والفهم، والإرشاد. تشير النتائج التجريبية إلى أن نموذج الانتباه الزمني المكاني الخفيف حقق دقة تعرف تبلغ 94.2% للعمليات الأساسية ودرجة ماكرو-F1 تبلغ 0.876 للعمليات ذات الذيل الطويل، مع الحفاظ على زمن استجابة منخفض وتحسين كبير في أوقات إكمال المهام وتقليل معدلات الخطأ.

تؤكد الاستنتاجات على فعالية الإطار في التغلب على قيود الاستشعار أحادي النمط التقليدية، وتحقيق توازن بين دقة التعرف، والأداء في الوقت الحقيقي، واستهلاك الموارد. كما أن دمج التعلم بالتقليد عزز دقة التعرف على العمليات ذات الذيل الطويل إلى 89.3%. أظهرت استراتيجية الإرشاد الديناميكية تخصيصًا قويًا، مع تقليل ملحوظ في معدلات الخطأ التشغيلية للمتعلمين المبتدئين والمتوسطين. تشمل اتجاهات البحث المستقبلية التقدم التكنولوجي مثل دمج الواقع المعزز والافتراضي، وتوسيع التطبيقات عبر سيناريوهات مهنية متنوعة، واستكشافات نظرية لتحسين التدخلات التعليمية. هذا الإطار الشامل لا يحسن فقط كفاءة اكتساب المهارات المهنية ولكنه يقدم أيضًا حلاً قابلاً لإعادة الاستخدام لتطوير أنظمة تعليمية قائمة على المحاكاة الافتراضية المحمولة.

مقدمة

تسلط مقدمة هذه الورقة البحثية الضوء على التحديات التي تواجه التعليم المهني، لا سيما في نماذج التدريب التقليدية غير المتصلة بالإنترنت التي تقتصر على توفر المعدات، والمساحة الفيزيائية، واللوائح الأمنية. تعيق هذه القيود تقديم تعليم عالي الجودة على نطاق واسع. لمعالجة هذه القضايا، ظهرت تقنيات المحاكاة الافتراضية كمكمل حاسم للتعليم العملي، حيث تقدم مزايا مثل إمكانية إعادة استخدام السيناريوهات والمخاطر القابلة للتحكم. لقد وسعت ظهور الأجهزة الذكية المحمولة من قابلية تطبيق أنظمة المحاكاة المحمولة، مما جعلها مناسبة لسياقات التعلم المجزأة.

على الرغم من إمكانياتها، فإن دمج أنظمة المحاكاة المحمولة في التعليم المهني يعيقه ثلاثة تحديات تقنية كبيرة: محدودية إدراك التفاعل، وزمن التأخير في التعرف على سلوك المتعلم، وعدم كفاية التكيف مع السيناريوهات. تعتمد الأنظمة الحالية بشكل أساسي على بيانات إحداثيات اللمس، متجاهلة الهيكل الدلالي لواجهات المستخدم ومعلومات مستشعرات الأجهزة، مما يقلل من قوة إدراك سلوك المتعلم. بالإضافة إلى ذلك، تعيق التأخيرات في التعرف على سلوك المتعلم وتقديم الإرشادات الدعم التشغيلي في الوقت الحقيقي، بينما تتجاوز التغيرات في المهارات المهنية وسيناريوهات العمليات ذات الذيل الطويل قدرة الأنظمة الحالية على التكيف. لمعالجة هذه التحديات، يقترح البحث تطوير نموذج دمج بيانات خفيف ومتعدد الوسائط يهدف إلى تحقيق التعرف الدقيق والفوري على سلوك المتعلم، إلى جانب آلية إرشاد ديناميكية مدركة للسياق. الهدف الرئيسي هو تعزيز كفاءة اكتساب المهارات المهنية من خلال تحسين التعرف على السلوك والإرشاد المخصص، مما يمثل مساهمة كبيرة في مجال التعليم المهني المحمول.

الطرق

ت outlines الورقة البحثية تصميمًا تجريبيًا شاملاً يهدف إلى التحقق من صحة نموذج دمج التعرف متعدد الوسائط للتعليم المهني، لا سيما في أنظمة المحاكاة المحمولة التفاعلية. شملت الدراسة سيناريوهين مهنيين – صيانة الدوائر الكهربائية وتفكيك المعدات الميكانيكية – تغطي كل من المهام الأساسية وذات الذيل الطويل. تم بناء مجموعة بيانات من بيانات التفاعل متعدد الوسائط التي تم جمعها من 60 مشاركًا مصنفين حسب مستوى المهارة، مما أسفر عن 1,200 تسلسل مهمة و5,000 جزء عملية. ضمنت عملية وضع العلامات الدقيقة للبيانات موثوقية عالية، حيث حققت قيم كابا لكوهين لا تقل عن 0.85.

تظهر النتائج التجريبية الأساسية أداءً متفوقًا للنموذج المقترح، حيث حقق دقة تبلغ 94.2% ودرجة F1 تبلغ 0.938 للعمليات الأساسية، وتحسينات كبيرة في التعرف على العمليات ذات الذيل الطويل مقارنة بالنماذج الأساسية. أكدت دراسات الإزالة الدور الحاسم للميزات متعددة الوسائط ووحدة الانتباه الزمني المكاني في تعزيز قوة التعرف. أدى إدخال التعلم بالتقليد إلى تحسين دقة التعرف على العمليات ذات الذيل الطويل من 78.5% إلى 89.3%. بالإضافة إلى ذلك، أظهرت استراتيجية الإرشاد الديناميكية فوائد كبيرة، حيث قللت من أوقات إكمال المهام ومعدلات الخطأ التشغيلية عبر مستويات مهارة المتعلمين المختلفة. ظلت أداء النظام عند نشره على أجهزة أندرويد متوسطة المدى فعالًا، مع متوسط أوقات استجابة من النهاية إلى النهاية أقل من العتبة الزمنية الحقيقية، وأشارت تقييمات تجربة المستخدم إلى مستويات عالية من الرضا عن آليات الإرشاد المستخدمة.

المناقشة

تناقش الورقة البحثية إطارًا جديدًا للتعرف على سلوك المتعلم والإرشاد الديناميكي في أنظمة المحاكاة المحمولة التفاعلية المصممة للتعليم المهني. يستفيد الإطار من معلومات إحداثيات اللمس ويشمل نموذجًا خفيفًا للتعرف على السلوك معززًا بالتعلم بالتقليد، مما يعالج التحديات المرتبطة بسيناريوهات العمليات ذات الذيل الطويل. تم تطوير محرك قرار إرشاد ديناميكي مدرك للسياق لتوليد استراتيجيات تعليمية مخصصة بناءً على حالات المتعلمين وسياقات المهام، مما يحسن بشكل كبير من قابلية التكيف وفعالية الإرشاد. تؤكد التحقق التجريبي ضمن سيناريوهات التعليم المهني فعالية الإطار، حيث تحقق تحسينًا في درجة ماكرو F1 يصل إلى 21.3% للعمليات ذات الذيل الطويل ودقة تعرف تبلغ 89.3% من خلال دمج التعلم بالتقليد.

يتكون الهيكل من نظام تعاوني ثلاثي الطبقات من الحافة إلى السحابة يوازن بين قيود الموارد المحمولة ومتطلبات الأداء في الوقت الحقيقي. تستخدم طبقة الإدراك المحمولة دمج بيانات متعددة الوسائط، مما يدمج أشجار تخطيط واجهة المستخدم، وبيانات مستشعرات الأجهزة، وتسلسلات العمليات لتعزيز التعرف على السلوك. تستخدم طبقة تحليل الحافة-السحابة شبكة انتباه زمني مكاني خفيفة لاستخراج الميزات بكفاءة، بينما تنفذ طبقة تغذية الإرشاد آلية تغذية متعددة القنوات لتقديم إرشادات في الوقت الحقيقي عبر قنوات بصرية، وسمعية، وحسية. تشير النتائج إلى أن الإطار المقترح لا يتفوق فقط على الأساليب الحالية في دقة التعرف وقابلية التكيف مع الموارد، ولكنه يوفر أيضًا حلاً تقنيًا قابلاً لإعادة الاستخدام لأنظمة التعليم المهني المحمولة. تشمل اتجاهات البحث المستقبلية دمج الواقع المعزز والافتراضي، وتعزيزات في حماية الخصوصية، وتطبيقات أوسع عبر سياقات التعليم المهني المختلفة.

Journal: International Journal of Interactive Mobile Technologies (iJIM), Volume: 20, Issue: 6
DOI: https://doi.org/10.3991/ijim.v20i06.60865
Publication Date: 2026-03-31
Author(s): Yan Wang et al.
Primary Topic: Intelligent Tutoring Systems and Adaptive Learning

Overview

The research presents a novel approach to enhancing mobile simulation technologies for vocational education by addressing key limitations such as delayed learner behavior recognition, inadequate personalization of guidance, and restricted adaptability to resource constraints. The proposed solution integrates a learner behavior recognition model with multimodal perception and imitation learning, alongside a context-aware dynamic guidance mechanism. This framework is structured around a three-layer edge-cloud architecture encompassing perception, understanding, and guidance. Experimental results indicate that the lightweight spatiotemporal attention model achieved a recognition accuracy of 94.2% for basic operations and a macro-F1 score of 0.876 for long-tail operations, while maintaining low latency and significantly improving task completion times and reducing error rates.

The conclusions emphasize the framework’s effectiveness in overcoming traditional single-modality sensing limitations, achieving a balance between recognition accuracy, real-time performance, and resource consumption. The integration of imitation learning further enhanced recognition accuracy for long-tail operations to 89.3%. The dynamic guidance strategy demonstrated strong personalization, with notable reductions in operational error rates for novice and intermediate learners. Future research directions include technological advancements such as augmented and virtual reality integration, application expansion across various vocational scenarios, and theoretical explorations to optimize educational interventions. This comprehensive framework not only improves vocational skill acquisition efficiency but also offers a reusable solution for developing mobile virtual simulation-based educational systems.

Introduction

The introduction of this research paper highlights the challenges faced in vocational education, particularly in traditional offline training models that are limited by equipment availability, physical space, and safety regulations. These constraints hinder the delivery of large-scale, high-quality instruction. To address these issues, virtual simulation technologies have emerged as a crucial supplement to practical teaching, offering advantages such as scenario reusability and controllable risk. The advent of mobile intelligent terminals has further expanded the applicability of mobile simulation systems, making them suitable for fragmented learning contexts.

Despite their potential, the integration of mobile simulation systems into vocational education is impeded by three significant technical challenges: limited interaction perception, latency in learner behavior recognition, and inadequate scenario adaptability. Current systems primarily rely on touch-coordinate data, neglecting the semantic structure of user interfaces and device sensor information, which diminishes the robustness of learner behavior perception. Additionally, delays in recognizing learner behavior and providing guidance hinder real-time operational support, while the variability in vocational skills and long-tail operational scenarios exceeds the adaptability of existing systems. To address these challenges, the study proposes the development of a lightweight, multimodal data fusion model aimed at achieving real-time and accurate learner behavior recognition, alongside a context-aware dynamic guidance mechanism. The primary goal is to enhance vocational skill acquisition efficiency through improved behavior recognition and personalized guidance, marking a significant contribution to the field of mobile vocational education.

Methods

The research paper outlines a comprehensive experimental design aimed at validating a multimodal fusion recognition model for vocational education, specifically in interactive mobile simulation systems. The study involved two vocational scenarios—electrical circuit maintenance and mechanical equipment disassembly—covering both basic and long-tail operational tasks. A dataset was constructed from multimodal interaction data collected from 60 participants categorized by skill level, resulting in 1,200 task sequences and 5,000 operation segments. Rigorous data annotation ensured high reliability, achieving Cohen’s Kappa values of at least 0.85.

The core experimental results demonstrate the proposed model’s superior performance, achieving an accuracy of 94.2% and an F1-score of 0.938 for basic operations, and significant improvements in long-tail operation recognition compared to baseline models. Ablation studies confirmed the critical role of multimodal features and the spatiotemporal attention module in enhancing recognition robustness. The introduction of imitation learning improved long-tail operation recognition accuracy from 78.5% to 89.3%. Additionally, the dynamic guidance strategy showed substantial benefits, reducing task completion times and operational error rates across different learner skill levels. The system’s deployment performance on mid-range Android devices remained efficient, with average end-to-end latencies below the real-time threshold, and user experience evaluations indicated high satisfaction levels with the guidance mechanisms employed.

Discussion

The research paper discusses a novel framework for learner behavior recognition and dynamic guidance in interactive mobile simulation systems tailored for vocational education. The framework leverages touch-coordinate information and incorporates a lightweight behavior recognition model enhanced by imitation learning, addressing challenges associated with long-tail operational scenarios. A context-aware dynamic guidance decision engine is developed to generate personalized instructional strategies based on learners’ states and task contexts, significantly improving guidance adaptability and effectiveness. Empirical validation within vocational education scenarios demonstrates the framework’s efficacy, achieving a macro F1-score improvement of up to 21.3% for long-tail operations and a recognition accuracy of 89.3% through the integration of imitation learning.

The architecture consists of a three-layer edge-cloud collaborative system that balances mobile resource constraints with real-time performance requirements. The mobile perception layer employs multimodal data fusion, integrating UI layout trees, device sensor data, and operation sequences to enhance behavior recognition. The edge-cloud analysis layer utilizes a lightweight spatiotemporal attention network for efficient feature extraction, while the guidance feedback layer implements a multichannel feedback mechanism to deliver real-time guidance through visual, auditory, and haptic channels. The results indicate that the proposed framework not only outperforms existing methods in recognition accuracy and resource adaptability but also provides a reusable technical solution for mobile vocational education systems. Future research directions include the integration of augmented and virtual reality, enhancements in privacy protection, and broader application across various vocational education contexts.