DOI: https://doi.org/10.1038/s41598-025-98891-3
PMID: https://pubmed.ncbi.nlm.nih.gov/40259027
تاريخ النشر: 2025-04-21
المؤلف: Yukang Hou وآخرون
الموضوع الرئيسي: التفاعل بين الإنسان والآلات والسلامة
نظرة عامة
تبحث الدراسة في الحمل المعرفي في بيئات الواقع المختلط (MR)، وخاصة في سياق مهام التفاعل بين الإنسان والكمبيوتر (HCI) التي تتضمن عمليات آلات CNC. تم تطوير منصة تجريبية متعددة الوسائط، تضم ثلاثة بيئات متميزة مصممة لتحفيز مستويات مختلفة من الحمل المعرفي. قام المشاركون بأداء المهام أثناء ارتداء نظارات HoloLens 2 للواقع المختلط (MR-HMD) وأجهزة استشعار معدل ضربات القلب، مما سمح بجمع بيانات الجهاز والبيانات الفسيولوجية. تم تقييم الحمل المعرفي باستخدام استبيان NASA-TLX. أظهرت النتائج أن ظروف الحمل المعرفي العالي أدت إلى زيادة بنسبة 49% في وقت التشغيل، بالإضافة إلى زيادة القلق والإحباط، مما أثر سلبًا على أداء المهام.
كما استخدمت الدراسة خوارزمية Transformer-CL المحسّنة لتصنيف الحمل المعرفي، محققة دقة مثيرة للإعجاب بلغت 95.83%. تؤكد هذه النتيجة على إمكانيات بيانات المستشعرات من MR-HMDs في كشف رؤى حاسمة حول الحمل المعرفي وتأثيراته على أداء المهام. بالإضافة إلى ذلك، تم تطوير نموذج أولي لنظام تنبيه الحمل المعرفي لمصنع التوأم الرقمي MR لتخفيف المخاطر المرتبطة بالمهام ذات الحمل المعرفي العالي. ستركز الأبحاث المستقبلية على دمج تدفقات بيانات مستشعرات أكثر تنوعًا، مثل تقلب معدل ضربات القلب وتغذيات الفيديو، ودراسة تأثير سلوكيات العمال الفردية على اكتشاف الحمل المعرفي. يهدف هذا العمل المستمر إلى تحسين تصنيف الحمل المعرفي وتعزيز سلامة العمال في بيئات التشغيل المعقدة في MR.
الطرق
في هذه الدراسة، تم تجنيد 20 مشاركًا (15 ذكور، 5 إناث) بمتوسط ارتفاع 172.1 سم ومتوسط عمر 25.1 سنة للتحقيق في الحمل المعرفي في البيئات الصناعية باستخدام تقنية الواقع المختلط (MR). كان جميع المشاركين يحملون على الأقل درجة البكالوريوس ولديهم خبرة في أدوات آلات CNC. تم فحصهم لرؤية طبيعية أو مصححة، وصحة بدنية، وغياب عوامل قد تؤثر على نتائج التجربة، مثل استهلاك الكافيين أو النشاط البدني المكثف قبل التجربة. كانت الإعداد التجريبي في مختبر خط إنتاج التوأم الرقمي في جامعة قويتشو، المجهز بمختلف آلات CNC والروبوتات، مما يضمن سلامة المشاركين من خلال مناطق آمنة محددة وظروف بيئية خاضعة للرقابة، بما في ذلك مستويات الضوضاء المحددة بـ 90 ديسيبل.
شملت الإجراءات التجريبية تدريب المشاركين على عمليات CNC باستخدام تقنية MR، تلاها سلسلة من المهام التفاعلية في ثلاثة بيئات مختلفة من الحمل المعرفي: ضوضاء عالية مع إنذارات متعددة، وضوضاء معتدلة مع إنذارات قليلة، وبيئة تحكم مع ضوضاء منخفضة وبدون إنذارات. أكمل كل مشارك المهام في جميع البيئات الثلاث، مع جلسات تم عشوائيتها وتكرارها لضمان جمع بيانات قوية. تضمنت إعدادات MR جهاز Microsoft HoloLens 2 لتتبع العين وسوار Huawei GT3 لمراقبة معدل ضربات القلب في الوقت الحقيقي، مع جمع البيانات ونقلها عبر جهاز كمبيوتر محمول. حصلت الدراسة على موافقة أخلاقية، وقدم المشاركون موافقة مستنيرة قبل المشاركة. كان هذا التصميم يهدف إلى محاكاة سيناريوهات صناعية واقعية، مما يسمح بتقييم الحمل المعرفي وتأثيره على أداء المهام في بيئات الضغط العالي.
المناقشة
تسلط المناقشة حول نظرية الحمل المعرفي (CLT) الضوء على أهميتها في البيئات التعليمية وتأثيراتها على سلامة العمال في البيئات ذات الحمل المعرفي العالي. ينشأ الحمل المعرفي من قيود الذاكرة العاملة، ويمكن أن تؤدي المطالب المعرفية المفرطة إلى الحمل المعرفي الزائد، مما يؤثر سلبًا على الأداء والسلامة. تؤكد الورقة على أهمية إدارة الحمل المعرفي، خاصة في البيئات الصناعية حيث تعمل الضوضاء كعامل ضغط كبير، مما يؤثر سلبًا على الأداء المعرفي في المهام المتعلقة بالانتباه والذاكرة واتخاذ القرار. يتم مناقشة طرق مختلفة لتحفيز وقياس الحمل المعرفي، بما في ذلك التقييمات الذاتية مثل NASA-TLX والقياسات الموضوعية باستخدام الإشارات الفسيولوجية.
شمل الإعداد التجريبي قيام المشاركين بأداء مهمة تشغيل CNC في بيئات الواقع المختلط (MR) تحت ظروف حمل معرفي متغيرة. تم جمع البيانات باستخدام المستشعرات المدمجة في نظارات الواقع المختلط (HMDs) وأجهزة مراقبة معدل ضربات القلب، جنبًا إلى جنب مع التقييمات الذاتية للحمل المعرفي. أشارت النتائج إلى أن البيئات ذات الحمل المعرفي الأعلى أدت إلى أوقات إكمال مهام أطول وزيادة في المطالب العقلية والبدنية، كما يتضح من درجات NASA-TLX. استكشفت الدراسة أيضًا تطوير نظام تحذير من الحمل المعرفي، باستخدام خوارزميات متقدمة لتصنيف الحمل المعرفي بناءً على بيانات المستشعرات. أظهر نموذج Transformer-CL المحسن دقة تصنيف عالية، مما يبرز إمكانيات أساليب التعلم العميق في تقييم الحمل المعرفي وأهمية العوامل البيئية في أداء المهام.
DOI: https://doi.org/10.1038/s41598-025-98891-3
PMID: https://pubmed.ncbi.nlm.nih.gov/40259027
Publication Date: 2025-04-21
Author(s): Yukang Hou et al.
Primary Topic: Human-Automation Interaction and Safety
Overview
The research investigates cognitive load in mixed reality (MR) environments, particularly in the context of human-computer interaction (HCI) tasks involving CNC machine operations. A multimodal experimental platform was developed, featuring three distinct environments designed to induce varying levels of cognitive load. Participants performed tasks while wearing a HoloLens 2 mixed reality head-mounted display (MR-HMD) and heart rate sensors, allowing for the collection of both device and physiological data. Cognitive load was assessed using the NASA-TLX questionnaire. Results demonstrated that high cognitive load conditions resulted in a 49% increase in operation time, alongside heightened anxiety and frustration, which negatively impacted task performance.
The study further employed an enhanced Transformer-CL algorithm for cognitive load classification, achieving an impressive accuracy of 95.83%. This finding underscores the potential of sensor data from MR-HMDs to reveal critical insights into cognitive load and its effects on task performance. Additionally, a prototype MR digital twin factory cognitive load alert system was developed to mitigate risks associated with high cognitive load tasks. Future research will focus on integrating more diverse sensor data streams, such as heart rate variability and video feeds, and examining the influence of individual worker behaviors on cognitive load detection. This ongoing work aims to refine cognitive load classification and enhance worker safety in complex MR operational environments.
Methods
In this study, 20 participants (15 males, 5 females) with an average height of 172.1 cm and an average age of 25.1 years were recruited to investigate cognitive load in industrial settings using mixed reality (MR) technology. All participants had at least a bachelor’s degree and experience with CNC machine tools. They were screened for normal or corrected vision, physical health, and absence of factors that could influence experimental outcomes, such as caffeine consumption or vigorous activity prior to the experiment. The experimental setting was the Digital Twin Production Line Laboratory at Guizhou University, equipped with various CNC and robotic machinery, ensuring participant safety through designated safe zones and controlled environmental conditions, including noise levels capped at 90 decibels.
The experimental procedure involved training participants on CNC operations using MR technology, followed by a series of interactive tasks in three distinct cognitive load environments: high noise with multiple alarms, moderate noise with few alarms, and a control environment with low noise and no alarms. Each participant completed tasks in all three environments, with sessions randomized and repeated to ensure robust data collection. The MR setup included a Microsoft HoloLens 2 for eye tracking and a Huawei GT3 wristband for real-time heart rate monitoring, with data collected and transmitted via a laptop. The study received ethical approval, and participants provided informed consent prior to participation. This design aimed to simulate real-world industrial scenarios, allowing for the assessment of cognitive load and its impact on task performance in high-pressure environments.
Discussion
The discussion on Cognitive Load Theory (CLT) highlights its significance in educational settings and its implications for worker safety in high-cognitive-load environments. Cognitive load arises from the limitations of working memory, and excessive cognitive demands can lead to cognitive overload, negatively impacting performance and safety. The paper emphasizes the importance of managing cognitive load, particularly in industrial settings where noise acts as a significant stressor, adversely affecting cognitive performance in tasks related to attention, memory, and decision-making. Various methods for inducing and measuring cognitive load are discussed, including subjective assessments like the NASA-TLX and objective measurements using physiological signals.
The experimental setup involved participants performing a CNC machining task in mixed reality (MR) environments under varying cognitive load conditions. Data were collected using built-in sensors of MR head-mounted displays (HMDs) and heart rate monitors, alongside subjective evaluations of cognitive load. Results indicated that higher cognitive load environments resulted in longer task completion times and increased mental and physical demands, as evidenced by NASA-TLX scores. The study also explored the development of a cognitive load warning system, utilizing advanced algorithms for cognitive load classification based on sensor data. The improved Transformer-CL model demonstrated high classification accuracy, underscoring the potential of deep learning approaches in cognitive load assessment and the importance of environmental factors in task performance.