DOI: https://doi.org/10.54392/irjmt2614
تاريخ النشر: 2026-01-13
المؤلف: Rachana Yogesh Patil وآخرون
الموضوع الرئيسي: النوم والإرهاق المرتبط بالعمل
نظرة عامة
تقدم الدراسة نظامًا جديدًا للكشف عن التعب في الوقت الحقيقي وغير التدخلي باستخدام محولات الرؤية (ViTs) لتحديد الإشارات الوجهية الدقيقة التي تشير إلى التعب، والتي غالبًا ما تفوتها الطرق التقليدية التي تركز على العلامات الواضحة مثل التثاؤب أو إغلاق العين. من خلال استخدام التعلم الانتقالي من مجموعة بيانات FER-2013 إلى مجموعة بيانات NTHU-DDD، حقق الباحثون دقة تصنيف بلغت 70.31% و72.79% مع معمارية ViT-L16 وR50+ViT-B16، على التوالي. أظهر استخدام خرائط الانتباه البصرية أن نماذج FER-FFR تركز بشكل فعال على المناطق الوجهية الحرجة، مما يعزز استخراج الميزات وقابلية التفسير. بالإضافة إلى ذلك، تم تقديم مؤشر مستوى التعب لقياس تقدم التعب على مدى إطارات الفيديو المتتالية، مما يتماشى بشكل وثيق مع ديناميات التعب البشرية.
تؤكد الخاتمة على الأداء التنافسي للإطار وتحسينات قابلية التفسير من خلال خرائط الانتباه، مع الاعتراف بالقيود مثل الاعتماد على مجموعة اختبار صغيرة، مما قد يؤثر على القابلية للتعميم. تقدم طريقة قياس مستوى التعب المقترحة تقديرًا مبسطًا لشدة التعب بمرور الوقت. تشمل اتجاهات البحث المستقبلية استكشاف مجموعات بيانات أكبر، وتنقيح النمذجة الزمنية لتقدم التعب، ودمج الإشارات متعددة الوسائط، مثل البيانات الفسيولوجية، لتحسين موثوقية النظام في التطبيقات الواقعية. بشكل عام، توفر الدراسة حلاً قويًا وقابلًا للتكيف لمراقبة التعب المستمرة في البيئات عالية المخاطر، مما يعزز السلامة والكفاءة التشغيلية.
مقدمة
تسلط المقدمة الضوء على التأثير الحاسم للتعب على الأداء البشري، لا سيما في البيئات عالية المخاطر مثل الطيران العسكري، حيث يمكن أن يؤدي إلى فشل عمليات كبير ومخاطر صحية. تعتمد ممارسات مراقبة التعب الحالية بشكل أساسي على الإبلاغ الذاتي من أفراد الطاقم، متجاهلة طاقم الأرض ومراكز القيادة، التي تكون عرضة أيضًا لتدهور الأداء المرتبط بالتعب. أنظمة الكشف اليدوية الموجودة معيبة بسبب عوامل مختلفة، بما في ذلك نسبة العمال إلى المشرفين والتحديات الكامنة في تقييم التعب، خاصة خلال حالات الأمن المتزايد.
لمعالجة هذه النواقص، يقترح المؤلفون نظامًا تلقائيًا للكشف عن التعب باستخدام تحليل الوجه، يسمى التعرف على التعب الوجه (FFR). تستفيد هذه الطريقة من تقنيات التعلم العميق، وخاصة النماذج المعتمدة على الانتباه، للتركيز على المناطق الوجهية الحرجة التي تنقل علامات التعب، مثل إغلاق العين وحركات الوجه. على عكس الطرق التقليدية التي تعتمد على مقاييس محددة مثل نسبة إغلاق العين (PERCLOS)، يهدف النظام المقترح إلى قياس مستويات التعب بمرور الوقت، مما يوفر فهمًا أكثر دقة لحالة الفرد. يسعى دمج هذه المنهجيات المتقدمة إلى تعزيز دقة وموثوقية مراقبة التعب في البيئات التشغيلية، مما يحسن في النهاية السلامة ونتائج الأداء.
الطرق
تم هيكلة المنهجية المقترحة للكشف عن التعب كخط أنابيب منهجي يشمل ثلاث مراحل رئيسية: معالجة الصور، استخراج الميزات باستخدام نموذج محول الرؤية (ViT)، وقياس مستويات التعب. يتم تمثيل هذه الطريقة بصريًا في الشكل 1، الذي يوضح تدفق العملية بشكل متسلسل. بالإضافة إلى ذلك، يوفر الجدول 2 ملخصًا شاملاً لجميع الرموز المستخدمة في النظام المقترح، مما يضمن الوضوح والاتساق في المنهجية.
من المتوقع أن تؤكد النتائج التجريبية، على الرغم من عدم تفصيلها في هذا القسم، فعالية خط الأنابيب المقترح في الكشف بدقة وقياس مستويات التعب بناءً على الصور المعالجة والميزات المستخرجة.
المناقشة
في هذا القسم، يقدم المؤلفون مساهمات كبيرة في مجالات التعرف على تعبيرات الوجه (FER) والتعرف على التعب (FFR) من خلال منهجيات مبتكرة. تشمل التطورات الرئيسية تطبيق محولات الرؤية (ViTs) لـ FFR، والتي تعزز الكشف عن إشارات التعب الدقيقة التي قد تتجاهلها الشبكات العصبية التلافيفية التقليدية (CNNs). كما يقدم المؤلفون نهج التعلم الانتقالي الذي يستفيد من الميزات المستفادة من FER لتعزيز أداء FFR، لا سيما في السيناريوهات ذات البيانات المحدودة. بالإضافة إلى ذلك، تم اقتراح معمارية هجينة تجمع بين ResNet-50 وViT لتحسين استخراج الميزات، جنبًا إلى جنب مع مؤشر زمني جديد لقياس مستويات التعب بمرور الوقت.
تسلط المناقشة الضوء على تطور تقنيات FER وFFR، مقارنةً بأساليب الميزات اليدوية التقليدية مع أساليب التعلم العميق، وخاصة CNNs. بينما هيمنت CNNs على التطورات الأخيرة في FER، يشير المؤلفون إلى أن ViTs ظهرت كأفضل في التقاط التغيرات الوجهية المعقدة، لا سيما في ظل ظروف صعبة مثل الانسداد. تحدد الورقة فجوة بحثية في تطبيق هياكل المحولات على FFR ونقل التمثيلات المستفادة من FER إلى مهام FFR، والتي يهدف المؤلفون إلى معالجتها. تشير نتائجهم إلى أن نموذج ViT الهجين لا يتفوق فقط على CNNs التقليدية، بل يوفر أيضًا فهمًا أكثر دقة للتعب من خلال دمج الديناميات الزمنية وطرق استخراج الميزات القوية.
DOI: https://doi.org/10.54392/irjmt2614
Publication Date: 2026-01-13
Author(s): Rachana Yogesh Patil et al.
Primary Topic: Sleep and Work-Related Fatigue
Overview
The study presents a novel real-time, non-intrusive fatigue detection system utilizing Vision Transformers (ViTs) to identify subtle facial cues indicative of fatigue, which are often missed by traditional methods that focus on overt signs like yawning or eye closure. By employing transfer learning from the FER-2013 dataset to the NTHU-DDD dataset, the researchers achieved classification accuracies of 70.31% and 72.79% with the ViT-L16 and R50+ViT-B16 architectures, respectively. The use of visual attention maps demonstrated that the FER-FFR models effectively concentrate on critical facial regions, enhancing feature extraction and interpretability. Additionally, a fatigue level indicator was introduced to quantify fatigue progression over consecutive video frames, aligning closely with human fatigue dynamics.
The conclusion emphasizes the framework’s competitive performance and interpretability improvements through attention maps, while acknowledging limitations such as reliance on a small test set, which may affect generalizability. The proposed fatigue level quantification method offers a simplified estimation of fatigue severity over time. Future research directions include exploring larger datasets, refining the temporal modeling of fatigue progression, and integrating multi-modal signals, such as physiological data, to improve the system’s reliability in real-world applications. Overall, the study provides a robust and adaptable solution for continuous fatigue monitoring in high-stakes environments, enhancing safety and operational efficiency.
Introduction
The introduction highlights the critical impact of fatigue on human performance, particularly in high-stakes environments such as military aviation, where it can lead to significant operational failures and health risks. Current fatigue monitoring practices primarily rely on self-declaration from aircrew, neglecting ground crew and command centers, which are equally susceptible to fatigue-related performance degradation. The manual detection systems in place are flawed due to various factors, including the worker-supervisor ratio and the inherent challenges of fatigue assessment, especially during heightened security situations.
To address these shortcomings, the authors propose an automatic fatigue detection system utilizing facial analysis, termed Facial Fatigue Recognition (FFR). This approach leverages deep learning techniques, particularly attention-based models, to focus on critical facial regions that convey signs of fatigue, such as eye closure and facial movements. Unlike traditional methods that rely on specific metrics like Percentage Eye Closure (PERCLOS), the proposed system aims to quantify fatigue levels over time, providing a more nuanced understanding of an individual’s state. The integration of these advanced methodologies seeks to enhance the accuracy and reliability of fatigue monitoring in operational settings, ultimately improving safety and performance outcomes.
Methods
The proposed methodology for fatigue detection is structured as a systematic pipeline that encompasses three key stages: image preprocessing, feature extraction utilizing a Vision Transformer (ViT) model, and quantification of fatigue levels. This approach is visually represented in Figure 1, which outlines the sequential flow of the process. Additionally, Table 2 provides a comprehensive summary of all notations employed within the proposed system, ensuring clarity and consistency in the methodology.
The experimental results, although not detailed in this section, are expected to validate the effectiveness of the proposed pipeline in accurately detecting and quantifying fatigue levels based on the processed images and extracted features.
Discussion
In this section, the authors present significant contributions to the fields of Facial Expression Recognition (FER) and Fatigue Recognition (FFR) through innovative methodologies. Key advancements include the application of Vision Transformers (ViTs) for FFR, which enhance the detection of subtle fatigue cues that traditional Convolutional Neural Networks (CNNs) may overlook. The authors also introduce a transfer learning approach that leverages features learned from FER to bolster FFR performance, particularly in scenarios with limited data. Additionally, a hybrid architecture combining ResNet-50 with ViT is proposed to improve feature extraction, alongside a novel temporal indicator for quantifying fatigue levels over time.
The discussion highlights the evolution of FER and FFR techniques, contrasting conventional handcrafted feature methods with deep learning approaches, primarily CNNs. While CNNs have dominated recent FER advancements, the authors note that ViTs have emerged as superior in capturing intricate facial variations, particularly under challenging conditions such as occlusion. The paper identifies a research gap in the application of transformer architectures to FFR and the transfer of FER-learned representations to FFR tasks, which the authors aim to address. Their findings suggest that the hybrid ViT model not only outperforms traditional CNNs but also provides a more nuanced understanding of fatigue through the integration of temporal dynamics and robust feature extraction methods.