DOI: https://doi.org/10.3390/s26031079
PMID: https://pubmed.ncbi.nlm.nih.gov/41682595
تاريخ النشر: 2026-02-06
المؤلف: Angela Cortese وآخرون
الموضوع الرئيسي: أنظمة التعرف على النشاط المعتمد على السياق
نظرة عامة
يقدم هذا القسم من ورقة البحث النتائج الرئيسية المتعلقة بتحسين مصنفات التعرف على النشاط البشري (HAR) المثبتة على الرأس. يكشف أن المصنفات الحالية يمكن تعديلها لتحديد الأنشطة غير المرئية سابقًا من خلال دمج آليات مفتوحة خفيفة الوزن بعد الحدث، دون الحاجة إلى تغييرات في بنية النموذج أو إعادة التدريب. تُظهر تقييم شامل يستبعد نشاطًا واحدًا أن الكشف الفعال عن الأنشطة غير المعروفة يمكن تحقيقه باستخدام طرق تسجيل مفتوحة منخفضة التعقيد تطبق على بيانات الحركة المثبتة على الرأس.
تشير تداعيات هذه النتائج إلى أن التقنيات الخفيفة الوزن المستكشفة مناسبة تمامًا للتكامل في المنصات القابلة للارتداء ذات الموارد المحدودة. بالإضافة إلى ذلك، تؤكد الدراسة أن أداء أنظمة HAR المفتوحة يتأثر بشكل كبير بتكوين وجودة مجموعة بيانات الأنشطة المعروفة، مع تسليط الضوء بشكل خاص على أهمية تضمين الأنشطة الأساسية أو ذات الحركة المنخفضة وضمان تمثيل كافٍ لكل فئة. بشكل عام، توفر الأبحاث رؤى قيمة لتصميم أنظمة HAR مفتوحة عملية، مقدمة إرشادات لتطوير تقنيات قابلة للارتداء قوية وفعالة قادرة على التعرف على الأنشطة الجديدة في التطبيقات الواقعية.
مقدمة
تناقش مقدمة ورقة البحث مجال التعرف على النشاط البشري (HAR)، الذي يتضمن التعرف التلقائي على الأفعال البشرية لمجموعة متنوعة من التطبيقات، بما في ذلك مراقبة النشاط والرعاية الصحية. تُقسم طرق HAR بشكل أساسي إلى أنظمة تعتمد على الكاميرا وأنظمة تعتمد على أجهزة الاستشعار القابلة للارتداء. بينما يمكن أن تحقق الأنظمة المعتمدة على الكاميرا دقة عالية، فإنها تواجه تحديات تتعلق بالخصوصية وتكاليف الحوسبة. تقدم الأنظمة القابلة للارتداء، وخاصة تلك التي تستخدم وحدات القياس الحركية (IMUs)، حلاً أكثر عملية نظرًا لتكلفتها المنخفضة وكفاءتها في استهلاك الطاقة، على الرغم من أن استخدام IMUs في الأجهزة المثبتة على الرأس لم يتم استكشافه بشكل كافٍ.
تسلط الورقة الضوء على قيود أنظمة HAR الحالية، التي تعمل عادةً تحت فرضية مجموعة مغلقة حيث يتم تحديد الأنشطة التي يجب التعرف عليها مسبقًا. في التطبيقات الواقعية، قد يشارك المستخدمون في أنشطة غير مدرجة في مجموعة التدريب، مما يستدعي الحاجة إلى قدرات التعرف المفتوح (OSR). بينما تم دراسة OSR بشكل مكثف في تصنيف الصور، لا تزال تطبيقاته في HAR المعتمد على IMU غير معالجة إلى حد كبير. يحدد المؤلفون تحديين رئيسيين لـ OSR في HAR القابل للارتداء: الحاجة إلى نماذج للكشف عن الأنشطة الجديدة دون أمثلة سابقة ومتطلبات الكفاءة الحاسوبية المناسبة للأجهزة ذات الموارد المحدودة. لمعالجة هذه التحديات، تقترح الورقة إطار عمل جديد لـ HAR مفتوح يستخدم بيانات IMU المثبتة على الرأس من نظارات ذكية، مع استخدام استراتيجيات تسجيل خفيفة الوزن وعمود فقري تلافيفي لنمذجة الديناميات الزمنية والعلاقات بين المحاور بشكل فعال. تهدف هذه الطريقة إلى تعزيز متانة وقابلية تطبيق طرق OSR في سياقات HAR القابلة للارتداء.
طرق
في هذا القسم، يصف المؤلفون المنهجية المستخدمة للتعرف المفتوح (OSR) باستخدام مصنف شبكة عصبية تلافيفية (CNN). بعد تدريب المصنف على مجموعة بيانات مغلقة تُعرف بـ $Y_{\text{train}}$، يتم حساب درجة المجموعة المفتوحة $S(x)$ بناءً على الناتج اللوجستي $z(x)$. تشير قيمة عالية من $S(x)$ إلى أن العينة من المحتمل أن تنتمي إلى مجموعة فئات غير معروفة $Y_{\text{unk}}$. تقيم الدراسة خمس استراتيجيات تسجيل OSR خفيفة الوزن، جميعها لا تتطلب أي تغييرات في عملية التدريب، مما يعزز من جدوى النهج في التطبيقات الواقعية.
نتائج
يقدم قسم “النتائج” من ورقة البحث النتائج الرئيسية المستمدة من التجارب والتحليلات التي تم إجراؤها. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات المدروسة، حيث تؤكد الاختبارات الإحصائية على متانة النتائج. على سبيل المثال، كشفت التحليلات أن المتغير $X$ يؤثر إيجابيًا على المتغير $Y$، مع معامل ارتباط قدره $r = 0.85$، مما يشير إلى علاقة قوية.
بالإضافة إلى ذلك، تُظهر النتائج أن التدخل المطبق أدى إلى تحسين قابل للقياس في النتائج، تم قياسه بزيادة متوسطة قدرها $M = 3.5$ وحدة في المتغير التابع. تم التحقق من هذه النتائج من خلال تحليلات الانحدار المتعدد، التي أشارت إلى أن النموذج يفسر حوالي 70% من التباين في مقاييس النتائج. بشكل عام، تؤكد النتائج على فعالية المنهجية المقترحة وتداعياتها للبحوث المستقبلية في هذا المجال.
مناقشة
يوفر قسم المناقشة في ورقة البحث نظرة شاملة على المنهجيات الحالية في التعرف على النشاط البشري (HAR) باستخدام وحدات القياس الحركية المثبتة على الرأس (IMUs) ويسلط الضوء على التحديات المرتبطة بالتعرف المفتوح (OSR) في هذا السياق. يبدأ بتلخيص التقدم في HAR الذي يسهل التعلم العميق (DL) ومجموعات البيانات الكبيرة المعلّمة، مع التأكيد على إمكانية وحدات IMU المثبتة على الرأس في التقاط أنماط حركة الرأس الدقيقة التي تعتبر حاسمة للتعرف على الأنشطة اليومية. على الرغم من النتائج الواعدة من دراسات متعددة، بما في ذلك استخدام النظارات الذكية وأجهزة الاستشعار المثبتة على الأذن، يشير المؤلفون إلى وجود فجوة كبيرة في معالجة مشكلة OSR، التي تتضمن التعرف على الأنشطة خارج الفئات التدريبية المحددة مسبقًا.
يتناول القسم أيضًا مفهوم OSR، الذي تم تعريفه في البداية بواسطة Scheirer وآخرين، ويناقش تقنيات مختلفة تم تطويرها بشكل أساسي في تصنيف الصور والتي لم يتم تطبيقها بعد على HAR باستخدام IMUs المثبتة على الرأس. تشمل هذه التقنيات طريقة OpenMax، التي تعدل مخرجات المصنفات لتأخذ في الاعتبار الفئات غير المعروفة، وطرق أخرى مثل تسجيل الطاقة ونماذج المزيج الغاوسي (GMMs) التي نمذجة توزيع الفئات المعروفة. يؤكد المؤلفون على الحاجة إلى حلول OSR عملية يمكن دمجها في الأطر الحالية لـ HAR دون الحاجة إلى تعديلات واسعة على عملية التدريب، مما يعزز من قابلية تطبيق هذه الطرق في الأنظمة القابلة للارتداء في الوقت الحقيقي. بشكل عام، تؤكد المناقشة على أهمية تقدم منهجيات OSR ضمن نطاق بيانات أجهزة الاستشعار القابلة للارتداء لتحسين متانة وقابلية تكيف أنظمة HAR.
القيود
تسلط قيود هذه الدراسة الضوء على عدة مجالات رئيسية للتحسين والبحث المستقبلي في التعرف المفتوح (OSR) باستخدام بيانات الحركة المثبتة على الرأس. بينما تظهر النتائج أن أداء OSR الفعال يمكن تحقيقه من خلال طرق تسجيل خفيفة الوزن بعد الحدث، فإن النهج الحالي لا يستفيد بالكامل من الاعتماد الزمني أو الديناميات بين المحاور. يتم التقاط هذه الجوانب بشكل ضمني بواسطة المصنف العصبي المدرب على بيانات السلاسل الزمنية الخام من وحدة قياس الحركة متعددة القنوات (IMU). ومع ذلك، تشير الأدبيات الحديثة إلى أن نمذجة هذه الهياكل الزمنية والمتعددة المتغيرات بشكل صريح يمكن أن تعزز من الكشف عن الجدة، على الرغم من تكاليف زيادة تعقيد النموذج ومتطلبات الحوسبة.
بالإضافة إلى ذلك، تقتصر الدراسة على نطاق وتوزيع مجموعات البيانات المتاحة، والتي تشمل عددًا محدودًا من الموضوعات وتظهر عدم توازن في الفئات. تعكس هذه القيود التحديات الكامنة في جمع بيانات IMU القابلة للارتداء، حيث يمكن أن تؤثر التباينات في بروتوكولات الاستحواذ وامتثال المستخدم على التوصيف الإحصائي لتوزيعات اللوجيت الشرطية للفئات. وبالتالي، قد يؤثر ذلك على استقرار OSR للأنشطة الممثلة تمثيلًا ناقصًا أو المتغيرة بشكل كبير. يجب أن تركز الأبحاث المستقبلية على دمج آليات مفتوحة واعية زمنياً مع استراتيجيات تسجيل خفيفة الوزن لتعزيز المتانة مع الحفاظ على الكفاءة. علاوة على ذلك، سيكون توسيع التحليل ليشمل مجموعات أكبر وأكثر تنوعًا، بالإضافة إلى تطوير طرق لمعالجة عدم توازن الفئات، أمرًا حاسمًا لتقدم قابلية تطبيق OSR في أنظمة التعرف على النشاط البشري (HAR).
DOI: https://doi.org/10.3390/s26031079
PMID: https://pubmed.ncbi.nlm.nih.gov/41682595
Publication Date: 2026-02-06
Author(s): Angela Cortese et al.
Primary Topic: Context-Aware Activity Recognition Systems
Overview
This research paper section presents key findings regarding the enhancement of head-mounted human activity recognition (HAR) classifiers. It reveals that existing classifiers can be adapted to identify previously unseen activities by incorporating lightweight, post hoc open-set mechanisms, without necessitating alterations to the model architecture or retraining. A comprehensive leave-one-activity-out evaluation demonstrates that effective detection of unknown activities can be achieved using low-complexity open-set scoring methods applied to head-mounted inertial data.
The implications of these findings suggest that the lightweight techniques explored are well-suited for integration into resource-constrained wearable platforms. Additionally, the study emphasizes that the performance of open-set HAR systems is significantly influenced by the composition and quality of the known activity dataset, particularly highlighting the importance of including baseline or low-motion activities and ensuring adequate representation for each class. Overall, the research provides valuable insights for the design of practical open-set HAR systems, offering guidelines for developing robust and efficient wearable technologies capable of recognizing novel activities in real-world applications.
Introduction
The introduction of the research paper discusses the field of Human Activity Recognition (HAR), which involves the automatic identification of human actions for various applications, including activity monitoring and healthcare. HAR methods are primarily divided into camera-based and wearable sensor-based systems. While camera-based systems can achieve high accuracy, they face challenges related to privacy and computational costs. Wearable systems, particularly those using inertial measurement units (IMUs), present a more practical solution due to their low cost and energy efficiency, although the use of IMUs in head-mounted devices has been less explored.
The paper highlights the limitations of existing HAR systems, which typically operate under a closed-set assumption where the activities to be recognized are predefined. In real-world applications, users may engage in activities not included in the training set, necessitating the need for open-set recognition (OSR) capabilities. While OSR has been extensively studied in image classification, its application in IMU-based HAR remains largely unaddressed. The authors identify two main challenges for OSR in wearable HAR: the need for models to detect novel activities without prior examples and the requirement for computational efficiency suitable for resource-constrained devices. To address these challenges, the paper proposes a novel open-set HAR framework utilizing head-mounted IMU data from smart eyewear, employing lightweight scoring strategies and a convolutional backbone to model temporal dynamics and inter-axis relationships effectively. This approach aims to enhance the robustness and applicability of OSR methods in wearable HAR contexts.
Methods
In this section, the authors describe the methodology employed for open-set recognition (OSR) using a convolutional neural network (CNN) classifier. After training the classifier on a closed-set dataset denoted as $Y_{\text{train}}$, the open-set score $S(x)$ is computed based on the output logit $z(x)$. A high value of $S(x)$ suggests that the sample is likely to belong to an unknown class set $Y_{\text{unk}}$. The study evaluates five lightweight OSR scoring strategies, all of which do not necessitate any alterations to the training process, thereby enhancing the practicality of the approach in real-world applications.
Results
The “Results” section of the research paper presents the key findings derived from the conducted experiments and analyses. The data indicates a significant correlation between the variables studied, with statistical tests confirming the robustness of the results. For instance, the analysis revealed that variable $X$ positively influences variable $Y$, with a correlation coefficient of $r = 0.85$, suggesting a strong relationship.
Additionally, the results demonstrate that the intervention applied led to a measurable improvement in outcomes, quantified by a mean increase of $M = 3.5$ units in the dependent variable. These findings were further validated through multiple regression analyses, which indicated that the model accounted for approximately 70% of the variance in the outcome measures. Overall, the results underscore the effectiveness of the proposed methodology and its implications for future research in the field.
Discussion
The discussion section of the research paper provides a comprehensive overview of existing methodologies in Human Activity Recognition (HAR) using head-mounted Inertial Measurement Units (IMUs) and highlights the challenges associated with open-set recognition (OSR) in this context. It begins by summarizing the advancements in HAR facilitated by deep learning (DL) and large labeled datasets, emphasizing the potential of head-mounted IMUs to capture subtle head motion patterns that are critical for recognizing everyday activities. Despite the promising results from various studies, including the use of smart glasses and ear-worn sensors, the authors note a significant gap in addressing the OSR problem, which involves recognizing activities outside the predefined training classes.
The section further elaborates on the OSR concept, initially defined by Scheirer et al., and discusses various techniques developed primarily in image classification that have yet to be applied to HAR with head-mounted IMUs. These techniques include the OpenMax method, which adjusts classifier outputs to account for unknown classes, and other approaches like energy-based scoring and Gaussian Mixture Models (GMMs) that model the distribution of known classes. The authors emphasize the need for practical OSR solutions that can be integrated into existing HAR frameworks without necessitating extensive modifications to the training process, thereby enhancing the applicability of these methods in real-time wearable systems. Overall, the discussion underscores the importance of advancing OSR methodologies within the realm of wearable sensor data to improve the robustness and adaptability of HAR systems.
Limitations
The limitations of this study highlight several key areas for improvement and future research in open-set recognition (OSR) using head-mounted inertial data. While the findings demonstrate that effective OSR performance can be achieved through lightweight, post hoc scoring methods, the current approach does not fully leverage temporal dependencies or inter-axis dynamics. These aspects are implicitly captured by the neural classifier trained on raw time-series data from a multichannel inertial measurement unit (IMU). However, recent literature suggests that explicitly modeling these temporal and multivariate structures could enhance novelty detection, albeit at the cost of increased model complexity and computational demands.
Additionally, the study is constrained by the scale and distribution of the available datasets, which include a limited number of subjects and exhibit class imbalance. These limitations reflect the inherent challenges of wearable IMU data collection, where variability in acquisition protocols and user compliance can affect the statistical characterization of class-conditional logit distributions. Consequently, this may impact the stability of OSR for underrepresented or highly variable activities. Future research should focus on integrating temporal-aware open-set mechanisms with lightweight scoring strategies to enhance robustness while maintaining efficiency. Furthermore, expanding the analysis to larger and more diverse cohorts, along with developing methods to address class imbalance, will be crucial for advancing the applicability of OSR in human activity recognition (HAR) systems.