مسابقة تعلم الآلة تعزز الكشف الآلي عن تجمد المشي وتكشف عن تأثيرات الوقت من اليوم
A machine learning contest enhances automated freezing of gait detection and reveals time-of-day effects

المجلة: Nature Communications، المجلد: 15، العدد: 1
DOI: https://doi.org/10.1038/s41467-024-49027-0
PMID: https://pubmed.ncbi.nlm.nih.gov/38844449
تاريخ النشر: 2024-06-06
المؤلف: Amit Salomon وآخرون
الموضوع الرئيسي: التوازن، والمشي، والوقاية من السقوط

نظرة عامة

يؤثر تجمد المشي (FOG) بشكل كبير على 38-65% من الأفراد المصابين بمرض باركنسون، مما يؤدي إلى ضعف حركي شديد وزيادة خطر السقوط. يتميز بفصول مفاجئة حيث يشعر المرضى كما لو كانت أقدامهم “ملصوقة” بالأرض، ويشكل FOG تحديًا للقياس الموضوعي بسبب طبيعته غير المتوقعة وتنوع تجلياته. تعاني طرق التقييم الحالية، بما في ذلك استبيانات الإبلاغ الذاتي وملاحظات الأطباء، من مشكلات في الموثوقية والموضوعية، مما يعقد فهم وعلاج هذا العرض المعيق.

لمعالجة نقص طرق الكشف الفعالة عن FOG، تم تنظيم مسابقة تعلم آلي لمدة 3 أشهر، جذبت 1,379 فريقًا من 83 دولة قدموا ما مجموعه 24,862 حلاً. أظهرت الخوارزميات الفائزة دقة عالية، وخصوصية، ودقة في الكشف عن FOG، وكانت مرتبطة بشكل جيد بالمراجع المعتمدة كمعيار ذهبي. ومن الجدير بالذكر أنه عند تطبيقها على بيانات مستمرة على مدار 24 ساعة في اليوم، كشفت هذه الحلول عن أنماط لم يتم التعرف عليها سابقًا في حدوث FOG اليومي. تسلط هذه المبادرة الضوء على إمكانية الاستفادة من مسابقات تعلم الآلة لجذب خبراء الذكاء الاصطناعي لمعالجة التحديات الطبية الحرجة، مما يمهد الطريق لتحديد أكثر موضوعية لـ FOG وتحسين نتائج المرضى.

طرق

في هذه الدراسة، تم استخدام بيانات المسابقة من ثلاثة مواقع بحثية سابقة، حيث تم إزالة تعريف البيانات للتحليل الحالي. حصلت الدراسات الأصلية على موافقة أخلاقية من اللجان المعنية بالدراسات البشرية في Hebrew SeniorLife (IRB-2016-13)، ومركز تل أبيب سوراسكي الطبي (0710-15-TLV، 0674-15-TLV، 0908-18-TLV)، و UZ/KU Leuven (s62453). تم أيضًا السماح بإعادة استخدام هذه البيانات المجهولة من قبل الهيئات الأخلاقية المعنية، مما يضمن الامتثال للمعايير الأخلاقية. قدم جميع المشاركين موافقة خطية مستنيرة قبل مشاركتهم في الدراسات الأصلية.

ومن الجدير بالذكر أن البحث لم يتضمن أي تحليل بناءً على الجنس أو النوع، حيث لم تثبت الدراسات السابقة وجود أي ارتباطات كبيرة بين هذه الديموغرافيات وتجلي السلوك لتجمد المشي (FOG). تم توثيق جنس المشاركين بناءً على الإبلاغ الذاتي.

نتائج

في قسم النتائج، قامت الدراسة بتحليل نسبة الوقت الذي يقضيه الأفراد المصابون بمرض باركنسون (PD) في تجمد المشي (%TF) خلال الأنشطة اليومية، مع مقارنة أولئك الذين يعانون من تجمد المشي (FOG) وأولئك الذين لا يعانون. استخدمت التحليل بيانات من 45 فردًا يعانون من FOG و19 بدون، وكشفت عن عدم وجود اختلافات كبيرة في %TF خلال ساعات النهار (7:00 إلى 22:00) بناءً على اختبار مان-ويتني U. ومع ذلك، أشار نموذج مشترك يجمع بين أفضل ثلاثة نماذج تنبؤية إلى وجود اختلافات كبيرة في %TF بين المجمدين وغير المجمدين في أوقات مختلفة من اليوم والليل، مع تمييز ملحوظ في %TF خلال النهار مقابل الليل لمجموعة المجمدين (p < 0.001). أظهر التحليل الإضافي ارتباطات عالية داخل الفئة لثبات %TF اليومي عبر الأيام، مع قيم تبلغ 0.95 للمجمدين و0.90 لغير المجمدين (p < 0.01). كان حجم تأثير الفرق المتوسط في %TF اليومي بين المجموعتين معتدلاً (0.7). بالإضافة إلى ذلك، عند تصنيف المجمدين إلى مجموعات شديدة ومتوسطة، لوحظت اختلافات كبيرة في %TF (p < 0.01)، مع تأكيد التحليلات اللاحقة على التمييز بين المجموعات الثلاث. أشار مقارنة استكشافية لتوزيعات فئات FOG إلى أن FOG أثناء الدوران كان الأكثر انتشارًا في كل من السياقات اليومية والسياقات المحفزة لـ FOG، بينما كان FOG أثناء التردد نادرًا في البيانات الواقعية (<1%) مقارنة بـ 10% في الاختبارات الخاضعة للرقابة، مما يشير إلى توزيعات مشابهة ولكن ليست متطابقة عبر مجموعات البيانات.

مناقشة

نجحت مسابقة توقع تجمد المشي لدى مرضى باركنسون (FOG) في جذب أكثر من 1,300 فريق من 83 دولة لتطوير خوارزميات تعلم آلي للكشف وتصنيف ثلاثة أنواع من حلقات FOG: التردد عند البدء، FOG أثناء الدوران، وFOG أثناء المشي. باستخدام بيانات تسارع ثلاثية الأبعاد من مستشعر واحد في أسفل الظهر وتعليقات فيديو تمت مراجعتها من قبل خبراء، أسفرت المسابقة عن ما يقرب من 5000 حلقة FOG محددة من أكثر من 90 ساعة من البيانات المسجلة. حققت النماذج الخمس الأولى درجات دقة متوسطة تتراوح بين 0.514 إلى 0.390 على مجموعة اختبار خاصة، مما يدل على تقدم كبير في قدرات الكشف عن FOG مقارنة بالدراسات السابقة.

كشفت التحليلات بعد المسابقة عن معاملات ارتباط داخل الفئة عالية (ICCs) لأفضل النماذج، خاصة في تقدير نسبة الوقت الذي يقضيه الأفراد في التجمد (%TF) وإجمالي مدة FOG، مع تجاوز ICCs 0.87. ومع ذلك، كان عد حلقات FOG أكثر تحديًا، مما يشير إلى أن أنماط الكشف المجزأة قد أدت إلى نقص في العد. أظهرت النماذج أداءً قويًا في الكشف عن FOG أثناء الدوران، الذي كان المحفز الأكثر شيوعًا، بينما كان الأداء في أحداث المشي والتردد عند البدء أقل قوة. تشير النتائج إلى أن النماذج الفائزة يمكن أن تحدد بفعالية أحداث FOG وقد تقلل من الاعتماد على التعليقات من الخبراء، على الرغم من أن المزيد من التحسينات ضرورية للكشف عن فئات FOG المحددة. تسلط هذه النتائج الضوء على إمكانية التطبيقات الواقعية لأنظمة الكشف عن FOG ذات المستشعر الواحد، مما يمهد الطريق للتقدم المستقبلي في هذا المجال.

Journal: Nature Communications, Volume: 15, Issue: 1
DOI: https://doi.org/10.1038/s41467-024-49027-0
PMID: https://pubmed.ncbi.nlm.nih.gov/38844449
Publication Date: 2024-06-06
Author(s): Amit Salomon et al.
Primary Topic: Balance, Gait, and Falls Prevention

Overview

Freezing of gait (FOG) significantly affects 38-65% of individuals with Parkinson’s disease, leading to severe mobility impairment and increased fall risk. Characterized by sudden episodes where patients feel as if their feet are “glued” to the floor, FOG presents a challenge for objective measurement due to its unpredictable nature and variability in manifestation. Current assessment methods, including self-report questionnaires and clinician observations, are plagued by reliability and subjectivity issues, complicating the understanding and treatment of this debilitating symptom.

To tackle the lack of effective FOG detection methods, a 3-month machine-learning contest was organized, attracting 1,379 teams from 83 countries who submitted a total of 24,862 solutions. The winning algorithms demonstrated high accuracy, specificity, and precision in detecting FOG, correlating well with established gold-standard references. Notably, when applied to continuous 24/7 data, these solutions uncovered previously unrecognized patterns in daily FOG occurrences. This initiative highlights the potential of leveraging machine learning contests to engage AI experts in addressing critical medical challenges, paving the way for more objective quantification of FOG and improved patient outcomes.

Methods

In this study, competition data were utilized from three previously conducted research sites, where the data had been de-identified for the current analysis. The original studies received ethical approval from the respective human studies committees at Hebrew SeniorLife (IRB-2016-13), the Tel Aviv Sourasky Medical Center (0710-15-TLV, 0674-15-TLV, 0908-18-TLV), and UZ/KU Leuven (s62453). The reuse of this anonymized data was also sanctioned by the relevant ethical bodies, ensuring compliance with ethical standards. All participants provided written informed consent prior to their involvement in the original studies.

Notably, the research did not include any analysis based on sex or gender, as prior studies have not established any significant associations between these demographics and the behavioral manifestation of Freezing of Gait (FOG). Participant sex was documented based on self-reporting.

Results

In the results section, the study analyzed the percentage of time spent freezing (%TF) during daily living activities in individuals with Parkinson’s disease (PD), specifically comparing those with and without freezing of gait (FOG). The analysis utilized data from 45 individuals with FOG and 19 without, revealing no significant differences in %TF during daytime hours (7:00 to 22:00) based on a Mann-Whitney U test. However, a joint model combining the top three predictive models indicated significant differences in %TF between freezers and non-freezers at various times of the day and night, with a notable distinction in daytime versus nighttime %TF for the freezer group (p < 0.001). Further analysis demonstrated high intraclass correlations for daily %TF consistency across days, with values of 0.95 for freezers and 0.90 for non-freezers (p < 0.01). The effect size of the mean difference in daily %TF between the two groups was moderate (0.7). Additionally, when categorizing freezers into severe and moderate groups, significant differences in %TF were observed (p < 0.01), with post-hoc analyses confirming distinctions among all three groups. An exploratory comparison of FOG class distributions indicated that turning FOG was the most prevalent in both daily living and FOG-provoking contexts, while start hesitation FOG was rare in real-world data (<1%) compared to 10% in controlled tests, suggesting similar but not identical distributions across datasets.

Discussion

The Parkinson’s Freezing of Gait (FOG) Prediction Challenge successfully engaged over 1,300 teams from 83 countries to develop machine-learning algorithms for detecting and classifying three types of FOG episodes: start hesitation, FOG during turns, and FOG during walking. Utilizing 3D acceleration data from a single lower-back sensor and expert-reviewed video annotations, the competition yielded nearly 5000 identified FOG episodes from over 90 hours of recorded data. The top five models achieved mean average precision scores of 0.514 to 0.390 on a private test set, demonstrating significant advancements in FOG detection capabilities compared to previous studies.

Post-competition analyses revealed high intraclass correlation coefficients (ICCs) for the top models, particularly in estimating the percentage of time spent freezing (%TF) and total FOG duration, with ICCs exceeding 0.87. However, counting the number of FOG episodes proved more challenging, suggesting that fragmented detection patterns may have led to undercounting. The models exhibited strong performance in detecting FOG during turns, which was the most common trigger, while performance for walking and start hesitation events was less robust. The findings indicate that the winning models can effectively identify FOG events and may reduce reliance on expert annotations, although further refinement is necessary for specific FOG class detection. These results highlight the potential for real-world applications of single-sensor FOG detection systems, paving the way for future advancements in the field.