واجهة دماغ-كمبيوتر عالية الأداء لفك تشفير الأصابع والتحكم في لعبة الطائرات الرباعية لدى فرد مصاب بالشلل

النتائج

أبعاد النشاط العصبي

أثر عدد درجات الحرية النشطة على فك التشفير

على الرغم من زيادة الأبعاد في النشاط العصبي عند فك تشفير المزيد من درجات الحرية، إلا أنه من غير الواضح ما إذا كان فك تشفير المزيد من درجات الحرية يؤثر على تمثيل النشاط العصبي عند فك تشفير عدد أقل من درجات الحرية. قد يتغير التمثيل العصبي لدرجات الحرية التي تم فك تشفيرها في المهمة ثنائية الأبعاد (ثني/مد إصبع الإبهام والسبابة والوسطى) خلال المهمة رباعية الأبعاد، على سبيل المثال، إذا كانت هناك حاجة لاستراتيجية تحكم مختلفة للمهمة رباعية الأبعاد مقارنة بالمهمة ثنائية الأبعاد – مشابهة لكيفية تطوير استراتيجيات تحكم جديدة.

تمت مقارنة الترجمة من النشاط العصبي إلى درجات الحرية الأصلية (DOF) لكل من أجهزة فك التشفير ثنائية الأبعاد (2D) وأربعة الأبعاد (4D). للقيام بذلك، تم استخدام جهاز فك التشفير رباعي الأبعاد للتنبؤ بالسرعات التي تم فك تشفيرها بواسطة جهاز فك التشفير ثنائي الأبعاد في المهمة ثنائية الأبعاد والعكس صحيح. كانت السرعات المتوقعة من جهاز فك التشفير رباعي الأبعاد مشابهة لتلك التي تم فك تشفيرها في الكتل المباشرة بواسطة جهاز فك التشفير ثنائي الأبعاد (الشكل 2c). لتQuantify هذه المقارنة، تم حساب دالة الارتباط المتقاطع المنظم (CC) بين السرعات المفككة والمقدرة خلال الكتل الثمانية (الشكل 2d). تم فصل النتائج بناءً على ما إذا كانت السرعات المفككة عبر الإنترنت من أجهزة فك التشفير رباعية الأبعاد أو ثنائية الأبعاد. كانت قيمة CC عندما تنبأ الخوارزمية رباعية الأبعاد بسرعات فك التشفير ثنائية الأبعاد هي وعندما توقع الخوارزمية ثنائية الأبعاد السرعات المفككة رباعية الأبعاد، كانت معامل الارتباط (الشكل 2ج). وبالتالي، بدا أن التمثيل العصبي لحركات الأصابع مشابه على الرغم من التحكم النشط في المزيد من درجات الحرية، وهو ما يتماشى مع تقارير أخرى حيث يتم تمثيل العديد من درجات الحرية ضمن نفس المجموعة العصبية في قشرة الدماغ الحركية. .

اعتماد دقة فك التشفير على عدد القنوات

ترجمة إشارة إصبع iBCI للتحكم في الطائرة الرباعية الافتراضية

تجربة المستخدم

كما هو موضح في دراسات أخرى غير متعلقة بالتحفيز الدماغي المباشر التي توضح التأثير السريري لألعاب الفيديو على الأشخاص ذوي الإعاقة عبّر T5 عن مواضيع الاتصال الاجتماعي، والتمكين، والترفيه خلال التحكم في الطائرة الرباعية باستخدام واجهة الدماغ الحاسوبية. وقد عبّر في مناسبات متعددة (حتى قبل التسجيل في التجربة السريرية) أن واحدة من أولوياته الشخصية الأكثر أهمية كانت استخدام واجهة الدماغ الحاسوبية للتحكم في الطائرة الرباعية؛ كان يشعر أن التحكم في الطائرة الرباعية سيمكنه، للمرة الأولى منذ إصابته، من “الارتفاع” مجازيًا عن سريره/كرسيه. كان يتطلع إلى جلسات الطائرة الرباعية، وغالبًا ما يسأل عن موعد الجلسة التالية، وغالبًا ما يطلب منا إرسال مقاطع فيديو لرحلات الطائرة الرباعية إلى صديقه. عندما لا يكون مشغولًا بتجارب محددة، كان يستمتع بالطيران بالطائرة الرباعية بشكل عفوي. كان يسأل باستمرار عن المزيد.

نقاش

المحتوى عبر الإنترنت

References

1. Armour, B. S., Courtney-Long, E. A., Fox, M. H., Fredine, H. & Cahill, A. Prevalence and causes of paralysis-United States, 2013. Am. J. Public Health 106, 1855-1857 (2016).
2. Trezzini, B., Brach, M., Post, M. & Gemperli, A. Prevalence of and factors associated with expressed and unmet service needs reported by persons with spinal cord injury living in the community. Spinal Cord 57, 490-500 (2019).
3. Cairns, P. et al. Enabled players: the value of accessible digital games. Games Cult. 16, 262-282 (2021).
4. Tabacof, L., Dewil, S., Herrera, J. E., Cortes, M. & Putrino, D. Adaptive esports for people with spinal cord injury: new frontiers for inclusion in mainstream sports performance. Front. Psychol. https://doi.org/10.3389/fpsyg.2021.612350 (2021).
5. Beeston, J., Power, C., Cairns, P. & Barlet, M. in Computers Helping People with Special Needs (eds Miesenberger, K. & Kouroupetroglou, G.) 245-253 (Springer, 2018).
6. Porter, J. R. & Kientz, J. A. An empirical study of issues and barriers to mainstream video game accessibility. In Proc. 15th International ACM SIGACCESS Conference on Computers and Accessibility (ed. Lewis, C.) 1-8 (ACM, 2013).
7. Taheri, A., Weissman, Z. & Sra, M. Design and evaluation of a hands-free video game controller for individuals with motor impairments. Front. Comp. Sci. 3, 751455.1 (2021).
8. Nuyujukian, P. et al. Cortical control of a tablet computer by people with paralysis. PLoS ONE 13, eO2O4566 (2018).
9. Flesher, S. N. et al. A brain-computer interface that evokes tactile sensations improves robotic arm control. Science 372, 831-836 (2021).
10. Ajiboye, A. B. et al. Restoration of reaching and grasping movements through brain-controlled muscle stimulation in a person with tetraplegia: a proof-of-concept demonstration. Lancet 389, 1821-1830 (2017).
11. Carmena, J. M. et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biol. 1, e42 (2003).
12. Collinger, J. L. et al. High-performance neuroprosthetic control by an individual with tetraplegia. Lancet 381, 557-564 (2013).
13. Hochberg, L. R. et al. Reach and grasp by people with tetraplegia using a neurally controlled robotic arm. Nature 485, 372-375 (2012).
14. Pandarinath, C. et al. High performance communication by people with paralysis using an intracortical brain-computer interface. eLife 6, e18554 (2017).
15. Velliste, M., Perel, S., Spalding, M. C., Whitford, A. S. & Schwartz, A. B. Cortical control of a prosthetic arm for self-feeding. Nature 453, 1098-1101 (2008).
16. Hochberg, L. R. et al. Neuronal ensemble control of prosthetic devices by a human with tetraplegia. Nature 442, 164-171 (2006).
17. Wodlinger, B. et al. Ten-dimensional anthropomorphic arm control in a human brain-machine interface: difficulties, solutions, and limitations. J. Neural Eng. 12, 016011 (2014).
18. Guan, C. et al. Decoding and geometry of ten finger movements in human posterior parietal cortex and motor cortex. J. Neural Eng. 20, 036020 (2023).
19. Jorge, A., Royston, D. A., Tyler-Kabara, E. C., Boninger, M. L. & Collinger, J. L. Classification of individual finger movements using intracortical recordings in human motor cortex. Neurosurgery 87, 630-638 (2020).
20. Bouton, C. E. et al. Restoring cortical control of functional movement in a human with quadriplegia. Nature 533, 247-250 (2016).
21. Nakanishi, Y. et al. Decoding fingertip trajectory from electrocorticographic signals in humans. Neurosci. Res. 85, 20-27 (2014).
22. Nason, S. R. et al. Real-time linear prediction of simultaneous and independent movements of two finger groups using an intracortical brain-machine interface. Neuron 109, 3164-3177. e3168 (2021).
23. Willsey, M. S. et al. Real-time brain-machine interface in non-human primates achieves high-velocity prosthetic finger movements using a shallow feedforward neural network decoder. Nat. Commun. 13, 6899 (2022).
24. Nason, S. R. et al. A low-power band of neuronal spiking activity dominated by local single units improves the performance of brain-machine interfaces. Nat. Biomed. Eng. 4, 973-983 (2020).
25. Costello, J. T. et al. Balancing memorization and generalization in RNNs for high performance brain-machine interfaces. Preprint at bioRxiv https://doi.org/10.1101/2023.05.28.542435 (2023).
26. Shah, N. P. et al. Pseudo-linear summation explains neural geometry of multi-finger movements in human premotor cortex. Preprint at bioRxiv https://doi.org/10.1101/2023.10.11.561982 (2023).
27. Willett, F. R., Avansino, D. T., Hochberg, L. R., Henderson, J. M. & Shenoy, K. V. High-performance brain-to-text communication via handwriting. Nature 593, 249-254 (2021).
28. Griffin, D. M., Hoffman, D. S. & Strick, P. L. Corticomotoneuronal cells are “functionally tuned”. Science 350, 667-670 (2015).
29. Sakellaridi, S. et al. Intrinsic variable learning for brain-machine interface control by human anterior intraparietal cortex. Neuron 102, 694-705. e693 (2019).
30. Willett, F. R. et al. Hand knob area of premotor cortex represents the whole body in a compositional way. Cell 181, 396-409. e326 (2020).
31. Zhang, C. Y. et al. Preservation of partially mixed selectivity in human posterior parietal cortex across changes in task context. Eneuro 7, ENEURO.0222-19.2019 (2020).
32. Kryger, M. et al. Flight simulation using a brain-computer interface: a pilot, pilot study. Exp. Neurol. 287, 473-478 (2017).
33. Gilja, V. et al. A high-performance neural prosthesis enabled by control algorithm design. Nat. Neurosci. 15, 1752 (2012).
34. Kao, J. C., Nuyujukian, P., Ryu, S. I. & Shenoy, K. V. A high-performance neural prosthesis incorporating discrete state selection with hidden Markov models. IEEE Trans. Biomed. Eng. 64, 935-945 (2016).
35. LaFleur, K. et al. Quadcopter control in three-dimensional space using a noninvasive motor imagery-based brain-computer interface. J. Neural Eng. 10, 046003 (2013).
36. Essential facts about the computer and video game industry. Entertainment Software Association www.theesa.com/resource/2 021-essential-facts-about-the-video-game-industry/ (2021).
37. Raith, L. et al. Massively multiplayer online games and well-being: a systematic literature review. Front. Psychol. https://doi.org/ 10.3389/fpsyg.2021.698799 (2021).
38. Adeane, A. Quad gods: the world-class gamers who play with their mouths. BBC www.bbc.com/news/stories-55811621 (2021).
39. Willett, F. R. et al. A high-performance speech neuroprosthesis. Nature 620, 1031-1036 (2023).
40. Card, N. S. et al. An accurate and rapidly calibrating speech neuroprosthesis. N. Engl. J. Med. 391, 609-618 (2024).

طرق

التجربة السريرية والمشارك

جلسات المشارك

مهام الأصابع

مهام الطائرات الرباعية

خوارزمية فك التشفير

برنامج فك التشفير ذو الحلقة المغلقة

تدريب الخوارزمية

نظام BCI ومعالجة الإشارات في الواجهة الأمامية

بروتوكولات التدريب لبرنامج فك التشفير 4D

بروتوكولات التدريب لشفرة ثنائية الأبعاد

المقاييس عبر الإنترنت

التحليلات غير المتصلة بالإنترنت

ملخص التقرير

توفر البيانات

توفر الشيفرة

References

41. Deo, D. R. et al. Brain control of bimanual movement enabled by recurrent neural networks. Sci. Rep. 14, 1598 (2024).
42. Shah, S., Dey, D., Lovett, C. & Kapoor, A. Airsim: high-fidelity visual and physical simulation for autonomous vehicles. In Field and Service Robotics: Results of the 11th International Conference (eds Hutter, M. & Siegwart, R.) 621-635 (Springer, 2018).
43. Ioffe, S. & Szegedy, C. Batch normalization: accelerating deep network training by reducing internal covariate shift. In Proc. 32nd International Conference on Machine Learning (eds Bach, F. & Blei, D.) 448-456 (JMLR, 2015).
44. He, K., Zhang, X., Ren, S. & Sun, J. Delving deep into rectifiers: surpassing human-level performance on imagenet classification. In Proc. IEEE International Conference on Computer Vision 1026-1034 (IEEE, 2015).
45. Kingma, D. P. & Ba, J. Adam: a method for stochastic optimization. Preprint at https://arxiv.org/abs/1412.6980 (2014).
46. Perge, J. A. et al. Intra-day signal instabilities affect decoding performance in an intracortical neural interface system. J. Neural Eng. 10, 036004 (2013).
47. Liu, R. et al. Drop, swap, and generate: a self-supervised approach for generating neural activity. Adv. Neural Inf. Process Syst. 34, 10587-10599 (2021).
48. Sussillo, D., Stavisky, S. D., Kao, J. C., Ryu, S. I. & Shenoy, K. V. Making brain-machine interfaces robust to future neural variability. Nat. Commun. 7, 13749 (2016).
49. Jarosiewicz, B. et al. Virtual typing by people with tetraplegia using a self-calibrating intracortical brain-computer interface. Sci. Transl. Med. 7, 313ra179-313ra179 (2015).
50. Wilson, G. H. et al. Long-term unsupervised recalibration of cursor BCls. Preprint at bioRxiv https://doi. org/10.1101/2023.02.03.527022 (2023).
51. Degenhart, A. D. et al. Stabilization of a brain-computer interface via the alignment of low-dimensional spaces of neural activity. Nat. Biomed. Eng. 4, 672-685 (2020).
52. Karpowicz, B. M. et al. Stabilizing brain-computer interfaces through alignment of latent dynamics. Preprint at bioRxiv https://doi.org/10.1101/2022.04.06.487388 (2022).
53. Tse, D. & Viswanath, P. Fundamentals of Wireless Communication (Cambridge Univ. Press, 2005).
54. Willsey, M. et al. Data from: a high-performance brain-computer interface for finger decoding and quadcopter game control in an individual with paralysis [Dataset]. Dryad. https://doi.org/10.5061/ dryad.1jwstqk4f (2024).

شكر وتقدير

مساهمات المؤلفين

المصالح المتنافسة

معلومات إضافية

معلومات إعادة الطباعة والتصاريح متاحة علىwww.nature.com/reprints.

الشكل البياني الممتد 1| نظام واجهة الدماغ-الكمبيوتر داخل القشرة لحركات الأصابع الدقيقة. أ، إعادة بناء التصوير بالرنين المغناطيسي لدماغ المشارك مع مواقع الزرع موضحة كمربعات زرقاء. تم وضع مصفوفتي ميكروإلكترود سيليكونيت مكونتين من 96 قناة في منطقة ‘المقبض’ اليدوي في التلافيف الجبهية المركزية اليسرى.
2016. الخط الأحمر يشير إلى الشق المركزي (CS). لوحة من Deo وآخرون. .ب و ج، مصفوفات الارتباك التي تظهر احتمال تصنيف حركات الأصابع المحاولة بشكل صحيح باستخدام ، و نوافذ من تحليل غير متصل على بيانات الحلقة المفتوحة من اليوم 2423. IM، الوسطى؛ RL، الخنصر؛ TH، الإبهام.

الشكل البياني الموسع خوارزمية فك التشفير. المدخلات هو مصفوفة الإدخال، حيث هو عدد الأقطاب الكهربائية (192) و3 تمثل أحدث 3 صناديق. المتغير الناتج، يمثل متجهًا موحدًا لكل من سرعات الأصابع. تم حساب السرعات الفعلية المفككة من خلال تطبيق قيمة متوسطة محسوبة تجريبياً وقيمة كسب. الطبقات الخطية ( ) تضمنت مصطلح انحياز قابل للتعلم باستثناء الطبقة الخطية النهائية، لتقليل حجم المتوسطات غير الصفرية. جميع حالات الـ batchnorm، ، كانوا
تم تنفيذه باستخدام التحويلات الخطية صحيح باستثناء الدفعة النهائية من التوحيد، BN، حيث التعديل خطأ في محاولة تقليل اعتماد خوارزمية فك التشفير على تصحيح الإزاحة من كتلة الباتش نورم النهائية. خلال وضع التدريب، لم يقم طبقة الباتش نورم، BN، بتصحيح القيم المتوسطة غير الصفرية أو تطبيق تصحيح متوسط لفرض الطبقة الخطية النهائية. لتعلم إشارة خرج بمتوسط صفر. BN، تطبيع الدفعة؛ FC، متصل بالكامل؛ ReLU، وحدة خطية مصححة. الشكل مُعدل من (Willsey et al. 2022) .
أ.

ب.

مجموعات الأصابع الاثنين، 2 درجات حرية

الشكل البياني الممتد 3 | فك التشفير في حلقة مغلقة لمهمة إصبع ذات درجتين و4 درجات من الحرية (DOF). أ، يتم تصوير مقطع زمني مدته 100 ثانية من الحركات الم decoded النموذجية لمجموعة الأصابع ذات الإصبعين، مهمة 2-DOF. يتم وصف المسارات كنسبة مئوية من الانثناء (%Flex). توزيعات أوقات الحصول على الهدف (مللي ثانية) لـ
مهمة ذات درجتين من الحرية ومهمة ذات 4 درجات من الحرية، ، على مدى عدة كتل من كل مهمة. كل نقطة تمثل تجربة، والماس الأسود يشير إلى القيمة المتوسطة. تشير إلى عدد التجارب لكل كتلة، و R تشير إلى معدل الأهداف المكتسبة في الأهداف/دقيقة، و يمثل القيمة المتوسطة.

الشكل البياني الممتد 4 | توزيع مسافات الأصابع. بالنسبة لمهمة 2D و 4D مع هدفين جديدين/تجربة (في الشكل 1e)، توزيع المسافات للتجارب الناجحة لـ (أ) جهاز فك التشفير 2D و (ب) جهاز فك التشفير 4D. تم تطبيع المدرج التكراري بحيث تكون المساحة تحت المنحنى تساوي 1. يمثل المنحنى الأخضر المسافة لإصبع السبابة (IM) وإصبع الخاتم-الصغير (RL) عند الانثناء/التمديد مجتمعة عبر جميع التجارب لشفرة ثنائية الأبعاد وتجارب المهمة في الشكل 1e. في b، المنحنى الأخضر
يمثل المنحنى المسافات المجمعة لثني/مد إصبع IM وإصبع RL، ويمثل المنحنى البرتقالي المسافة ثنائية الأبعاد للإبهام (مجمعة من المكونات ثنائية الأبعاد للثني/المد والابتعاد/الاقتراب) للتجارب التي استخدمت جهاز فك التشفير رباعي الأبعاد والمهمة في الشكل 1e. وحدات عشوائية، DOF، درجة الحرية؛ PDF، دالة توزيع الاحتمالات.

محفظة الطبيعة

ملخص التقرير

الإحصائيات

تحتوي مجموعتنا على الويب حول الإحصائيات لعلماء الأحياء على مقالات تتناول العديد من النقاط المذكورة أعلاه.
□

□
□
□
□

لاختبار الفرضية الصفرية، يتم استخدام إحصائية الاختبار (مثل F، t، r) مع فترات الثقة، أحجام التأثير، درجات الحرية و قيمة ملحوظة أعطِ القيم كقيم دقيقة كلما كان ذلك مناسبًا.

□ لتحليل بايزي، معلومات حول اختيار القيم الأولية وإعدادات سلسلة ماركوف مونت كارلو
□ لتصميمات هرمية ومعقدة، تحديد المستوى المناسب للاختبارات والتقارير الكاملة عن النتائج
□ تقديرات أحجام التأثير (مثل حجم تأثير كوهين) بيرسون )، مما يشير إلى كيفية حسابها
تم التأكيد
□ حجم العينة بالضبط لكل مجموعة/شرط تجريبي، معطاة كرقم منفصل ووحدة قياس
□ بيان حول ما إذا كانت القياسات قد أُخذت من عينات متميزة أو ما إذا كانت نفس العينة قد تم قياسها عدة مرات

اختبار(ات) الإحصاء المستخدمة وما إذا كانت أحادية الجانب أو ثنائية الجانب
يجب أن تُوصف الاختبارات الشائعة فقط بالاسم؛ واصفًا التقنيات الأكثر تعقيدًا في قسم الطرق.
□ وصف لجميع المتغيرات المرافقة التي تم اختبارها
□ وصف لأي افتراضات أو تصحيحات، مثل اختبارات الطبيعية والتعديل للمقارنات المتعددة

البرمجيات والشيفرة

بيانات

معلومات السياسة حول توفر البيانات

• رموز الانضمام، معرفات فريدة، أو روابط ويب لمجموعات البيانات المتاحة للجمهور
• وصف لأي قيود على توفر البيانات
• بالنسبة لمجموعات البيانات السريرية أو بيانات الطرف الثالث، يرجى التأكد من أن البيان يتماشى مع سياستنا.

البحث الذي يتضمن مشاركين بشريين، بياناتهم، أو مواد بيولوجية

التقارير الخاصة بالمجال

تصميم دراسة العلوم الحياتية

التقارير عن مواد وأنظمة وطرق محددة

المواد والأنظمة التجريبية		طرق
غير متوفر	مشارك في الدراسة	غير متوفر	مشارك في الدراسة
إكس	□		□
إكس	□	إكس	□
		إكس	□
إكس	□
إكس	□
إكس	□

النباتات

A high-performance brain-computer interface for finger decoding and quadcopter game control in an individual with paralysis

Results

Dimensionality of the neural activity

Effect of number of active DOF on decoding

Despite increased dimensionality in neural activity when decoding more DOF, it is unclear whether decoding more DOF impacts the mapping of the neural activity when decoding a lower number of DOF. The neural representation of the DOF decoded in the 2D task (thumb and index-middle flexion/extension) could change during the 4D task, for example, if a different control strategy is required for the 4D compared to the 2D task-similar to how new control strategies can be developed

The mapping from neural activity to the original two DOF was compared for both 2D and 4D decoders. To do this, the 4D decoder was used to predict the velocities decoded by the 2D decoder on the 2D task and vice versa. The predicted velocities from the 4D decoder were similar to those decoded in online blocks by the 2D decoder (Fig. 2c). To quantify this comparison, the normalized cross-correlation (CC) function was calculated between the decoded and predicted velocities during the eight blocks (Fig. 2d). The results were separated based on whether the online decoded velocities were from the 4D or 2D decoders. The CC when the 4D algorithm predicted the 2D decoded velocities was , and when the 2D algorithm predicted the 4D decoded velocities, the CC was (Fig. 2c). Thus, the neural representation of finger movements appeared similar despite actively controlling more DOF, consistent with other reports where many DOF are represented within the same neural population in motor cortex .

Dependency of decoding accuracy on channel count