تم دمج التباين الزمني في الشجيرات مع الشبكات العصبية النابضة لتعلم الديناميات متعددة الأوقات

النتائج

خلية عصبية LIF نابضة مع تباين زمني في الشجيرات (DH-LIF)

الشكل 1 | الإلهامات من علم الأحياء لتحسين نمذجة الشبكات العصبية السريعة مع تباين زمني في الشجيرات. أ في الدماغ، هناك أوقات غنية في المحفزات الخارجية والأنشطة العصبية، وتباين زمني غني في الاستجابات العصبية والشجيرية. . نموذج الخلية العصبية الاصطناعية المستخدم في الشبكات العصبية الاصطناعية لا يأخذ في الاعتبار الذاكرة الزمنية، بينما نموذج الخلية العصبية النابضة المستخدم في الشبكات العصبية النابضة يأخذ في الاعتبار فقط ذاكرة زمنية أحادية المقياس في جهد الغشاء العصبي.

مثال على الفرع، يقدم خلية DH-LIF كل من الذاكرة طويلة الأمد للمدخلات ذات التردد المنخفض التي تنظم احتمال الانفجارات والاستجابة السريعة للمدخلات ذات التردد العالي التي تحرك أحداث الانفجار المعزولة، مما يولد الانفجارات بنجاح بينما تفشل خلية LIF العادية. ج توضيح لـ DHSFNN المبني على خلايا DH-LIF مع اتصالات تغذية أمامية فقط و DHSRNN مع اتصالات متكررة. الاتصالات نادرة بحيث لا يزيد نموذج DH-SNN من عدد المعلمات مقارنةً بشبكات SNN المعتمدة على LIF العادية.

شبكة عصبية متفجرة مع خلايا DH-LIF (DH-SNN)

الذاكرة طويلة الأمد عبر الديناميات الشجرية

الشكل 3 | الذاكرة طويلة الأمد على الشجيرات. أ توضيح لمشكلة XOR ذات التوصيل المتأخر لاختبار طول الذاكرة لشبكات الأعصاب البسيطة (SFNNs) وشبكات الأعصاب ذات الشجيرات المزدوجة (DH-SFNNs) مع وجود فرع شجيري واحد فقط في كل خلية عصبية من نوع DH-LIF. منحنيات الدقة لشبكات الأعصاب ذات الطبقات العادية (SFNNs) وشبكات الأعصاب ذات الفرع الشجيري الواحد (DH-SFNNs). بالنسبة لشبكات الأعصاب العادية، فإن عوامل توقيت الجهد الغشائي، ، يمكن تعلمها بثلاث توزيعات مبدئية مختلفة. بالنسبة لشبكات الأعصاب الديناميكية، قابلة للتعلم وتبدأ بتوزيع متوسط، وعوامل توقيت الشجيرات، يمكن أن يكون ثابتًا أو قابلًا للتعلم مع ثلاثة توزيعات مبدئية مختلفة. ج. تصور تدرجات الخسارة بالنسبة لإمكانات الغشاء لشبكة SFNN التقليدية ولتيارات الشجرة العصبية لشبكة DHSFNN ذات الفرع الشجري الواحد عبر الزمن في بداية التدريب تحت عوامل توقيت مبدئية كبيرة. توزيعات عوامل توقيت الشجيرات قبل وبعد التدريب. خط KDE، خط تقدير كثافة النواة. أمثلة على سلاسل النبضات المدخلة من SHD و SSC

دمج الميزات غير المتجانسة داخل الخلايا العصبية

عبر الشجيرات متعددة الفروع. في القسم أعلاه، أظهرنا أن الذاكرة طويلة المدى لشبكات الأعصاب الديناميكية المتأخرة (DH-SNNs) تستفيد من الديناميات الزمنية على الفرع الشجيري. لقد توقعنا في الشكل 2 أن شبكات الأعصاب الديناميكية المتأخرة مع فروع متعددة في كل خلية عصبية يمكن أن تؤدي مهام الحوسبة الزمنية عبر التباين الزمني. في هذا القسم، نقوم بترقية مشكلة XOR المتأخرة المذكورة أعلاه إلى متعددة-

دمج ميزات الخلايا العصبية عبر الاتصالات المشبكية

لدعم توقعنا، نختبر DH-SFNN ذات الطبقة الواحدة، و DH-SFNN ذات الطبقتين، و DH-SRNN ذات الطبقة الواحدة، جميعها تحتوي فقط على فرع دندري واحد في كل خلية DH-LIF لإزالة تأثير دمج الميزات داخل الخلايا العصبية. المهمة هي نفس مشكلة XOR متعددة الأوقات كما هو مذكور أعلاه ويمكن العثور على هياكل الشبكة في الشكل التكميلي S1. نجد أن DH-SFNN ذات الطبقة الواحدة تفشل في أداء هذه المهمة، بينما تؤدي كل من DH-SFNN ذات الطبقتين و DH-SRNN ذات الطبقة الواحدة بشكل جيد بحوالي الدقة. في الشكل 5أ، نعرض نمط النبض الناتج لكل طبقة في النماذج. بشكل خاص، نجد ثلاثة أنواع من الخلايا العصبية. تمثل الخلية العصبية من النوع 1 الخلية الحساسة للإشارة 2 بتردد عالٍ، وتمثل الخلية العصبية من النوع 2 الخلية الحساسة للإشارة 1 بتردد منخفض. لاحظ أننا نحدد خلايا النوع 2 من خلال مقارنة استجابات نفس الخلايا العصبية في حالات إدخال مختلفة كما هو موضح في اللوحات اليسرى واليمنى. على سبيل المثال، عند النظر إلى الطبقة المخفية الأولى من الشبكات العصبية ذات الطبقتين، عندما يتم إدخال إشارة 1 بمعدل إطلاق منخفض في اللوحة اليسرى، تظهر خلايا النوع 2 أنشطة نبضية نادرة. على العكس، عندما يتم إدخال إشارة 1 بمعدل إطلاق عالٍ في اللوحة اليمنى، تعرض خلايا النوع 2 أنشطة نبضية كثيفة. علاوة على ذلك، فإن استجابات خلايا النوع 2 موزعة بشكل موحد، غير متأثرة بالإشارة 2 المتغيرة دوريًا. مع هذه الملاحظات، نستنتج أن خلايا النوع 2 حساسة للإشارة 1. تمثل الخلية المميزة الخلية الحساسة لمجموعة معينة من الإشارة 1 والإشارة 2، والتي تعتبر حاسمة لوظيفة حل مشكلة XOR النبضية متعددة الأوقات. بالنسبة للشبكة العصبية ذات الطبقتين DH-SFNN، نجد أنه لا توجد سوى خلايا من النوع 1 والنوع 2 في الطبقة المخفية الأولى لأن خلية DH-LIF ذات فرع دندري واحد فقط يمكنها التقاط ميزات زمنية ذات مقياس واحد فقط. في الطبقة المخفية الثانية، تظهر خلايا مميزة من خلال دمج أنماط النبض الناتجة عن خلايا النوع 1 والنوع 2. على سبيل المثال، الخلايا المميزة هنا حساسة لحالة دمج إشارة 1 ذات معدل إطلاق منخفض وإشارة 2 ذات معدل إطلاق عالٍ. بينما بالنسبة للشبكة العصبية ذات الطبقة الواحدة DH-SRNN، يتم ملاحظة خلايا النوع 2 والخلايا المميزة في الطبقة المخفية الأولى. بالمثل، الخلايا المميزة هنا حساسة لحالة دمج إشارة 1 ذات معدل إطلاق عالٍ وإشارة 2 ذات معدل إطلاق عالٍ. في DH-SRNN، يمكن للخلايا المميزة الوصول إلى ميزات الإشارة 1 التي تم حفظها بواسطة خلايا النوع 2 من خلال الاتصالات المشبكية المتكررة. بشكل خاص، يتم استقبال ميزات الإشارة 2 ذات التردد العالي على الفور ويمكن دمجها مع ميزات الإشارة 1 المحفوظة لتنشيط الخلايا المميزة. هذه التجربة تثبت بصريًا

فوائد الأداء الشاملة لشبكات DH-SNNs

تنفيذ فعال على الأجهزة العصبية

(ب)

(ج)

(هـ)

(ف)

تطبيق على التعرف على إشارات EEG والتعرف على مكان الروبوت

نقاش

المقاييس المذكورة أعلاه هي خيارات سهلة للاختيار من بينها لقياس أداء DH-SNNs، ومع ذلك، فهي ليست بديهية لفهم الآلية الأساسية للعمل. لهذا الغرض، نوضح مشكلة XOR المتأخرة كمعيار بسيط ولكنه واضح لـ DH-SNNs المقترحة. في مشكلة XOR المتأخرة البسيطة، نوضح الذاكرة طويلة المدى لكل فرع دندريتي دون إعادة ضبط الحالة مثل جهد الغشاء. في مشكلة XOR المتأخرة متعددة الأوقات، نكشف أن الفروع الدندريتية المختلفة مع عوامل توقيت متغيرة يمكن أن تلتقط ميزات زمنية متعددة الأوقات، على سبيل المثال، تذكر الإشارات ذات التردد المنخفض وتتبع الإشارات ذات التردد العالي في نفس الوقت، مما يمكّن من اتخاذ قرارات مشتركة عند جسم الخلية من خلال دمج الميزات. علاوة على ذلك، نكشف أن الاتصالات على مستوى الشبكة بما في ذلك الاتصالات الأمامية بين الطبقات والاتصالات المتكررة داخل الطبقة يمكن أن تدمج أيضًا الميزات.

لإنتاج ميزات زمنية عالية المستوى لاتخاذ قرارات أكثر تعقيدًا. عادةً، تولد الفروع الشجرية الأكثر ملاءمة تنوعًا زمنيًا شجريًا أغنى يعزز من قوة التمثيل لشبكات الأعصاب الزمنية الديناميكية. نظرًا للتعقيد الأعلى لدمج الميزات الناتج عن الاتصالات المتكررة، نلاحظ تشبع الأداء بشكل أسرع في الشبكات الديناميكية مقارنةً بالشبكات الثابتة عند أداء نفس المهمة مع زيادة عدد الفروع الشجرية أو الطبقات. من خلال النظر بشكل شامل في النتائج التجريبية المذكورة أعلاه، نشرح آلية عمل التنوع الزمني الشجري في الشبكات الديناميكية لأداء مهام الحوسبة الزمنية متعددة المقاييس: دمج الميزات بين الفروع في خلية عصبية، ودمج الميزات بين الخلايا العصبية في طبقة متكررة، ودمج الميزات بين الطبقات في شبكة لها تأثيرات مشابهة وتآزرية في التقاط الميزات الزمنية متعددة المقاييس.

طرق

نمذجة الذاكرة الشجرية

عصبون نابض قائم على LIF مع تباين في الشجيرات (DH-LIF)

شبكة عصبية صممت باستخدام خلايا DH-LIF (DH-SNN)

قيود الاتصال النادرة

تعلم DH-SNN

مجموعات البيانات والمهام

لكل التجارب، تحتوي الشبكات على جزئين بما في ذلك طبقات SNN المكدسة وطبقة قراءة تالية. لمشاكل XOR النابضة المصممة ذاتيًا ومجموعة بيانات NeuroVPR، تكون طبقة القراءة طبقة خطية بسيطة تقوم بفك تشفير مخرجات النبض من آخر طبقة SNN إلى إمكانية

هي المعلمات المحسّنة حقًا أثناء التدريب.

هنا.

على SSC. بشكل عام، من ناحية، يجب أن تغطي المدخلات المشبكية المتصلة بكل خلية جميع المدخلات المشبكية للحصول على المعلومات قدر الإمكان. من ناحية أخرى، فإن التداخل المفرط للمدخلات المشبكية المتصلة بفروع شجرية مختلفة قد يسبب الإفراط في التكيف وتدهور الأداء.

ملخص التقرير

توفر البيانات

توفر الشيفرة

References

1. Maass, W. Networks of spiking neurons: the third generation of neural network models. Neural Netw. 10, 1659-1671 (1997).
2. Sengupta, A., Ye, Y., Wang, R., Liu, C. & Roy, K. Going deeper in spiking neural networks: Vgg and residual architectures. Front. Neurosci. 13, 95 (2019).
3. Zheng, H., Wu, Y., Deng, L., Hu, Y. & Li, G. Going deeper with directlytrained larger spiking neural networks. In Proceedings of the AAAI Conference on Artificial Intelligence, vol. 35, 11062-11070 (2021).
4. Wu, Y. et al. Efficient visual recognition: A survey on recent advances and brain-inspired methodologies. Machine Intell. Res. 19, 366-411 (2022).
5. Wu, Y. et al. Direct training for spiking neural networks: Faster, larger, better. In Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, 1311-1318 (2019).
6. Monsa, R., Peer, M. & Arzy, S. Processing of different temporal scales in the human brain. J. Cogn. Neurosci. 32, 2087-2102 (2020).
7. Amir, A. et al. A low power, fully event-based gesture recognition system. In Proceedings of the IEEE conference on computer vision and pattern recognition, 7243-7252 (2017).
8. Li, H., Liu, H., Ji, X., Li, G. & Shi, L. Cifar10-dvs: an event-stream dataset for object classification. Front. Neurosci. 11, 309 (2017).
9. Golesorkhi, M. et al. The brain and its time: intrinsic neural timescales are key for input processing. Commun. Biol. 4, 1-16 (2021).
10. Wolff, A. et al. Intrinsic neural timescales: temporal integration and segregation. Trends Cogn. Sci. 26,159-173 (2022).
11. Harris, K. D. & Shepherd, G. M. The neocortical circuit: themes and variations. Nat. Neurosci. 18, 170-181 (2015).
12. Gjorgjieva, J., Drion, G. & Marder, E. Computational implications of biophysical diversity and multiple timescales in neurons and synapses for circuit performance. Curr. Opin. Neurobiol. 37, 44-52 (2016).
13. Hausser, M., Spruston, N. & Stuart, G. J. Diversity and dynamics of dendritic signaling. Science 290, 739-744 (2000).
14. Losonczy, A., Makara, J. K. & Magee, J. C. Compartmentalized dendritic plasticity and input feature storage in neurons. Nature 452, 436-441 (2008).
15. Meunier, C. & d’Incamps, B. L. Extending cable theory to heterogeneous dendrites. Neural Comput. 20, 1732-1775 (2008).
16. Chabrol, F. P., Arenz, A., Wiechert, M. T., Margrie, T. W. & DiGregorio, D. A. Synaptic diversity enables temporal coding of coincident multisensory inputs in single neurons. Nat. Neurosci. 18, 718-727 (2015).
17. Gerstner, W., Kistler, W. M., Naud, R. & Paninski, L.Neuronal dynamics: From single neurons to networks and models of cognition (Cambridge University Press, 2014).
18. Bittner, K. C., Milstein, A. D., Grienberger, C., Romani, S. & Magee, J. C. Behavioral time scale synaptic plasticity underlies ca1 place fields. Science 357, 1033-1036 (2017).
19. Cavanagh, S. E., Hunt, L. T. & Kennerley, S. W. A diversity of intrinsic timescales underlie neural computations. Front. Neural Circuits 14, 615626 (2020).
20. London, M. & Häusser, M. Dendritic computation. Annu. Rev. Neurosci. 28, 503-532 (2005).
21. Poirazi, P. & Papoutsi, A. Illuminating dendritic function with computational models. Nat. Rev. Neurosci. 21, 303-321 (2020).
22. Bicknell, B. A. & Häusser, M. A synaptic learning rule for exploiting nonlinear dendritic computation. Neuron 109, 4001-4017 (2021).
23. Spruston, N. Pyramidal neurons: dendritic structure and synaptic integration. Nat. Rev. Neurosci. 9, 206-221 (2008).
24. Branco, T., Clark, B. A. & Häusser, M. Dendritic discrimination of temporal input sequences in cortical neurons. Science 329, 1671-1675 (2010).
25. Li, X. et al. Power-efficient neural network with artificial dendrites. Nat. Nanotechnol. 15, 776-782 (2020).
26. Boahen, K. Dendrocentric learning for synthetic intelligence. Nature 612, 43-50 (2022).
27. Tzilivaki, A., Kastellakis, G. & Poirazi, P. Challenging the point neuron dogma: Fs basket cells as 2-stage nonlinear integrators. Nat. Commun. 10, 3664 (2019).
28. Bono, J. & Clopath, C. Modeling somatic and dendritic spike mediated plasticity at the single neuron and network level. Nat. Commun. 8, 706 (2017).
29. Naud, R. & Sprekeler, H. Sparse bursts optimize information transmission in a multiplexed neural code. Proc. Nat. Acad. Sci. 115, E6329-E6338 (2018).
30. Dayan, P. & Abbott, L. F. et al. Theoretical neuroscience: computational and mathematical modeling of neural systems. J. Cogn. Neurosci. 15, 154-155 (2003).
31. Perez-Nieves, N., Leung, V. C., Dragotti, P. L. & Goodman, D. F. Neural heterogeneity promotes robust learning. Nat. Commun. 12, 1-9 (2021).
32. Pagkalos, M., Chavlis, S. & Poirazi, P. Introducing the dendrify framework for incorporating dendrites to spiking neural networks. Nat. Commun. 14, 131 (2023).
33. Yin, B., Corradi, F. & Bohté, S. M. Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks. Nat. Machine Intell. 3, 905-913 (2021).
34. Liu, P., Qiu, X., Chen, X., Wu, S. & Huang, X.-J. Multi-timescale long short-term memory neural network for modelling sentences and documents. In Proceedings of the 2015 conference on empirical methods in natural language processing, 2326-2335 (2015).
35. Loewenstein, Y. & Sompolinsky, H. Temporal integration by calcium dynamics in a model neuron. Nat. Neurosci. 6, 961-967 (2003).
36. Warden, P. Speech commands: A dataset for limited-vocabulary speech recognition. arXiv preprint arXiv:1804.03209 (2018).
37. Garofolo, J. S., Lamel, L. F., Fisher, W. M., Fiscus, J. G. & Pallett, D. S. Darpa timit acoustic-phonetic continous speech corpus cd-rom. nist speech disc 1-1.1. NASA STI/Recon Technical Rep. 93, 27403 (1993).
38. Cramer, B., Stradmann, Y., Schemmel, J. & Zenke, F. The Heidelberg spiking data sets for the systematic evaluation of spiking neural networks. IEEE Transactions Neural Netw. Learning Sys. 33, 2744-2757 (2020).
39. Pei, J. et al. Towards artificial general intelligence with hybrid tianjic chip architecture. Nature 572, 106-111 (2019).
40. Ma, S. et al. Neuromorphic computing chip with spatiotemporal elasticity for multi-intelligent-tasking robots. Sci. Robotics 7, eabk2948 (2022).
41. Zhao, R. et al. A framework for the general design and computation of hybrid neural networks. Nat. Commun. 13, 3427 (2022).
42. Höppner, S. et al. The spinnaker 2 processing element architecture for hybrid digital neuromorphic computing. arXiv preprint arXiv:2103.08392 (2021).
43. Pehle, C. et al. The brainscales-2 accelerated neuromorphic system with hybrid plasticity. Front. Neurosci. 16, 1-21 (2022).
44. Li, M. & Lu, B.-L. Emotion classification based on gamma-band eeg. In 2009 Annual International Conference of the IEEE Engineering in medicine and biology society, 1223-1226 (IEEE, 2009).
45. Duan, R.-N., Zhu, J.-Y. & Lu, B.-L. Differential entropy feature for eegbased emotion classification. In 2013 6th International IEEE/EMBS Conference on Neural Engineering (NER), 81-84 (IEEE, 2013).
46. Tripathi, S., Acharya, S., Sharma, R. D., Mittal, S. & Bhattacharya, S. Using deep and convolutional neural networks for accurate emotion classification on deap dataset. In Twenty-ninth IAAI conference (2017).
47. Tao, W. et al. Eeg-based emotion recognition via channel-wise attention and self attention. IEEE Transactions on Affective Computing 14, 382-393 (2020).
48. Islam, M. R. et al. Eeg channel correlation based model for emotion recognition. Computers Biol. Med. 136, 104757 (2021).
49. Tan, C., Šarlija, M. & Kasabov, N. Neurosense: Short-term emotion recognition and understanding based on spiking neural network modelling of spatio-temporal eeg patterns. Neurocomputing 434, 137-148 (2021).
50. Koelstra, S. et al. Deap: A database for emotion analysis; using physiological signals. IEEE Transactions Affective Computing 3, 18-31 (2011).
51. Jirayucharoensak, S., Pan-Ngum, S. & Israsena, P. Eeg-based emotion recognition using deep learning network with principal component based covariate shift adaptation. Scientific World J. 2014, 1-10 (2014).
52. Lowry, S. et al. Visual place recognition: A survey. IEEE transactions on robotics 32, 1-19 (2015).
53. Milford, M. J. & Wyeth, G. F. Seqslam: Visual route-based navigation for sunny summer days and stormy winter nights. In 2012 IEEE international conference on robotics and automation, 1643-1649 (IEEE, 2012).
54. Chancán, M., Hernandez-Nunez, L., Narendra, A., Barron, A. B. & Milford, M. A hybrid compact neural architecture for visual place recognition. IEEE Robotics Automation Lett. 5, 993-1000 (2020).
55. Chancán, M. & Milford, M. Deepseqslam: a trainable cnn+ rnn for joint global description and sequence-based place recognition. arXiv preprint arXiv:2011.08518 (2020).
56. Fischer, T. & Milford, M. Event-based visual place recognition with ensembles of temporal windows. IEEE Robotics Automation Lett. 5, 6924-6931 (2020).
57. Milford, M. et al. Place recognition with event-based cameras and a neural implementation of seqslam. arXiv preprint arXiv:1505.04548 (2015).
58. Yang, S. et al. Efficient spike-driven learning with dendritic eventbased processing. Front. Neurosci. 15, 601109 (2021).
59. Gao, T., Deng, B., Wang, J. & Yi, G. Highly efficient neuromorphic learning system of spiking neural network with multi-compartment leaky integrate-and-fire neurons. Front. Neurosci. 16, 929644 (2022).
60. Bellec, G., Kappel, D., Maass, W. & Legenstein, R. Deep rewiring: Training very sparse deep networks. arXiv preprint arXiv:1711.05136 (2017).
61. Fang, W. et al. Incorporating learnable membrane time constant to enhance learning of spiking neural networks. In Proceedings of the IEEE/CVF international conference on computer vision, 2661-2671 (2021).
62. Sussillo, D. Neural circuits as computational dynamical systems. Curr. Opin. Neurobiol. 25, 156-163 (2014).
63. Gerstner, W. & Kistler, W. M.Spiking neuron models: Single neurons, populations, plasticity (Cambridge University Press, 2002).
64. Cramer, B. et al. Surrogate gradients for analog neuromorphic computing. Proc. Natl. Acad. Sci. 119, e2109194119 (2022).
65. Rossbroich, J., Gygax, J. & Zenke, F. Fluctuation-driven initialization for spiking neural network training. Neuromorphic Comput. Eng. 2, 044016 (2022).
66. Bellec, G., Salaj, D., Subramoney, A., Legenstein, R. & Maass, W. Long short-term memory and learning-to-learn in networks of spiking neurons. Adv. Neural Inform. Processing Syst. 31, 795-805 (2018).
67. Rao, A., Plank, P., Wild, A. & Maass, W. A long short-term memory for ai applications in spike-based neuromorphic hardware. Nat. Machine Intelligence 4, 467-479 (2022).
68. Arjovsky, M., Shah, A. & Bengio, Y. Unitary evolution recurrent neural networks. In International conference on machine learning, 1120-1128 (PMLR, 2016).
69. Auge, D., Hille, J., Kreutz, F., Mueller, E. & Knoll, A. End-to-end spiking neural network for speech recognition using resonating input neurons. In Artificial Neural Networks and Machine Learning-ICANN 2021: 30th International Conference on Artificial Neural Networks, Bratislava, Slovakia, September 14-17, 2021, Proceedings, Part V 30, 245-256 (Springer, 2021).
70. Salaj, D. et al. Spike frequency adaptation supports network computations on temporally dispersed information. Elife 10, e65459 (2021).
71. Bellec, G. et al. A solution to the learning dilemma for recurrent networks of spiking neurons. Nat. Commun. 11, 1-15 (2020).

الشكر والتقدير

مساهمات المؤلفين

المصالح المتنافسة

معلومات إضافية

Temporal dendritic heterogeneity incorporated with spiking neural networks for learning multi-timescale dynamics

Results

Spiking LIF neuron with temporal dendritic heterogeneity (DH-LIF)

Fig. 1 | Inspirations from biology to improve the modeling of SNNs with temporal dendritic heterogeneity. a In the brain, there are rich timescales in the external stimuli and neural activities, and rich temporal heterogeneity in neural and dendritic responses . The artificial neuron model used in ANNs does not consider the temporal memory, while the spiking neuron model used in SNNs only considers a single-scale temporal memory in the neuronal membrane potential.

branch example, the DH-LIF neuron presents both long-term memory of the lowfrequency inputs that regulate the bursting probability and fast response to the high-frequency inputs that drive the isolated spike events, thus generating the bursting spikes successfully while the vanilla LIF neuron fails. c Illustration of DHSFNN constructed by DH-LIF neurons with only feedforward connections and DHSRNN with recurrent connections. The connections are sparse so that a DH-SNN model does not increase the number of parameters compared to vanilla LIFbased SNNs.

Spiking neural network with DH-LIF neurons (DH-SNN)