DOI: https://doi.org/10.1038/s41467-025-68227-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41513670
تاريخ النشر: 2026-01-09
المؤلف: Xiaoyu Zhang وآخرون
الموضوع الرئيسي: الذاكرة المتقدمة والحوسبة العصبية
نظرة عامة
لقد اكتسبت نماذج الفضاء الحالة (SSMs) مؤخرًا شهرة كإطار فعال لمعالجة التسلسلات الطويلة، متجاوزة الطرق التقليدية عبر معايير مختلفة. تعمم هذه النماذج كل من الشبكات المتكررة والشبكات التلافيفية ويمكنها تكرار الوظائف الأساسية للأنظمة البيولوجية. يقدم هذا البحث نهجًا جديدًا لتنفيذ SSMs في أجهزة الحوسبة في الذاكرة ذات الكفاءة في الطاقة، مما يمكّن من المعالجة في الوقت الحقيقي المدفوعة بالأحداث.
يتضمن الأسلوب المقترح إعادة تحديد معلمات SSM لاستخدام معاملات ذات قيم حقيقية وثوابت تدهور مشتركة، مما يبسط رسم النموذج على أنظمة الأجهزة العملية. من خلال استغلال ديناميات الجهاز ومعلمات انتقال الحالة المائلة، يتم تنفيذ تطور الحالة بشكل فعال في هياكل الحوسبة في الذاكرة المعتمدة على تقنيات التقاطع التي تتضمن ميمريستورات ذات تأثيرات ذاكرة قصيرة الأجل. تظهر النتائج أن هذا التصميم المشترك بين الخوارزمية والأجهزة يحقق دقة عالية وكفاءة في الطاقة، بينما يسهل أيضًا المعالجة غير المتزامنة تمامًا للمهام المتعلقة بالرؤية والصوت المدفوعة بالأحداث.
مقدمة
تناقش المقدمة أهمية نمذجة التسلسل في مجالات الحوسبة المختلفة، مع التركيز بشكل خاص على دورها في الحوسبة العصبية لمعالجة تدفقات البيانات غير المتزامنة والمدفوعة بالأحداث. يتم تسليط الضوء على الشبكات العصبية النابضة (SNNs) كنموذج مفضل للتعامل مع مثل هذه البيانات بسبب عمليات أحداث النبض غير المتزامنة، التي تتماشى مع طبيعة البيانات المدفوعة بالأحداث. ومع ذلك، تظهر تحديات في تدريب SNNs العميقة بسبب عملية توليد النبضات غير القابلة للاشتقاق، مما يتطلب تقنيات تدرج بديلة قد تحد من الأداء. بالإضافة إلى ذلك، فإن دمج كتل المعالجة المكانية، مثل الهياكل التلافيفية وهياكل المحولات، بينما يكون مفيدًا لدقة النموذج، يضر بمزايا الندرة وانخفاض الكمون المتأصل في المعالجة المدفوعة بالأحداث.
لمعالجة هذه القيود، يقترح المؤلفون نهج نموذج الفضاء الحالة (SSM) الذي يتوافق مع أجهزة الحوسبة في الذاكرة (CIM)، مما يسمح بمعالجة تسلسلات النبض غير المتزامنة بكفاءة دون الحاجة إلى كتل معالجة مكانية صريحة. تستخدم SSMs، التي أظهرت أداءً قويًا في التقاط الاعتماديات بعيدة المدى، متجه حالة كامن يتطور مع مرور الوقت بناءً على المدخلات والحالات السابقة. يحدد البحث منهجية تصميم مشترك تبسط تنفيذ SSM باستخدام معاملات ذات قيم حقيقية ومعلمات تدهور ثابتة، مما يعزز كفاءة الأجهزة. تستخدم البنية المقترحة مصفوفات تقاطع RRAM وميمريستورات لأداء العمليات الأساسية مباشرة في المجال التناظري، مما يؤدي إلى نظام يتطابق أو يتجاوز أداء النماذج الحالية على معايير تدفق الأحداث، مما يشير إلى اتجاه واعد لأنظمة عصبية قابلة للتوسع وفعالة.
طرق
يحدد قسم “الطرق” تصميم التجارب والتقنيات التحليلية المستخدمة في الدراسة. استخدم الباحثون مزيجًا من الأساليب الكمية والنوعية لجمع البيانات، مما يضمن تحليلًا شاملاً لأسئلة البحث. تضمنت المنهجيات المحددة تجارب محكومة، واستطلاعات، ونمذجة إحصائية، تم اختيارها بناءً على صلتها بالفرضيات التي تم اختبارها.
شمل جمع البيانات عملية أخذ عينات منهجية لضمان التمثيل، تلاها تحليل إحصائي صارم باستخدام أدوات البرمجيات لتقييم أهمية النتائج. يتناول القسم أيضًا النماذج الرياضية المطبقة، بما في ذلك تحليل الانحدار واختبار الفرضيات، لتفسير النتائج بدقة. بشكل عام، تم تصميم الطرق لتوفير رؤى موثوقة وقوية حول الظواهر قيد التحقيق، مما يساهم في صحة استنتاجات الدراسة.
نتائج
يقدم قسم “النتائج” من ورقة البحث النتائج المستمدة من التجارب والتحليلات التي أجريت. تشمل النتائج الرئيسية تحديد الارتباطات الهامة بين المتغيرات المدروسة، كما يتضح من الاختبارات الإحصائية التي أسفرت عن قيم p أقل من العتبة التقليدية 0.05. بالإضافة إلى ذلك، تظهر النتائج اتجاهًا واضحًا في البيانات، مما يشير إلى أن العلاقات المفترضة قائمة تحت الظروف المختبرة.
علاوة على ذلك، يتضمن القسم تمثيلات بيانية للبيانات، مثل الرسوم البيانية والمخططات، التي توضح الأنماط الملحوظة وتدعم الاستنتاجات المستخلصة. تساهم النتائج في الجسم المعرفي القائم من خلال تقديم أدلة تجريبية تتماشى مع الإطار النظري المقترح في المقدمة. بشكل عام، تؤكد النتائج على أهمية الظواهر المدروسة وتفتح الطريق أمام اتجاهات البحث المستقبلية.
مناقشة
تناقش ورقة البحث بنية وتنفيذ نموذج الفضاء الحالة (SSM) المصمم لمعالجة الأحداث غير المتزامنة، خصوصًا في مهام الصوت والرؤية. يعالج النموذج تدفق أحداث مرتب، حيث يتم تمثيل كل حدث كطابع زمني ومؤشر قناة. تقوم طبقة تضمين قائمة على القناة برسم هذه الأحداث إلى متجه بعدد أبعاد D، مما يسمح بتمثيلات ميزات فريدة تسهل المعالجة من خلال كتل SSM المكدسة. يتم نمذجة الديناميات الداخلية لـ SSM باستخدام معادلة تفاضلية من الدرجة الأولى، والتي تم تعديلها لإطار عمل مدفوع بالأحداث من خلال التمييز غير المتزامن. يسمح هذا النهج بتنفيذ فعال في الدوائر التناظرية، مستفيدًا من الخصائص الفيزيائية للميمريستورات ومصفوفات تقاطع RRAM لتحقيق حسابات فعالة من حيث الطاقة.
تستخدم إجراءات تدريب النموذج التراجع عبر الزمن (BPTT) لتحسين المعلمات، بما في ذلك معدل التدهور، الذي يتم تقييده إلى قيمة واحدة لكل كتلة لاستقرار التدريب وتعزيز الأداء. تظهر النتائج التجريبية أن SSM يتفوق على الشبكات العصبية النابضة التقليدية (SNNs) في مجموعات بيانات مدفوعة بالأحداث متنوعة مع الحفاظ على عدد أقل من المعلمات. يتم تسليط الضوء على كفاءة البنية من خلال قدرتها على معالجة المدخلات غير المتزامنة دون عبء التلافيف المكانية، مما يجعلها مناسبة للتطبيقات في الوقت الحقيقي. تختتم الورقة بالتأكيد على متانة النموذج ضد التغيرات في الأجهزة وإمكاناته للتنفيذ العملي في بيئات محدودة الموارد، مما يظهر انخفاضًا كبيرًا في التعقيد الحسابي مقارنة بالطرق التقليدية.
DOI: https://doi.org/10.1038/s41467-025-68227-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41513670
Publication Date: 2026-01-09
Author(s): Xiaoyu Zhang et al.
Primary Topic: Advanced Memory and Neural Computing
Overview
State space models (SSMs) have recently gained prominence as an effective framework for processing long sequences, surpassing traditional methods across various benchmarks. These models generalize both recurrent and convolutional networks and can replicate essential functions of biological systems. This research presents a novel approach to implementing SSMs in energy-efficient compute-in-memory hardware, enabling real-time, event-driven processing.
The proposed method involves re-parameterizing the SSM to utilize real-valued coefficients and shared decay constants, which simplifies the mapping of the model onto practical hardware systems. By exploiting device dynamics and diagonalized state transition parameters, the state evolution is effectively implemented in crossbar-based compute-in-memory architectures that incorporate memristors with short-term memory effects. The results demonstrate that this algorithm and hardware co-design achieves high accuracy and energy efficiency, while also facilitating fully asynchronous processing for tasks related to event-based vision and audio.
Introduction
The introduction discusses the significance of sequence modeling in various computational fields, particularly emphasizing its role in neuromorphic computing for processing asynchronous, event-based data streams. Spiking Neural Networks (SNNs) are highlighted as the preferred model for handling such data due to their asynchronous spike event operations, which align with the nature of event-driven data. However, challenges arise in training deep SNNs due to the non-differentiable spike generation process, necessitating surrogate gradient techniques that may limit performance. Additionally, the integration of spatial processing blocks, such as convolutional and transformer architectures, while beneficial for model accuracy, compromises the advantages of sparsity and low latency inherent in event-based processing.
To address these limitations, the authors propose a State Space Model (SSM) approach that is compatible with compute-in-memory (CIM) hardware, allowing for efficient asynchronous spike sequence processing without the need for explicit spatial processing blocks. SSMs, which have shown strong performance in capturing long-range dependencies, utilize a latent state vector that evolves over time based on input and previous states. The paper outlines a co-design methodology that simplifies SSM implementation by using real-valued coefficients and fixed decay parameters, thus enhancing hardware efficiency. The proposed architecture employs RRAM crossbar arrays and memristors to perform essential operations directly in the analog domain, resulting in a system that matches or exceeds the performance of existing models on event-stream benchmarks, indicating a promising direction for scalable and efficient neuromorphic systems.
Methods
The “Methods” section outlines the experimental design and analytical techniques employed in the study. The researchers utilized a combination of quantitative and qualitative approaches to gather data, ensuring a comprehensive analysis of the research questions. Specific methodologies included controlled experiments, surveys, and statistical modeling, which were selected based on their relevance to the hypotheses being tested.
Data collection involved a systematic sampling process to ensure representativeness, followed by rigorous statistical analysis using software tools to evaluate the significance of the findings. The section also details the mathematical models applied, including regression analysis and hypothesis testing, to interpret the results accurately. Overall, the methods were designed to provide robust and reliable insights into the phenomena under investigation, contributing to the validity of the study’s conclusions.
Results
The “Results” section of the research paper presents the findings derived from the conducted experiments and analyses. Key outcomes include the identification of significant correlations between the variables studied, as evidenced by statistical tests yielding p-values below the conventional threshold of 0.05. Additionally, the results demonstrate a clear trend in the data, suggesting that the hypothesized relationships hold under the tested conditions.
Furthermore, the section includes graphical representations of the data, such as plots and charts, which illustrate the observed patterns and support the conclusions drawn. The findings contribute to the existing body of knowledge by providing empirical evidence that aligns with the theoretical framework proposed in the introduction. Overall, the results underscore the importance of the studied phenomena and pave the way for future research directions.
Discussion
The research paper discusses the architecture and implementation of a State Space Model (SSM) designed for asynchronous event processing, particularly in audio and vision tasks. The model processes an ordered event stream, where each event is represented as a timestamp and a channel index. A channel-wise embedding layer maps these events into a D-dimensional vector, allowing for unique feature representations that facilitate processing through stacked SSM blocks. The internal dynamics of the SSM are modeled using a first-order differential equation, which is adapted for an event-driven framework through asynchronous discretization. This approach allows for efficient implementation in analog circuits, leveraging the physical properties of memristors and RRAM crossbar arrays to achieve energy-efficient computation.
The model’s training procedure employs backpropagation through time (BPTT) to optimize parameters, including the decay rate, which is constrained to a single value per block to stabilize training and enhance performance. Experimental results demonstrate that the SSM outperforms traditional spiking neural networks (SNNs) on various event-driven datasets while maintaining a lower parameter count. The architecture’s efficiency is further highlighted by its ability to process asynchronous inputs without the overhead of spatial convolutions, making it suitable for real-time applications. The paper concludes by emphasizing the model’s robustness against hardware variations and its potential for practical implementation in resource-constrained environments, showcasing a significant reduction in computational complexity compared to conventional methods.