DOI: https://doi.org/10.1109/tcad.2026.3674448
تاريخ النشر: 2026-03-16
المؤلف: James Read وآخرون
الموضوع الرئيسي: الذاكرة المتقدمة والحوسبة العصبية
نظرة عامة
لقد أبرز الانتشار السريع لتطبيقات الذكاء الاصطناعي (AI) القيود المفروضة على هياكل فون نيومان التقليدية، لا سيما بسبب مشاكل الطاقة والكمون الناتجة عن عمليات نقل البيانات المتكررة بين وحدات الحساب والذاكرة. للتخفيف من هذه التحديات، تتيح تقنية الحساب داخل الذاكرة (CIM) تنفيذ عمليات الضرب والتجميع (MAC) مباشرة داخل مصفوفات الذاكرة، مما يقلل من حركة البيانات. يقدم هذا البحث NeuroSim V1.5، وهو إطار شامل مصمم لتحسين كل من الدقة وكفاءة الأجهزة في تصميم مسرعات CIM، خاصة للهياكل المحولة التي تزداد انتشارًا في أحمال العمل الخاصة بالذكاء الاصطناعي.
تشمل المساهمات الرئيسية لهذا العمل تطوير هيكل هجين (ACIM/DCIM) يسهل تسريع المحولات، مدعومًا بدراسة حالة تقارن أداء المحولات البصرية (ViT) والشبكات العصبية الالتفافية (CNN). يدمج الإطار تقدير الكمية المعتمد على TensorRT، ونمذجة الضوضاء المرنة، وتقدير الطاقة والأداء والمساحة (PPA) على مستوى الدائرة، بينما يوسع أيضًا دعم الأجهزة ليشمل الذاكرات السعوية غير المتطايرة. من الجدير بالذكر أن النتائج تشير إلى أن ViTs تظهر تحملًا أقل للضوضاء وكفاءة مساحة مقارنة بـ CNNs بحجم مماثل، مما يشير إلى أن CNNs قد تكون أكثر فائدة لمهام الرؤية على أجهزة CIM. يؤسس الهيكل الهجين الأساس لتطبيقات مستقبلية تتضمن نماذج لغوية كبيرة، مع توفير جميع إصدارات الإطار كمصدر مفتوح على https://github.com/neurosim/NeuroSim.
مقدمة
تسلط المقدمة الضوء على الحاجة الملحة لمعالجات ذات كفاءة في استهلاك الطاقة في ضوء التوسع السريع في أحجام نماذج الذكاء الاصطناعي، مشددة على أن الوصول إلى الذاكرة يساهم بشكل كبير في استهلاك الطاقة—أكثر من خمس مرات من الحساب. مع نمو نماذج الذكاء الاصطناعي، يتحول التحدي من القدرة الحاسوبية إلى عرض النطاق الترددي للذاكرة، مما يتطلب حلول معمارية مبتكرة لتعزيز الكفاءة.
تتوسع هذه الفقرة في توضيح هيكل وعمل مصفوفات الحساب داخل الذاكرة (CIM)، التي تستفيد من الخصائص الكهربائية لمصفوفات الذاكرة لأداء حسابات المصفوفات. تعمل مصفوفة التقاطع كعنصر أساسي، مما يسهل عمليات الضرب والتجميع (MAC) المتوازية من خلال تفاعل عناصر الذاكرة عند تقاطعات خطوط الكلمات وخطوط البت. يتم مناقشة طريقتين رئيسيتين للحساب التناظري: المصفوفات المعتمدة على المقاومات، التي تستخدم الذاكرة المقاومة لترميز أوزان الشبكة العصبية كحالات توصيل وتؤدي عمليات MAC في مجال التيار، والمصفوفات المعتمدة على المكثفات، التي ترمز الأوزان ك capacitance قابلة للبرمجة وتعمل في مجال الشحن. بالإضافة إلى ذلك، تذكر الفقرة الحساب الرقمي داخل الذاكرة (DCIM)، الذي يستخدم مضاعفات رقمية لـ MACs صحيحة، مما يوفر متانة ولكن مع زيادة في تكلفة المساحة مقارنة بحلول CIM التناظرية.
طرق
ت outlines هذه الفقرة منهجية المحاكاة المستخدمة في تصميم مسرعات الحساب داخل الذاكرة (CIM) باستخدام NeuroSim V1.5، الذي يدمج محاكي سلوكي ومحلل أجهزة. يقيم المحاكي السلوكي دقة الاستدلال للشبكات العصبية الكمية مع الأخذ في الاعتبار عدم مثالية الأجهزة، باستخدام وضعين: وضع خبير الجهاز للنمذجة المباشرة لفيزياء الذاكرة ووضع خبير الدائرة للنمذجة الإحصائية بناءً على توزيعات الضوضاء المسبقة. يقدر محلل الأجهزة مقاييس مستوى النظام مثل الطاقة والكمون والمساحة من خلال نماذج دائرية مفصلة. تستفيد عملية الكمية من الكمية بعد التدريب من TensorRT، مما يسمح بدقة قابلة للتكوين في عمليات الشبكة العصبية، ويتم هيكلة خريطة الأوزان الكمية إلى مصفوفات CIM بعناية بناءً على القيود الفيزيائية.
تتكون منهجية التقييم من استكشاف مساحة التصميم، وتحليل دقة الاستدلال تحت عدم مثالية الجهاز، ومقارنات الأداء في الوقت الفعلي عبر منصات مفتوحة المصدر. تشمل المعلمات الرئيسية لاستكشاف مساحة التصميم عقدة التكنولوجيا، ودقة خلية الذاكرة، وأبعاد المصفوفة. يقيم البحث تأثير الكمية المدخلة/الوزن ودقة ADC على دقة الاستدلال، باستخدام نهج القطع لدقة ADC المخفضة للحفاظ على التنفيذ العملي في الأجهزة. بالإضافة إلى ذلك، يتم إجراء دراسات حالة للضوضاء في الأجهزة والدائرة لتحليل تأثيرات مصادر الضوضاء المختلفة على دقة الاستدلال، باستخدام بيانات من توصيف SPICE وقياسات الطباعة لتحسين نمذجة الضوضاء وتسهيل المقارنات المباشرة عبر أجهزة مختلفة وDNNs.
نتائج
تقدم فقرة النتائج النتائج الرئيسية من البحث، مع تسليط الضوء على النتائج المهمة المستمدة من التحليل. يتضمن البحث دراسات حالة متنوعة توضح الآثار العملية للإطار النظري الذي تم تأسيسه سابقًا. تم تصميم كل دراسة حالة لإظهار فعالية المنهجيات المقترحة في التطبيقات الواقعية، مما يوفر أدلة تجريبية لدعم الادعاءات النظرية.
تشير النتائج إلى وجود ارتباط قوي بين الاستراتيجيات المنفذة والنتائج الملاحظة، مع عرض مقاييس كمية تُظهر تحسينات في الأداء. بالإضافة إلى ذلك، تكشف دراسات الحالة عن رؤى دقيقة حول العوامل السياقية التي تؤثر على فعالية التدخلات، مما يشير إلى مجالات لمزيد من الاستكشاف وتحسين الأساليب المستخدمة. بشكل عام، تؤكد النتائج على أهمية البحث في معالجة التحديات المحددة ضمن هذا المجال.
مناقشة
تركز فقرة المناقشة في ورقة البحث على التقدم والتحديات في هياكل الحساب داخل الذاكرة (CIM)، لا سيما في سياق التنفيذات الرقمية (DCIM) والتناظرية (ACIM). تهدف CIM إلى تخفيف عنق الزجاجة لحركة البيانات في حسابات الشبكات العصبية من خلال دمج عمليات الضرب والتجميع (MAC) مباشرة مع تخزين البيانات. تستفيد ACIM من تقنيات الذاكرة غير المتطايرة (NVM) مثل RRAM وPCM لتحقيق إنتاجية عالية وكفاءة في استهلاك الطاقة، بينما تقدم DCIM حسابًا رقميًا قويًا مع تحمل كتابة غير محدود. ومع ذلك، يقدم كل نهج مقايضات، مثل تعرض ACIM للضوضاء التناظرية وحدود تحمل الكتابة في أجهزة NVM، وارتفاع تكلفة المساحة في DCIM وانخفاض الإنتاجية. يدعو المؤلفون إلى هياكل غير متجانسة تجمع بين كلا النهجين لتحسين الأداء لأنواع مختلفة من عمليات الشبكة العصبية، لا سيما في نماذج المحولات التي تزداد انتشارًا في أحمال العمل الخاصة بالذكاء الاصطناعي.
تناقش الفقرة أيضًا التحديات التصميمية المرتبطة بمسرعات CIM، مشددة على الحاجة إلى استكشاف مساحة تصميم متعددة الأبعاد تأخذ في الاعتبار خصائص الأجهزة ومعلمات الدائرة والخيارات على مستوى النظام. تشمل التحديات الرئيسية إدارة الضوضاء في حسابات ACIM بسبب تباينات الأجهزة وتأثيرات الحرارة، بالإضافة إلى ضمان الدقة في تمثيل البيانات لبارامترات الشبكة العصبية. يبرز المؤلفون أهمية أطر المحاكاة، مثل NeuroSim، التي تمكن من التقييم السريع للدقة ومقاييس الأجهزة عبر تكوينات مختلفة. بالإضافة إلى ذلك، تناقش الورقة أهمية خصائص مستوى الجهاز، مثل نسب التشغيل/الإيقاف وعدد الحالات القابلة للبرمجة، في تحديد موثوقية ودقة الحسابات التناظرية. يسمح دمج تقنيات النمذجة المتقدمة في NeuroSim باستكشاف فعال لمساحة التصميم، مما يسهل تطوير هياكل CIM المحسنة التي يمكن أن تدعم مهام الشبكات العصبية المعقدة.
القيود
تعتبر قيود أدوات المحاكاة الحالية لأنظمة الحساب داخل الذاكرة (CIM) كبيرة، لا سيما في سياق الشبكات الكبيرة وهياكل المحولات. تعتبر محاكاة SPICE المباشرة بطيئة جدًا لاستكشاف المعلمات الواسعة، بينما تقدم أدوات مثل CrossSim وAIHWKit وCIMLoop مزايا محددة لكنها تفشل في تقديم حل شامل للتوافق بين الدقة والأداء والطاقة والمساحة (PPA). من الجدير بالذكر أن هذه الأدوات لا تعالج بشكل كافٍ التحديات الفريدة التي تطرحها آليات الانتباه الذاتي في المحولات، مما يعقد نشر CIM.
استجابةً لهذه القيود، يقدم البحث NeuroSim V1.5، وهو إطار محاكاة متكامل جديد مصمم للتوافق المنهجي بين الدقة وكفاءة الأجهزة في تصميم مسرعات CIM. تشمل الميزات الرئيسية لـ NeuroSim V1.5 دعم الهياكل الهجينة ACIM/DCIM، وإطار عمل متكامل للتوافق يجمع بين الكمية المعتمدة على TensorRT مع نمذجة الضوضاء التي تم التحقق منها ضد بيانات SPICE والسيليكون، ودعم محسّن للأجهزة للتقنيات الناشئة. بالإضافة إلى ذلك، يحقق الإطار تحسينًا يصل إلى 6.5× في وقت التشغيل مقارنة بسابقه من خلال تحسين عمليات التنسور المعجلة بواسطة GPU، مما يسهل استكشاف مساحة التصميم بشكل أكثر كفاءة وتقييم مقايضات الدقة والكفاءة.
DOI: https://doi.org/10.1109/tcad.2026.3674448
Publication Date: 2026-03-16
Author(s): James Read et al.
Primary Topic: Advanced Memory and Neural Computing
Overview
The rapid proliferation of artificial intelligence (AI) applications has highlighted the limitations of traditional von Neumann architectures, particularly due to the energy and latency issues stemming from frequent data transfers between compute units and memory. To mitigate these challenges, Compute-in-Memory (CIM) technology enables the execution of multiply-accumulate (MAC) operations directly within memory arrays, thereby minimizing data movement. This paper introduces NeuroSim V1.5, a comprehensive framework designed to optimize both accuracy and hardware efficiency in CIM accelerator design, particularly for transformer architectures that are increasingly prevalent in AI workloads.
Key contributions of this work include the development of a hybrid architecture (ACIM/DCIM) that facilitates the acceleration of transformers, supported by a case study comparing the performance of vision transformers (ViT) and convolutional neural networks (CNN). The framework integrates TensorRT-based quantization, flexible noise modeling, and circuit-level power, performance, and area (PPA) estimation, while also expanding device support to include non-volatile capacitive memories. Notably, the results indicate that ViTs demonstrate lower noise tolerance and area efficiency compared to similarly sized CNNs, suggesting that CNNs may be more advantageous for vision tasks on CIM hardware. The hybrid architecture lays the groundwork for future applications involving large language models, with all versions of the framework made available as open-source at https://github.com/neurosim/NeuroSim.
Introduction
The introduction highlights the critical need for energy-efficient processors in light of the rapid expansion of AI model sizes, emphasizing that memory access significantly contributes to power consumption—over five times that of computation. As AI models grow, the challenge shifts from computational capability to memory bandwidth, necessitating innovative architectural solutions to enhance efficiency.
The section further elaborates on the architecture and operation of Computation-In-Memory (CIM) arrays, which leverage the electrical properties of memory arrays to perform matrix computations. The crossbar array serves as the fundamental component, facilitating parallel multiply-accumulate (MAC) operations through the interaction of memory elements at wordline and bitline intersections. Two primary analog computation methods are discussed: resistor-based arrays, which utilize resistive memory to encode neural network weights as conductance states and perform MAC operations in the current domain, and capacitor-based arrays, which encode weights as programmable capacitance and operate in the charge domain. Additionally, the section mentions Digital Computation-In-Memory (DCIM), which employs digital multipliers for integer MACs, offering robustness but with increased area overhead compared to analog CIM solutions.
Methods
The section outlines the simulation methodology employed in designing Compute-in-Memory (CIM) accelerators using NeuroSim V1.5, which integrates a behavioral simulator and a hardware analyzer. The behavioral simulator assesses inference accuracy of quantized neural networks while accounting for hardware non-idealities, utilizing two modes: Device expert mode for direct modeling of memory physics and Circuit expert mode for statistical modeling based on pre-characterized noise distributions. The hardware analyzer estimates system-level metrics such as energy, latency, and area through detailed circuit models. The quantization process leverages TensorRT’s post-training quantization, allowing for configurable precision in neural network operations, and the mapping of quantized weights to CIM arrays is carefully structured based on physical constraints.
The evaluation methodology consists of design space exploration, inference accuracy analysis under device non-idealities, and runtime performance comparisons across open-source platforms. Key parameters for design space exploration include technology node, memory cell precision, and array dimensions. The study evaluates the impact of input/weight quantization and ADC precision on inference accuracy, employing a clipping approach for reduced ADC precision to maintain practical implementation in hardware. Additionally, device and circuit noise case studies are conducted to analyze the effects of various noise sources on inference accuracy, utilizing data from SPICE characterization and tapeout measurements to enhance noise modeling and facilitate direct comparisons across different devices and DNNs.
Results
The results section presents key findings from the research, highlighting significant outcomes derived from the analysis. The study includes various case studies that illustrate the practical implications of the theoretical framework established earlier. Each case study is designed to demonstrate the effectiveness of the proposed methodologies in real-world applications, providing empirical evidence to support the theoretical claims.
The results indicate a strong correlation between the implemented strategies and the observed outcomes, with quantitative metrics showcasing improvements in performance. Additionally, the case studies reveal nuanced insights into the contextual factors that influence the effectiveness of the interventions, suggesting areas for further exploration and refinement of the approaches used. Overall, the findings underscore the relevance of the research in addressing the identified challenges within the field.
Discussion
The discussion section of the research paper focuses on the advancements and challenges in Compute-in-Memory (CIM) architectures, particularly in the context of digital (DCIM) and analog (ACIM) implementations. CIM aims to alleviate the bottleneck of data movement in neural network computations by integrating multiply-accumulate (MAC) operations directly with data storage. ACIM leverages non-volatile memory (NVM) technologies such as RRAM and PCM to achieve high throughput and energy efficiency, while DCIM offers robust digital computation with unlimited write endurance. However, each approach presents trade-offs, such as ACIM’s susceptibility to analog noise and limited write endurance in NVM devices, and DCIM’s higher area overhead and lower throughput. The authors advocate for heterogeneous architectures that combine both approaches to optimize performance for different types of neural network operations, particularly in transformer models that are increasingly prevalent in AI workloads.
The section also addresses the design challenges associated with CIM accelerators, emphasizing the need for a multidimensional design space exploration that considers device characteristics, circuit parameters, and system-level choices. Key challenges include managing noise in ACIM computations due to device variations and thermal effects, as well as ensuring precision in data representation for neural network parameters. The authors highlight the importance of simulation frameworks, such as NeuroSim, which enable rapid evaluation of accuracy and hardware metrics across various configurations. Additionally, the paper discusses the significance of device-level properties, such as on/off ratios and the number of programmable states, in determining the reliability and precision of analog computations. The integration of advanced modeling techniques in NeuroSim allows for effective exploration of the design space, facilitating the development of optimized CIM architectures that can support complex neural network tasks.
Limitations
The limitations of existing simulation tools for computing-in-memory (CIM) systems are significant, particularly in the context of large networks and transformer architectures. Direct SPICE simulations are too slow for extensive parameter exploration, while tools like CrossSim, AIHWKit, and CIMLoop each offer specific advantages but fail to provide a comprehensive solution for accuracy and performance-power-area (PPA) co-optimization. Notably, these tools do not adequately address the unique challenges posed by self-attention mechanisms in transformers, which complicate CIM deployment.
In response to these limitations, the paper introduces NeuroSim V1.5, a novel integrated simulation framework designed for systematic co-optimization of accuracy and hardware efficiency in CIM accelerator design. Key features of NeuroSim V1.5 include support for hybrid ACIM/DCIM architectures, an integrated co-optimization framework that combines TensorRT-based quantization with noise modeling validated against SPICE and silicon data, and enhanced device support for emerging technologies. Additionally, the framework achieves up to a 6.5× improvement in runtime over its predecessor through optimized GPU-accelerated tensor operations, facilitating more efficient design space exploration and evaluation of accuracy-efficiency trade-offs.