DOI: https://doi.org/10.1109/tc.2026.3671718
تاريخ النشر: 2026-03-13
المؤلف: Weihong Xu وآخرون
الموضوع الرئيسي: التخزين وتوصيل المحتوى
نظرة عامة
في هذه الورقة، يقدم المؤلفون Proxima، وهو مسرع يعتمد على المعالجة العصبية الرمزية (NSP) مصمم للبحث عن أقرب جار تقريبي (ANNS) القائم على الرسوم البيانية. تحدد الدراسة التحديات الرئيسية في أدوات ANNS الحالية، بما في ذلك استهلاك الذاكرة العالي، وحسابات المسافة المكلفة، وأنماط الوصول غير المنتظمة للبيانات. يعالج Proxima هذه القضايا من خلال تنفيذ تقنيات التقريب واستراتيجيات إنهاء مبكر، مما يقلل بشكل كبير من تعقيد الحسابات مع الحفاظ على أداء الاسترجاع مقارنةً بأدوات رائدة أخرى.
بالإضافة إلى ذلك، يطور المؤلفون مسرع NSP يعتمد على ذاكرة فلاش NAND ثلاثية الأبعاد يعالج بشكل مثالي خوارزمية ANNS المحسنة، مستخدمين طرقًا لتعظيم التوازي الداخلي واستخدام النطاق الترددي. تظهر النتائج أن Proxima يحقق تسريعًا وتحسينات في كفاءة الطاقة تتراوح من مرتبتين إلى ثلاث مراتب مقارنة بمسرعات ANNS الحديثة، مما يبرز تأثيره المحتمل في هذا المجال.
مقدمة
تقدم مقدمة الورقة Proxima، وهو حل جديد للمعالجة القريبة من التخزين (NSP) مصمم لتعزيز البحث عن أقرب جار تقريبي (ANNS) القائم على الرسوم البيانية في ذاكرة فلاش NAND ثلاثية الأبعاد. يعد ANNS أمرًا حيويًا لمجموعة متنوعة من التطبيقات، بما في ذلك أنظمة التوصية واسترجاع المعلومات، ولكن تواجه الطرق القائمة على الرسوم البيانية تحديات كبيرة بسبب متطلبات الذاكرة العالية وحسابات المسافة المكلفة. يعالج Proxima هذه القضايا من خلال التصميم المشترك للخوارزمية والعتاد، مما يقلل بشكل كبير من تعقيد البحث في الرسوم البيانية من خلال استخدام تقنيات تقريب المسافة وإنهاء مبكر.
يبرز المؤلفون أن أنظمة ANNS التقليدية، على الرغم من فعاليتها، غالبًا ما تعاني من تدهور الأداء وزيادة زمن الانتظار بسبب الاستخدام المكثف للذاكرة وأنماط الوصول غير الفعالة للبيانات. يستفيد Proxima من الكثافة العالية وعدم التطاير لذاكرة فلاش NAND ثلاثية الأبعاد، مستخدمًا التكامل غير المتجانس لتحسين تدفق البيانات والتخصيص. تظهر النتائج التجريبية أن Proxima يحقق تسريعًا ملحوظًا يتراوح بين 7× إلى 13× في الإنتاجية وكفاءة الطاقة مقارنةً بتصميمات ASIC الحالية، مع الحفاظ على توازن ملائم بين الدقة والكفاءة وكثافة التخزين. يضع هذا العمل Proxima كخطوة كبيرة إلى الأمام في مجال ANNS، خاصةً لمجموعات البيانات الكبيرة.
نقاش
تسلط قسم النقاش في الورقة البحثية الضوء على أداء طرق البحث عن أقرب جار تقريبي (ANNS) القائم على الرسوم البيانية مقارنةً بتقنيات الفهرسة التقليدية مثل IVF والتجزئة. تشير التجارب إلى أنه بينما تحقق الطرق الأخيرة تشبع استرجاع يبلغ حوالي 80% على مجموعات البيانات الكبيرة (10M و100M)، تظهر الأساليب القائمة على الرسوم البيانية كفاءة متفوقة بسبب تعقيدها متعدد اللوغاريتمات في كل من البحث وبناء الرسوم البيانية. يعمل ANNS القائم على الرسوم البيانية في مرحلتين: بناء الرسوم البيانية، الذي ينشئ رسمًا بيانيًا قريبًا متفرقًا $G(V, E)$، ومرحلة البحث، التي تستخدم استراتيجية التجوال الأفضل أولاً للعثور على أقرب الجيران لنقطة الاستعلام $q$. تستخدم عملية البحث قائمة مرشحة $L$ للحفاظ على وترتيب الجيران المحتملين بناءً على مسافاتهم إلى $q$، مما يسمح بدقة قابلة للتعديل من خلال حجم $L$.
يناقش القسم أيضًا التحديات التي تواجه ANNS القائم على الرسوم البيانية، لا سيما فيما يتعلق ببصمة الذاكرة، وزمن الوصول العشوائي، وتكاليف حساب المسافة. يمكن أن تكون متطلبات الذاكرة لتخزين كل من فهرس الرسم البياني والمتجهات البيانية الخام مرتفعة بشكل غير معقول، خاصةً لمجموعات البيانات التي تحتوي على مليارات العناصر. بالإضافة إلى ذلك، تؤدي أنماط الوصول غير المنتظمة أثناء تجوال الرسم البياني إلى مشاكل زمن انتظار كبيرة. لمعالجة هذه التحديات، تقدم الورقة Proxima، وهو مخطط بحث رسومي جديد يعمل على تحسين استخدام الذاكرة وتقليل التقييمات غير الضرورية للمسافة من خلال تقنيات مثل تقليل المنتج (PQ) والقوائم الديناميكية للمرشحين. تستفيد بنية Proxima من ذاكرة فلاش NAND ثلاثية الأبعاد للمعالجة القريبة من التخزين، مما يخفف من مشكلة “جدار الذاكرة” من خلال تقليل حركة البيانات بين المعالج والذاكرة، وبالتالي تعزيز كفاءة مهام معالجة البيانات على نطاق واسع.
DOI: https://doi.org/10.1109/tc.2026.3671718
Publication Date: 2026-03-13
Author(s): Weihong Xu et al.
Primary Topic: Caching and Content Delivery
Overview
In this paper, the authors introduce Proxima, a neural-symbolic processing (NSP)-based accelerator designed for graph-based approximate nearest neighbor search (ANNS). The study identifies key challenges in existing ANNS tools, including high memory consumption, costly distance computations, and irregular data access patterns. Proxima addresses these issues by implementing approximation techniques and early termination strategies, which significantly reduce computational complexity while maintaining recall performance comparable to other leading tools.
Additionally, the authors develop a 3D NAND flash-based NSP accelerator that optimally processes the enhanced ANNS algorithm, employing methods to maximize internal parallelism and bandwidth utilization. The results demonstrate that Proxima achieves speedups and energy efficiency improvements ranging from one to two orders of magnitude compared to state-of-the-art ANNS accelerators, highlighting its potential impact on the field.
Introduction
The introduction of the paper presents Proxima, a novel near-storage processing (NSP) solution designed to enhance graph-based approximate nearest neighbor search (ANNS) in 3D NAND flash memory. ANNS is crucial for various applications, including recommendation systems and information retrieval, but existing graph-based methods face significant challenges due to their high memory requirements and costly distance computations. Proxima addresses these issues through algorithm-hardware co-design, significantly reducing graph search complexity by employing distance approximation and early termination techniques.
The authors highlight that traditional ANNS systems, while effective, often suffer from performance degradation and high latency due to extensive memory usage and inefficient data access patterns. Proxima leverages the high density and non-volatility of 3D NAND flash, utilizing heterogeneous integration to optimize dataflow and allocation. Experimental results demonstrate that Proxima achieves a remarkable 7× to 13× speedup in throughput and energy efficiency compared to existing ASIC designs, while maintaining a favorable balance between accuracy, efficiency, and storage density. This work positions Proxima as a significant advancement in the field of ANNS, particularly for large-scale datasets.
Discussion
The discussion section of the research paper highlights the performance of graph-based Approximate Nearest Neighbor Search (ANNS) methods compared to traditional indexing techniques like IVF and hashing. Experiments indicate that while the latter methods achieve a recall saturation of around 80% on large datasets (10M and 100M), graph-based approaches exhibit superior efficiency due to their polylogarithmic complexity in both search and graph construction. The graph-based ANNS operates in two phases: graph building, which creates a sparse proximity graph $G(V, E)$, and the search phase, which employs a best-first traversal strategy to find the nearest neighbors of a query point $q$. The search process utilizes a candidate list $L$ to maintain and sort potential nearest neighbors based on their distances to $q$, allowing for adjustable accuracy through the size of $L$.
The section further discusses the challenges faced by graph-based ANNS, particularly regarding memory footprint, random access latency, and distance computation costs. The memory requirements for storing both the graph index and raw data vectors can be prohibitively high, especially for billion-scale datasets. Additionally, the irregular access patterns during graph traversal lead to significant latency issues. To address these challenges, the paper introduces Proxima, a novel graph search scheme that optimizes memory usage and reduces unnecessary distance evaluations through techniques such as product quantization (PQ) and dynamic candidate lists. Proxima’s architecture leverages 3D NAND flash memory for near-storage processing, which mitigates the “memory wall” problem by minimizing data movement between the processor and memory, thus enhancing the efficiency of large-scale data processing tasks.