DOI: https://doi.org/10.1145/3808298
تاريخ النشر: 2026-06-08
المؤلف: Yifan Zhao وآخرون
الموضوع الرئيسي: الحوسبة المتوازية وتقنيات التحسين
نظرة عامة
تقدم ورقة البحث نبتون، وهو مترجم توتر جديد مصمم لتحسين دمج العمليات في التعلم العميق، وخاصة للحسابات المعقدة للتقليل التي تتضمن اعتمادات محمولة عبر الحلقات، مثل تلك الموجودة في آليات الانتباه. تواجه المترجمات التقليدية للتوتر تحديات في دمج هذه العمليات المعقدة بشكل فعال. يتناول نبتون هذا من خلال كسر بعض الاعتمادات عمدًا واستخدام تعبيرات تصحيح جبرية لضمان نتائج دقيقة. إن تنفيذ دمج العمليات المتقدم لنبتون على مشغل انتباه قياسي ينتج أداءً قابلًا للمقارنة مع الأساليب المتطورة مثل FlashAttention وFlashDecoding. في تقييم شامل عبر عشرة مهام تعتمد على الانتباه، يظهر نبتون تسريعًا متوسطًا قدره 1.35× مقارنة بالمترجمات الحالية، محققًا ما يصل إلى 2.65× على وحدات معالجة الرسوميات NVIDIA و3.32× على وحدات معالجة الرسوميات AMD.
في الختام، يمثل نبتون تقدمًا كبيرًا في تجميع التوتر، حيث يدمج بنجاح خوارزميات الدمج المتقدمة في جداول المترجمين القياسية لتعزيز أداء نوى التعلم العميق. تستكشف العمل اللاحق، نوتيلوس، المزيد من فوائد هذه التحولات على معماريات وحدات معالجة الرسوميات الأحدث وتقوم بأتمتة عملية الجدولة. يفتح هذا البحث آفاقًا جديدة لتحسين المترجمات التوتر، مما قد يؤدي إلى الاكتشاف التلقائي لمشغلات التعلم الآلي الفعالة عبر منصات الأجهزة الذكية الناشئة المختلفة.
مقدمة
تناقش مقدمة الورقة الحاجة الملحة لتنفيذات عالية الأداء لنماذج التعلم العميق لتسهيل النشر منخفض الكمون وذو التكلفة الفعالة. تسلط الضوء على الفجوة بين أطر التعلم الآلي عالية المستوى، مثل PyTorch وTensorFlow، ونوى الأداء منخفضة المستوى التي يجب أن تأخذ في الاعتبار تحسينات محددة للأجهزة. يحدد المؤلفون مترجمات نوى التوتر كحل واعد لسد هذه الفجوة، وخاصة من خلال المترجمات المعتمدة على البلاط والجداول. ومع ذلك، تكافح المترجمات الحالية مع التحولات المعقدة اللازمة لتحسين العمليات مثل الانتباه، التي تتضمن حلقات تقليل متعددة ودمج العمليات.
تقدم الورقة نبتون، وهو مترجم نوى توتر جديد مصمم لدمج دمج العمليات المتقدم مع كل من تحسينات الجدول والبلاط. يتناول نبتون قيود المترجمات الحالية للتوتر من خلال تمكين دمج مشغلات التقليل مع اعتمادات بيانات معقدة، مما ينتج نوى تتفوق على الحلول الحالية، بما في ذلك FlashAttention وFlashDecoding. يقدم المؤلفون ابتكارين رئيسيين: نموذج جديد لدمج العمليات يستخدم مصطلحات تصحيح جبرية لإدارة اعتمادات البيانات، وخط أنابيب تجميع يفصل بشكل فعال بين التحسينات منخفضة المستوى وعالية المستوى. تظهر نتائج التقييم أن نبتون يحقق تخفيضات كبيرة في الكمون عبر مشغلات تعتمد على الانتباه ومعماريات وحدات معالجة الرسوميات، متفوقًا على البدائل المتطورة بمتوسط قدره 1.35× وما يصل إلى 3.32× في حالات محددة.
الطرق
تحدد قسم المنهجية التجريبية النهج المنهجي المستخدم في الدراسة للتحقيق في أسئلة البحث. يوضح تصميم التجارب، بما في ذلك اختيار المشاركين، والمواد المستخدمة، والإجراءات المحددة المتبعة. تؤكد المنهجية على أهمية التحكم في المتغيرات لضمان موثوقية وصدق النتائج.
تُوصف أيضًا تقنيات جمع البيانات، مع تسليط الضوء على الأدوات والأجهزة المستخدمة للقياس. تُذكر التحليلات الإحصائية التي تم إجراؤها على البيانات المجمعة، مشيرة إلى الطرق المستخدمة لتفسير النتائج واستخلاص الاستنتاجات. بشكل عام، يوفر هذا القسم نظرة شاملة على الإطار التجريبي، مما يضمن إمكانية تكرار النتائج والتحقق منها من قبل الأبحاث المستقبلية.
المناقشة
في هذا القسم، يناقش المؤلفون قدرات إطار نبتون في تحسين برامج التوتر من خلال تقنيات الدمج المتقدمة، مع التركيز بشكل خاص على عمليات التقليل. يستخدم الإطار مُحسِّنًا موجهًا بواسطة القالب يقوم بترجمة تعبيرات التوتر إلى تمثيل وسيط حلقي-مقياس (IR) ويطبق تحولات عالية المستوى لتعزيز الأداء. الابتكار الرئيسي هو التعرف التلقائي على مصطلحات الإصلاح اللازمة لدمج التقليل، مما يسمح لنبتون بدمج عمليات تقليل متعددة مع الحفاظ على الصحة. يتم تحقيق ذلك من خلال تحليل منهجي يستخرج دالة إصلاح، مما يضمن أن العمليات المدمجة تعطي نفس النتائج مثل النسخ الأصلية غير المحسّنة.
يقدم القسم أيضًا استراتيجيتين رئيسيتين للدمج: التحديث المتداول وتحديث split-k. يقوم التحديث المتداول بدمج حلقات التقليل مع الحفاظ على اعتمادات البيانات، على الرغم من التكلفة المرتفعة في الحسابات وزيادة التعقيد في التوازي. في المقابل، يهدف تحديث split-k إلى تعظيم التوازي من خلال كسر الاعتمادات وحساب التقليل الجزئي بالتوازي، يليه مرحلة تقليل عالمية. تستفيد كلتا الطريقتين من دالة الإصلاح لضمان الصحة بعد الدمج، حيث تم تصميم تحديث split-k بشكل خاص لتجنب التحديات المتعلقة بالتوازي التي تواجه التحديث المتداول. يبرز المؤلفون التوازنات المعنية في هذه التحسينات، مشيرين إلى أنه بينما تعزز إعادة استخدام البيانات وتقلل من عمليات نقل الذاكرة، فإنها أيضًا تقدم مطالب حسابية إضافية.
DOI: https://doi.org/10.1145/3808298
Publication Date: 2026-06-08
Author(s): Yifan Zhao et al.
Primary Topic: Parallel Computing and Optimization Techniques
Overview
The research paper introduces Neptune, a novel tensor compiler designed to optimize operator fusion in deep learning, particularly for complex reduction computations that involve loop-carried dependencies, such as those found in attention mechanisms. Traditional tensor compilers face challenges in fusing these complex operations effectively. Neptune addresses this by intentionally breaking certain dependencies and utilizing algebraic correction expressions to ensure accurate results. The implementation of Neptune’s advanced operator fusion on a standard attention operator yields performance comparable to state-of-the-art methods like FlashAttention and FlashDecoding. In extensive benchmarking across ten attention-based tasks, Neptune demonstrates an average speedup of 1.35× over existing compilers, achieving up to 2.65× on NVIDIA GPUs and 3.32× on AMD GPUs.
In conclusion, Neptune represents a significant advancement in tensor compilation, successfully integrating advanced fusion algorithms into standard compiler schedules to enhance the performance of deep learning kernels. The subsequent work, Nautilus, further explores the benefits of these transformations on newer GPU architectures and automates the scheduling process. This research opens new avenues for optimizing tensor compilers, potentially leading to the automatic discovery of efficient machine learning operators across various emerging AI hardware platforms.
Introduction
The introduction of the paper discusses the critical need for high-performance implementations of deep learning models to facilitate low-latency and cost-effective deployment. It highlights the disparity between high-level machine learning frameworks, such as PyTorch and TensorFlow, and the low-level performance kernels that must consider hardware-specific optimizations. The authors identify tensor kernel compilers as a promising solution to bridge this gap, particularly through tile-based and schedule-based compilers. However, existing compilers struggle with complex transformations necessary for optimizing operations like attention, which involves multiple reduction loops and operator fusion.
The paper introduces Neptune, a novel tensor kernel compiler designed to integrate advanced operator fusion with both schedule and tile optimizations. Neptune addresses the limitations of current tensor compilers by enabling the fusion of reduction operators with complex data dependencies, thereby generating kernels that outperform existing solutions, including FlashAttention and FlashDecoding. The authors present two key innovations: a new paradigm for operator fusion that utilizes algebraic correction terms to manage data dependencies, and a compilation pipeline that effectively separates low-level and high-level optimizations. Evaluation results demonstrate that Neptune achieves significant latency reductions across various attention-based operators and GPU architectures, outperforming state-of-the-art alternatives by an average of 1.35× and up to 3.32× in specific cases.
Methods
The experimental methodology section outlines the systematic approach employed in the study to investigate the research questions. It details the design of the experiments, including the selection of participants, materials used, and the specific procedures followed. The methodology emphasizes the importance of controlling variables to ensure the reliability and validity of the results.
Data collection techniques are also described, highlighting the tools and instruments utilized for measurement. Statistical analyses performed on the collected data are mentioned, indicating the methods used to interpret the results and draw conclusions. Overall, this section provides a comprehensive overview of the experimental framework, ensuring that the findings can be replicated and validated by future research.
Discussion
In this section, the authors discuss the Neptune framework’s capabilities for optimizing tensor programs through advanced fusion techniques, particularly focusing on reduction operations. The framework employs a template-guided optimizer that translates tensor expressions into a loop-scalar intermediate representation (IR) and applies high-level transformations to enhance performance. A key innovation is the automatic identification of repair terms necessary for reduction fusion, which allows Neptune to combine multiple reduction operations while maintaining correctness. This is achieved through a systematic analysis that derives a repair function, ensuring that the fused operations yield the same results as the original, unoptimized versions.
The section also introduces two primary fusion strategies: the rolling update and split-k update. The rolling update fuses reduction loops while maintaining data dependencies, albeit at the cost of increased computational overhead and complexity in parallelization. In contrast, the split-k update aims to maximize parallelism by breaking dependencies and computing partial reductions in parallel, followed by a global reduction phase. Both methods leverage the repair function to ensure correctness post-fusion, with the split-k update particularly designed to avoid the parallelization challenges faced by the rolling update. The authors highlight the trade-offs involved in these optimizations, noting that while they enhance data reuse and reduce memory transfers, they also introduce additional computational demands.